Freigeben über

Erste Schritte mit ai-backed APIs in Ihrer Windows-App

  • Artikel

Windows Copilot Runtime bietet eine Vielzahl von KI-gestützten APIs Funktionen, mit denen Sie KI-Features nutzen können, ohne ihr eigenes Machine Learning(ML)-Modell zu finden, auszuführen oder zu optimieren. Die Modelle, die Windows Copilot RuntimeAPIs nutzen und passiv auf dem Gerät verwenden können, um KI-Features auf Copilot+ PCs zu aktivieren.

Verwenden Sie Windows Copilot RuntimeAPIs

Windows Copilot RuntimeAPIs schließen Sie KI-gestützte APIs Modelle ein, die lokal ausgeführt werden, direkt auf dem Windows-Gerät. Windows Copilot RuntimeAPIs sind für die Verfügbarkeit im Windows App SDK 1.7 Experimental 2 vorgesehen, das für Januar 2025 geplant ist. Erfahren Sie mehr über das Windows App SDK.

  • Phi Silika: Die Phi-Silikadikat-API ist als Teil des Windows App SDK verfügbar. Ähnlich wie das GPT Large Language Model (LLM) von OpenAI, das ChatGPT unterstützt, ist Phi ein von Microsoft Research entwickeltes Small Language Model (SLM), um Sprachverarbeitungsaufgaben auf einem lokalen Gerät auszuführen. Phi Silica wurde speziell für Windows-Geräte mit einer Neural Processing Unit (NPU) entwickelt, sodass Textgenerierungs- und Unterhaltungsfunktionen direkt auf dem Gerät direkt auf dem Gerät ausgeführt werden können.

  • Text Recognition mit OCR: Die Text Recognition-API (auch als optische Zeichenerkennung oder OCR bezeichnet) ist als Teil des Windows App SDK verfügbar. Diese API ermöglicht die Erkennung von Text in einem Bild und die Konvertierung verschiedener Dokumenttypen, z. B. gescannte Papierdokumente, PDF-Dateien oder Bilder, die von einer Digitalkamera erfasst werden, in bearbeitbare und durchsuchbare Daten auf einem lokalen Gerät.

  • Studio Effects: Windows-Geräte mit kompatiblen Neural Processing Units (NPUs) integrieren Studio Effects in die integrierten Gerätekamera- und Mikrofoneinstellungen. Wenden Sie Spezialeffekte an, die KI verwenden, einschließlich: Hintergrund blur, Augenkontaktkorrektur, automatische Framing, Hochformatkorrektur, Kreative Filter oder Sprachfokus zum Filtern von Hintergrundgeräuschen.

  • Recall: Mithilfe von Recall können Benutzer schnell Dinge aus ihrer früheren Aktivität finden, z. B. Dokumente, Bilder, Websites und mehr. Entwickler können die Recall-Erfahrung des Benutzers mit ihrer App erweitern, indem sie kontextbezogene Informationen zur zugrunde liegenden Vektordatenbank mit der Benutzeraktivitäts-API hinzufügen. Diese Integration hilft Benutzern, an der Stelle, an der sie in Ihrer App aufgehört haben, aufzuholen, um das Engagement der App und den nahtlosen Fluss des Benutzers zwischen Windows und Ihrer App zu verbessern.

Mehr zu kommen, darunter Liveuntertitelübersetzungen, Semantiksuche, Generierung von Abruferweiterungen (RAG), Textzusammenfassung und Bild-Superauflösung.

Verwenden von cloudbasierter KI in Ihrer Windows-App APIs

Sie können auch daran interessiert sein, diese Ausführungsmodelle in der Cloud zu verwenden APIs , um KI-Features zu nutzen, die Ihrer Windows-App hinzugefügt werden können. Zu den von Microsoft oder OpenAI angebotenen cloudbasierten KI-basierten APIs Beispielen gehören:

  • Fügen Sie Ihrer WinUI 3/Windows App SDK-Desktop-App OpenAI-Chat-Fertigstellungen hinzu: Ein Lernprogramm zum Integrieren der cloudbasierten OpenAI ChatGPT-Abschlussfunktionen in eine WinUI 3 /Windows App SDK-Desktop-App.

  • Fügen Sie IHRER WinUI 3/Windows App SDK-Desktop-App DALL-E DALL-E-Desktop-App DALL-E ein Lernprogramm zur Integration der cloudbasierten OpenAI DALL-E-Imagegenerierungsfunktionen in eine WinUI 3 /Windows App SDK-Desktop-App hinzu.

  • Erstellen Sie eine Empfehlungs-App mit .NET MAUI und ChatGPT: Ein Lernprogramm zum Erstellen einer Beispielempfehlungs-App, die die cloudbasierten OpenAI ChatGPT-Abschlussfunktionen in eine .NET MAUI-App integriert.

  • Fügen Sie IHRER .NET MAUI Windows-Desktop-App DALL-E DALL-E ein Lernprogramm zum Integrieren der cloudbasierten OpenAI DALL-E-Imagegenerierungsfunktionen in eine .NET MAUI-App hinzu.

  • Azure OpenAI-Dienst: Wenn Ihre Windows-App auf OpenAI-Modelle zugreifen soll, z. B. GPT-4, GPT-4 Turbo mit Vision, GPT-3.5-Turbo, DALLE-3 oder die Embeddings-Modellreihe, mit den zusätzlichen Sicherheits- und Unternehmensfunktionen von Azure, finden Sie Anleitungen in dieser Azure OpenAI-Dokumentation.

  • Azure AI Services: Azure bietet eine gesamte Suite von KI-Diensten, die über REST- APIs und Clientbibliotheks-SDKs in beliebten Entwicklungssprachen verfügbar sind. Weitere Informationen finden Sie in der Dokumentation zu den einzelnen Diensten. Diese cloudbasierten Dienste helfen Entwicklern und Organisationen, schnell intelligente, modernste, marktfähige und verantwortungsvolle Anwendungen mit sofort einsatzbereiten und vorgefertigten und anpassbaren und anpassbaren APIs Anwendungen zu erstellen. Beispielanwendungen sind die Verarbeitung natürlicher Sprache für Unterhaltungen, Suche, Überwachung, Übersetzung, Sprache, Visions- und Entscheidungsfindung.

Überlegungen zur Verwendung lokaler und cloudbasierter KI in Ihrer Windows-App APIs

Bei der Entscheidung zwischen der Verwendung einer API in Ihrer Windows-App, die auf der lokalen Ausführung eines ML-Modells im Vergleich zur Cloud basiert, gibt es mehrere Vor- und Nachteile.

  • Ressourcenverfügbarkeit

    • Lokales Gerät: Das Ausführen eines Modells hängt von den ressourcen ab, die auf dem verwendeten Gerät verfügbar sind, einschließlich CPU, GPU, NPU, Arbeitsspeicher und Speicherkapazität. Dies kann begrenzt werden, wenn das Gerät keine hohe Rechenleistung oder ausreichendEn Speicher hat. Kleine Sprachmodelle (SLMs), wie Phi, eignen sich besser für die lokale Verwendung auf einem Gerät.
    • Cloud: Cloudplattformen wie Azure bieten skalierbare Ressourcen an. Sie können beliebig viel Rechenleistung oder Speicher verwenden und nur für ihre Nutzung bezahlen. Große Sprachmodelle (LLMs), wie die OpenAI-Sprachmodelle, erfordern mehr Ressourcen, sind aber auch leistungsstärker.

  • Daten, Datenschutz und Sicherheit

    • Lokales Gerät: Da Daten auf dem Gerät neu Standard werden, kann das lokale Ausführen eines Modells sicherer und privater sein. Die Verantwortung der Datensicherheit liegt auf dem Benutzer.
    • Cloud: Cloudanbieter bieten robuste Sicherheitsmaßnahmen, aber Daten müssen in die Cloud übertragen werden, was in einigen Fällen Datenschutzbedenken auslösen kann.

  • Barrierefreiheit und Zusammenarbeit

    • Lokales Gerät: Auf das Modell und die Daten kann nur auf dem Gerät zugegriffen werden, es sei denn, sie werden manuell freigegeben. Dies hat das Potenzial, die Zusammenarbeit an Modelldaten schwieriger zu machen.
    • Cloud: Auf das Modell und die Daten kann von überall aus mit Internetverbindung zugegriffen werden. Dies kann für Szenarien für die Zusammenarbeit besser sein.

  • Kosten

    • Lokales Gerät: Es gibt keine zusätzlichen Kosten, die über die anfängliche Investition im Gerät hinausgehen.
    • Cloud: Während Cloudplattformen mit einem pay-as-you-go-Modell arbeiten, können sich Die Kosten basierend auf den verwendeten Ressourcen und der Nutzungsdauer ansammeln.

  • Wartung und Updates

    • Lokales Gerät: Der Benutzer ist dafür verantwortlich, das System zu Standard und Updates zu installieren.
    • Cloud: Wartung, Systemupdates und neue Featureupdates werden vom Clouddienstanbieter behandelt, wodurch Standard Aufwand für den Benutzer reduziert wird.

Weitere Informationen zum lokalen Ausführen eines kleinen Sprachmodells im Vergleich zu einem großen Sprachmodell in der Cloud finden Sie unter "Lokales Ausführen eines SLM(Small Language Model)" im Vergleich zur Ausführung eines LLM (Large Language Model) in der Cloud.