Windows Copilot Runtime Übersicht
Windows Copilot Runtime ist eine Reihe von Tools, die Entwicklern die Möglichkeit bieten, KI-Erfahrungen auf und für Windows zu erstellen, einschließlich neuer Möglichkeiten der Interaktion mit dem Betriebssystem.
Die Windows Copilot Runtime APIs Windows-App-Entwickler können auf KI-Features zugreifen, die lokal auf dem Betriebssystem ausgeführt werden, ohne ihr eigenes Machine Learning(ML)-Modell suchen, ausführen oder optimieren zu müssen. Windows Copilot RuntimeAPIs sind für die Verfügbarkeit im Windows App SDK 1.7 Experimental 2 vorgesehen, das für Januar 2025 geplant ist. Erfahren Sie mehr über das Windows App SDK.
Phi Silika ist unter diesen APIsenthalten. Ein von Microsoft Research erstelltes Sprachmodell auf dem Gerät bietet Phi Silica viele der gleichen Funktionen, die in "Large Language Models" (LLMs) enthalten sind, aber kompakter und effizienter, sodass es lokal unter Windows ausgeführt werden kann.
Text Recognition, oder optische Zeichenerkennung (Optical Character Recognition, OCR), die Text erkennt und extrahiert, der in einem Bild vorhanden ist, ist als API verfügbar, die in Übereinstimmung mit Phi-Silikat arbeitet.
Recall, ein KI-unterstütztes Suchfeature, das frühere Aktivitäten auf Ihrem Windows-Gerät durchsuchbar macht, sodass Sie dort aufgehört haben, ob sie eine App verwenden, ein Dokument bearbeiten oder auf eine E-Mail antworten können.
Studio Effects Verbessert die Kamera- und Audiofunktionen von Windows-Geräten mit kompatiblen neuralen Verarbeitungseinheiten (Neural Processing Units, NPUs), um KI-gesteuerte Hintergrundeffekte, Augenkontaktkorrektur, automatische Rahmenung, Sprachfokus, Weichzeichner, Beleuchtung und kreative Filter auf dem Gerät anzuwenden, um schnelle Leistungsgeschwindigkeiten zu gewährleisten.
Liveuntertitelübersetzungen helfen allen Benutzern unter Windows, einschließlich gehörlosen oder schwerhörigen Personen, das Audio besser zu verstehen, indem Sie Untertitel gesprochener Inhalte anzeigen, auch wenn sich der Audioinhalt in einer sprache befindet, die sich von der bevorzugten Sprache des Systems unterscheidet.
Integrieren Eigener ML-Modelle
Zusätzlich zur KI-unterstützung Windows Copilot RuntimeAPIsverfügen wir über Tools und Anleitungen zur Verbesserung Ihrer App mithilfe von Machine Learning (ML)-Modellen.
AI Toolkit In Visual Studio Code können Sie eigene ML-Modelle mithilfe von Frameworks wie ONNX RuntimePyTorch oder WebNN integrieren und auf Hardwarebeschleunigung zugreifen, um eine bessere Leistung und Skalierung über DirectML zu erzielen.
Weitere Informationen:
- Wie können Windows-Anwendungen ML-Modelle nutzen?
- Wo finde ich Open-Source-ML-Modelle im Web?
- Wie kann ich ein ML-Modell für die Verwendung in meiner Windows-App optimieren?
- Wie kann ich ein ML-Modell mit meinen eigenen benutzerdefinierten Daten optimieren?
- Wie nutze ich die Hardwarebeschleunigung für eine bessere Leistung mit KI-Features?
Verantwortungsvolle KI-Pracitces und Beispiele
Entwickeln Sie Apps verantwortungsbewusst mit KI mithilfe der Windows Copilot Runtime generativen KI-Modelle auf dem Gerät, um lokale Inhaltssicherheitsfeatures zu erzwingen, z. B. Geräteklassifizierungsmodule für schädliche Inhalte und eine Standardblockliste. Microsoft priorisiert Entwickler dabei, sichere, vertrauenswürdige KI-Erfahrungen mit lokalen Modellen unter Windows zu erstellen. Erfahren Sie mehr über verantwortungsvolle Entwicklungsmethoden, die Sie anwenden können, wenn Sie Anwendungen und KI-unterstützte Features erstellen, die auf Windows-Geräten ausgeführt werden, in der Anleitung zum Entwickeln verantwortlicher generativer KI-Anwendungen und -Features unter Windows .
Weitere Ressourcen für Entwickler, die an integrierten KI-Features oder Modellen mit Ihrer Windows-App interessiert sind, umfassen:
Beispielkatalog für KI unter Windows: Beispiele zur Integration von KI in Windows-Apps.
Häufig gestellte Fragen zur Verwendung von KI mit Windows: Häufig gestellte Fragen zu Terminologie und Konzepten im Zusammenhang mit der Verwendung von KI in einem Windows-Kontext, die folgende Fragen behandeln: „Was ist DirectML?“, „Was ist ONNX?“, „Was ist ORT?“, „Was ist eine NPU?“, „Was ist ein SLM?“, „Was ist ein Rückschluss?“, „Was ist Feinabstimmung?“ usw.
Erste Schritte mit ONNX-Modellen in Ihrer WinUI-App mit ONNX Runtime