KI im Windows-Beispielkatalog
Eine Sammlung von Beispielen, die eine Vielzahl von Möglichkeiten veranschaulichen, um Ihre Windows-Apps mit lokalen APIs und Machine Learning (ML)-Modellen zu verbessern, lokale Hardwarebeschleunigung mit DirectML und die Verwendung von cloudbasierten APIs.
Wenn Sie KI-Features verwenden, empfehlen wir Ihnen, den folgenden Abschnitt zu lesen: Entwicklung verantwortungsbewusster generativer KI-Anwendungen und Features unter Windows.
Verbessern Ihrer Windows-Apps mit KI mithilfe lokaler APIs und ML-Modelle
Diese Beispiele helfen Ihnen, Ihre Windows-Apps mit KI mithilfe lokaler APIs und Machine Learning-Modelle zu verbessern.
KI-gestützter Audio-Editor
GitHub-Repository: AI-Audio-Editor-Beispiel
Beschreibung: Der KI-gestützte Audio-Editor zeigt das Erstellen einer WinUI 3-Audiobearbeitungs-App, die KI verwendet, um Audioausschnitte einer relevanten Abfrage zuzuordnen. Ein Beispiel für einen Anwendungsfall könnte ein Podcast-Ersteller sein, der kurze Audioclips ihrer Inhalte erstellen möchte, um auf social Media zu bewerben. Im Beispiel wird die lokale ML-Modellreferenz verwendet, um transkription und semantische Suche zu verarbeiten.
Features: Lokale Modellinferenzierung mit ONNX-Runtime, Flüstermodell, Einbettungsmodell
KI-gestützte Notizen-App
GitHub-Repository: KI-gestützte Beispiel-App für Notizen
Beschreibung: Diese KI-gestützte Anwendung zur Notizerfassung veranschaulicht die Verwendung von APIs wie OCR-Texterkennung, Audiotranskription über das lokale ML-Modell, die semantische Suche über ein lokales Einbettungsmodell, die Verwendung des lokalen Phi-3-Sprachmodells für Zusammenfassungen, die automatische Vervollständigung und Textargumentation sowie Retrieval Augmented Generation (RAG) für das Grounding von Sprachmodellen für reale Daten.
Features: Semantische Suche mithilfe lokaler Modelle, Audiotranskription mithilfe lokaler Modelle, lokale Retrieval Augmented Generation (RAG) mithilfe von Phi3, lokale Textzusammenfassung und -begründung mithilfe von Phi3, Extraktion von Text aus Bildern mithilfe der OCR-API
Abrufen von Augmented Generation (RAG) mit PDFs und Phi3
GitHub-Repository: WPF-Beispielanwendung für RAG PDF Analyzer
Beschreibung: In dieser WPF-Beispiel-App wird veranschaulicht, wie Sie eine Erfahrung mit einem lokalen Sprachmodell (z. B. Phi3) erstellen, um Fragen zu Inhalten in einem PDF-Dokument zu beantworten. Das Beispiel findet Antworten, indem es auf eine Wissensbasis außerhalb der Schulungsdaten des Modells verweist, bevor eine Antwort generiert wird. Dieses Muster, genannt Retrieval Augmented Generation (RAG), ist ein Beispiel dafür, wie ein Sprachmodell auf reale, autoritative Daten gestützt wird.
Features: Abrufen von Augmented Generation (Retrieval Augmented Generation, RAG), ONNX-Runtime Generative KI, DirectML
Phi3 Generative KI-Chat
GitHub-Repository: Beispiel für Phi3-Chat-WinUI-3
Beschreibung: In diesem WinUI 3-App-Beispiel wird veranschaulicht, wie Sie die Generative KI-Bibliothek von ONNX Runtime verwenden, um mit einem lokalen Sprachmodell, insbesondere mit dem Phi3 Small Language Model (SLM), eine Chaterfahrung zu erstellen.
Features: Phi3, ONNX-Runtime Generative KI, DirectML
Windows Studio-Effekte
GitHub-Repository: Windows Studio Effects-Beispiel-App
Beschreibung: In diesem Codebeispiel erfahren Sie, wie Sie Camera Studio-Effekte aus Ihrer Windows-Anwendung steuern. Überprüfen Sie, ob eine unterstützte Kamera auf dem System verfügbar ist (erfordert ein Gerät mit einer NPU und einer integrierten Kamera), und ruft dann erweiterte Kamerasteuerelemente ab und legt sie fest, die Windows Studio-Effekten zugeordnet sind, z. B. Hintergrundunschärfe, Augenanzeigekorrektur und automatische Framing.
Features: Windows Studio-Effekte
Lokale Hardwarebeschleunigung über DirectML
Hardwarebeschleunigte Stable Diffusion im Web
GitHub-Repository: WebNN Stable Diffusion Turbo
Beschreibung: Dieses Beispiel veranschaulicht, wie Sie WebNN mit ONNX-Runtime-Web verwenden, um Stable Diffusion lokal auf der GPU mithilfe von DirectML auszuführen. SD-Turbo ist ein schnelles generatives Text-zu-Bild-Modell, das fotorealistische Bilder aus einer Textaufforderung in einer einzigen Netzwerkauswertung synthetisieren kann. In der Demo können Sie ein Bild in 2s auf KI-PC-Geräten generieren, indem Sie die WebNN-API nutzen, eine dedizierte API auf niedriger Ebene für die Hardwarebeschleunigung des neuralen Netzwerks.
Features: Lokale Bildgenerierung, WebNN, DirectML
App-Typ: JavaScript-, Web-Apps
Hardwarebeschleunigtes Segment "Alles im Web"
GitHub-Repository: WebNN Segment Anything
Beschreibung: In diesem Beispiel wird veranschaulicht, wie Sie WebNN mit ONNX-Runtime-Web verwenden, um Segment Anything lokal auf der GPU mithilfe von DirectML auszuführen. Segment Anything ist ein neues KI-Modell von Meta AI, das alle beliebigen Objekte „ausschneiden“ kann. In der Demo können Sie jedes Objekt aus ihren hochgeladenen Bildern segmentieren.
Features: Lokale Bildsegmentierung, WebNN, DirectML
App-Typ: JavaScript-, Web-Apps
Hardwarebeschleunigtes Flüstern im Web
GitHub-Repository: WebNN Whisper Base
Beschreibung: Dieses Beispiel veranschaulicht, wie Sie WebNN mit ONNX-Runtime-Web verwenden, um die Spracherkennungsfunktionen des Flüstermodells lokal auf der GPU oder NPU mithilfe von DirectML auszuführen. Whisper Base ist ein vortrainiertes Modell für die automatische Spracherkennung (ASR) und Sprachübersetzung. In der Demo können Sie die Spracherkennungs-zu-Text-Funktion mithilfe von On-Device-Inference, unterstützt von der WebNN-API und DirectML, insbesondere der NPU-Beschleunigung, erleben.
Features: Lokale Spracherkennung, WebNN, DirectML
App-Typ: JavaScript-, Web-Apps
Hardwarebeschleunigte und voroptimierte ONNX-Runtime-Sprachmodelle (Phi3, Llama3 usw.) mit DirectML
GitHub-Repository: DirectML-Beispiele im Olive-Repository
Beschreibung: In diesem Beispiel wird veranschaulicht, wie ein voroptimiertes ONNX-Runtime (ORT)-Sprachmodell lokal auf der GPU mit DirectML ausgeführt wird. Das Beispiel enthält Anweisungen zum Einrichten Ihrer Umgebung, das Herunterladen der neuesten vortrainierten Sprachmodelle mithilfe der ORT Generate-API und das Ausführen des Modells in einer Gradio-App.
Features: Hardwarebeschleunigung, GenAI, ONNX, ONNX-Runtime, DirectML
App-Typ: Python, Gradio
Hardwarebeschleunigte PyTorch-Modelle (Phi3, Llama3 usw.) mit DirectML
GitHub Repo: DirectML PyTorch-Beispiele
Beschreibung: In diesem Beispiel wird veranschaulicht, wie ein PyTorch-Sprachmodell lokal auf der GPU mit DirectML ausgeführt wird. Das Beispiel enthält Anweisungen zum Einrichten Ihrer Umgebung, das Herunterladen der neuesten vortrainierten Sprachmodelle und das Ausführen des Modells in einer Gradio-App. Dieses Beispiel unterstützt verschiedene Open-Source-Sprachmodelle wie Llama-Modelle, Phi3-mini, Phi2 und Mistral-7B.
Features: Hardwarebeschleunigung, PyTorch, DirectML
App-Typ: Python, Gradio
Verbessern Ihrer Windows-Apps mit KI mithilfe von Cloud-APIs
Weitere cloudbasierte API-Beispiele finden Sie in der dokumentation Azure AI Services.
Hinzufügen von OpenAI-Chatabschlüssen zu Ihrer WinUI 3/Windows App SDK-App
Tutorial: Hinzufügen von OpenAI-Chatvervollständigungen zu Ihrer WinUI 3/Windows App SDK-App
Beschreibung: Integrieren der OpenAI-Chatvervollständigungsfunktionen in eine WinUI 3-/Windows App SDK-Desktop-App.
Features: OpenAI-Chatvervollständigungen
Fügen Sie DALL-E zu Ihrer WinUI 3/Windows App SDK-Desktop-App hinzu
Lernprogramm: So fügen Sie DALL-E zu Ihrer WinUI 3/Windows App SDK-Desktop-App hinzu
Beschreibung: Integrieren der OpenAI-DALL-E-Bildgenerierungsfunktionen in eine WinUI 3-/Windows App SDK-Desktop-App.
Features: Bildgenerierung
Erstellen Sie eine Empfehlungs-App mit .NET MAUI und ChatGPT.
Lernprogramm: Eine Empfehlungs-App mit .NET MAUI und ChatGPT erstellen
Beschreibung: Integrieren Sie die OpenAI-Chatabschlussfunktionen in eine .NET MAUI-Desktop-App.
Features: Bildgenerierung
Hinzufügen von DALL-E zu Ihrer .NET MAUI Windows-Desktop-App
Lernprogramm: Fügen Sie DALL-E zu Ihrer .NET MAUI Windows-Desktop-App hinzu
Beschreibung: Integrieren der OpenAI-DALL-E-Bildgenerierungsfunktionen in eine .NET MAUI-Desktop-App.
Features: Bildgenerierung
Legacy-WinML-Beispiele
GitHub-Repository: WinML-Beispiele auf GitHub
Beschreibung: WinML wird weiterhin unterstützt, aber diese Beispiele wurden nicht aktualisiert, um die moderne KI-Verwendung widerzuspiegeln.