Vue d’ensemble de Windows Copilot Runtime

Windows Copilot Runtime offre une variété de fonctionnalités soutenues par l’IA et APIs qui vous permettent d’exploiter les fonctionnalités IA sans avoir à rechercher, exécuter ou optimiser votre propre modèle Machine Learning (ML). Les modèles qui alimentent Windows Copilot Runtime sur les PC Copilot+ s’exécutent localement et en arrière-plan à tout moment.

Windows Copilot Runtime fonctionnalités et APIs pour les applications Windows

Windows Copilot Runtime inclut les fonctionnalités suivantes et APIs basées sur l'IA (dans le SDK d'application Windows ), alimentées par des modèles exécutés localement sur l'appareil Windows.

• Phi Silica: Pas encore disponible. Le APIs Phi Silica sera expédié avec le SDK d'application Windows . Comme pour le modèle de langage large GPT (LLM) d’OpenAI qui alimente ChatGPT, Phi est un modèle SLM (Small Language Model) développé par Microsoft Research pour effectuer des tâches de traitement du langage sur un appareil local. Phi Silica est spécifiquement conçu pour les appareils Windows dotés d'une unité de traitement neuronal (NPU), permettant aux fonctionnalités de génération de texte et de conversation de s'exécuter de manière accélérée par le matériel et performante directement sur l'appareil.

• Text Recognition avecOCR : Pas encore disponible. Le Text RecognitionAPIs (également appelé reconnaissance optique de caractères ou OCR) est fourni dans le kit de développement logiciel (SDK) d’application Windows . Ces APIs permettent la reconnaissance de texte dans une image et la conversion de différents types de documents (tels que des documents numérisés, des fichiers PDF ou des images capturées par une caméra numérique) en données modifiables et pouvant faire l’objet d’une recherche sur un appareil local.

• ImagerieAPIs : Pas encore disponible. L'imagerie améliorée par l'IA APIs sera livrée dans le SDK d'applications Windows. Ces APIs effectuent diverses actions telles que la mise à l’échelle intelligente des images et l’identification d’objets dans les images.

• Studio Effects: disponible dans Windows 11, version 22H2 ou ultérieure (build 22623.885+), sur les PC Copilot+. appareils Windows avec des unités de traitement neuronales compatibles (NPUS) intègrent Studio Effects dans les paramètres intégrés de l’appareil photo et du microphone. Appliquez des effets spéciaux qui utilisent l’IA, notamment : flou d’arrière-plan, correction du contact oculaire, cadre automatique, correction de lumière portrait, filtres créatifs ou focus vocal pour filtrer le bruit d’arrière-plan.

• Recall: disponible en préversion via le programme Windows Insiders sur les PC Copilot+.Recall permet aux utilisateurs de trouver rapidement des éléments de leur activité passée, tels que des documents, des images, des sites web et bien plus encore. Les développeurs peuvent enrichir l’expérience Recall de l’utilisateur avec leur application en ajoutant des informations contextuelles à la base de données vectorielle sous-jacente avec l’API d’activité utilisateur . Cette intégration aidera les utilisateurs à reprendre là où ils se sont arrêtés dans votre application, en améliorant l’engagement de l’application et le flux transparent de l’utilisateur entre Windows et votre application.

• Traductions de sous-titres en direct : aide tous les utilisateurs de Windows, y compris les personnes sourdes ou malentendantes, à mieux comprendre le contenu audio en affichant les sous-titres du contenu parlé, même lorsque le contenu audio est dans une langue différente de la langue préférée du système.

Intégrer vos propres modèles ML

En plus de l’IA, Windows Copilot RuntimeAPIsnous avons des outils et des conseils sur la façon d’améliorer votre application à l’aide de modèles Machine Learning (ML).

AI Toolkit dans Visual Studio Code vous permet d’intégrer vos propres modèles ML à l’aide de frameworks tels que ONNX Runtime, PyTorch ou WebNN, et d’accéder à l’accélération matérielle pour améliorer les performances et l’échelle via DirectML.

En savoir plus :

• Comment les applications Windows peuvent-elles tirer parti des modèles ML ?
• Où puis-je trouver des modèles ML open source sur le web ?
• Comment puis-je optimiser un modèle ML à utiliser dans mon application Windows ?
• Comment puis-je ajuster un modèle ML avec mes propres données personnalisées ?
• Comment puis-je tirer parti de l’accélération matérielle pour améliorer les performances avec les fonctionnalités d’IA ?

Pratiques d’IA responsables

Développer des applications de manière responsable avec l’IA à l’aide de modèles IA génératives sur appareil Windows Copilot Runtime pour aider à appliquer des fonctionnalités de sécurité de contenu locales, telles que les moteurs de classification sur appareil pour le contenu dangereux et une liste de blocs par défaut. Microsoft hiérarchise la prise en charge des développeurs pour créer des expériences IA fiables et fiables avec des modèles locaux sur Windows. Apprenez-en davantage sur les pratiques de développement responsable à appliquer lorsque vous créez des applications et des fonctionnalités assistées par l’IA qui s’exécutent sur des appareils Windows dans le cadre du développement d’applications et de fonctionnalités d’INTELLIGENCE artificielle responsable sur les conseils Windows .

Voir aussi

• Phi Silica, un PML sur appareil petit mais puissant (Blogs Windows)

• Galerie d’exemples AI sur Windows : des exemples illustrant des façons d’intégrer l’IA dans les applications Windows.

• FAQ sur l’utilisation de l’IA avec Windows : des questions fréquentes sur la terminologie et les concepts liés à l’utilisation de l’IA dans un contexte Windows, couvrant les questions telles que « Qu’est-ce que DirectML ? », « Qu’est-ce que ONNX ? », « Qu’est-ce qu’un NPU ? », « Qu’est-ce qu’un SLM ? », « Qu’est-ce que l’inférence ? », « Qu’est-ce que l’ajustement ? », etc.

• Bien démarrer avec Phi3 et d’autres modèles de langage dans votre application Windows avec ONNX Runtimel’IA générative

• Bien démarrer avec les modèles ONNX dans votre application WinUI avec ONNX Runtime