Windows Copilot Runtime Panoramica

Windows Copilot Runtime è una suite di strumenti che offre agli sviluppatori la possibilità di creare esperienze di intelligenza artificiale in e per Windows, inclusi nuovi modi per interagire con il sistema operativo.

Consente Windows Copilot Runtime APIs agli sviluppatori di app Windows di accedere alle funzionalità di intelligenza artificiale eseguite localmente nel sistema operativo, senza la necessità di trovare, eseguire o ottimizzare il proprio modello di Machine Learning (ML). Windows Copilot RuntimeAPIssono destinati alla disponibilità nella versione SDK per app di Windows 1.7 Sperimentale 2 pianificata per gennaio 2025. Altre informazioni sul SDK per app di Windows.

Phi Silica è incluso tra questi APIs. Un modello linguistico on-device creato da Microsoft Research, Phi Silica offre molte delle stesse funzionalità disponibili in modelli di linguaggio di grandi dimensioni,ma più compatto ed efficiente in modo che possa essere eseguito in locale in Windows.

Text Recognition, o OCR (Optical Character Recognition), che riconosce ed estrae il testo presente in un'immagine, sarà disponibile come API che funziona in allineamento con Phi Silica.

Recall, una funzionalità di ricerca assistita dall'intelligenza artificiale che rende le attività passate sul dispositivo Windows ricercabile, in modo da poter riprendere la posizione in cui è stata interrotta, indipendentemente dall'uso di un'app, dalla modifica di un documento o dalla risposta a un messaggio di posta elettronica.

Studio Effects Migliora le funzionalità della fotocamera e dell'audio dei dispositivi Windows con unità di elaborazione neurali compatibili per applicare effetti di sfondo basati sull'intelligenza artificiale, correzione del contatto oculare, inquadratura automatica, messa a fuoco vocale, sfocatura, illuminazione e filtri creativi eseguiti sulla NPU del dispositivo per mantenere velocità elevate delle prestazioni.

Le traduzioni di sottotitoli live consentono a tutti gli utenti di Windows, inclusi quelli sordi o con problemi di udito, di comprendere meglio l'audio visualizzando le didascalie del contenuto parlato, anche quando il contenuto audio si trova in una lingua diversa dalla lingua preferita del sistema.

Integrare modelli di Machine Learning personalizzati

Oltre all'intelligenza artificiale supportata, Windows Copilot RuntimeAPIssono disponibili strumenti e linee guida su come migliorare l'app usando modelli di Machine Learning (ML).

AI Toolkit In Visual Studio Code è possibile integrare modelli di Machine Learning personalizzati usando framework come ONNX Runtime, PyTorch o WebNN e accedere all'accelerazione hardware per ottenere prestazioni e scalabilità migliori tramite DirectML.

Altre informazioni:

• In che modo le applicazioni Windows possono sfruttare i modelli di Machine Learning?
• Dove è possibile trovare modelli di Machine Learning open source sul Web?
• Ricerca per categorie ottimizzare un modello di Machine Learning da usare nell'app di Windows?
• Come è possibile ottimizzare un modello di Machine Learning con i propri dati personalizzati?
• Come è possibile sfruttare l'accelerazione hardware per migliorare le prestazioni con le funzionalità di intelligenza artificiale?

Esempi e pracitces di intelligenza artificiale responsabile

Sviluppare app in modo responsabile con l'intelligenza artificiale usando i Windows Copilot Runtime modelli di intelligenza artificiale generativi sul dispositivo per applicare funzionalità di sicurezza dei contenuti locali, ad esempio motori di classificazione su dispositivo per contenuti dannosi e un elenco di blocchi predefinito. Microsoft assegna priorità agli sviluppatori che supportano la creazione di esperienze di intelligenza artificiale sicure e affidabili con i modelli locali in Windows. Altre informazioni sulle procedure di sviluppo responsabili da applicare durante la creazione di applicazioni e funzionalità basate su intelligenza artificiale eseguite nei dispositivi Windows nella guida Sviluppo di applicazioni e funzionalità di intelligenza artificiale generative responsabili in Windows .

Le risorse aggiuntive per gli sviluppatori interessati alle funzionalità o ai modelli integrati di intelligenza artificiale con l'app Di Windows includono:

• Intelligenza artificiale in Windows Sample Gallery: esempi che illustrano i modi per integrare l'intelligenza artificiale nelle app di Windows.

• Domande frequenti sull'uso dell'intelligenza artificiale con Windows: domande frequenti sulla terminologia e sui concetti correlati all'uso dell'intelligenza artificiale in un contesto di Windows, che tratta di domande come "Che cos'è DirectML?", "Che cos'è l'ORT?", "Che cos'è un SLM?", "Che cos'è l'inferenza?", "Che cos'è l'ottimizzazione?", e così via.

• Introduzione a Phi3 e ad altri modelli linguistici nell'app Windows con OnnxRuntime Generative AI

• Introduzione ai modelli ONNX nell'app WinUI con ONNX Runtime