Galería de ejemplos de IA en Windows
Una colección de ejemplos que muestran una variedad de formas de mejorar las aplicaciones de Windows mediante las API locales y los modelos de Machine Learning (ML), la aceleración de hardware local mediante DirectML y las API basadas en la nube.
Al usar características de IA, se recomienda revisar: Desarrollo de aplicaciones y funciones de IA generativas responsables en Windows.
Mejora tus aplicaciones de Windows con IA mediante las API locales y los modelos de aprendizaje automático.
Estos ejemplos le ayudarán a mejorar las aplicaciones de Windows con ia mediante las API locales y los modelos de Machine Learning.
Editor de audio con tecnología de IA
Repositorio de GitHub: ejemplo de editor de audio de IA
Descripción: El Editor de Audio Potenciado por IA muestra la creación de una aplicación de edición de audio WinUI 3 que utiliza IA para emparejar fragmentos de audio con una consulta pertinente. Un caso de uso de ejemplo podría ser un creador de podcasts que quiera crear clips de audio cortos de su contenido para promocionar en redes sociales. En el ejemplo se usa la inferencia del modelo de ML local para controlar la transcripción y la búsqueda semántica.
Características: inferencia de modelos locales con ONNX Runtime, modelo Whisper, Modelo de inserción
Tipo de aplicación: C#, WinUI 3
Aplicación de notas con tecnología de inteligencia artificial
Repositorio de GitHub: aplicación de ejemplo de notas con tecnología de IA
Descripción: Esta aplicación de toma de notas impulsada por IA muestra el uso de las API, como OCR Text Recognition, transcripción de audio a través del modelo de aprendizaje automático local, búsqueda semántica a través de un modelo de incrustaciones local, uso del modelo de lenguaje local con Phi3 para resumen, autocompletar y razonamiento de texto, y generación aumentada de recuperación (RAG) para basar modelos de lenguaje en datos reales.
Características: búsqueda semántica con modelo local, transcripción de audio con modelo local, generación aumentada de recuperación local (RAG) con Phi3, resumen de texto local y razonamiento con Phi3, extracción de texto de imágenes con API de OCR
Tipo de aplicación: C#, WinUI 3
Generación aumentada de recuperación (RAG) con archivos PDF y Phi3
Repositorio de GitHub: aplicación de ejemplo WPF de analizador de PDF RAG
Descripción: esta aplicación de ejemplo de WPF muestra cómo crear una experiencia con un modelo de lenguaje local (como Phi3) para responder preguntas sobre el contenido de un documento PDF. El ejemplo busca respuestas haciendo referencia a una base de conocimiento fuera de los propios datos de entrenamiento del modelo antes de generar una respuesta. Este patrón, denominado Generación aumentada de recuperación (RAG), es un ejemplo de cómo establecer un modelo de lenguaje en datos autoritativos reales.
Características: generación aumentada de recuperación (RAG), IA generativa de ONNX Runtime, DirectML
Chat de IA generativa Phi3
Repositorio de GitHub: ejemplo de WinUI 3 de chat de Phi3
Descripción: en este ejemplo de aplicación winUI 3 se muestra cómo usar la biblioteca de IA generativa en tiempo de ejecución de ONNX para crear una experiencia de chat con un modelo de lenguaje local, específicamente el modelo de lenguaje pequeño phi3 (SLM).
Características: Phi3, IA generativa de ONNX Runtime, DirectML
Tipo de aplicación: C#, WinUI 3
Ejemplo de efectos de Windows Studio
Repositorio de GitHub: aplicación de ejemplo de Efectos de Windows Studio
Descripción: obtenga información sobre cómo controlar efectos de Camera Studio desde la aplicación de Windows en este ejemplo de código. Compruebe si una cámara compatible está disponible en el sistema (requiere un dispositivo con una NPU y una cámara integrada), obtiene y establece controles de cámara extendidos asociados a efectos de Windows Studio, como desenfoque de fondo, corrección de mirada ocular y marco automático.
Características: Efectos de Windows Studio
Aceleración de hardware local a través de DirectML
Difusión estable acelerada por hardware en la web
Repositorio de GitHub: difusión estable de WebNN Turbo
Descripción: Este ejemplo muestra cómo usar WebNN con ONNX Runtime web para ejecutar Stable Diffusion localmente en la GPU con DirectML. SD-Turbo es un modelo de texto a imagen generativo rápido capaz de sintetizar imágenes fotorrealistas a partir de un mensaje de texto en una única evaluación de red. En la demostración, puede generar una imagen en 2 segundos en dispositivos PC con capacidades de IA utilizando la API WebNN, una API de bajo nivel dedicada a la aceleración del hardware para la inferencia de redes neuronales.
características de : Generación de imágenes locales, WebNN, DirectML
tipo de aplicación
Segment Anything acelerado por hardware en la web
Repositorio de GitHub: WebNN Segment Anything
Descripción: en este ejemplo se muestra cómo usar WebNN con la web en tiempo de ejecución de ONNX para ejecutar Segment Anything localmente en la GPU con DirectML. Segment Anything es un nuevo modelo de IA de Meta AI capaz de "cortar" cualquier objeto. En la demostración, puede segmentar cualquier objeto de las imágenes cargadas.
Características: segmentación de imágenes locales, WebNN, DirectML
tipo de aplicación
Whisper acelerado por hardware en la web
Repositorio de GitHub: WebNN Whisper Base
Descripción: Este ejemplo ilustra cómo usar WebNN con ONNX Runtime web para ejecutar las capacidades de conversión de voz a texto del modelo Whisper localmente en la GPU o NPU con DirectML. Whisper Base es un modelo entrenado previamente para el reconocimiento automático de voz (ASR) y la traducción de voz. En la demostración, puede probar la característica de conversión de voz en texto mediante la inferencia en el dispositivo con tecnología de la API de WebNN y DirectML, especialmente la aceleración de NPU.
Características : conversión de voz a texto local, WebNN, DirectML
tipo de aplicación
Modelos de lenguaje de ONNX Runtime acelerados por hardware y previamente optimizados (Phi3, Llama3, etc.) con DirectML.
Repositorio de GitHub: Ejemplos de DirectML de en el repositorio Olive
Descripción: en este ejemplo se muestra cómo ejecutar un modelo de lenguaje ONNX Runtime (ORT) optimizado previamente localmente en la GPU con DirectML. En el ejemplo se incluyen instrucciones sobre cómo configurar el entorno, descargar los modelos de lenguaje entrenados previamente más recientes mediante la API generar ORT y ejecutar el modelo en una aplicación de Gradio.
Características: aceleración de hardware, GenAI, ONNX, ONNX Runtime, DirectML
tipo de aplicación: Python, Gradio
Modelos de PyTorch acelerados por hardware (Phi3, Llama3, etc.) con DirectML
Repositorio de GitHub: ejemplos de PyTorch de DirectML
Descripción: en este ejemplo se muestra cómo ejecutar un modelo de lenguaje PyTorch localmente en la GPU con DirectML. En el ejemplo se incluyen instrucciones sobre cómo configurar el entorno, descargar los modelos de lenguaje entrenados previamente más recientes y ejecutar el modelo en una aplicación de Gradio. Este ejemplo admite varios modelos de lenguaje de código abierto, como modelos llama, Phi3-mini, Phi2 y Mistral-7B.
Características: aceleración de hardware, PyTorch, DirectML
tipo de aplicación: Python, Gradio
Mejora de las aplicaciones de Windows con inteligencia artificial mediante API en la nube
Puede encontrar más ejemplos de API basados en la nube en la documentación de servicios de Azure AI.
Agregar completaciones de chat de OpenAI a tu aplicación WinUI 3 / Windows App SDK
Descripción: integre las funcionalidades de finalización del chat de OpenAI en una aplicación de escritorio de WinUI 3 o Windows App SDK.
Características: finalización de chat de OpenAI
Tipo de aplicación: C#, WinUI 3
Agregar DALL-E a la aplicación de escritorio de WinUI 3 /Windows App SDK
Tutorial: Adición de DALL-E a la aplicación de escritorio del SDK de Aplicaciones para Windows o WinUI 3
Descripción: integre las funcionalidades de generación de imágenes de OpenAI DALL-E en una aplicación de escritorio de WinUI 3 /Windows App SDK.
Características: generación de imágenes
Tipo de aplicación: C#, WinUI 3
Creación de una aplicación de recomendación con .NET MAUI y ChatGPT
Tutorial: Creación de una aplicación de recomendación con .NET MAUI y ChatGPT
Descripción: integre las funcionalidades de finalización del chat de OpenAI en una aplicación de escritorio de .NET MAUI.
Características: generación de imágenes
Tipo de aplicación: C#, .NET MAUI
Incorporación de DALL-E a la aplicación de escritorio de .NET MAUI para Windows
Tutorial: Agregar DALL-E a la aplicación de escritorio de .NET MAUI de Windows
Descripción: integre las funcionalidades de generación de imágenes de OpenAI DALL-E en una aplicación de escritorio de .NET MAUI.
Características: generación de imágenes
Tipo de aplicación: C#, .NET MAUI
Ejemplos de WinML antiguos
Repositorio de GitHub: ejemplos de WinML en GitHub
Descripción: WinML sigue siendo compatible, pero estos ejemplos no se han actualizado para reflejar el uso moderno de la inteligencia artificial.