Compartir a través de

Actualizaciones de integración de Ollama

  • Artículo

La versión .NET.NET Aspire Community Toolkit 9.0 de las integraciones de Ollama presenta cambios significativos. Estas actualizaciones mejoran la funcionalidad y se integran mejor con el diseño de la API de .NET.NET Aspire.

Versión introducida

.NET .NET Aspire Community Toolkit 9.0 GA

Comportamiento anterior

La integración de Ollama incluye actualizaciones de alojamiento e integración client, cuyos detalles se encuentran en las siguientes secciones.

Hospedaje de Ollama

El recurso de hospedaje de Ollama debía proporcionarse como referencia a otros recursos y proporcionaría información del modelo como un conjunto de variables de entorno. La cadena de conexión era solo el punto de conexión HTTP y no estaba en un formato auténtico de "cadena de conexión".

client de OllamaSharp

Admite la versión 3 de la biblioteca y no admite las interfaces Microsoft.Extensions.AI (M.E.AI).

Nuevo comportamiento

El nuevo comportamiento incluye las siguientes actualizaciones.

Modelos como recursos

En versiones anteriores, los modelos se agregaron al recurso Ollama y había que pasarlo como referencia. Este enfoque requiere soluciones alternativas para establecer y detectar el modelo predeterminado. En la versión 9.0, se introdujo el OllamaModelResource. Este recurso se puede pasar como referencia y proporciona información de conexión a los clientes sobre el modelo que se va a usar.

Nuevo formato de cadena de conexión

Originalmente, la "cadena de conexión" de un recurso de Ollama era solo el punto de conexión HTTP, pero para mejorar el soporte del modelo como característica del recurso, los recursos crean una "cadena de conexión" real de Endpoint=<...>;Model=<...>. La parte Model solo se incluye si estás pasando el OllamaModelResource.

OllamaSharp 4 y Microsoft.Extensions.AI

OllamaSharp se ha actualizado a una nueva versión principal y ahora admite las interfaces de Microsoft.Extensions.AI. Puede registrar el IOllamaApiClient (OllamaSharp nativo client), o desde M.E.AI IChatClient y IEmbeddingGenerator<TInput,TEmbedding> (dependiendo del tipo de modelo). El uso de estas nuevas interfaces hace que el código sea más portátil en las opciones de LLM/SLM.

Desaprobaciones y eliminaciones de API

Con toda la refactorización, algunas APIs quedarán en desuso o se eliminan.

Tipo de cambio importante

Este cambio es un binario incompatible y cambio de comportamiento.

Motivo del cambio

Los cambios tienen como objetivo que la biblioteca sea más funcional y mejor integrada con el diseño de la API de .NET.NET Aspire.

Actualizar a .NET.NET Aspire 9.0.

APIs afectadas