Das Azure KI Foundry SDK

pip install azure-ai-projects azure-identity

Erstellen Sie einen Projektclient im Code:

from azure.identity import DefaultAzureCredential
from azure.ai.projects import AIProjectClient

project_connection_string="your_connection_string"

project = AIProjectClient.from_connection_string(
  conn_str=project_connection_string,
  credential=DefaultAzureCredential())

from azure.identity.aio import DefaultAzureCredential
from azure.ai.projects.aio import AIProjectClient

project_connection_string="your_connection_string"

project = await AIProjectClient.from_connection_string(
  conn_str=project_connection_string,
  credential=DefaultAzureCredential())

dotnet add package Azure.AI.Projects
dotnet add package Azure.Identity

Hinzufügen mit Anweisungen:

using Azure.Identity;
using Azure.AI.Projects;

Erstellen Sie einen Projektclient im Code:

var connectionString = "<your_connection_string>";
var projectClient = new AIProjectClient(connectionString, new DefaultAzureCredential());

Sehen Sie sich unbedingt die Referenz und Beispielean.

Sehen Sie sich unbedingt die Referenz und Beispielean.

pip install openai

Wenn Ihr bestehender Code das OpenAI SDK verwendet, können Sie mit dem Projektclient einen AzureOpenAI-Client erstellen, der die Azure OpenAI-Verbindung Ihres Projekts verwendet:

openai = project.inference.get_azure_openai_client(api_version="2024-06-01")
response = openai.chat.completions.create(
    model="gpt-4o",
    messages=[
        {"role": "system", "content": "You are a helpful writing assistant"},
        {"role": "user", "content": "Write me a poem about flowers"},
    ]
)

print(response.choices[0].message.content)

dotnet add package Azure.AI.OpenAI

Hinzufügen mit Anweisungen:

using OpenAI.Chat;
using Azure.AI.OpenAI;

Wenn Ihr bestehender Code das OpenAI SDK verwendet, können Sie mit dem Projektclient einen AzureOpenAI-Client erstellen, der die Azure OpenAI-Verbindung Ihres Projekts verwendet:

var connections = projectClient.GetConnectionsClient();
ConnectionResponse connection = connections.GetDefaultConnection(ConnectionType.AzureOpenAI, withCredential: true);
var properties = connection.Properties as ConnectionPropertiesApiKeyAuth;

if (properties == null) {
    throw new Exception("Invalid auth type, expected API key auth");
}

// Create and use an Azure OpenAI client
AzureOpenAIClient azureOpenAIClient = new(
    new Uri(properties.Target),
    new AzureKeyCredential(properties.Credentials.Key));

// This must match the custom deployment name you chose for your model
ChatClient chatClient = azureOpenAIClient.GetChatClient("gpt-4o-mini");

ChatCompletion completion = chatClient.CompleteChat(
    [
        new SystemChatMessage("You are a helpful assistant that talks like a pirate."),
        new UserChatMessage("Does Azure OpenAI support customer managed keys?"),
        new AssistantChatMessage("Yes, customer managed keys are supported by Azure OpenAI"),
        new UserChatMessage("Do other Azure AI services support this too?")
    ]);

Console.WriteLine($"{completion.Role}: {completion.Content[0].Text}");

pip install azure-ai-inference

Sie können mithilfe des Projektclients eine konfigurierte und authentifizierte ChatCompletionsClient- oder EmbeddingsClient-Instanz abrufen:

# get an chat inferencing client using the project's default model inferencing endpoint
chat = project.inference.get_chat_completions_client()

# run a chat completion using the inferencing client
response = chat.complete(
    model="gpt-4o",
    messages=[
        {"role": "system", "content": "You are a helpful writing assistant"},
        {"role": "user", "content": "Write me a poem about flowers"},
    ]
)

print(response.choices[0].message.content)

dotnet add package Azure.AI.Inference

Hinzufügen mit Anweisungen:

using Azure.AI.Inference;

Sie können mithilfe des Projektclients eine konfigurierte und authentifizierte ChatCompletionsClient- oder EmbeddingsClient-Instanz abrufen:

var connectionString = Environment.GetEnvironmentVariable("AIPROJECT_CONNECTION_STRING");
var projectClient = new AIProjectClient(connectionString, new DefaultAzureCredential());

ChatCompletionsClient chatClient = projectClient.GetChatCompletionsClient();

var requestOptions = new ChatCompletionsOptions()
{
    Messages =
        {
            new ChatRequestSystemMessage("You are a helpful assistant."),
            new ChatRequestUserMessage("How many feet are in a mile?"),
        },
    Model = "gpt-4o-mini"
};

Response<ChatCompletions> response = chatClient.Complete(requestOptions);
Console.WriteLine(response.Value.Content);

Promptvorlagen

Der Inferenzclient unterstützt das Erstellen von Promptnachrichten aus Vorlagen. Mit Vorlagen können Sie Prompts dynamisch mithilfe von Eingaben generieren, die zur Laufzeit verfügbar sind.

Um Promptvorlagen zu verwenden, müssen Sie das azure-ai-inference-Paket installieren:

pip install azure-ai-inference

Sie können eine Promptvorlage aus einer Inlinezeichenfolge rendern:

from azure.ai.inference.prompts import PromptTemplate

# create a prompt template from an inline string (using mustache syntax)
prompt_template = PromptTemplate.from_string(prompt_template="""
    system:
    You are a helpful writing assistant.
    The user's first name is {{first_name}} and their last name is {{last_name}}.

    user:
    Write me a poem about flowers
    """)

# generate system message from the template, passing in the context as variables
messages = prompt_template.create_messages(first_name="Jane", last_name="Doe")
print(messages)

Dieser Code gibt Nachrichten aus, die Sie dann an einen Chatabschlussaufruf übergeben können:

[
  {'role': 'system', 'content': "You are a helpful writing assistant.\nThe user's first name is Jane and their last name is Doe."}
  {'role': 'user', 'content': 'Write me a poem about flowers'}
]

Sie können Prompts auch aus einer Prompty-Datei laden, wodurch Sie auch den Modellnamen und die Parameter aus der .prompty-Datei laden können:

from azure.ai.inference.prompts import PromptTemplate

prompt_template = PromptTemplate.from_prompty("myprompt.prompty")
messages = prompt_template.create_messages(first_name="Jane", last_name="Doe")

response = chat.complete(
    messages=messages,
    model=prompt_template.model_name,
    **prompt_template.parameters,
)

pip install azure-search-documents

Instanziieren Sie die Suche und/oder den Suchindexclient nach Bedarf:

from azure.core.credentials import AzureKeyCredential
from azure.ai.projects.models import ConnectionType
from azure.search.documents import SearchClient
from azure.search.documents.indexes import SearchIndexClient

# use the project client to get the default search connection
search_connection = project.connections.get_default(
    connection_type=ConnectionType.AZURE_AI_SEARCH,
    with_credentials=True)

# Create a client to create and manage search indexes
index_client = SearchIndexClient(
    endpoint=search_connection.endpoint_url,
    credential=AzureKeyCredential(key=search_connection.key)
)

# Create a client to run search queries
search_client = SearchClient(
    index_name="your_index_name",
    endpoint=search_connection.endpoint_url,
    credential=AzureKeyCredential(key=search_connection.key)
)

dotnet add package Azure.Search.Documents

Hinzufügen mit Anweisungen:

using Azure.Search.Documents;
using Azure.Search.Documents.Models;

Instanziieren Sie die Suche und/oder den Suchindexclient nach Bedarf:

var connections = projectClient.GetConnectionsClient();
var connection = connections.GetDefaultConnection(ConnectionType.AzureAISearch, withCredential: true).Value;

var properties = connection.Properties as ConnectionPropertiesApiKeyAuth;
if (properties == null) {
    throw new Exception("Invalid auth type, expected API key auth");
}

SearchClient searchClient = new SearchClient(
    new Uri(properties.Target),
    "products",
    new AzureKeyCredential(properties.Credentials.Key));

Mithilfe des Projektclients können Sie mühelos eine Verbindung mit dem Azure KI-Auswertungsdienst und Modellen herstellen, die für die Ausführung Ihrer Evaluators erforderlich sind.

pip install azure-ai-evaluation

Mit dem project.scope-Parameter kann ein ViolenceEvaluator instanziiert werden:

from azure.ai.evaluation import ViolenceEvaluator
from azure.identity import DefaultAzureCredential

# Initializing Violence Evaluator with project information
violence_eval = ViolenceEvaluator(
    azure_ai_project=project.scope,
    credential=DefaultAzureCredential())

# Running Violence Evaluator on single input row
violence_score = violence_eval(query="what's the capital of france", response="Paris")
print(violence_score)

HINWEIS: Um Gewalt-Evaluators ausführen zu können, muss sich Ihr Projekt in der Region „USA, Osten 2“, „Schweden, Mitte“, „USA, Norden-Mitte“ oder „Frankreich, Mitte“ befinden.

Weitere Informationen finden Sie unter Auswertung mit dem SDK.

Ein Azure KI-Bewertungspaket ist für C# noch nicht verfügbar. Ein Beispiel zur Verwendung von Prompty und Semantic Kernel zur Bewertung finden Sie im Beispiel contoso-chat-csharp-prompty.

Um die Ablaufverfolgung zu aktivieren, stellen Sie zunächst sicher, dass eine Application Insights-Ressource an Ihr Projekt angefügt wurde. Wechseln Sie zur Seite Ablaufverfolgung Ihres Projekts, und befolgen Sie die Anweisungen zum Erstellen oder Anfügen von Application Insights.

Installieren Sie das Azure Monitor-OpenTelemetry-Paket:

pip install azure-monitor-opentelemetry

Verwenden Sie den folgenden Code, um die Instrumentierung des Azure KI Inference SDK zu aktivieren und sich bei Ihrem KI-Projekt anzumelden:

from azure.monitor.opentelemetry import configure_azure_monitor

# Enable instrumentation of AI packages (inference, agents, openai, langchain)
project.telemetry.enable()

# Log traces to the project's application insights resource
application_insights_connection_string = project.telemetry.get_connection_string()
if application_insights_connection_string:
    configure_azure_monitor(connection_string=application_insights_connection_string)

Die Ablaufverfolgung ist noch nicht in das Projektpaket integriert. Anweisungen zum Instrumentieren und Protokollieren von Ablaufverfolgungen aus dem Azure KI-Rückschließenpaket finden Sie unter azure-sdk-for-dotnet.