Azure OpenAI-Bereitstellungstypen

Azure OpenAI bietet Kunden Auswahlmöglichkeiten bei der Hostingstruktur, die ihren Geschäfts- und Nutzungsmustern entspricht. Der Dienst bietet zwei Haupttypen der Bereitstellung: Standard und Bereitgestellt. Für einen bestimmten Bereitstellungstyp können Kunden ihre Arbeitsauslastungen an ihren Datenverarbeitungsanforderungen anpassen, indem Sie eine Azure-Geografie (Standard oder Provisioned), von Microsoft angegebene Datenzone (DataZone-Standard) oder globale Verarbeitungsoptionen (Global-Standard oder Global Provisioned-Managed) auswählen.

Alle Bereitstellungen können dieselben Rückschlussvorgänge ausführen, Abrechnung, Skalierung und Leistung unterscheiden sich jedoch erheblich. Im Rahmen Ihres Lösungsdesigns müssen Sie zwei wichtige Entscheidungen treffen:

• Standort für die Datenverarbeitung
• Aufrufvolumen

Azure OpenAI Deployment Data Processing Locations

Für Standardbereitstellungen gibt es drei Optionen für Bereitstellungstypen, aus denen Sie wählen können – global, Datenzone und Azure-Geografie. Für bereitgestellte Bereitstellungen gibt es zwei Optionen für Bereitstellungstypen, aus denen Sie wählen können – global und Azure-Geografie. Der globale Standard ist der empfohlene Ausgangspunkt.

Globale Bereitstellungen nutzen die globale Azure-Infrastruktur und leiten den Kundendatenverkehr dynamisch an das Rechenzentrum weiter, das die beste Verfügbarkeit für die Rückschlussanforderungen des Kunden bietet. Dies bedeutet, dass Sie die höchsten Grenzwerte für den anfänglichen Durchsatz und die beste Modellverfügbarkeit mit Global erhalten, während Sie gleichzeitig von unsere Uptime-SLA und niedrigen Latenzzeiten profitieren können. Bei Workloads mit hohem Volumen, die über die angegebenen Nutzungsebenen von Standard und Global Standard hinausgehen, können erhöhte Latenzschwankungen auftreten. Für Kunden, die die geringere Wartezeitvarianz bei einer hohen Workloadnutzung erfordern, empfehlen wir die Nutzung unserer bereitgestellten Bereitstellungstypen.

Unsere globalen Bereitstellungen sind der erste Ort für alle neuen Modelle und Features. Je nach Aufrufvolumen sollten Kunden mit hohen Volumen- und geringen Latenzabweichungsanforderungen unsere bereitgestellten Bereitstellungstypen berücksichtigen.

Datenzonenbereitstellungen nutzen die globale Azure-Infrastruktur und leiten den Kundendatenverkehr dynamisch an das Rechenzentrum weiter, das die beste Verfügbarkeit für die Rückschlussanforderungen des Kunden innerhalb der von Microsoft festgelegten Datenzone bietet. Positioniert zwischen unseren Bereitstellungsangeboten Azure-Geografie und Global bieten Datenzonenbereitstellungen erhöhte Kontingentbeschränkungen, während die Datenverarbeitung innerhalb der angegebenen Datenzone von Microsoft beibehalten wird. Ruhende Daten bleiben weiterhin in der Geografie der Azure OpenAI-Ressource (z. B. für eine Azure OpenAI-Ressource, die in der Region Schweden, Mitte erstellt wurde, ist die Azure-Geografie Schweden).

Wenn sich die Azure OpenAI-Ressource, die in Ihrer Datenzonenbereitstellung verwendet wird, in den USA befindet, werden die Daten innerhalb der USA verarbeitet. Wenn sich die Azure OpenAI-Ressource, die in Ihrer Datenzonenbereitstellung verwendet wird, in einem Mitgliedsstaat der Europäischen Union befindet, werden die Daten innerhalb der Regionen der Europäischen Union verarbeitet. Für alle Azure OpenAI-Dienstbereitstellungstypen bleiben alle ruhenden Daten weiterhin in der Geografie der Azure OpenAI-Ressource. Azure-Datenverarbeitungs- und Complianceverpflichtungen gelten weiterhin.

Für jeden Bereitstellungstyp mit der Bezeichnung „Global“, können Prompts und Antworten in jeder Region, in der das relevante Azure OpenAI-Modell bereitgestellt wird (weitere Informationen zur Regionale Verfügbarkeit von Modellen), verarbeitet werden. Für alle Bereitstellungstypen, die als „DataZone“ bezeichnet werden, können Prompts und Antworten in jeder Geografie innerhalb der angegebenen Datenzone verarbeitet werden, wie von Microsoft definiert. Wenn Sie eine DataZone-Bereitstellung in einer Azure OpenAI-Ressource erstellen, die sich in den USA befindet, werden Prompts und Antworten möglicherweise überall in den USA verarbeitet. Wenn Sie eine DataZone-Bereitstellung in einer Azure OpenAI-Ressource erstellen, die sich in einem Mitgliedsstaat der Europäischen Union befindet, können Prompts und Antworten in diesem oder einem anderen Mitgliedsstaat der Europäischen Union verarbeitet werden. Für die Bereitstellungstypen „Global“ und „DataZone“ werden alle ruhenden Daten, z. B. hochgeladene Daten, in der vom Kunden festgelegten Geografie gespeichert. Nur der Standort der Verarbeitung ist betroffen, wenn ein Kunde eine Bereitstellung vom Typ „Global“ oder „DataZone“ in Azure OpenAI Service verwendet; Azure-Datenverarbeitungs- und Complianceverpflichtungen gelten weiterhin.

Bereitstellungstypen

Azure OpenAI bietet drei Arten von Bereitstellungen. Diese bieten eine Vielzahl von Funktionen, die Abstriche bei Durchsatz, SLAs und Preis bedeuten. Nachfolgend finden Sie eine Zusammenfassung der Optionen, gefolgt von einer genaueren Beschreibung der einzelnen Optionen.

Globaler Standard

Globale Bereitstellungen stehen in denselben Azure OpenAI-Ressourcen zur Verfügung wie nicht globale Bereitstellungstypen, ermöglichen es Ihnen jedoch, die globale Infrastruktur von Azure zu nutzen, um den Datenverkehr dynamisch an das Rechenzentrum mit der besten Verfügbarkeit für jede Anforderung weiterzuleiten. Der globale Standard stellt das höchste Standardkontingent bereit und beseitigt die Notwendigkeit des Lastenausgleichs über mehrere Ressourcen hinweg.

Kunden mit hohem konsistenten Volumen können eine größere Variabilität bei der Wartezeit erleben. Der Schwellenwert wird pro Modell festgelegt. Weitere Informationen finden Sie auf der Seite zu Kontingenten. Für Kunden, die eine geringere Wartezeitvarianz bei einer hohen Workloadnutzung erfordern, empfehlen wir den Kauf des bereitgestellten Durchsatzes.

Global bereitgestellt

Globale Bereitstellungen stehen in denselben Azure OpenAI-Ressourcen zur Verfügung wie nicht globale Bereitstellungstypen, ermöglichen es Ihnen jedoch, die globale Infrastruktur von Azure zu nutzen, um den Datenverkehr dynamisch an das Rechenzentrum mit der besten Verfügbarkeit für jede Anforderung weiterzuleiten. Globale bereitgestellte Bereitstellungen bieten reservierte Modellverarbeitungskapazität für hohen und vorhersehbaren Durchsatz mithilfe der globalen Azure-Infrastruktur.

Global-Batch

Global-Batch ist darauf ausgelegt, umfangreiche Verarbeitungsaufgaben mit hohem Volumen effizient zu verarbeiten. Verarbeiten Sie asynchrone Anforderungsgruppen mit separatem Kontingent mit einer angestrebten Verarbeitungszeit von 24 Stunden zu 50 % weniger Kosten als bei „Global-Standard“. Bei der Stapelverarbeitung senden Sie die einzelnen Anforderungen nicht nacheinander, sondern Sie senden eine große Anzahl von Anforderungen in einer einzelnen Datei. Globale Batchanforderungen verfügen über ein separates Tokenkontingent, das in die Warteschlange eingereiht wird, um Unterbrechungen Ihrer Onlineworkloads zu vermeiden.

Wichtige Anwendungsfälle:

• Umfangreiche Datenverarbeitung: Analysieren Sie schnell umfangreiche Datasets parallel.

• Inhaltsgenerierung: Erstellen Sie große Textmengen, z. B. Produktbeschreibungen oder Artikel.

• Dokumentüberprüfung und Zusammenfassung: Automatisieren Sie die Überprüfung und Zusammenfassung von umfangreichen Dokumenten.

• Automatisierung des Kundendiensts: Verarbeiten Sie zahlreiche Anfragen gleichzeitig für schnellere Antworten.

• Datenextraktion und -analyse: Extrahieren und analysieren Sie Informationen aus großen Mengen unstrukturierter Daten.

• NLP-Aufgaben (Natural Language Processing, Verarbeitung natürlicher Sprache): Führen Sie Aufgaben wie Stimmungsanalyse oder Übersetzung für große Datasets aus.

• Marketing und Personalisierung: Generieren Sie personalisierte Inhalte und Empfehlungen im großen Stil.

Datenzonenstandard

Standardbereitstellungen für Datenzonen sind in derselben Azure OpenAI-Ressource wie alle anderen Azure OpenAI-Bereitstellungstypen verfügbar, ermöglichen es Ihnen jedoch, die globale Azure-Infrastruktur zu nutzen, um den Datenverkehr dynamisch an das Rechenzentrum innerhalb der von Microsoft definierten Datenzone mit der besten Verfügbarkeit für jede Anforderung weiterzuleiten. Der Datenzonenstandard bietet höhere Standardkontingente als unsere geografiebasierten Azure-Bereitstellungstypen.

Kunden mit hohem konsistenten Volumen können eine größere Variabilität bei der Wartezeit erleben. Der Schwellenwert wird pro Modell festgelegt. Weitere Informationen finden Sie auf der Seite zu Kontingenten und Beschränkungen. Für Workloads, die eine geringe Latenzabweichung bei großem Volumen erfordern, empfehlen wir die Nutzung der bereitgestellten Bereitstellungsangebote.

Standard

Standardbereitstellungen bieten ein Abrechnungsmodell für die Bezahlung pro Aufruf für das ausgewählte Modell. Bietet die schnellste Möglichkeit loszulegen, da Sie nur für das bezahlen, was Sie verbrauchen. Modelle, die in den einzelnen Regionen verfügbar sind, sowie der Durchsatz können beschränkt sein.

Standardbereitstellungen sind für Workloads mit geringem bis mittlerem Volumen mit hoher Burstartigkeit optimiert. Kunden mit hohem konsistenten Volumen können eine größere Variabilität bei der Wartezeit erleben.

Bereitgestellt

Mit bereitgestellten Bereitstellungen können Sie den in einer Bereitstellung erforderlichen Durchsatz angeben. Der Dienst weist daraufhin die erforderliche Modellverarbeitungskapazität zu und stellt sicher, dass diese für Sie bereit ist. Der Durchsatz wird als bereitgestellte Durchsatzeinheiten (Provisioned Throughput Units, PTUs) definiert. Dabei handelt es sich um eine normalisierte Methode zur Darstellung des Durchsatzes für Ihre Bereitstellung. Jedes Modellversionspaar benötigt unterschiedliche PTU-Mengen, um unterschiedliche Durchsatzmengen pro PTU bereitzustellen. Weitere Informationen finden Sie in unserem Artikel zu Konzepten für bereitgestellten Durchsatz.

Deaktivieren des Zugriffs auf globale Bereitstellungen in Ihrem Abonnement

Azure Policy hilft bei der Durchsetzung von Organisationsstandards und bei der Bewertung der Compliance nach Bedarf. Über sein Compliance-Dashboard bietet der Dienst eine aggregierte Ansicht zur Bewertung des Gesamtzustands der Umgebung mit der Möglichkeit, einen Drilldown zur Granularität pro Ressource und Richtlinie durchzuführen. Außerdem trägt er durch Massenwartung für vorhandene Ressourcen und automatische Wartung dazu bei, dass Ihre Ressourcen Compliance-Anforderungen erfüllen. Erfahren Sie mehr über Azure Policy und bestimmte integrierte Steuerelemente für KI-Dienste.

Sie können die folgende Richtlinie verwenden, um den Zugriff auf globale Azure OpenAI-Standardbereitstellungen zu deaktivieren. Ersetzen Sie zum Deaktivieren des Zugriffs auf global bereitgestellte Bereitstellungen von Azure oder globalen Batchbereitstellungen GlobalStandard durch GlobalProvisionedManaged oder GlobalBatch für den gewünschten SKU-Namen.

{
    "mode": "All",
    "policyRule": {
        "if": {
            "allOf": [
                {
                    "field": "type",
                    "equals": "Microsoft.CognitiveServices/accounts/deployments"
                },
                {
                    "field": "Microsoft.CognitiveServices/accounts/deployments/sku.name",
                    "equals": "GlobalStandard"
                }
            ]
        }
    }
}

Bereitstellen von Modellen

Informationen zum Erstellen von Ressourcen und Bereitstellen von Modellen finden Sie in der Anleitung zum Erstellen von Ressourcen.

Weitere Informationen

• Kontingente und Grenzwerte
• Bereitgestellte Durchsatzeinheiten (PTU) – Onboarding
• Bereitgestellte Durchsatzeinheiten (PTU) – Erste Schritte