Azure OpenAI-distributionstyper

Azure OpenAI ger kunderna val av värdstruktur som passar deras affärs- och användningsmönster. Tjänsten erbjuder två huvudsakliga typer av distributioner: standard och etablerad. För en viss distributionstyp kan kunderna anpassa sina arbetsbelastningar efter sina databehandlingskrav genom att välja ett Azure-geografiskt område (Standard eller Provisioned), Microsofts angivna datazon (DataZone-Standard) eller Globala (Global-Standard eller Global Provisioned-Managed) bearbetningsalternativ.

Alla distributioner kan utföra exakt samma slutsatsdragningsåtgärder, men fakturering, skala och prestanda skiljer sig avsevärt. Som en del av din lösningsdesign måste du fatta två viktiga beslut:

• Plats för databearbetning
• Samtalsvolym

Databearbetningsplatser för Azure OpenAI-distribution

För standarddistributioner finns det tre alternativ för distributionstyp att välja mellan – global, datazon och Azure-geografi. För etablerade distributioner finns det två alternativ för distributionstyp att välja mellan – global och Azure-geografi. Global standard är den rekommenderade startpunkten.

Globala distributioner utnyttjar Azures globala infrastruktur för att dynamiskt dirigera kundtrafik till datacentret med bästa tillgänglighet för kundens slutsatsdragningsbegäranden. Det innebär att du får högsta inledande dataflödesgränser och bästa modelltillgänglighet med Global samtidigt som du tillhandahåller vårt serviceavtal för drifttid och låg svarstid. För arbetsbelastningar med höga volymer över de angivna användningsnivåerna på standard- och global standard kan du uppleva ökad svarstidsvariation. För kunder som kräver lägre svarstidsavvikelse vid stor arbetsbelastningsanvändning rekommenderar vi att du använder våra etablerade distributionstyper.

Våra globala distributioner blir den första platsen för alla nya modeller och funktioner. Beroende på samtalsvolym bör kunder med stora volymer och krav på varians med låg svarstid överväga våra etablerade distributionstyper.

Distributioner av datazoner utnyttjar Azures globala infrastruktur för att dynamiskt dirigera kundtrafik till datacentret med bästa tillgänglighet för kundens slutsatsdragningsbegäranden i den datazon som definierats av Microsoft. Datazondistributioner är placerade mellan våra erbjudanden för azure-geografi och global distribution och ger förhöjda kvotgränser samtidigt som databehandlingen hålls inom Den Microsoft-angivna datazonen. Vilande data fortsätter att finnas kvar i Azure OpenAI-resursens geografiska område (till exempel för en Azure OpenAI-resurs som skapats i Sverige, centrala Azure-regionen är Azure-geografin Sverige).

Om Azure OpenAI-resursen som används i distributionen av datazonen finns i USA bearbetas data inom USA. Om Azure OpenAI-resursen som används i din distribution av datazonen finns i en Eu-medlemsnation bearbetas data inom eu-ländernas geografiska områden. För alla distributionstyper för Azure OpenAI-tjänsten fortsätter alla data som lagras i vila att finnas kvar i Azure OpenAI-resursens geografiska område. Åtaganden för databearbetning och efterlevnad i Azure är fortfarande tillämpliga.

För alla distributionstyper som är märkta "Global" kan frågor och svar bearbetas i alla geografiska områden där relevant Azure OpenAI-modell distribueras (läs mer om regionstillgänglighet för modeller). För alla distributionstyper som är märkta med "DataZone" kan frågor och svar bearbetas i alla geografiska områden inom den angivna datazonen, enligt microsofts definition. Om du skapar en DataZone-distribution i en Azure OpenAI-resurs i USA kan frågor och svar bearbetas var som helst inom USA. Om du skapar en DataZone-distribution i en Azure OpenAI-resurs som finns i en Eu-medlemsnation kan uppmaningar och svar bearbetas i den eller någon annan medlem i Europeiska unionen. För både globala distributionstyper och DataZone-distributionstyper lagras alla vilande data, till exempel uppladdade data, i det kundspecifika geografiska området. Endast bearbetningsplatsen påverkas när en kund använder en global distributionstyp eller datazondistributionstyp i Azure OpenAI Service. Åtaganden för databearbetning och efterlevnad i Azure är fortfarande tillämpliga.

Distributionstyper

Azure OpenAI erbjuder tre typer av distributioner. Dessa ger en varierad nivå av funktioner som ger kompromisser om: dataflöde, serviceavtal och pris. Nedan visas en sammanfattning av alternativen följt av en djupare beskrivning av var och en.

Global standard

Globala distributioner är tillgängliga i samma Azure OpenAI-resurser som icke-globala distributionstyper, men gör att du kan utnyttja Azures globala infrastruktur för att dynamiskt dirigera trafik till datacentret med bästa tillgänglighet för varje begäran. Global standard ger den högsta standardkvoten och eliminerar behovet av belastningsutjämning för flera resurser.

Kunder med hög konsekvent volym kan uppleva större svarstidsvariationer. Tröskelvärdet anges per modell. Mer information finns på sidan med kvoter. För program som kräver lägre svarstidsavvikelse vid stor arbetsbelastningsanvändning rekommenderar vi att du köper etablerat dataflöde.

Global etablerad

Globala distributioner är tillgängliga i samma Azure OpenAI-resurser som icke-globala distributionstyper, men gör att du kan utnyttja Azures globala infrastruktur för att dynamiskt dirigera trafik till datacentret med bästa tillgänglighet för varje begäran. Globala etablerade distributioner ger reserverad modellbearbetningskapacitet för högt och förutsägbart dataflöde med azures globala infrastruktur.

Global batch

Den globala batchen är utformad för att effektivt hantera storskaliga och stora bearbetningsuppgifter. Bearbeta asynkrona grupper av begäranden med separat kvot, med 24-timmars målomställning, till 50 % lägre kostnad än global standard. Med batchbearbetning skickar du ett stort antal begäranden i en enda fil i stället för att skicka en begäran i taget. Globala batchbegäranden har en separat kvot för kodad token som undviker avbrott i dina onlinearbetsbelastningar.

De främsta användningsfallen är:

• Storskalig databearbetning: Analysera snabbt omfattande datamängder parallellt.

• Innehållsgenerering: Skapa stora mängder text, till exempel produktbeskrivningar eller artiklar.

• Dokumentgranskning och sammanfattning: Automatisera granskning och sammanfattning av långa dokument.

• Kundsupportautomatisering: Hantera flera frågor samtidigt för snabbare svar.

• Dataextrahering och analys: Extrahera och analysera information från stora mängder ostrukturerade data.

• NLP-uppgifter (Natural Language Processing): Utför uppgifter som attitydanalys eller översättning på stora datamängder.

• Marknadsföring och anpassning: Generera anpassat innehåll och rekommendationer i stor skala.

Standard för datazon

Standarddistributioner av datazoner är tillgängliga i samma Azure OpenAI-resurs som alla andra Azure OpenAI-distributionstyper, men gör att du kan använda global Azure-infrastruktur för att dynamiskt dirigera trafik till datacentret i Den Microsoft-definierade datazonen med bästa tillgänglighet för varje begäran. Datazonstandarden ger högre standardkvoter än våra azure-geografibaserade distributionstyper.

Kunder med hög konsekvent volym kan uppleva större svarstidsvariationer. Tröskelvärdet anges per modell. Mer information finns på sidan Kvoter och gränser . För arbetsbelastningar som kräver varians med låg svarstid på stora volymer rekommenderar vi att du använder de etablerade distributionserbjudandena.

Standard

Standarddistributioner tillhandahåller en faktureringsmodell för betalning per anrop för den valda modellen. Ger det snabbaste sättet att komma igång eftersom du bara betalar för det du förbrukar. Modeller som är tillgängliga i varje region samt dataflöde kan vara begränsade.

Standarddistributioner är optimerade för arbetsbelastningar med låg till medelhög volym med hög burstiness. Kunder med hög konsekvent volym kan uppleva större svarstidsvariationer.

Etablerad

Med etablerade distributioner kan du ange hur mycket dataflöde du behöver i en distribution. Tjänsten allokerar sedan den nödvändiga modellbearbetningskapaciteten och ser till att den är redo för dig. Dataflödet definieras i termer av etablerade dataflödesenheter (PTU) som är ett normaliserat sätt att representera dataflödet för distributionen. Varje modellversionspar kräver olika mängder PTU för att distribuera och tillhandahålla olika mängder dataflöde per PTU. Läs mer i vår artikel om etablerade dataflödesbegrepp.

Så här inaktiverar du åtkomst till globala distributioner i din prenumeration

Azure Policy hjälper till att framtvinga organisationsstandarder och utvärdera efterlevnad i stor skala. Via dess instrumentpanel för efterlevnad finns en sammanställd vy för att utvärdera miljöns övergripande tillstånd, och du kan öka detaljnivån till per resurs och per princip. Du får också hjälp att säkerställa att resurserna efterlever kraven via massåtgärder för befintliga resurser och automatisk reparation för nya resurser. Läs mer om Azure Policy och specifika inbyggda kontroller för AI-tjänster.

Du kan använda följande princip för att inaktivera åtkomsten till globala standarddistributioner i Azure OpenAI. Om du vill inaktivera åtkomst till globala distributioner av azure-etablerade eller globala batchar ersätter GlobalStandard du med GlobalProvisionedManaged eller GlobalBatch för det avsedda SKU-namnet.

{
    "mode": "All",
    "policyRule": {
        "if": {
            "allOf": [
                {
                    "field": "type",
                    "equals": "Microsoft.CognitiveServices/accounts/deployments"
                },
                {
                    "field": "Microsoft.CognitiveServices/accounts/deployments/sku.name",
                    "equals": "GlobalStandard"
                }
            ]
        }
    }
}

Distribuera modeller

Mer information om hur du skapar resurser och distribuerar modeller finns i guiden för att skapa resurser.

Se även

• Kvoter och gränser
• Onboarding för etablerade dataflödesenheter (PTU)
• Etablerade dataflödesenheter (PTU) kommer igång