Missbruksövervakning

Azure OpenAI Service identifierar och minimerar instanser av återkommande innehåll och/eller beteenden som tyder på användning av tjänsten på ett sätt som kan strida mot uppförandekoden eller andra tillämpliga produktvillkor. Information om hur data hanteras finns på sidan Data, Sekretess och Säkerhet .

Komponenter i övervakning av missbruk

Det finns flera komponenter för övervakning av missbruk:

• Innehållsklassificering: Klassificerarmodeller identifierar skadlig text och/eller bilder i användarprompter (indata) och slutföranden (utdata). Systemet söker efter skadekategorier enligt definitionen i innehållskraven och tilldelar allvarlighetsgraderna enligt beskrivningen i detalj på sidan Innehållsfiltrering . Innehållsklassificeringssignalerna bidrar till mönsteridentifiering enligt beskrivningen nedan.
• Insamling av missbruksmönster: Azure OpenAI-tjänstens övervakningssystem för missbruk tittar på kundanvändningsmönster och använder algoritmer och heuristik för att identifiera och bedöma indikatorer för potentiellt missbruk. Identifierade mönster beaktar till exempel den frekvens och allvarlighetsgrad där skadligt innehåll identifieras (vilket anges i innehållsklassificerarens signaler) i en kunds uppmaningar och slutföranden, samt beteendets avsiktlighet. Trender och hur brådskande det identifierade mönstret är kommer också att påverka bedömningen av potentiell allvarlighetsgrad för missbruk. Till exempel är en högre mängd skadligt innehåll klassificerat som högre allvarlighetsgrad eller återkommande beteende som indikerar avsiktlighet (till exempel återkommande jailbreak-försök) båda mer benägna att få en hög poäng som indikerar potentiellt missbruk.
• Granskning och beslut: Frågor och slutföranden som flaggas genom innehållsklassificering och/eller identifieras som en del av ett potentiellt missbrukande användningsmönster utsätts för en annan granskningsprocess för att bekräfta systemets analys och informera om beslut om åtgärder. En sådan granskning utförs med två metoder: mänsklig granskning och AI-granskning.
  • Om uppmaningar och slutföranden som standard flaggas genom innehållsklassificering som skadliga och/eller identifieras som en del av ett potentiellt missbrukande användningsmönster, kan de samplas för automatisk granskning med ögonavsikt med hjälp av en LLM i stället för en mänsklig granskare. Den LLM som används för detta ändamål bearbetar uppmaningar och slutföranden endast för att bekräfta systemets analys och informera om åtgärdsbeslut. frågor och slutföranden som genomgår en sådan LLM-granskning lagras inte av systemet eller används för att träna LLM eller andra system.
  • I vissa fall, när automatiserad granskning inte uppfyller tillämpliga tröskelvärden för förtroende i komplexa sammanhang eller om LLM-granskningssystem inte är tillgängliga, kan granskning med mänskliga ögon införas för att göra en extra bedömning. Detta kan bidra till att förbättra den övergripande noggrannheten i missbruksanalysen. Auktoriserade Microsoft-anställda kan utvärdera flaggat innehåll och antingen bekräfta eller korrigera klassificeringen eller bestämningen baserat på fördefinierade riktlinjer och principer. Frågor och slutföranden kan endast nås för mänsklig granskning av auktoriserade Microsoft-anställda via SAW (Secure Access Workstations) med JIT-begärandegodkännande (Just-In-Time) som beviljats av teamchefer. För Azure OpenAI Service-resurser som distribueras i Europeiska ekonomiska samarbetsområdet finns de auktoriserade Microsoft-anställda i Europeiska ekonomiska samarbetsområdet. Den här processen för mänsklig granskning sker inte om kunden har godkänts för modifierad övervakning av missbruk.
• Meddelande och åtgärd: När ett tröskelvärde för missbruk har bekräftats baserat på föregående steg informeras kunden om beslutet via e-post. Förutom vid allvarliga eller återkommande missbruk ges kunderna vanligtvis möjlighet att förklara eller åtgärda – och implementera mekanismer för att förhindra upprepning av – missbruket. Om beteendet – eller återkommande eller allvarligt missbruk – misslyckas kan det leda till att kundens åtkomst till Azure OpenAI-resurser och/eller funktioner avbryts eller avbryts.

Ändrad övervakning av missbruk

Vissa kunder kanske vill använda Azure OpenAI-tjänsten för ett användningsfall som omfattar bearbetning av mycket känsliga eller strikt konfidentiella data, eller på annat sätt kan dra slutsatsen att de inte vill ha eller inte har rätt att tillåta Microsoft att lagra och utföra mänsklig granskning på sina uppmaningar och slutföranden för identifiering av missbruk. För att lösa dessa problem tillåter Microsoft kunder som uppfyller ytterligare kriterier för begränsad åtkomst att tillämpa för att ändra övervakning av missbruk genom att fylla i det här formuläret. Läs mer om hur du ansöker om övervakning av ändrade missbruk i Begränsad åtkomst till Azure OpenAI Service och om effekten av modifierad övervakning av missbruk på databehandling i Data, sekretess och säkerhet för Azure OpenAI Service.

Nästa steg

• Läs mer om de underliggande modeller som driver Azure OpenAI.
• Läs mer om att förstå och minimera risker som är kopplade till ditt program: Översikt över ansvarsfulla AI-metoder för Azure OpenAI-modeller.
• Läs mer om hur data bearbetas i samband med innehållsfiltrering och övervakning av missbruk: Data, sekretess och säkerhet för Azure OpenAI Service.