Usar uma lista de bloqueio com o Azure OpenAI

Você pode criar listas de bloqueio com a API do Azure OpenAI. Os passos seguintes ajudam-no a começar.

Obtenha o seu token

Primeiro, você precisa obter um token para acessar as APIs para criar, editar e excluir listas de bloqueio. Você pode obter esse token usando o seguinte comando da CLI do Azure:

az account get-access-token 

Criar ou modificar uma lista de bloqueio

Copie o comando cURL abaixo para um editor de texto e faça as seguintes alterações:

1. Substitua {subscriptionId} pelo seu ID de assinatura.
2. Substitua {resourceGroupName} pelo nome do grupo de recursos.
3. Substitua {accountName} pelo nome do recurso.
4. Substitua {raiBlocklistName} (no URL) por um nome personalizado para sua lista. Caracteres permitidos: 0-9, A-Z, a-z, - . _ ~.
5. Substitua {token} pelo token obtido na etapa "Obter seu token" acima.
6. Opcionalmente, substitua o valor do campo "descrição" por uma descrição personalizada.

curl --location --request PUT 'https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.CognitiveServices/accounts/{accountName}/raiBlocklists/{raiBlocklistName}?api-version=2024-04-01-preview' \ 
--header 'Authorization: Bearer {token}' \ 
--header 'Content-Type: application/json' \ 
--data-raw '{ 
    "properties": { 
        "description": "This is a prompt blocklist"  
    } 
}' 

O código de resposta deve ser 201 (criada uma nova lista) ou 200 (atualizada uma lista existente).

Aplicar uma lista de bloqueio a um filtro de conteúdo

Se ainda não criou um filtro de conteúdo, pode fazê-lo no Azure AI Foundry. Consulte Filtragem de conteúdo.

Para aplicar uma lista de bloqueio de conclusão a um filtro de conteúdo, use o seguinte comando cURL:

1. Substitua {subscriptionId} pelo seu subID.
2. Substitua {resourceGroupName} pelo nome do grupo de recursos.
3. Substitua {accountName} pelo nome do recurso.
4. Substitua {raiPolicyName} pelo nome do seu Filtro de Conteúdo
5. Substitua {token} pelo token obtido na etapa "Obter seu token" acima.
6. Opcionalmente, altere o "completionBlocklists" título para "promptBlocklists" se quiser que a lista de bloqueio se aplique a prompts do usuário em vez de conclusão de modelo de IA.
7. Substitua "raiBlocklistName" no corpo por um nome personalizado para sua lista. Caracteres permitidos: 0-9, A-Z, a-z, - . _ ~.

curl --location --request PUT 'https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.CognitiveServices/accounts/{accountName}/raiPolicies/{raiPolicyName}?api-version=2024-04-01-preview' \ 
--header 'Authorization: Bearer {token}' \ 
--header 'Content-Type: application/json' \ 
--data-raw '{ 
    "properties": { 
        "basePolicyName": "Microsoft.Default", 
        "completionBlocklists": [{ 
            "blocklistName": "raiBlocklistName", 
            "blocking": true 
        }], 
        "contentFilters": [ ] 
    } 
}' 

Adicionar blockItems à lista

Copie o comando cURL abaixo para um editor de texto e faça as seguintes alterações:

1. Substitua {subscriptionId} pelo seu subID.
2. Substitua {resourceGroupName} pelo nome do grupo de recursos.
3. Substitua {accountName} pelo nome do recurso.
4. Substitua {raiBlocklistName} (no URL) por um nome personalizado para sua lista. Caracteres permitidos: 0-9, A-Z, a-z, - . _ ~.
5. Substitua {raiBlocklistItemName} por um nome personalizado para o item da lista.
6. Substitua {token} pelo token obtido na etapa "Obter seu token" acima.
7. Substitua o "blocking pattern" valor do campo pelo item que você deseja adicionar à sua lista de bloqueio. O comprimento máximo de um blockItem é de 1000 caracteres. Especifique também se o padrão é regex ou correspondência exata.

curl --location --request PUT 'https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.CognitiveServices/accounts/{accountName}/raiBlocklists/{raiBlocklistName}/raiBlocklistItems/{raiBlocklistItemName}?api-version=2024-04-01-preview' \ 
--header 'Authorization: Bearer {token}' \ 
--header 'Content-Type: application/json' \ 
--data-raw '{  
    "properties": {  
        "pattern": "blocking pattern",  
        "isRegex": false  
    }  
}' 

O código de resposta deve ser 200.

{ 
  "name": "raiBlocklistItemName", 
  "id": "/subscriptions/subscriptionId/resourceGroups/resourceGroupName/providers/Microsoft.CognitiveServices/accounts/accountName/raiBlocklists/raiBlocklistName/raiBlocklistItems/raiBlocklistItemName", 
  "properties": { 
    "pattern": "blocking pattern", 
    "isRegex": false 
  } 
} 

Analisar texto com uma lista de bloqueio

Agora você pode testar sua implantação que tem a lista de bloqueio. Para obter instruções sobre como chamar os pontos de extremidade do Azure OpenAI, visite o Guia de início rápido.

No exemplo abaixo, uma implantação GPT-35-Turbo com uma lista de bloqueio está bloqueando o prompt. A resposta retorna um 400 erro.

{ 
    "error": { 
        "message": "The response was filtered due to the prompt triggering Azure OpenAI’s content management policy. Please modify your prompt and retry. To learn more about our content filtering policies please read our documentation: https://go.microsoft.com/fwlink/?linkid=2198766", 
        "type": null, 
        "param": "prompt", 
        "code": "content_filter", 
        "status": 400, 
        "innererror": { 
            "code": "ResponsibleAIPolicyViolation", 
            "content_filter_result": { 
                "custom_blocklists": [ 
                    { 
                        "filtered": true, 
                        "id": "raiBlocklistName" 
                    } 
                ], 
                "hate": { 
                    "filtered": false, 
                    "severity": "safe" 
                }, 
                "self_harm": { 
                    "filtered": false, 
                    "severity": "safe" 
                }, 
                "sexual": { 
                    "filtered": false, 
                    "severity": "safe" 
                }, 
                "violence": { 
                    "filtered": false, 
                    "severity": "safe" 
                } 
            } 
        } 
    } 
} 

Se a conclusão em si for bloqueada, a resposta retornará 200, pois a conclusão só será interrompida quando o conteúdo da lista de bloqueio for correspondido. As anotações mostram que uma lista de bloqueio foi correspondida.

{ 
    "id": "chatcmpl-85NkyY0AkeBMunOjyxivQSiTaxGAl", 
    "object": "chat.completion", 
    "created": 1696293652, 
    "model": "gpt-35-turbo", 
    "prompt_filter_results": [ 
        { 
            "prompt_index": 0, 
            "content_filter_results": { 
                "hate": { 
                    "filtered": false, 
                    "severity": "safe" 
                }, 
                "self_harm": { 
                    "filtered": false, 
                    "severity": "safe" 
                }, 
                "sexual": { 
                    "filtered": false, 
                    "severity": "safe" 
                }, 
                "violence": { 
                    "filtered": false, 
                    "severity": "safe" 
                } 
            } 
        } 
    ], 
    "choices": [ 
        { 
            "index": 0, 
            "finish_reason": "content_filter", 
            "message": { 
                "role": "assistant" 
            }, 
            "content_filter_results": { 
                "custom_blocklists": [ 
                    { 
                        "filtered": true, 
                        "id": "myBlocklistName" 
                    } 
                ], 
                "hate": { 
                    "filtered": false, 
                    "severity": "safe" 
                }, 
                "self_harm": { 
                    "filtered": false, 
                    "severity": "safe" 
                }, 
                "sexual": { 
                    "filtered": false, 
                    "severity": "safe" 
                }, 
                "violence": { 
                    "filtered": false, 
                    "severity": "safe" 
                } 
            } 
        } 
    ], 
    "usage": { 
        "completion_tokens": 75, 
        "prompt_tokens": 27, 
        "total_tokens": 102 
    } 
} 

Criar uma lista de bloqueio

1. Vá para Azure AI Foundry e navegue até seu projeto/hub. Em seguida, selecione a página Safety+ Security no painel de navegação esquerdo e selecione a guia Listas de bloqueio.
2. Selecione Criar uma lista de bloqueio. Insira um nome para sua lista de bloqueios, adicione uma descrição e selecione um recurso do Azure OpenAI ao qual conectá-lo. Em seguida, selecione Criar lista de bloqueio.
3. Selecione sua nova lista de bloqueio depois de criada. Na página da lista de bloqueios, selecione Adicionar novo termo.
4. Insira o termo que deve ser filtrado e selecione Adicionar termo. Você também pode usar um regex. Pode eliminar cada termo da sua lista de bloqueios.

Anexar uma lista de bloqueio a uma configuração de filtro de conteúdo

1. Quando a lista de bloqueio estiver pronta, volte para a página Safety+ Security e selecione a guia Filtros de conteúdo. Crie uma nova configuração de filtro de conteúdo. Isso abre um assistente com vários componentes de segurança de conteúdo de IA.
2. Nas telas Filtro de entrada e Filtro de saída, ative o botão Lista de bloqueios. Em seguida, você pode selecionar uma lista de bloqueio na lista. Há dois tipos de listas de bloqueio: as listas de bloqueio personalizadas que você criou e as listas de bloqueio pré-criadas que a Microsoft fornece, neste caso, uma lista de bloqueio de palavrões (em inglês).
3. Agora você pode decidir qual das listas de bloqueio disponíveis deseja incluir em sua configuração de filtragem de conteúdo. A última etapa é revisar e concluir a configuração de filtragem de conteúdo selecionando Avançar. Você sempre pode voltar e editar sua configuração. Quando estiver pronto, selecione Criar filtro de conteúdo. A nova configuração que inclui suas listas de bloqueio agora pode ser aplicada a uma implantação.