Compartilhar via

Usar o monitoramento de Riscos e Segurança na Fábrica de IA do Azure (versão prévia)

  • Artigo

Ao usar uma implantação do modelo da OpenAI do Azure com um filtro de conteúdo, talvez você queira verificar os resultados da atividade de filtragem. Você pode usar essas informações para ajustar ainda mais sua configuração de filtro de modo a satisfazer suas necessidades comerciais específicas e os princípios de IA Responsável.

A Fábrica de IA do Azure fornece um painel de controle para o monitoramento de Riscos e Segurança de cada uma das suas implantações que utilize uma configuração de filtro de conteúdo.

Acessar o monitoramento de riscos e segurança

Para acessar o monitoramento de riscos e segurança, você precisa de um recurso do OpenAI do Azure em uma das regiões do Azure com suporte: Leste dos EUA, Norte da Suíça, França Central, Suécia Central, Leste do Canadá. Você também precisa de uma implantação de modelo que use uma configuração de filtro de conteúdo.

Navegue até a Fábrica de IA do Azure e entre com as credenciais associadas ao seu recurso da OpenAI do Azure. Selecione um projeto. Selecione a guia Modelos + pontos de extremidade do lado esquerdo e clique na sua implantação de modelo incluída na lista. Na página da implantação, selecione a guia Métricas na parte superior. Em seguida, selecione Abrir no Azure Monitor para visualizar o relatório completo no portal do Azure.

Configurar métricas

Descrição do relatório

Os dados de filtragem de conteúdo são mostrados das seguintes maneiras:

  • Contagem total de solicitações bloqueadas e taxa de bloqueio: esta é uma exibição global da quantidade e da taxa de conteúdos filtrados ao longo do tempo. Ela ajuda você a entender as tendências de solicitações prejudiciais dos usuários e exibe qualquer atividade inesperada.
  • Solicitações bloqueadas por categoria: esta exibição mostra a quantidade de conteúdos bloqueados em cada categoria. Essa é uma estatística total de solicitações prejudiciais em todo o intervalo de tempo selecionado. No momento, ela dá suporte às categorias de danos ódio, sexual, automutilação e violência.
  • Taxa de bloqueio ao longo do tempo por categoria: esta exibição mostra a taxa de bloqueio para cada categoria ao longo do tempo. No momento, ela dá suporte às categorias de danos ódio, sexual, automutilação e violência.
  • Distribuição de severidade por categoria: esta exibição mostra os níveis de severidade detectados para cada categoria de dano em todo o intervalo de tempo selecionado. Ela não se limita a conteúdos bloqueados, mas inclui todos os conteúdos sinalizados pelos filtros de conteúdo.
  • Distribuição da taxa de severidade ao longo do tempo por categoria: esta exibição mostra as taxas de níveis de severidade detectados ao longo do tempo para cada categoria de dano. Selecione as guias para alternar entre as categorias com suporte.

Ajuste a configuração do filtro de conteúdo para se alinhar ainda mais às suas necessidades comerciais e aos princípios da IA responsável.

Detecção de usuário potencialmente abusivo

O painel Detecção de usuário potencialmente abusivo utiliza relatórios de abuso no nível do usuário para mostrar informações sobre usuários que têm um comportamento que resultou no bloqueio de um conteúdo. O objetivo é fornecer uma exibição das fontes de conteúdo prejudicial para que seja possível executar ações responsivas a fim de garantir que o modelo seja usado de maneira responsável.

Para usar a detecção de usuário potencialmente abusivo, você precisa:

  • Uma configuração de filtro de conteúdo aplicada à sua implantação.
  • Você deve estar enviando informações de ID de usuário em suas solicitações de Conclusão de Chat (consulte o parâmetro usuário da API de Conclusões, por exemplo).

    Cuidado

    Use cadeias de caracteres GUID para identificar usuários individuais. Não inclua informações pessoais confidenciais no campo "usuário".

  • Um banco de dados do Azure Data Explorer configurado para armazenar os resultados da análise do usuário (instruções abaixo).

Configure sua conexão do Azure Data Explorer

Para proteger a privacidade de dados das informações do usuário e gerenciar a permissão dos dados, damos suporte à opção para que nossos clientes tragam seu próprio armazenamento para obter os insights detalhados de detecção de usuário potencialmente abusivo (incluindo GUID do usuário e estatísticas sobre solicitações prejudiciais por categoria) armazenados de forma compatível e com controle total. Siga estas etapas para habilitar o SSO:

  1. Na Fábrica de IA do Azure, navegue até a implantação de modelo com a qual você gostaria de configurar a análise de abusos de usuários e selecione Adicionar um armazenamento de dados.
  2. Preencha as informações necessárias e selecione Salvar. Recomendamos que você crie um novo banco de dados para armazenar os resultados da análise.
  3. Depois de conectar o armazenamento de dados, execute as seguintes etapas para conceder permissão para gravar resultados de análise no banco de dados conectado:
    1. Vá para a página do recurso da OpenAI do Azure no portal do Azure e escolha a guia Identidade.
    2. Ative o status para Ativado para a identidade atribuída pelo sistema e copie a ID gerada.
    3. Vá para o recurso do Azure Data Explorer no portal do Azure, escolha bancos de dados e escolha o banco de dados específico criado para armazenar os resultados da análise do usuário.
    4. Selecione permissõese adicione uma função de administrador ao banco de dados.
    5. Cole a identidade da OpenAI do Azure gerada na etapa anterior e selecione a pesquisada. Agora, a identidade do recurso da OpenAI do Azure está autorizada a ler/gravar na conta de armazenamento.
  4. Conceda acesso ao banco de dados do Azure Data Explorer conectado aos usuários que precisam exibir os resultados da análise:
    1. Acesse o recurso do Azure Data Explorer que você conectou, escolha controle de acesso e adicione uma função de leitor do cluster do Azure Data Explorer para os usuários que precisam acessar os resultados.
    2. Escolha bancos de dados e escolha o banco de dados específico conectado aos resultados da análise de abuso no nível do usuário. Escolha permissões e adicione a função de leitor do banco de dados para os usuários que precisam acessar os resultados.

Descrição do relatório

A detecção de usuário potencialmente abusivo se baseia nas informações do usuário enviadas pelos clientes em chamadas à API do OpenAI do Azure, além de no conteúdo da solicitação. Os seguintes insights são mostrados:

  • Contagem total de usuários potencialmente abusivos: esta exibição mostra o número de usuários potencialmente abusivos detectados ao longo do tempo. Estes são usuários para os quais um padrão de abuso foi detectado e que podem introduzir alto risco.
  • Lista de usuários potencialmente abusivos: essa exibição é uma lista detalhada de usuários potencialmente abusivos detectados. Ele oferece as seguintes informações para cada solicitação:
    • UserGUID: isso é enviado pelo cliente por meio do campo "usuário" nas APIs do OpenAI do Azure.
    • Pontuação de abuso: essa é uma figura gerada pelo modelo que analisa as solicitações e o comportamento de cada usuário. A pontuação é normalizada para 0-1. Uma pontuação mais alta indica um risco de abuso maior.
    • Tendência de pontuação de abuso: a alteração na Pontuação abuso durante o intervalo de tempo selecionado.
    • Data de avaliação: a data em que os resultados foram analisados.
    • Taxa/contagem total de solicitações de abuso
    • Taxa de abuso/contagem por categoria

Combine esses dados com sinais enriquecidos para validar se os usuários detectados são realmente abusivos ou não. Se estiverem, execute medidas responsivas, como limitação ou suspensão do usuário para garantir o uso responsável do aplicativo.

Próximas etapas

A seguir, crie ou edite uma configuração de filtro de conteúdo na Fábrica de IA do Azure.