• 8 minutos

Conforme abordado na unidade anterior, a Microsoft desenvolveu e refinou o próprio processo interno para controlar a IA com responsabilidade. Esta unidade explica como esse sistema de governança funciona em uma situação real. Embora cada organização precise das próprias estruturas de governança e processos de revisão exclusivos, acreditamos que nossa estrutura de usos delicados possa servir como um ponto de partida útil. Uma das primeiras etapas da Microsoft em nosso processo responsável de governança de IA foi usar um gatilho de revisão de usos confidenciais. A estrutura ajudou nossas equipes internas e voltadas para o cliente a identificar quando casos de uso específicos precisam de mais diretrizes.

Estrutura de casos de uso delicados da Microsoft

De acordo com nossa documentação de governança de uso responsável de IA, consideramos um cenário de desenvolvimento ou implantação de IA um “uso delicado” se ele se enquadra em uma ou mais das seguintes categorias:

• Negação de serviços consequenciais: o cenário envolve o uso da IA de uma maneira que possa resultar diretamente na negação de serviços consequenciais ou de suporte a um indivíduo (por exemplo, financeiro, hospedagem, seguro, educação, emprego ou serviços de saúde).
• Risco de danos: o cenário envolve o uso da IA de uma maneira que possa criar um risco significativo de danos físicos, emocionais ou psicológicos a um indivíduo (por exemplo, decisões de vida ou de morte em ambientes militares, de manufatura críticos para a segurança, contextos de serviços de saúde, quase todos os cenários que envolvam crianças ou outras pessoas vulneráveis).
• Violação de direitos humanos: o cenário envolve o uso da IA de uma maneira que possa resultar em uma restrição significativa de liberdade pessoal, opinião ou expressão, congregação ou associação, privacidade e assim por diante (por exemplo, na imposição de lei ou na vigilância).

Treinamos nossos funcionários para usar essa estrutura a fim de determinar se um caso de uso de IA deve ser sinalizado para revisão adicional, sejam eles vendedores trabalhando com um cliente ou alguém trabalhando em uma solução de IA interna. Também treinamos nossos Campeões do Uso Responsável de IA para a respectiva função como contato entre funcionários e equipes de governança central.

Processo de revisão de casos de uso delicados da Microsoft

O processo de revisão para casos de uso confidencial tem três estágios: identificação, avaliação e mitigação. Para ilustrar melhor esse processo, um estudo de caso do mundo real une a explicação de cada etapa. Neste estudo de caso, um cliente nos procurou para um sistema de reconhecimento facial.

Identificação

Se um funcionário identificar que um caso de uso se enquadra em uma das três categorias (negação de serviços consequentes, risco de dano ou violação de direitos humanos), ele o denunciará. Os relatórios são feitos por meio de uma ferramenta de envio central e, em seguida, roteado para o Campeão local de uso responsável de IA, um indivíduo responsável por promover a conscientização e a compreensão das políticas, padrões e diretrizes de IA responsáveis da empresa.

Nesse caso, uma agência de aplicação da lei nos abordou para desenvolver um sistema de reconhecimento do rosto para aumentar os métodos de verificação de identidade existentes. Os cenários incluíam o uso do reconhecimento do rosto para verificar as identidades dos motoristas durante paradas no trânsito, a fim de agilizar o processo de entrada em prisões e verificar as identidades dos prisioneiros durante uma visita pela instalação. Um funcionário enviou esses três casos de uso por meio da ferramenta de entrada central para a revisão de uso responsável de IA.

Avaliação

O Campeão do Uso Responsável de IA, trabalhando com o Departamento do Uso Responsável de IA e a equipe da Microsoft envolvida no caso de uso, investiga o caso para reunir os fatos relevantes, segue um processo guiado para avaliar o efeito do sistema proposto nos indivíduos e na sociedade e examina os casos anteriores para determinar se já existem diretrizes para um cenário semelhante. Se não existir nenhuma diretriz prévia ou se o caso exigir mais conhecimento e avaliação, o Campeão do Uso Responsável de IA apresentará o caso ao Grupo de Trabalho de Usos Delicados do Comitê Aether.

Nesse caso de reconhecimento facial, o Campeão do Uso Responsável de IA trabalhou junto com o Departamento do Uso Responsável de IA, as equipes de contas e os clientes para avaliar os riscos. Ficou decidido que todos os três casos precisavam ser escalonados para o Grupo de Trabalho de Usos Delicados do Aether para uma contribuição adicional, pois eles abordavam um ou mais dos usos delicados da IA.

Mitigação

O Grupo de Trabalho de Usos Delicados delibera com um grupo diversificado de especialistas para fornecer insights e recomendações sobre como lidar com os riscos associados ao caso de uso específico. Se a situação exigir o escalonamento adicional, os casos poderão chegar até o próprio Comitê Aether, que fornece orientações diretamente à Equipe de Liderança Sênior. Em última análise, a Equipe de Liderança Sênior toma decisões sobre casos novos e de alto impacto.

Depois que o caso é examinado, o Campeão do Uso Responsável de IA trabalha com o Departamento do Uso Responsável de IA para fornecer orientações à equipe do projeto sobre estratégias de mitigação que se alinhem com nossas práticas e nossos princípios de uso responsável de IA. Essas estratégias de mitigação podem incluir abordagens técnicas, treinamento de funcionários e abordagens de governança ou alterações no escopo do projeto. Às vezes, nossas equipes foram aconselhadas a não prosseguir com determinados projetos, porque não conseguimos entregá-los de uma maneira que respeite nossos princípios.

No caso de uso, o Grupo de Trabalho de Usos Delicados do Aether tomou decisões separadas para cada um dos cenários. Após cuidadosa consideração, eles determinaram que não dariam suporte ao cenário de patrulha para identificar “pessoas de interesse” durante paradas no trânsito. Como o estado da tecnologia e o ecossistema mais amplo não eram suficientemente maduros para atenuar as consequências prejudiciais para as situações em que a tecnologia fosse executada de forma imperfeita, o grupo de trabalho do Aether considerou esse cenário um caso de uso prematuro.

Explicamos os problemas para o cliente e eles decidiram não prosseguir com esse cenário.

Para os casos de uso na instalação, decidimos que poderíamos dar suporte ao design e ao desenvolvimento de um POC (prova de conceito), com garantias em vigor para assegurar o controle humano apropriado sobre a solução e um loop de comentários bidirecional entre o cliente e a Microsoft pôde ser estabelecido. Também era importante que o cliente implementasse um programa de treinamento para que a equipe interagisse com as soluções e que o cliente se envolvesse com a Microsoft em implantações para além desses cenários com suporte.

A evolução da governança de uso responsável de IA

Agora que você já viu nosso processo em ação, há um ponto importante que desejamos reiterar: estamos no início do desenvolvimento de uma governança de IA. Os processos em torno da IA estão evoluindo rapidamente. No futuro, planejamos refinar nossas políticas de governança à medida que investimos mais na IA, e recomendamos que outras empresas façam o mesmo. Cada organização precisa personalizar o processo de revisão com base nas próprias necessidades e na maturidade de IA, mas esperamos que nosso processo possa servir como um ponto de partida útil.

A seguir, vamos reunir tudo o que você aprendeu em uma verificação de conhecimentos.