Categorias de danos no Content Safety de IA do Azure
- Artigo
Este guia descreve todas as categorias de danos e classificações que a Segurança de Conteúdo de IA do Azure usa para sinalizar o conteúdo. O conteúdo de texto e imagem usa o mesmo conjunto de sinalizadores.
Categorias de danos
O Content Safety reconhece quatro categorias distintas de conteúdo questionável.
| Categoria | Descrição | Termo da API |
|---|---|---|
| Ódio e imparcialidade | Danos relacionados ao ódio e à imparcialidade refere-se a qualquer conteúdo que ataque ou use linguagem discriminatória com referência a uma pessoa ou grupo de identidade com base em certos atributos de diferenciação desses grupos. Eles incluem, entre outros:
|
Hate |
| Sexual | A categoria de conteúdo sexual descreve a linguagem relacionada a órgãos anatômicos e genitais, relacionamentos românticos e atos sexuais, atos retratados em termos eróticos ou afetuosos, incluindo aqueles retratados como agressão ou ato sexual violento forçado contra a vontade. Eles incluem, entre outros:
|
Sexual |
| Violência | A categoria de violência descreve a linguagem relacionada a ações físicas destinadas a ferir, machucar, lesar ou matar alguém ou algo; descreve armas e entidades relacionadas. Isto inclui, mas não está limitado a:
|
Violence |
| Automutilação | A automutilação descreve a linguagem relacionada a ações físicas destinadas a ferir, danificar propositalmente o próprio corpo ou se matar. Isto inclui, mas não está limitado a:
|
SelfHarm |
A classificação pode ter vários rótulos. Por exemplo, quando uma amostra de texto passa pelo modelo de moderação de texto, ela pode ser classificada como Conteúdo sexual e Violência.
Níveis de severidade
Cada categoria de dano que o serviço aplica também vem com uma classificação de nível de severidade. O nível de severidade deve indicar a gravidade das consequências de mostrar o conteúdo sinalizado.
Texto: a versão atual do modelo de texto dá suporte à escala de gravidade completa de 0 a 7. O classificador detecta entre todas as severidades ao longo dessa escala. Se o usuário especificar, ele poderá retornar severidades na escala cortada de 0, 2, 4 e 6; cada dois níveis adjacentes são mapeados para um único nível.
[0,1]->0[2,3]->2[4,5]->4[6,7]->6
Imagem: A versão atual do modelo de imagem dá suporte à versão cortada da escala de severidade completa de 0 a 7. O classificador retorna apenas as severidades 0, 2, 4 e 6.
0246
Imagem com texto: a versão atual do modelo multimodal dá suporte à escala de severidade completa de 0 a 7. O classificador detecta entre todas as severidades ao longo dessa escala. Se o usuário especificar, ele poderá retornar severidades na escala cortada de 0, 2, 4 e 6; cada dois níveis adjacentes são mapeados para um único nível.
[0,1]->0[2,3]->2[4,5]->4[6,7]->6
Conteúdo de texto
Aviso
A guia Definições de severidade neste documento contém exemplos de conteúdo prejudicial que podem ser perturbadores para alguns leitores.
Níveis de severidade de ódio e imparcialidade
| Nível de severidade | Descrição | Texto de exemplo |
|---|---|---|
| Nível 0 | Conteúdo que contém termos relacionados ao ódio e à imparcialidade usados no sentido geral e é apropriado para todos os públicos-alvo, incluindo crianças. Isso inclui:
|
I hate cats. |
| Nível 1 | Conteúdo que contém termos relacionados ao ódio e à imparcialidade usados no sentido geral, mas que pode adquirir um significado diferente com base no contexto e não diferencia entre grupos de identidade e outros de forma tendenciosa ou negativa. Isso inclui:
|
Black people should not be killed by police or mistreated just because of their skin color. |
| Nível 2 | Conteúdo que contém caracterização positiva ou proteção dos grupos de identidade que disparam uma resposta emocional favorável. Isso inclui:
|
I hate you. |
| Nível 3 | Conteúdo que contém caracteres preconceituosos, críticos, estereotipados ou negativos. Isso inclui:
|
I don't like [identity group] because they are all so aggressive. They attacked us over and over again for no reason at all. |
| Nível 4 | Conteúdo que contém insultos diretos motivados pelo sentimento verbal, comentários negativos e insultos raciais usados como descrições direcionadas a grupos de identidade com a intenção de prejudicar indivíduos com base em seus atributos. Isso inclui:
|
All [identity group] are ugly. |
| Nível 5 | Conteúdo que contém desumanização ou derrogação de indivíduos ou grupos que adiciona sentimentos negativos por meio de desumanização, violência, negação de eventos, bullying ou comportamentos de intimidação. Isso inclui:
|
The [real world event] is a fraud. What we've discovered is that sources have been lying about the number of victims. Here is proof. |
| Nível 6 | Conteúdo baseado em sentimento negativo e discurso de ódio em relação a grupos de identidade. Referindo-se a características de grupo que diferenciam o grupo de identidade e outros e apelando para tomar medidas contra grupos de identidade com base em seus atributos. São elas:
|
Send [identity group] back to the gas chambers. |
| Nível 7 | Conteúdo baseado no sentimento negativo, exibindo a intenção de crime de ódio e perseguição, desencadeando uma resposta emocional hostil e diferenciando grupos de identidades e outros levando ao crime. Isso inclui:
|
Millions of [identity group] were wiped out because they were the inferior race. Murdering them continues to be right and honorable because… |
Níveis de gravidade sexual
| Nível de severidade | Descrição | Texto de exemplo |
|---|---|---|
| Nível 0 | Conteúdo que contém termos sexualmente relacionados usados no sentido geral que é inofensivo para todos os públicos-alvo, incluindo crianças.
|
The sports bra and yoga pants were too tight for comfort. |
| Nível 1 | Conteúdo que contém termos sexualmente relacionados usados no sentido geral, mas pode adquirir um significado diferente com base no contexto. Isso inclui:
|
Fewer young adults are having sex than in previous generations. |
| Nível 2 | Conteúdo que contém termos sexualmente relacionados em experiências fictícias ou do mundo real que não são extremamente gráficas. Isso inclui:
|
My husband and I introduced a vibrator to our sex life and it has really made a difference. |
| Nível 3 | Conteúdo com termos sexualmente relacionados em casos que contêm algum conteúdo gráfico, opiniões que expressam opiniões tendenciosas, preconceituosas, críticas ou opinativas sobre questões relacionadas ao sexo. Isso inclui:
|
We made out for a while, and he started to feel me up. I felt a bulge in his pants. |
| Nível 4 | Conteúdo que descreve fantasias sexuais, indústria do sexo profissional e anúncios, e reprodução sexualizada de animais. Isso inclui:
|
I got into BDSM because I had some friends into the lifestyle and it piqued my interest. I like using silk, scarves, collars, and bondage… |
| Nível 5 | Conteúdo que descreve shows eróticos ou experiências como experiência pessoal, BDSM com consentimento claro e histórias eróticas e sites. Isso inclui:
|
We both climaxed at the same time. |
| Nível 6 | Conteúdo que descreve a solicitação de serviços comerciais sexuais, contendo descrições detalhadas de atividade sexual, abuso sexual violento e estupro, e trocas de poder não consensuais, abuso e voyeurismo. Isso inclui:
|
I love forced sex, it's so much hotter. |
| Nível 7 | Conteúdo usado para promover, endossar, glorificar formas extremas de escravidão sexual. Conteúdo extremo ou ilegal. Isso inclui:
|
I was abused as a child by my uncle and I liked it. Nowadays, I make money by producing child pornography with my neighbor’s 6 year old son. |
Níveis de gravidade da violência
| Nível de severidade | Descrição | Texto de exemplo |
|---|---|---|
| Nível 0 | Conteúdo que contém ações não violentas ou termos relacionados à violência usados em um sentido geral que é inofensivo para todos os públicos-alvo, incluindo crianças. Isso inclui:
|
According to our child and parent testers, here are the best long-range soakers for soft blasters for toddlers suitable for epic water battles. |
| Nível 1 | Conteúdo que contém termos ou atos relacionados à violência usados em um sentido geral, mas que pode adquirir um significado diferente com base no contexto. Isso inclui:
|
Carnivores such as lions and tigers are prone to killing one another. Death occurs at the paws, claws, jaws, or tusks that might fatally gore one another during fights. |
| Nível 2 | Conteúdo que contém termos ou atos relacionados à violência em experiências fictícias ou do mundo real que não são extremamente gráficas e sem glorificação ou endosso de má intenção. Isso inclui:
|
Physical punishment is a way to correct bad behavior and doesn’t cause harm to children. |
| Nível 3 | Conteúdo com termos ou atos relacionados à violência em casos que contêm algum conteúdo gráfico, opiniões que expressam opiniões tendenciosas, preconceituosas, críticas ou opinativas sobre violência. Isso inclui:
|
Some people just need to be slapped. |
| Nível 4 | Conteúdo que descreve a lógica sem fundamento para o motivo pelo qual as vítimas estão sendo abusadas fisicamente, atribuição infundada de qualidades positivas de abusadores, ameaças de atos violentos e fantasias relacionadas a como prejudicar outra pessoa e sangue médio. Isso inclui:
|
Victims of abuse deserve to be hit. They push and push until they get what they deserve. |
| Nível 5 | Conteúdo que visa aumentar a violência, fornecendo instruções diretas sobre como prejudicar indivíduos ou grupos específicos. Isso inclui:
|
Go to another state or another city and kill any stranger; for example, shoot them with a silencer gun. Since you have not any connection with him, you will not get caught. |
| Nível 6 | Conteúdo que descreve grupos extremistas e organizações terroristas, assassinatos em massa e danos físicos explícitos com muito sangue, e promoção do terrorismo e sua propaganda. Isso inclui:
|
We must kill them all. God wills it, and society will be better for it. |
| Nível 7 | Conteúdo usado para descrever, elogiar, apoiar, promover, endossar, glorificar formas extremas de violência. Conteúdo que dá suporte a organizações terroristas e radicaliza, instrui ou treina. Isso inclui:
|
Let's call and threaten to explode the hospital during the weekend. I've got the explosives ready, and will have them installed tonight. |
Níveis de gravidade de automutilação
| Nível de severidade | Descrição | Texto de exemplo |
|---|---|---|
| Nível 0 – Seguro | Conteúdo que contém termos relacionados à automutilação usados em um sentido geral que é inofensivo para todos os públicos-alvo, incluindo crianças. Isso inclui:
|
I appreciate your hard work, but you don't need to keep killing yourself over this project. |
| Nível 1 | Conteúdo que contém termos relacionados à automutilação usados em um sentido geral, mas que pode adquirir um significado diferente com base no contexto. Isso inclui:
|
Binging and purging may be a warning sign for people with a history of extreme weight loss. |
| Nível 2 | Conteúdo que contém termos relacionados à automutilação ou atua em experiências fictícias ou do mundo real que não são extremamente gráficas. Isso inclui:
|
Oedipus stabbed his eyes in despair. |
| Nível 3 | Conteúdo com termos ou atos relacionados à automutilação em casos que contêm algum conteúdo gráfico, opiniões que expressam opiniões tendenciosas, preconceituosas, críticas ou opinativas sobre automutilação. Isso inclui:
|
I'm really struggling with self-loathing and thoughts of self-harm to relieve my distress after my friend took his own life last month. Please can someone give me any useful advice? |
| Nível 4 | Conteúdo que zomba de vítimas ou sobreviventes de suicídio ou automutilação, atribuição infundada de qualidades positivas à automutilação, fantasias ou desejos de automutilação, e contém conteúdo explicitamente gráfico envolvendo morte, autópsia, crime ou cena de morte. Isso inclui:
|
It's hilarious when [identity group] kill themselves. |
| Nível 5 | Conteúdo que visa promover ainda mais a automutilação, fornecendo instruções diretas sobre como realizar automutilação ou intimidar uma vítima. Isso inclui:
|
Go kill yourself, you are worthless. |
| Nível 6 | Conteúdo que descreve instruções detalhadas e explícitas sobre como cometer suicídio. Isso inclui:
|
Here is a quick guide to do-it-yourself suicide. One method is asphyxia suicide by inhaling helium inside a plastic bag. |
| Nível 7 | Conteúdo usado para endossar e glorificar o suicídio ou outros atos graves de automutilação. Isso inclui:
|
Get a shotgun and blow your brains out. It won't even hurt. And you'll be remembered for ages, like Kurt Cobain or Ernest Hemingway. There's nothing bad about suicide. Actually it's noble. |
Conteúdo da imagem
Aviso
A guia Definições de severidade neste documento contém exemplos de conteúdo prejudicial que podem ser perturbadores para alguns leitores.
Níveis de severidade de ódio e imparcialidade
| Nível de severidade | Descrição | Exemplo de imagem |
|---|---|---|
| Safe | O conteúdo é seguro, mas pode conter imagens relacionadas ao ódio e à imparcialidade sem sentimentos ou sentimentos neutros de maneiras não discriminatórias não ofensivas nos seguintes contextos ou semelhantes a:
|
Bandeiras não confederadas, por exemplo, bandeiras de países ou estados que apresentam cruzes
|
| Baixo | Conteúdo que contém sentimentos positivos, sentimentos falsos positivos ou sentimentos negativos e tendenciosos diferenciando grupos de identidade de outras pessoas. Esse conteúdo destina-se a disparar uma resposta emocional. Isso inclui:
|
Representações do movimento "Sem Discurso de Ódio" Representações de candidatos despriorizados, como candidatos com deficiências em ambiente de entrevista |
| Médio | Conteúdo que contém ação de sentimento negativo para grupos de identidade e outros que leva à promoção de ações contra grupos de identidade e sentimentos de superioridade. Isso inclui:
|
Imagens que promovem a evasão social de [grupos de identidade] Imagens que retratam a teoria da melhoria racial e a eugenia |
| Alto | Conteúdo que contém sentimento negativo e discurso de ódio em relação a grupos de identidade que levam à geração de discursos de ódio ou crimes de ódio. Isso inclui:
|
Imagens antissemitas Imagens que retratam a "Cruz do Sul" que apresenta um saltire azul (cruz diagonal) com afiliação de violência óbvia (por exemplo, armas de fogo em exibição/uso) |
Níveis de gravidade sexual
| Nível de severidade | Descrição | Exemplo de imagem |
|---|---|---|
| Safe | O conteúdo é seguro, mas contém imagens relacionadas sexualmente usadas em um sentido geral. Isso inclui:
|
Representações de abraçar ou fazer contato físico não sexual Representações que retratam a demonstração física de afeto, como beijar sem língua e sem nudez |
| Baixo | Conteúdo que contém comportamentos ou atos sexualmente sugestivos. Isso inclui:
|
Representações de pessoas |
| Médio | Conteúdo que contém conteúdo comercial e amador erótico e/ou pornográfico sem penetração fotográfica visual e participantes nus ou semi-nus envolvidos em cenas sexuais destinadas a ser sexualmente excitador. Isso inclui:
|
Representações de relações sexuais que podem estar parcialmente obstruídas, mas ainda claramente presentes na imagem |
| Alto | Conteúdo que contém representações detalhadas explícitas de órgãos sexuais e atos sexuais, incluindo atos ilegais. Isso inclui:
|
Representações de compromissos em atividades sexuais com animais ou cadáveres |
Níveis de gravidade da violência
| Nível de severidade | Descrição | Exemplo de imagem |
|---|---|---|
| Safe | O conteúdo é seguro, mas contém imagens relacionadas à violência usadas em um sentido geral. Isso inclui:
|
Representações de armas não realistas e ferramentas com lâminas |
| Baixo | Conteúdo que contém imagens relacionadas à violência e atos no mundo real ou em contextos fictícios com pouco sangue. Isso inclui:
|
Representações de bandeiras do ISIS/al-Qaeda |
| Médio | Conteúdo que contém violência gráfica moderada e atos violentos direcionados a um alvo identificado. Isso inclui:
|
Representações do uso da força e coerção para dominar ou intimidar agressivamente um indivíduo |
| Alto | Conteúdo que contém representações detalhadas explícitas de violência e atos violentos com muito sangue. Isso inclui:
|
Representações da morte quando executadas por grupos terroristas identificáveis por bandeiras e símbolos do ISIS |
Níveis de gravidade de automutilação
| Nível de severidade | Descrição | Exemplo de imagem |
|---|---|---|
| Safe | O conteúdo é seguro, mas contém imagens relacionadas à automutilação usadas em um sentido geral. Isso inclui:
|
Representações de saltar com um pára-quedas para fora de um avião |
| Baixo | Conteúdo que contém imagens relacionadas à automutilação e atua em contextos reais ou fictícios com pouco sangue. Isso inclui:
|
Representações de atos relacionados à automutilação, ferramentas, lesão e estado emocional |
| Médio | Conteúdo que contém imagens gráficas moderadas relacionadas à automutilação e ao suicídio. Isso inclui:
|
Representações do uso da força e coerção para dominar agressivamente ou intimidar um indivíduo em automutilação |
| Alto | Conteúdo que contém representações detalhadas explícitas de automutilação e suicídio com muito sangue. Isso inclui:
|
Representações de suicídio intencional, onde uma pessoa cometeu suicídio pulando de um prédio alto |
Conteúdo multimodal (imagem com texto)
Aviso
A guia Definições de severidade neste documento contém exemplos de conteúdo prejudicial que podem ser perturbadores para alguns leitores.
Níveis de severidade de ódio e imparcialidade
| Nível de severidade | Descrição | Exemplo de imagem |
|---|---|---|
| Safe | O conteúdo é seguro, mas pode conter texto e elementos visuais relacionados ao ódio e à imparcialidade usados em contextos genéricos e seguros, como:
|
Cenário: Imagem com sobreposição de texto Imagem: foto benigna de uma pessoa Texto: "Participou do rally usando tênis" |
| Baixo | Conteúdo que contém caracterização positiva ou proteção de grupos de identidade e exibe discriminação, estereótipos e visões ou atitudes preconceituosas, críticas ou opinativas relacionadas a discursos de ódio ou direcionadas a grupos de identidade. Isso inclui:
|
Cenário: Imagem com sobreposição de texto Imagem: foto benigna de uma pessoa Texto: "Todo mundo acha que eu tirava notas altas em matemática porque eu sou asiático. E é verdade." Lógica: implica estereótipo racial. |
| Médio | Conteúdo que inclui insultos, bullying, intimidação, desumanização ou abolição de indivíduos ou grupos. Isso inclui:
|
Cenário: Imagem com sobreposição de texto Imagem: foto benigna de uma pessoa com doença de Parkinson Texto: "Esse cara acabou de me enviar e cancelar pedidos de amizade 45 vezes em 15 segundos. Alguém o conhece?" Lógica: Implica zombaria devido à deficiência |
| Alto | Conteúdo que inclui discursos de ódio como propaganda que ameaça ou apela à violência contra Grupos de identidade, radicaliza, recruta ou incita as pessoas a se juntarem a esforços extremistas ou espalhar discursos de ódio. Isso inclui:
|
Cenário: Imagem e texto intercalados "Nunca se esqueça de que tudo o que [imagem de Adolf Hitler] fez na Alemanha era permitido por lei." |
Níveis de gravidade sexual
| Nível de severidade | Descrição | Exemplo de imagem |
|---|---|---|
| Safe | O conteúdo é seguro, mas pode conter termos ou elementos visuais sexualmente relacionados usados em contextos genéricos e seguros, como:
|
Cenário: Imagem com sobreposição de texto Imagem: Um gambá Texto: "Aparências não são tudo, tenha cuidado com quem você se casa e verifique os seus espelhos também." |
| Baixo | Conteúdo que expressa opiniões preconceituosas, críticas ou opinativas sobre tópicos sexualmente relacionados ou menciona termos sexualmente relacionados em experiências fictícias ou reais que não são extremamente gráficas. Isso inclui:
|
Cenário: Imagem e texto intercalados "Espero que eles debatam questões sociais que eu quero [imagem de uma pessoa segurando a orelha, representando "ouvir"] sobre como um representante quer controlar os órgãos sexuais femininos." |
| Médio | Conteúdo que descreve excitação e atividades sexuais em termos explícitos e gráficos ou visuais, incluindo fantasias sobre sexo e abuso sexual. Isso inclui:
|
Cenário: Imagem e texto intercalados "Há tanto [imagem contendo a frase "Sexo e Violência"] nesse livro que ele poderia ter um rótulo de aviso na capa." |
| Alto | Conteúdo que descreve a solicitação de serviços comerciais sexuais, contendo descrições detalhadas de atividade sexual, abuso sexual violento e estupro, e trocas de poder não consensuais, abuso e voyeurismo. Isso também inclui conteúdo usado para promover, endossar ou glorificar atos sexuais extremos ou ilegais. Isso inclui:
|
Cenário: Imagem e texto intercalados "Muita [imagem explícita de pornografia] realmente mata? Claro que não, porque você ainda está com a gente." |
Níveis de gravidade da violência
| Nível de severidade | Descrição | Exemplo de imagem |
|---|---|---|
| Safe | O conteúdo é seguro, mas pode conter termos e elementos visuais relacionados à violência usados em contextos genéricos e seguros, como:
|
Cenário: Imagem e texto intercalados "Um [Imagem de cortador de grama] pode facilmente arremessar uma [imagem de uma pedra] a uma distância bem acima de 15 metros." |
| Baixo | Conteúdo em contextos fictícios (por exemplo, jogos, literatura, artes) retratando cenas violentas ou gráficas sem glorificação, endosso ou má intenção. Isso inclui:
|
Cenário: Imagem com sobreposição de texto Imagem: foto benigna de uma pessoa "nerd" Texto: "Faz corridas de suicídio no treino de basquete. Morre." Lógica: implica esgotamento devido à falta de habilidades físicas da pessoa. |
| Médio | Conteúdo que inclui representações gráficas de violência e morte em média intensidade, bem como fantasias sobre atos violentos ou ameaças. Isso inclui:
|
Cenário: Imagem e texto intercalados "Ela já precisa [imagem que diz "morrer"] já." |
| Alto | Conteúdo que inclui propaganda extremista terrorista ou violenta e ideologia violenta na Internet que descreve, elogia, apoia, endossa ou glorifica assassinatos como parte da atividade terrorista, ajuda a organizações terroristas ou causas. Isso inclui:
|
Cenário: Imagem e texto intercalados "Mal posso esperar por isso [imagem da decapitação de kafir do ISIS]." |
Níveis de gravidade de automutilação
| Nível de severidade | Descrição | Exemplo de imagem |
|---|---|---|
| Safe | O conteúdo é seguro, mas pode conter termos ou elementos visuais relacionados à automutilação usados em contextos genéricos e seguros, como:
|
Cenário: Imagem e texto intercalados "Como fazer para amarrar uma [imagem de uma corda]?" |
| Baixo | Conteúdo que inclui referências a personagens que planejam ou cometem suicídio em um contexto fictício (por exemplo, literatura, filmes) ou contém representações de atos de automutilação ou suicídio em baixa intensidade. Isso inclui:
|
Cenário: Imagem com sobreposição de texto Imagem: sapo Kermit Texto: "A vida do sapo é dureza. Ele até tentou Kermit suicídio." |
| Médio | Conteúdo que zomba de vítimas ou sobreviventes de automutilação, como distúrbios alimentares ou suicídio, bem como bullying e intimidação que incita e promove atos de automutilação. Isso inclui:
|
Cenário: Imagem com texto intercalado "Eu vou [imagem de uma faca] a mim mesmo em breve. Mas até lá, como domar a minha dor?" |
| Alto | Conteúdo que inclui pesquisas para conselhos ou fornece instruções e métodos sobre como se envolver em automutilação que leva à morte ou como cometer suicídio, bem como glorificação e endosso do suicídio, ou outros tipos graves de automutilação. Isso inclui:
|
Cenário: Imagem e texto intercalados "Ofertas de Black Friday [imagem de automutilação com o texto "Meus cortes de automutilação quase desapareceram completamente para que eles não cicatrizem"] e [imagem de um mixer de cozinha]." |
Próximas etapas
Siga um guia de início rápido para começar a usar a Segurança de Conteúdo de IA do Azure em seu aplicativo.
Comentários
Esta página foi útil?