Catégories de préjudices dans Azure AI Content Safety
- Article
Ce guide décrit toutes les catégories de préjudices et toutes les évaluations que Azure AI Content Safety utilise pour marquer le contenu. Le contenu texte et le contenu d’image utilisent le même ensemble d’indicateurs.
Catégories préjudiciables
Content Safety reconnaît quatre catégories distinctes de contenu répréhensible.
| Category | Description | Terme d’API |
|---|---|---|
| Haine et équité | Les préjudices haineux ou impartiaux font référence à tout contenu qui attaque ou tient des propos discriminatoires à l’égard d’une personne ou à d’un groupe d’identités sur la base de certains attributs de différenciation de ces groupes. Ce sont notamment les suivantes :
|
Hate |
| Sexuel | Le terme « sexuel » désigne les propos relatifs aux organes anatomiques et les parties génitales, aux relations amoureuses, aux actes sexuels, aux actes décrits en termes érotiques ou affectueux, y compris les actes présentés comme une agression ou un acte sexuel violent forcé contre la volonté d’une personne. Il s’agit entre autres des documents suivants :
|
Sexual |
| Violence | Le terme violence désigne les propos relatifs aux actes physiques visant à endommager quelque chose, à blesser quelqu’un ou à le tuer, utilisé pour décrire des armes, armes à feu et des objets associés. Cela comprend, entre autres :
|
Violence |
| Automutilation | L’automutilation décrit le langage lié aux actions physiques destinées à blesser ou nuire le corps d’une personne ou à se tuer. Cela comprend, entre autres :
|
SelfHarm |
La classification peut avoir plusieurs intitulés. Par exemple, lorsqu’un exemple de texte est exécuté via le modèle de modération de texte, il peut être classé à la fois comme du contenu à caractère sexuel et de la violence.
Niveaux de gravité
Chaque catégorie de préjudice appliquée par le service est également accompagnée d’une évaluation de niveau de gravité. Le niveau de gravité est destiné à indiquer la gravité des conséquences de l’affichage du contenu marqué d’un indicateur.
Texte: la version actuelle du modèle de texte prend en charge l’échelle de gravité complète de 0 à 7. Le classifieur effectue une détection parmi toutes les gravités sur cette échelle. Sur demande de l’utilisateur, il peut renvoyer des gravités sur une échelle réduite de 0, 2, 4 et 6; chacun des deux niveaux adjacents est mappé à un seul niveau.
[0,1]->0[2,3]->2[4,5]->4[6,7]->6
Image: la version actuelle du modèle d’image prend en charge la version réduite de l’échelle de gravité complète de 0 à 7. Le classifieur retourne uniquement les gravités 0, 2, 4 et 6.
0246
Image avec texte : la version actuelle du modèle multimodal prend en charge l’échelle de gravité complète de 0 à 7. Le classifieur effectue une détection parmi toutes les gravités sur cette échelle. Sur demande de l’utilisateur, il peut renvoyer des gravités sur une échelle réduite de 0, 2, 4 et 6; chacun des deux niveaux adjacents est mappé à un seul niveau.
[0,1]->0[2,3]->2[4,5]->4[6,7]->6
Contenu textuel
Avertissement
L’onglet Définitions de gravité de ce document contient des exemples de contenu dangereux qui peut déranger certains lecteurs.
Niveaux de gravité de haine et d’équité
| Niveau de gravité | Description | Exemple de texte |
|---|---|---|
| Niveau 0 | Du contenu qui contient des termes liés à la haine et à l’équité utilisés dans le sens général et qui convient à tous les publics cibles, y compris les enfants. notamment :
|
I hate cats. |
| Niveau 1 | Du contenu qui contient des termes liés à la haine et à l’équité utilisés dans le sens général, mais qui peut acquérir une signification différente en fonction du contexte et qui ne fait pas la distinction entre les groupes d’identités et d’autres de manière biaisée ou négative. notamment :
|
Black people should not be killed by police or mistreated just because of their skin color. |
| Niveau 2 | Du contenu qui contient une caractérisation positive ou une protection des groupes d’identités qui déclenchent une réponse émotionnelle favorable. notamment :
|
I hate you. |
| Niveau 3 | Du contenu qui contient des préjugés, des jugements, une caractérisation stéréotypée ou un sentiment négatif. notamment :
|
I don't like [identity group] because they are all so aggressive. They attacked us over and over again for no reason at all. |
| Niveau 4 | Du contenu qui contient des insultes directes motivées par des sentiments, des commentaires négatifs et des insultes raciales utilisées comme descriptions ciblant des groupes d’identités avec l’intention de blesser des individus selon leurs attributs. notamment :
|
All [identity group] are ugly. |
| Niveau 5 | Du contenu qui contient la déshumanisation ou la dérogation des individus ou des groupes qui renforcent le sentiment négatif par le biais de la déshumanisation, de la violence, du déni d’événements, de l’intimidation ou des comportements d’intimidation. notamment :
|
The [real world event] is a fraud. What we've discovered is that sources have been lying about the number of victims. Here is proof. |
| Niveau 6 | Du contenu basé sur des sentiments négatifs et des discours haineux envers les groupes d’identités. En faisant référence à des caractéristiques de groupe qui différencient le groupe d’identités et d’autres personnes et qui appellent à prendre des mesures envers les groupes d’identités en fonction de leurs attributs. Cela peut inclure :
|
Send [identity group] back to the gas chambers. |
| Niveau 7 | Du contenu basé sur des sentiments négatifs, affichant l’intention de crime haineux et de harcèlement, déclenchant une réponse émotionnelle hostile et différenciant les groupes d’identités, entraînant des crimes. notamment :
|
Millions of [identity group] were wiped out because they were the inferior race. Murdering them continues to be right and honorable because… |
Niveaux de gravité sexuelle
| Niveau de gravité | Description | Exemple de texte |
|---|---|---|
| Niveau 0 | Du contenu qui contient des termes sexuels utilisés dans le sens général et qui convient à tous les publics cibles, y compris les enfants.
|
The sports bra and yoga pants were too tight for comfort. |
| Niveau 1 | Du contenu qui contient des termes liés au sexe utilisés en général, mais qui peuvent acquérir une signification différente en fonction du contexte. notamment :
|
Fewer young adults are having sex than in previous generations. |
| Niveau 2 | Du contenu qui contient des termes liés au sexe dans des expériences fictives ou réelles qui ne sont pas extrêmement graphiques. notamment :
|
My husband and I introduced a vibrator to our sex life and it has really made a difference. |
| Niveau 3 | Du contenu avec des termes sexuels dans les cas qui contiennent du contenu graphique, des opinions exprimant des préjugés, des jugements ou des opinions dogmatiques sur les questions liées au sexe. notamment :
|
We made out for a while, and he started to feel me up. I felt a bulge in his pants. |
| Niveau 4 | Du contenu décrivant les fantasmes sexuels, l’industrie du sexe professionnel et les publicités, et la reproduction d’animaux sexualisée. notamment :
|
I got into BDSM because I had some friends into the lifestyle and it piqued my interest. I like using silk, scarves, collars, and bondage… |
| Niveau 5 | Du contenu décrivant des spectacles ou des expériences érotiques en tant qu’expérience personnelle, du BDSM avec consentement clair, et histoires et sites web érotiques. notamment :
|
We both climaxed at the same time. |
| Niveau 6 | Du contenu décrivant la sollicitation de services commerciaux sexuels, contenant des descriptions détaillées d’activités sexuelles, de violences sexuelles et de viols, ainsi que d’échanges de pouvoir non consensuels, d’abus et de voyeurisme. notamment :
|
I love forced sex, it's so much hotter. |
| Niveau 7 | Du contenu utilisé pour promouvoir, approuver ou glorifier des formes extrêmes d’esclavage sexuel. Du contenu extrême ou illégal. notamment :
|
I was abused as a child by my uncle and I liked it. Nowadays, I make money by producing child pornography with my neighbor’s 6 year old son. |
Niveaux de gravité de violence
| Niveau de gravité | Description | Exemple de texte |
|---|---|---|
| Niveau 0 | Du contenu qui contient des termes d’actions non-violentes, ou des termes liés à la violence utilisés dans le sens général et qui convient à tous les publics cibles, y compris les enfants. notamment :
|
According to our child and parent testers, here are the best long-range soakers for soft blasters for toddlers suitable for epic water battles. |
| Niveau 1 | Du contenu qui contient des termes ou des actions liés à la violence utilisés dans le sens général, mais qui peuvent acquérir une signification différente en fonction du contexte. notamment :
|
Carnivores such as lions and tigers are prone to killing one another. Death occurs at the paws, claws, jaws, or tusks that might fatally gore one another during fights. |
| Niveau 2 | Du contenu qui contient des termes ou actes liés à la violence dans des expériences fictives ou réelles qui ne sont pas extrêmement graphiques et sans glorification ou approbation d’intentions malveillantes. notamment :
|
Physical punishment is a way to correct bad behavior and doesn’t cause harm to children. |
| Niveau 3 | Du contenu avec des actions ou termes violents dans les cas qui contiennent du contenu graphique, des opinions exprimant des préjugés, des jugements ou des opinions dogmatiques sur les questions liées à la violence. notamment :
|
Some people just need to be slapped. |
| Niveau 4 | Du contenu décrivant une justification non fondée pour la raison pour laquelle les victimes sont victimes d’abus physique, l’attribution infondée de qualités positives des agresseurs, des menaces d’actes violents et des fantasmes liés à la façon de nuire à une autre personne, et le niveau de gore moyen. notamment :
|
Victims of abuse deserve to be hit. They push and push until they get what they deserve. |
| Niveau 5 | Du contenu visant à poursuivre la violence, fournissant des instructions directes sur la façon de nuire à des individus ou groupes spécifiques. notamment :
|
Go to another state or another city and kill any stranger; for example, shoot them with a silencer gun. Since you have not any connection with him, you will not get caught. |
| Niveau 6 | Du contenu décrivant des groupes extrémistes et des organisations terroristes, des meurtres de masse et des dommages physiques explicites avec un niveau de gore élevé, et la promotion du terrorisme et de sa propagande. notamment :
|
We must kill them all. God wills it, and society will be better for it. |
| Niveau 7 | Du contenu utilisé pour décrire, féliciter, soutenir, promouvoir, approuver, glorifier des formes extrêmes de violence. Du contenu qui soutient les organisations terroristes et radicalise, donne des instructions ou de l’entraînement. notamment :
|
Let's call and threaten to explode the hospital during the weekend. I've got the explosives ready, and will have them installed tonight. |
Niveaux de gravités d’automutilation
| Niveau de gravité | Description | Exemple de texte |
|---|---|---|
| Niveau 0 – Sûr | Du contenu qui contient des termes d’automutilation utilisés dans le sens général et qui convient à tous les publics cibles, y compris les enfants. notamment :
|
I appreciate your hard work, but you don't need to keep killing yourself over this project. |
| Niveau 1 | Du contenu qui contient des termes liés à l’automutilation utilisés en général, mais qui peut acquérir une signification différente en fonction du contexte. notamment :
|
Binging and purging may be a warning sign for people with a history of extreme weight loss. |
| Niveau 2 | Du contenu qui contient des termes liés à l’automutilation dans des expériences fictives ou réelles qui ne sont pas extrêmement graphiques. notamment :
|
Oedipus stabbed his eyes in despair. |
| Niveau 3 | Du contenu avec des actions ou termes d’automutilation dans les cas qui contiennent du contenu graphique, des opinions exprimant des préjugés, des jugements ou des opinions dogmatiques sur les questions liées à l’automutilation. notamment :
|
I'm really struggling with self-loathing and thoughts of self-harm to relieve my distress after my friend took his own life last month. Please can someone give me any useful advice? |
| Niveau 4 | Du contenu qui se moque des victimes ou des survivants d’un suicide ou d’automutilation, l’attribution infondée de qualités positives à l’automutilation, les fantasmes ou les souhaits d’automutilation, et qui contient un contenu graphique explicite impliquant la mort, une autopsie, un crime ou une scène de mort. notamment :
|
It's hilarious when [identity group] kill themselves. |
| Niveau 5 | Du contenu visant à promouvoir davantage l’automutilation, en fournissant des instructions directes sur la façon d’effectuer de l’automutilation ou d’intimider une victime. notamment :
|
Go kill yourself, you are worthless. |
| Niveau 6 | Du contenu décrivant des instructions détaillées et explicites sur la façon de commettre un suicide. notamment :
|
Here is a quick guide to do-it-yourself suicide. One method is asphyxia suicide by inhaling helium inside a plastic bag. |
| Niveau 7 | Du contenu utilisé pour approuver et glorifier le suicide ou d’autres actes graves d’automutilation. notamment :
|
Get a shotgun and blow your brains out. It won't even hurt. And you'll be remembered for ages, like Kurt Cobain or Ernest Hemingway. There's nothing bad about suicide. Actually it's noble. |
Contenu du fichier image
Avertissement
L’onglet Définitions de gravité de ce document contient des exemples de contenu dangereux qui peut déranger certains lecteurs.
Niveaux de gravité de haine et d’équité
| Niveau de gravité | Description | Exemple d’image |
|---|---|---|
| Safe | Le contenu est sûr, mais peut contenir des images liées à la haine et à l’équité sans sentiment ou un sentiment neutre de manière non discriminatoire dans les contextes suivants ou ceux similaires à :
|
Les drapeaux non confédérés, par exemple des drapeaux de pays ou d’États qui contiennent des croix
|
| Bas | Du contenu qui contient des sentiments positifs, des faux sentiments positifs ou des sentiments négatifs et biaisés différenciant les groupes d’identités. Ce contenu est destiné à déclencher une réponse émotionnelle. notamment :
|
Les représentations du mouvement « No Hate Speech » Les représentations des candidats d’emploi dépriorisés tels que les candidats handicapés dans les milieux d’entretien |
| Moyenne | Du contenu qui contient un sentiment négatif sur les groupes d’identités et d’autres personnes qui mènent à la promotion d’une action contre des groupes d’identité et des sentiments de supériorité. notamment :
|
Des images promouvant l’évitement social de [groupes d’identité] Des images représentant la théorie de l’amélioration raciale et l’eugénique |
| Forte | Du contenu qui contient des sentiments négatifs et des discours haineux envers les groupes d’identité menant à la génération de discours haineux ou à des crimes haineux. notamment :
|
De l’imagerie antisémite De l’imagerie représentant la « Croix sud » qui présente une saltire bleue (croix diagonale) avec l’affiliation d’une violence évidente (par exemple, l’affichage ou l’utilisation d’armes à feu) |
Niveaux de gravité sexuelle
| Niveau de gravité | Description | Exemple d’image |
|---|---|---|
| Safe | Le contenu est sûr, mais contient des images liées au sexe utilisées dans un sens général. notamment :
|
Des représentations de câlins ou de contact physique non-sexuel Des représentations de marques physiques d’affections comme des baisers sans la langue et sans nudité |
| Bas | Du contenu qui contient des comportements ou des actes sexuellement suggestifs. notamment :
|
Des représentations de personnes |
| Moyenne | Du contenu qui contient des contenus érotiques et/ou pornographiques commerciaux et/ou amateurs sans pénétration photographique visuelle et des participants nus ou semi-nus impliqués dans des scènes sexuelles destinées à l’excitation sexuelle. notamment :
|
Des représentations de rapports qui peuvent être partiellement obstrués mais toujours clairement présents dans l’image |
| Forte | Du contenu qui contient des représentations détaillées explicites des organes sexuels et des actes sexuels, y compris des actes illégaux. notamment :
|
Des représentations d’activités sexuelles avec des animaux ou des cadavres |
Niveaux de gravité de violence
| Niveau de gravité | Description | Exemple d’image |
|---|---|---|
| Safe | Le contenu est sûr, mais contient des images liés à la violence utilisées dans un sens général. notamment :
|
Des représentations d’armes et d’outils à lames non réalistes |
| Bas | Du contenu qui contient des images et des actes liés à la violence dans le monde réel ou des contextes fictifs avec un niveau de gore faible. notamment :
|
Des représentations de drapeaux d’ISIS/al-Qaïda |
| Moyenne | Du contenu qui contient une violence graphique modérée et des actes violents visant une cible identifiée. notamment :
|
Des représentations de l’usage de la force et de la contrainte pour dominer ou intimider agressivement un individu |
| Forte | Du contenu qui contient des représentations détaillées explicites de la violence et des actes violents avec un niveau de gore élevé. notamment :
|
Les représentations de la mort lorsqu’elles sont effectuées par des groupes terroristes identifiables par des drapeaux et des symboles d’ISIS |
Niveaux de gravités d’automutilation
| Niveau de gravité | Description | Exemple d’image |
|---|---|---|
| Safe | Le contenu est sûr, mais contient des images liées à l’automutilation utilisées dans un sens général. notamment :
|
Des représentations de saut avec un parachute hors d’un avion |
| Bas | Du contenu qui contient des images et des actes liés à l’automutilation dans le monde réel ou des contextes fictifs avec un niveau de gore faible. notamment :
|
Des représentations des actes, des outils, des blessures et de l’état émotionnel liés à l’automutilation |
| Moyenne | Du contenu qui contient des images graphiques modérées liées à l’automutilation et au suicide. notamment :
|
Des représentations de l’usage de la force et de la contrainte pour dominer ou intimider agressivement un individu et le forcer à s’automutiler |
| Forte | Du contenu qui contient des représentations détaillées explicites de l’automutilation avec un niveau de gore élevé. notamment :
|
Des représentations du suicide intentionnel, où une personne s’est suicidée en sautant d’un grand bâtiment |
Contenu multimodal (image avec texte)
Avertissement
L’onglet Définitions de gravité de ce document contient des exemples de contenu dangereux qui peut déranger certains lecteurs.
Niveaux de gravité de haine et d’équité
| Niveau de gravité | Description | Exemple d’image |
|---|---|---|
| Safe | Le contenu est sûr, mais peut contenir du texte et des visuels liés à la haine et à l’impartialité utilisés dans des contextes génériques et sûrs tels que :
|
Scénario : image avec superposition de texte Image : photo bénigne d’une personne Texte : Attends rally wearing sneakers |
| Faible | Du contenu présentant une caractérisation positive ou une protection de groupes d’identité, qui affiche une discrimination, des stéréotypes et des préjugés, des jugements ou des opinions ou attitudes liés à un discours haineux ou ciblant des groupes d’identité. notamment :
|
Scénario : image avec superposition de texte Image : photo bénigne d’une personne Texte : Everyone assumes that I got high grades in math because I’m Asian. I did. Justification : implique un stéréotype racial. |
| Moyenne | Contenu contenant des insultes, des brimades, de l’intimidation, de la déshumanisation ou du dénigrement d’individus ou de groupes. notamment :
|
Scénario : image avec superposition de texte Image : photo bénigne d’une personne atteinte de Parkinsons Texte : This guy just Friended and Unfriended me 45 times in 15 seconds. Does anyone know him? Justification : implique des moqueries lié au handicap |
| Élevé | Du contenu qui contient un discours de haine comme de la propagande menaçant ou appelant à la violence contre des groupes d’identité, qui radicalise, recrute ou incite des personnes à rejoindre des efforts extrémistes ou à répandre un discours de haine. notamment :
|
Scénario : image et texte intercalés Never forget that everything [image of Adolf Hitler] did in Germany was legal. |
Niveaux de gravité sexuelle
| Niveau de gravité | Description | Exemple d’image |
|---|---|---|
| Safe | Le contenu est sûr mais peut contenir des termes ou des visuels à connotation sexuelle utilisés dans des contextes génériques et sûrs, tels que :
|
Scénario : image avec superposition de texte Image : une moufette Texte : Looks aren’t everything, be careful who you marry, and check your mirrors too. |
| Faible | Contenu exprimant des préjugés, des jugements ou des opinions sur des sujets liés à la sexualité ou mentionnant des termes liés à la sexualité dans des expériences fictives ou réelles qui ne sont pas extrêmement graphiques. notamment :
|
Scénario : image et texte intercalés I hope they debate social issues I want [image of a person cupping their ear, representing "to hear"] about how a representative wants to regulate female sexual organs. |
| Moyenne | Du contenu qui décrit l’excitation et l’activité sexuelles avec des termes ou des visuels explicites et graphiques, y compris des fantasmes sur le sexe et les abus sexuels. notamment :
|
Scénario : image et texte intercalés There is so much [image containing the phrase "Sex and Violence"] in that book it could use a warning label in the cover. |
| Élevé | Du contenu décrivant la sollicitation de services commerciaux sexuels, contenant des descriptions détaillées d’activités sexuelles, de violences sexuelles et de viols, ainsi que d’échanges de pouvoir non consensuels, d’abus et de voyeurisme. Cela inclut également le contenu utilisé pour promouvoir, approuver ou glorifier des actes sexuels extrêmes ou illégaux. notamment :
|
Scénario : image et texte intercalés Can too much [image of graphic pornography] actually kill you? Evidently not, because you are still with us. |
Niveaux de gravité de violence
| Niveau de gravité | Description | Exemple d’image |
|---|---|---|
| Safe | Le contenu est sûr, mais peut contenir des termes ou des visuels liés à la violence utilisés dans des contextes génériques et sûrs, tels que :
|
Scénario : image et texte intercalés [Image of lawnmower] can easily throw a [image of rock] to a distance well over 50 feet. |
| Faible | Contenu dans des contextes fictifs (par exemple des jeux, de la littérature, de l’art) qui dépeint des scènes violentes ou graphiques sans glorification, approbation ou intention malveillante. notamment :
|
Scénario : image avec superposition de texte Image : photo bénigne d’un « nerd » Texte : Runs suicides at basketball practice. Dies. Justification : implique un épuisement dû au manque de capacités physiques de la personne. |
| Moyenne | Du contenu qui contient des représentations graphiques de la violence et de la mort à une intensité moyenne, ainsi que des fantasmes d’actes violents ou de menaces. notamment :
|
Scénario : image et texte intercalés She needs [image of a graphic that reads "to die"] already. |
| Élevé | Du contenu contenant de la propagande terroriste ou extrémiste violente et une idéologie violente sur Internet qui décrit, loue, soutient, approuve ou glorifie les meurtres dans le cadre d’une activité terroriste, aide les organisations ou les causes terroristes. notamment :
|
Scénario : image et texte intercalés I can’t wait for this [image of ISIS kafir beheading]. |
Niveaux de gravités d’automutilation
| Niveau de gravité | Description | Exemple d’image |
|---|---|---|
| Safe | Le contenu est sûr mais peut contenir des termes ou des visuels liés à l’automutilation utilisés dans des contextes génériques et sûrs tels que :
|
Scénario : image et texte intercalés How do I tie a [image of a rope]? |
| Faible | Contenu contenant des références à des personnages planifiant ou commettant un suicide dans un contexte fictif (par exemple, littérature, films) ou contenant des représentations d’actes d’automutilation ou de suicide à une faible intensité. notamment :
|
Scénario : image avec superposition de texte Image : Kermit la grenouille Texte : Life ain’t no good for a frog. Even tried to Kermit suicide. |
| Moyenne | Du contenu qui se moque des victimes ou des survivants d’actes d'automutilation tels que les troubles alimentaires ou le suicide, ainsi que des brimades et des intimidations qui incitent à des actes d’automutilation et en font la promotion. notamment :
|
Scénario : image et texte intercalés I will [image of a knife] myself soon. But until then, how do I tame my pain? |
| Élevé | Du contenu qui comprend la recherche de conseils ou qui fournit des instructions et des méthodes sur la manière de s’infliger des blessures mortelles ou de se suicider, ainsi que la glorification et l’approbation du suicide ou d’autres formes graves d’automutilation. notamment :
|
Scénario : image et texte intercalés Black Friday [image of self-harm with text "My self-harm cuts have nearly faded completely so they won’t scar"] and [image of a kitchen mixer] deals. |
Étapes suivantes
Suivez un guide de démarrage rapide pour commencer à utiliser Azure AI Sécurité du Contenu dans votre application.
Commentaires
Cette page a-t-elle été utile ?