Modération de l’image d’exercice –

  • 4 minutes

Contoso Camping Store offre aux clients la possibilité de télécharger des photos pour compléter leurs révisions de produits. Les clients trouvent cette fonctionnalité utile, car elle fournit des insights sur l’apparence et le fonctionnement des produits en dehors des images marketing génériques. Nous pourrions appliquer un modèle IA pour détecter si les images publiées par nos clients sont dangereuses et utiliser ultérieurement les résultats de détection pour implémenter les précautions nécessaires.

Contenu sécurisé

Testons d’abord une image d’un camping familial !

  1. Sur la page Sécurité du contenu, sélectionnez Modérer le contenu de l’image.

  2. Sélectionnez Rechercher un fichier et chargez le fichier family-builds-campfire.JPG.

  3. Définissez tous les niveaux de seuil sur Moyen.

    Capture d’écran de l’aperçu des images et de la configuration des filtres pour la modération des images.

  4. Sélectionnez Exécuter le test.

Comme prévu, le contenu de cette image est autorisé et le niveau de gravité est sûr dans toutes les catégories.

Capture d’écran des résultats de la modération des images. Le contenu est autorisé. Le niveau de gravité de toutes les catégories est sécurisé. Le seuil sur toutes les catégories est moyen. Le jugement dans toutes les catégories est autorisé.

Contenu violent

Nous devrions également anticiper les clients susceptibles de publier du contenu d’image dangereux. Pour nous assurer que nous prenons en compte un tel scénario, testons la détection du contenu d’image nuisible.

Remarque

L'image utilisée pour les tests contient une détection graphique d'une attaque d'ours. L’image est floue par défaut dans l’aperçu de l’image. Cependant, vous pouvez utiliser la bascule d'image Blur pour modifier ce paramètre.

  1. Sélectionnez Rechercher un fichier et chargez le fichier bear-attack-blood.JPG.
  2. Définissez tous les niveaux de seuil sur Moyen.
  3. Sélectionnez Exécuter le test.

À juste titre, le contenu est Bloqué et a été rejeté par le filtre Violence avec un niveau de Gravité défini sur Élevé.

Capture d’écran des résultats de la modération des images. Le contenu est bloqué. Le niveau de gravité de la violence est élevé. Le jugement pour violence est bloqué.

Exécuter un test en bloc

Jusqu’à présent, nous avons testé le contenu d’images pour des images isolées singulières. Cependant, si nous disposons d’un ensemble de données en masse contenant le contenu d’images, nous pourrions tester l’ensemble de données en masse immédiatement et recevoir des métriques basées sur les performances du modèle.

Nous avons un jeu de données en bloc d’images fourni par les clients. L’ensemble de données comprend également des exemples d’images nuisibles pour tester la capacité du modèle à détecter les contenus nuisibles. Chaque enregistrement du jeu de données inclut une étiquette pour indiquer si le contenu est dangereux. Faisons un autre cycle de tests, mais cette fois avec l'ensemble de données !

  1. Basculez vers l’onglet Exécuter un test en bloc.

  2. Sélectionnez Rechercher un fichier et chargez le fichier bulk-image-moderation-dataset.zip.

  3. Dans la section Aperçu du jeu de données, parcourez les enregistrements et leur Label correspondant. Une 0 indique que le contenu est acceptable (pas dangereux). Une 1 indique que le contenu est inacceptable (contenu dangereux).

    Capture d’écran de l’aperçu du jeu de données pour la modération des images en bloc. Une liste d’enregistrements d’images s’affiche avec leurs étiquettes. Les filtres de configuration pour les seuils de gravité sont tous définis sur moyen.

  4. Définissez tous les niveaux de seuil sur Moyen.

  5. Sélectionnez Exécuter le test.

Capture d’écran des résultats de modération d’image en bloc.

En fonction des résultats, y a-t-il de la place pour l’amélioration ? Si tel est le cas, ajustez les niveaux de seuil jusqu'à ce que les mesures Precision, Recall et F1 Score soient plus proches de 1.