Atténuer les dommages potentiels
Après avoir déterminé une base de référence et un moyen de mesurer la sortie dangereuse générée par une solution, vous pouvez prendre des mesures pour atténuer les dommages potentiels et, le cas échéant, retester le système modifié et comparer les niveaux de dommages par rapport à la base de référence.
L’atténuation des dommages potentiels dans une solution d’IA générative implique une approche en quatre couches, chacune d’elles pouvant faire l’objet de techniques d’atténuation, comme indiqué ici :
- Modèle
- Système de sécurité
- Méta-invite et ancrage
- Expérience utilisateur
1 : Couche Modèle
La couche Modèle se compose d’un ou plusieurs modèles d’IA générative au cœur de votre solution. Par exemple, votre solution peut être basée sur un modèle tel que GPT-4.
Les atténuations que vous pouvez appliquer au niveau de la couche Modèle incluent :
- Sélection d’un modèle adapté à l’usage prévu de la solution. Par exemple, GPT-4 est un modèle puissant et polyvalent, mais dans une solution devant simplement classifier des petites entrées de texte spécifiques, un modèle plus simple peut fournir les fonctionnalités demandées avec un risque de génération de contenu dangereux moins élevé.
- Réglage d’un modèle de base avec vos propres données d’entraînement afin que les réponses qu’il génère aient plus de chances d’être adaptées et délimitées au scénario de votre solution.
2 : Couche Système de sécurité
La couche Système de sécurité comprend des configurations et des fonctionnalités au niveau de la plateforme pour atténuer les dommages. Par exemple, Azure AI Studio prend en charge les filtres de contenu qui appliquent des critères pour supprimer les prompts et les réponses en fonction de la classification du contenu en quatre niveaux de gravité (sans risque, faible, moyen et élevé) pour quatre catégories de dommage potentiel (haine, caractère sexuel, violence et automutilation).
D’autres atténuations de la couche Système de sécurité peuvent inclure des algorithmes de détection d’abus pour déterminer si la solution fait systématiquement l’objet d’abus (par exemple, par le biais de volumes élevés de demandes automatisées provenant d’un bot) et des notifications d’alerte qui permettent de générer une réponse rapide dans l’éventualité d’un abus du système ou d’un comportement dangereux.
3 : La couche de méta-invite et ancrage
La couche de méta-invite et ancrage se concentre sur la construction des invites qui sont soumises au modèle. Les techniques d’atténuation des dommages que vous pouvez appliquer à cette couche sont les suivantes :
- Spécification de métaprompts ou d’entrées système qui définissent des paramètres comportementaux pour le modèle.
- Application de l’ingénierie des invites pour ajouter des données d’ancrage aux invites d’entrée, optimisant ainsi la probabilité d’une sortie pertinente et non dangereuse.
- Utilisation d’une approche de génération augmentée de récupération (RAG) pour récupérer des données contextuelles à partir de sources de données fiables et les inclure dans des invites.
4 : La couche de l’expérience utilisateur
La couche de l’expérience utilisateur inclut l’application logicielle par laquelle les utilisateurs interagissent avec le modèle d’IA générative, ainsi que la documentation ou d’autres documents destinés à l’utilisateur qui décrivent l’utilisation de la solution à ses utilisateurs et aux parties prenantes.
La conception de l’interface utilisateur de l’application pour limiter les entrées à des sujets ou des types spécifiques, ou l’application de la validation des entrées et des sorties peuvent atténuer le risque de réponses potentiellement dangereuses.
La documentation et toute autre description d’une solution d’IA générative doivent être suffisamment transparentes sur les capacités et les limitations du système, les modèles sur lesquels elle est basée ainsi que les éventuels dommages qui ne sont pas toujours résolus par les mesures d’atténuation en place.