Techniques d’ingénierie de prompts d’image
Pour profiter pleinement du potentiel de GPT-4 Turbo avec Vision, il est essentiel d’adapter les prompts à vos besoins spécifiques. Voici quelques recommandations qui vous permettront d’améliorer l’exactitude et l’efficacité de vos prompts.
Principes de base de la création d’un prompt d’image
Spécificité contextuelle : l’ajout d’un contexte au scénario concerné permet au modèle de mieux comprendre quelle est la sortie appropriée. Ce niveau de spécificité permet de se concentrer sur les aspects pertinents et d’éviter les détails superflus.
Prompts orientés tâches : le fait de se concentrer sur une tâche spécifique aide le modèle à développer la sortie tout en tenant compte de cette perspective.
Gestion des refus : quand le modèle indique son incapacité à effectuer une tâche, affiner le prompt peut être une solution efficace. Des prompts plus spécifiques peuvent guider le modèle vers une compréhension plus claire et une meilleure exécution de la tâche. Quelques conseils à garder à l’esprit :
- Demandez des explications pour les réponses générées afin d’améliorer la transparence de la sortie du modèle
- Si vous utilisez un prompt comportant une seule image, placez l’image avant le texte
- Demandez au modèle de décrire d’abord l’image en détail, puis d’effectuer votre tâche spécifique à partir de la description
- Demandez des explications pour les réponses générées afin d’améliorer la transparence de la sortie du modèle
Ajout d’exemples : ajoutez des exemples qui représentent le type de réponses que vous recherchez
Décomposition des requêtes : essayez de décomposer les requêtes complexes étape par étape pour créer des sous-objectifs gérables
Définition du format de sortie : mentionnez clairement le format souhaité pour la sortie, par exemple Markdown, JSON, HTML, etc. Vous pouvez également suggérer une structure, une longueur ou des attributs spécifiques pour la réponse.
Exemples d’entrées et de sorties de prompt
Il existe de nombreuses façons de créer des prompts système pour personnaliser la sortie en fonction de vos besoins. Les exemples d’entrées et de sorties suivants montrent comment l’ajustement des prompts peut vous donner différents résultats. Testez le modèle pour vous-même en utilisant ces images, et en ajustant le prompt du système dans le terrain de jeu Azure AI Studio.
Spécificité contextuelle
Le contexte peut contribuer à améliorer les commentaires du modèle. Par exemple, si vous travaillez sur des descriptions d’images pour un catalogue de produits, vérifiez que votre prompt le reflète de manière claire et concise. Un prompt tel que « Décris les images d’un catalogue de produits de randonnée en plein air, en mettant l’accent sur l’enthousiasme et le professionnalisme » indique au modèle de générer des réponses à la fois précises et riches sur le plan du contexte.
| Prompt de base | Sortie du modèle |
|---|---|
 Que contient cette image ? |
L’image montre une installation de camping dans une zone forestière. Elle contient une tente jaune, deux chaises de camping pliantes (une rouge et une bleue) ainsi qu’une table de camping portable. Les environs sont très arborés, ce qui indique que le camping se trouve dans une région boisée. |
| Prompt mis à jour | Sortie du modèle |
|---|---|
| Décris les images d’un catalogue de produits de randonnée en plein air, en mettant l’accent sur l’enthousiasme et le professionnalisme. |
« Embarquez pour votre prochaine aventure en plein air avec nos accessoires indispensables pour la randonnée et le camping ! Découvrez notre tente, lumineuse et spacieuse, pensée pour devenir votre second foyer au beau milieu d’une nature emplie de sérénité. Fabriquée avec des matériaux de premier ordre, elle promet durabilité et confort par tous les temps. En plus de la tente, nos chaises pliantes ultraconfortables et légères, disponibles dans un rouge accrocheur et un bleu serein, sont parfaites pour les moments de détente après une journée d’excursion. N’oubliez pas notre table robuste et portable, idéale pour prendre un délicieux repas en plein air ou jouer à une partie de cartes à la belle étoile. Sublimez votre expérience du camping avec nos produits réputés pour leur fiabilité, et dont la qualité répond aux défis des grands espaces ! » |
Prompts orientés tâches
Le fait de donner au modèle une tâche spécifique à suivre est un moyen d’affiner la réponse. Dans cet exemple, ce prompt amène le modèle à se concentrer sur les éléments cruciaux dans le cadre des évaluations des risques pour les assurances, ce qui permet d’améliorer l’exactitude et la pertinence des résultats.
| Prompt de base | Sortie du modèle |
|---|---|
 Que contient cette image ? |
L’image montre une berline argentée impliquée dans un accident. L’avant de la voiture est endommagé, le capot est froissé, et le pare-chocs s’est partiellement détaché. La voiture repose contre un poteau électrique sur le trottoir, et de la fumée s’échappe de manière visible de la zone du moteur, ce qui indique que l’accident est récent. L’environnement semble être celui d’une rue résidentielle, comme l’indique la présence de maisons en arrière-plan, d’une haie soigneusement taillée et d’un trottoir. |
| Prompt mis à jour | Sortie du modèle |
|---|---|
| Analyse cette image montrant une voiture accidentée, et génère un rapport d’assurance automobile, en mettant l’accent sur l’identification et les détails des dommages |
Dans l’image fournie, nous observons une berline argentée qui a subi d’importants dommages à l’avant. Le capot du véhicule est particulièrement froissé, et le pare-chocs avant a subi une déformation importante, ce qui l’a détaché partiellement du châssis. Le bloc optique droit semble être endommagé ou délogé. La calandre avant est également endommagée. La voiture est en contact avec un poteau électrique, ce qui suggère une collision frontale avec le poteau à une vitesse relativement basse ou modérée. De la fumée émane du compartiment moteur, ce qui suggère des dommages mécaniques ou électriques pouvant nécessiter une inspection plus approfondie pour une évaluation exhaustive. Les airbags ne semblent pas être déployés sur cette image. Le véhicule nécessite une inspection détaillée pour permettre une évaluation exhaustive de l’étendue des dommages structuraux et mécaniques dans le cadre d’un rapport d’assurance complet. |
Gestion des refus
Quand un modèle indique qu’il ne peut pas générer de sortie, vous disposez de plusieurs moyens pour adapter l’entrée afin de générer une réponse plus appropriée. Vous trouverez ci-dessous un exemple de gestion de refus ainsi que la progression à suivre.
| Prompt de base | Sortie du modèle |
|---|---|
 Planifie ce repas |
Désolé, je ne peux pas fournir ces informations. |
| Prompt de suivi | Sortie du modèle |
|---|---|
| De quelles informations as-tu besoin ? | Je suis désolé pour la confusion antérieure. Pour planifier un repas en fonction de l’image fournie, j’ai besoin des informations suivantes : Nombre de personnes présentes au dîner. Cela permettra de garantir la quantité de nourriture nécessaire pour tout le monde. Restrictions ou préférences alimentaires à prendre en compte (par exemple végétarien, sans gluten, allergies). Événement ou type de repas planifié (par exemple déjeuner décontracté, dîner). Équilibre souhaité pour le repas en termes de groupes d’aliments et de nutrition. Avec ces informations, je saurai vous suggérer comment répartir les portions des plats, composer un repas équilibré et veiller à ce que le repas réponde aux attentes de tous les convives. |
Ajout d’exemples
| Prompt de base | Sortie du modèle |
|---|---|
 Quelle est cette race de chien, et quels sont sa taille et son poids moyens ? |
Le chien sur l’image semble être un Border Collie. Les Border Collies sont réputés pour leur intelligence, leur agilité et leur aptitude à garder les troupeaux. Le poids moyen d’un Border Collie se situe généralement entre 14 et 20 kilogrammes. En ce qui concerne la taille, les Border Collies mesurent généralement entre 45 et 55 centimètres environ au garrot. Ces chiffres peuvent varier en fonction de la génétique, de l’alimentation et du niveau d’activité de chaque chien. Les Border Collies sont des chiens de taille moyenne, bien proportionnés et hyperactifs. |
| Prompt mis à jour | Sortie du modèle |
|---|---|
Q : Quelle est cette race de chien, et quels sont sa taille et son poids moyens ? 
R : Race : Poméranien ; poids moyen : entre 1 et 3 kg environ ; taille moyenne : entre 20 et 35 cm environ  R : Race : Bouledogue anglais ; poids moyen : entre 22 et 25 kg environ ; taille moyenne : entre 35 et 40 cm environ
|
R : Race : Border Collie ; poids moyen : entre 13 et 20 kg environ ; taille moyenne : entre 45 et 55 cm environ |
Décomposition des requêtes
| Prompt de base | Sortie du modèle |
|---|---|
 Que contient cette image ? |
L’image contient une fiche de recette intitulée Tarte aux pommes de grand-mère. Il est indiqué qu’il s’agit d’une tradition de Thanksgiving. Les ingrédients listés sont les suivants :
Notez que les mesures du sucre, de la farine et du beurre ne sont pas bien visibles sur l’image. Si nécessaire, sachez qu’il suffit généralement de mélanger du sucre, de la farine et du beurre selon des mesures standard pour obtenir une garniture de miettes |
| Prompt mis à jour | Sortie du modèle |
|---|---|
| Tu es un Assistant IA qui aide à rédiger des listes de courses ainsi que des instructions pour préparer des aliments à partir de recettes. Établis une liste d’ingrédients à acheter ainsi que les instructions nécessaires pour préparer ces ingrédients en fonction d’une fiche de recette. |
Bien sûr, voici une liste de courses basée sur la fiche de recette : Liste de courses :
Instructions de préparation :
|
Définition du format de sortie
| Prompt de base | Sortie du modèle |
|---|---|
 Décris cette image |
L’image montre une luxueuse villa blanche avec un toit de chaume traditionnel sur une partie, et une piscine bleu clair au premier plan. Des chaises longues sont alignées le long de la piscine, invitant à la détente. L’architecture comprend d’élégantes arcades, un balcon avec des garde-corps en bois ainsi que de grandes fenêtres et portes qui suggèrent un intérieur lumineux et aéré. La villa est entourée d’une végétation tropicale luxuriante, notamment de grands palmiers, ce qui amplifie l’ambiance sereine et exotique du cadre. |
| Prompt mis à jour | Sortie du modèle |
|---|---|
| Tu es un Assistant IA qui aide à rédiger des annonces détaillées pour des propriétés en location saisonnière. Résume en trois phrases les caractéristiques optimales de l’annonce, en fonction uniquement de ce qui est visible sur l’image. Termine l’annonce par une phrase qui explique au client pourquoi il doit réserver dès aujourd’hui. |
Cette villa de rêve dispose d’une magnifique piscine privée, accessible facilement grâce à ses marches, et d’une terrasse superbement carrelée, équipée de chaises longues confortables, idéales pour se détendre au soleil ou se plonger dans la lecture d’un bon livre, à l’ombre des palmiers tropicaux. L’architecture de la villa séduit par son design, marqué par des arcades élégantes et un belvédère au toit de chaume dont les balcons offrent une vue paisible, et un endroit parfait pour apprécier vos boissons matinales ou vespérales. L’écrin de verdure luxuriante entourant la propriété assure une intimité précieuse, et contribue à l’atmosphère d’une retraite paradisiaque exclusive. Saisissez l’occasion de découvrir ce mélange idéal de luxe et de sérénité. Effectuez votre réservation dès maintenant pour une escapade tropicale unique en son genre ! |
Ces recommandations et ces exemples montrent comment la personnalisation des prompts du système peut améliorer considérablement les performances de GPT-4 Turbo avec Vision, en garantissant des réponses non seulement précises, mais également parfaitement adaptées au contexte spécifique de la tâche à effectuer.