Auswertungsgesteuerter Entwicklungsworkflow
Dieser Abschnitt führt Sie durch den von Databricks empfohlenen Entwicklungsworkflow zum Erstellen, Testen und Bereitstellen einer qualitativ hochwertigen RAG-Anwendung: auswertungsgesteuerte Entwicklung. Dieser Workflow basiert auf den empfohlenen bewährten Methoden des Mosaic-Forschungsteams für das Erstellen und Auswerten qualitativ hochwertiger RAG-Anwendungen. Databricks empfiehlt den folgenden auswertungsgesteuerten Workflow:
- Definieren von Anforderungen
- Sammeln von Feedback der Projektbeteiligten zu einem schnellen Proof of Concept
- Bewerten der Proof of Concept-Qualität
- Iteratives Diagnostizieren und Beheben von Qualitätsproblemen
- Stellen Sie es für die Produktion bereit.
- Überwachen in der Produktion
Es gibt zwei Kernkonzepte bei der auswertungsgesteuerten Entwicklung:
Metriken: Definieren, was qualitativ hochwertig bedeutet.
Ähnlich wie bei der jährlichen Festlegung von Geschäftszielen müssen Sie definieren, was qualitativ hochwertig für Ihren Anwendungsfall bedeutet. Mosaic AI Agent Evaluation stellt einen vorgeschlagenen Satz von Metriken zur Verfügung. Am wichtigsten davon ist Genauigkeit oder Korrektheit der Antwort: Gibt die RAG-Anwendung die richtige Antwort?
Auswertungssatz: Objektives Messen der Metriken.
Um die Qualität objektiv zu messen, benötigen Sie einen Auswertungssatz, der Fragen mit bekannten Antworten enthält, die von Menschen überprüft wurden. Dieser Leitfaden führt Sie durch den Prozess der Entwicklung und iterativen Optimierung dieses Auswertungssatzes.
Die Verankerung anhand von Metriken und eines Auswertungssatzes bietet die folgenden Vorteile:
- Sie können die Qualität Ihrer Anwendung während der Entwicklung iterativ und sicher optimieren: Sie müssen nicht mehr raten, ob eine Änderung zu einer Verbesserung geführt hat.
- Die Abstimmung mit Geschäftsbeteiligten in Bezug auf die Produktionsreife der Anwendung wird einfacher, wenn Sie selbstbewusst sagen können: „Wir wissen, dass unsere Anwendung die wichtigsten Fragen für unser Unternehmen korrekt beantwortet und nicht falsch interpretiert.“
Eine Schritt-für-Schritt-Anleitung, die den auswertungsgesteuerten Workflow veranschaulicht, finden Sie unter Voraussetzung: Ermitteln von Anforderungen.