MLflow-Ablaufverfolgung für Agents

Dieser Artikel beschreibt die MLflow-Ablaufverfolgung und die Szenarios, in denen sie für die Evaluierung generativer KI-Anwendungen in Ihrem KI-System hilfreich ist.

Bei der Softwareentwicklung geht es um die Aufzeichnung von Ereignisabläufen wie Benutzersitzungen oder Flows von Anforderungen. Im Zusammenhang mit KI-Systemen bezieht sich die Ablaufverfolgung oft auf Interaktionen, die Sie mit einem KI-System haben. Eine beispielhafte Ablaufverfolgung eines KI-Systems könnte so aussehen, dass die Eingaben und Parameter für eine RAG-Anwendung instrumentiert werden, die eine Benutzernachricht mit Prompt, eine Vektorsuche und eine Schnittstelle mit dem generativen KI-Modell enthält.

Was ist die MLflow-Ablaufverfolgung?

Mit der MLflow-Ablaufverfolgung können Sie Abläufe in verschiedenen Versionen von generativen KI-Anwendungen protokollieren, analysieren und vergleichen. Sie können Ihren generativen KI-Python-Code debuggen und Eingaben und Antworten nachverfolgen. Auf diese Weise können Sie Bedingungen oder Parameter ermitteln, die zu einer schlechten Leistung Ihrer Anwendung beitragen. Die MLflow-Ablaufverfolgung ist eng in die Databricks-Tools und -Infrastruktur integriert, so dass Sie alle Ihre Ablaufverfolgungen in Databricks-Notizbüchern oder der MLflow-Experiment-UI speichern und anzeigen können, während Sie Ihren Code ausführen.

Wenn Sie KI-Systeme auf Databricks mit Bibliotheken wie LangChain, LlamaIndex, OpenAI oder benutzerdefiniertem PyFunc entwickeln, können Sie mit der MLflow-Ablaufverfolgung alle Ereignisse und Zwischenergebnisse aus jedem Schritt Ihres Agent sehen. Sie können ganz einfach sehen, wie die Prompts lauten, welche Modelle und Retriever verwendet wurden, welche Dokumente zur Ergänzung der Antwort abgerufen wurden, wie lange es gedauert hat und wie das Endergebnis aussieht. Wenn Ihr Modell zum Beispiel halluziniert, können Sie jeden Schritt, der zu der Halluzination geführt hat, schnell überprüfen.

Gründe für die Verwendung der MLflow-Ablaufverfolgung

Die MLflow-Ablaufverfolgung bietet Ihnen verschiedene Vorteile, damit Sie Ihren Entwicklungsworkflow verfolgen können. Sie können zum Beispiel Folgendes:

• Überprüfen Sie eine interaktive Visualisierung und verwenden Sie das Untersuchungstool zur Diagnose von Problemen in der Entwicklung.
• Überprüfen Sie, ob die Prompt-Vorlagen und Leitlinien vernünftige Ergebnisse liefern.
• Erkunden und minimieren Sie die Auswirkungen verschiedener Frameworks, Modelle, Blockgrößen und Softwareentwicklungspraktiken auf die Latenz.
• Ermitteln Sie die Anwendungskosten, indem Sie die Token-Nutzung durch verschiedene Modelle verfolgen.
• Erstellen Sie Benchmark-Datasets („goldene“ Datasets), um die Leistung der verschiedenen Versionen zu bewerten.
• Speichern Sie Ablaufverfolgungen von Produktionsmodell-Endpunkten zum Debuggen von Problemen und führen Sie Offlineüberprüfungen und -auswertungen aus.

Installieren der MLflow-Ablaufverfolgung

Die MLflow-Ablaufverfolgung ist in MLflow-Versionen 2.13.0 und höher verfügbar.

%pip install mlflow>=2.13.0 -qqqU
%restart_python

Alternativ können Sie mit %pip install databricks-agents die neueste Version von databricks-agents, die eine kompatible MLflow-Version enthält, installieren.

Verwenden der MLflow-Ablaufverfolgung in der Entwicklung

Mithilfe der MLflow-Ablaufverfolgung können Sie Leistungsprobleme analysieren und den Agent-Entwicklungszyklus beschleunigen. In den folgenden Abschnitten wird davon ausgegangen, dass Sie die Agent-Entwicklung und MLflow-Ablaufverfolgung über ein Notebook vornehmen.

Hinzufügen von Ablaufverfolgungen zu Ihrem Agent

Die MLflow-Ablaufverfolgung bietet drei verschiedene Möglichkeiten, Ablaufverfolgungen mit Ihrer generativen KI-Anwendung zu verwenden. Beispiele für die Verwendung dieser Methoden finden Sie unter Hinzufügen von Ablaufverfolgungen zu Ihren Agents. Details zur API-Referenz finden Sie in der MLflow-Dokumentation.

Prüfen von Ablaufverfolgungen

Wenn Sie den instrumentierten Agent ausgeführt haben, können Sie die generierten Ablaufverfolgungen auf verschiedene Arten überprüfen:

• Die Visualisierung von Ablaufverfolgungen wird inline in der Zellenausgabe gerendert.
• Die Ablaufverfolgungen werden in Ihrem MLflow-Experiment protokolliert. Sie können die vollständige Liste der vergangenen Ablaufverfolgungen überprüfen und auf der Registerkarte Traces auf der Experiment-Seite danach suchen. Wenn der Agent unter einer aktiven MLflow-Ausführung ausgeführt wird, sind die Ablaufverfolgungen auch auf der Ausführungsseite zu finden.
• Rufen Sie Ablaufverfolgungen programmgesteuert über die search_traces()-API ab.

Verwenden der MLflow-Ablaufverfolgung in der Produktion

Die MLflow-Ablaufverfolgung ist auch in Mosaik AI Model Serving integriert, sodass Sie Probleme effizient debuggen, die Leistung überwachen und ein goldenes Dataset für die Offlineauswertung erstellen können. Wenn die MLflow-Ablaufverfolgung für Ihren Bereitstellungsendpunkt aktiviert ist, werden Ablaufverfolgungen in einer Rückschlusstabelle unter der Spalte response aufgezeichnet.

Zum Aktivieren der MLflow-Ablaufverfolgung für Ihren Bereitstellungsendpunkt müssen Sie die Umgebungsvariable ENABLE_MLFLOW_TRACING in der Endpunktkonfiguration auf True festlegen. Weitere Informationen zum Bereitstellen eines Endpunkts mit benutzerdefinierten Umgebungsvariablen finden Sie unter Hinzufügen von Nur-Text-Umgebungsvariablen. Wenn Sie Ihren Agent mithilfe der deploy() API bereitgestellt haben, werden Ablaufverfolgungen automatisch in einer Rückschlusstabelle protokolliert. Siehe Bereitstellen eines Agents für generative KI-Anwendung.

Begrenzungen

• Die MLflow-Ablaufverfolgung ist in Databricks-Notebooks, Notebookaufträgen und Modellbereitstellungen verfügbar.

• LangChain-Autoprotokollierung unterstützt unter Umständen nicht alle LangChain-Vorhersage-APIs. Die vollständige Liste der unterstützten APIs finden Sie in der MLflow-Dokumentation.