Batch-Rückschluss mithilfe des von Foundation Model-APIs bereitgestellten Durchsatzes
Dieser Artikel enthält Beispiel-Notebooks, die mithilfe von Basismodell-APIs Batch-Rückschlüsse für einen Endpunkt für bereitgestellten Durchsatz durchführen. Außerdem enthält es ein Beispiel-Notebook zum Ermitteln der optimalen Parallelität für Ihren Endpunkt basierend auf Ihrer Batch-Ableitungsauslastung.
Anforderungen
- Arbeitsbereich in einer Region, die Basismodell-APIs unterstützt.
- Databricks Runtime 14.3 LTS ML oder höher.
Ausführen von Batchrückschlüssen
Im Allgemeinen umfasst das Einrichten der Batch-Rückschlusses 3 Schritte:
- Vorbereiten von Beispieldaten und Einrichten eines Benchmark-Endpunkts.
- Führen Sie einen Auslastungstest mit den Beispieldaten auf dem Benchmark-Endpunkt aus, um die ideale Endpunkt-Konfiguration zu ermitteln.
- Erstellen Sie den Endpunkt, der für den Batch-Rückschluss verwendet werden soll, und senden Sie die Batch-Rückschluss-Anforderungen.
Das Beispiel-Notebook richtet den Batch-Rückschluss ein und verwendet das Meta Llama 3.1 70B-Modell und PySpark, um Folgendes zu erreichen:
- Beispiel für die Eingabedaten zum Erstellen eines repräsentativen Datasets
- Erstellen eines Benchmark-Endpunkts mit dem ausgewählten Modell
- Laden des Benchmark-Endpunkts mithilfe der Beispieldaten zur Ermittlung der Wartezeit und Nebenläufigkeit
- Erstellen eines bereitgestellten Durchsatz-Endpunkts für den Batch-Rückschluss anhand von Lasttest-Ergebnissen
- Erstellen der Batch-Anforderungen und Senden an den Batch-Rückschluss-Endpunkt
Durchführen von Batch-Rückschlüssen für ein Endpunkt-Notebook für bereitgestellten Durchsatz
Ermitteln der optimalen Nebenläufigkeit für die Batch-Rückschluss-Workload
Das folgende Notebook bietet ein alternatives Tool zum Load Testing des Benchmark-Endpunkts mithilfe von PySpark.