ai_query
-Funktion
Gilt für: Databricks SQL Databricks Runtime
Wichtig
Dieses Feature befindet sich in der Public Preview.
Ruft einen vorhandenen Modellbereitstellungsendpunkt von Azure Databricks, parst ihn und gibt seine Antwort zurück.
Anforderungen
- Diese Funktion ist in Azure Databricks SQL Classic nicht verfügbar.
- Das Abfragen von Foundation Model-APIs ist standardmäßig aktiviert. Um Endpunkte abzufragen, die benutzerdefinierten Modellen oder externen Modellen dienen, aktivieren Sie AI_Query für benutzerdefinierte Modelle und externe Modelle in der Benutzeroberfläche der Databricks-Vorschauversion.
- Der aktuelle DLT Warehouse-Kanal verwendet nicht die neueste Databricks Runtime-Version, die
ai_query()
unterstützt. Legen Sie diepipelines.channel
in den Tabelleneigenschaften als'preview'
zu umai_query()
zu verwendenden. Siehe Beispiele für eine Beispielabfrage.
Hinweis
- In Databricks Runtime 14.2 und höher wird diese Funktion in Databricks-Notebooks unterstützt, einschließlich Notebooks, die als Task in einem Databricks-Workflow ausgeführt werden.
- In Databricks Runtime 14.1 und früher wird diese Funktion in Databricks-Notebooks nicht unterstützt.
Syntax
So fragen Sie einen Endpunkt für ein externes Modell oder Foundation Model-Endpunkt ab
ai_query(endpointName, request)
Vorgehensweise zum Abfragen eines Modellbereitstellungsendpunkt mit Modellschema:
ai_query(endpointName, request)
Vorgehensweise zum Abfragen eines Modellbereitstellungsendpunkt ohne Modellschema:
ai_query(endpointName, request, returnType)
Argumente
endpointName
: Ein Zeichenfolgenliteral, der Name eines Databricks-Basismodell-Bereitstellungsendpunkts, eines externen Modellbereitstellungsendpunkts oder eines benutzerdefinierten Modellendpunkts im selben Arbeitsbereich für Aufrufe. Das Definer-Element muss über die Berechtigung KANN ABFRAGEN für den Endpunkt verfügen.request
: Ein Ausdruck, die Anforderung, die zum Aufrufen des Endpunkts verwendet wird.- Wenn der Endpunkt ein externer Model Serving-Endpunkt ist oder für Databricks Foundation Model-APIs verwendet wird, muss die Anforderung eine ZEICHENFOLGE sein.
- Wenn der Endpunkt ein benutzerdefinierter Model Serving-Endpunkt ist, kann die Anforderung eine einzelne Spalte oder ein Strukturausdruck sein. Die Namen des Strukturfelds sollten mit den Featurenamen der Eingabe übereinstimmen, die vom Endpunkt erwartet werden.
returnType
: Ein Ausdruck, der vom Endpunkt erwartete Rückgabetyp (returnType). Dies ähnelt dem Schemaparameter in der from_json-Funktion, die sowohl einen STRING-Ausdruck als auch den Aufruf der schema_of_json-Funktion akzeptiert.- Wenn in Databricks Runtime 14.2 und höher dieser Ausdruck nicht angegeben wird, leitet
ai_query()
den Rückgabetyp automatisch aus dem Modellschema des benutzerdefinierten Modellbereitstellungsendpunkts ab. - In Databricks Runtime 14.1 und darunter ist dieser Ausdruck zum Abrufen eines benutzerdefinierten Modellbereitstellungsendpunkts erforderlich.
- Wenn in Databricks Runtime 14.2 und höher dieser Ausdruck nicht angegeben wird, leitet
Gibt zurück
Die geparste Antwort vom Endpunkt.
Beispiele
So fragen Sie einen Bereitstellungsendpunkt für ein externes Modell ab
> SELECT ai_query(
'my-external-model-openai-chat',
'Describe Databricks SQL in 30 words.'
) AS summary
"Databricks SQL is a cloud-based platform for data analytics and machine learning, providing a unified workspace for collaborative data exploration, analysis, and visualization using SQL queries."
So fragen Sie ein Foundation-Modell ab, das von Databricks-Foundation-Modell-APIs unterstützt wird
> SELECT *,
ai_query(
'databricks-meta-llama-3-1-70b-instruct',
"Can you tell me the name of the US state that serves the provided ZIP code? zip code: " || pickup_zip
)
FROM samples.nyctaxi.trips
LIMIT 10
Optional können Sie auch wie folgt einen Aufruf von ai_query()
in einer UDF für Funktionsaufrufe umschließen:
> CREATE FUNCTION correct_grammar(text STRING)
RETURNS STRING
RETURN ai_query(
'databricks-llama-2-70b-chat',
CONCAT('Correct this to standard English:\n', text));
> GRANT EXECUTE ON correct_grammar TO ds;
- DS fixes grammar issues in a batch.
> SELECT
* EXCEPT text,
correct_grammar(text) AS text
FROM articles;
So fragen Sie einen Model Serving-Endpunkt ab
> SELECT text, ai_query(
endpoint => 'spam-classification-endpoint',
request => named_struct(
'timestamp', timestamp,
'sender', from_number,
'text', text),
returnType => 'BOOLEAN') AS is_spam
FROM messages
> SELECT ai_query(
'weekly-forecast',
request => struct(*),
returnType => 'FLOAT') AS predicted_revenue
FROM retail_revenue
> SELECT ai_query(
'custom-llama-2-7b-chat',
request => named_struct("messages",
ARRAY(named_struct("role", "user", "content", "What is ML?"))),
returnType => 'STRUCT<candidates:ARRAY<STRING>>')
{"candidates":["ML stands for Machine Learning. It's a subfield of Artificial Intelligence that involves the use of algorithms and statistical models to enable machines to learn from data, make decisions, and improve their performance on a specific task over time."]}
Beispielabfrage zum Festlegen des DLT-Kanals für die Vorschau:
> create or replace materialized view
ai_query_mv
TBLPROPERTIES('pipelines.channel' = 'PREVIEW') AS
SELECT
ai_query("databricks-dbrx-instruct", text) as response
FROM
messages