ai_query-Funktion

Gilt für: Databricks SQL Databricks Runtime

Ruft einen vorhandenen Modellbereitstellungsendpunkt von Azure Databricks, parst ihn und gibt seine Antwort zurück.

Anforderungen

• Diese Funktion ist in Azure Databricks SQL Classic nicht verfügbar.
• Das Abfragen von Foundation Model-APIs ist standardmäßig aktiviert. Um Endpunkte abzufragen, die benutzerdefinierten Modellen oder externen Modellen dienen, aktivieren Sie AI_Query für benutzerdefinierte Modelle und externe Modelle in der Benutzeroberfläche der Databricks-Vorschauversion.
• Der aktuelle DLT Warehouse-Kanal verwendet nicht die neueste Databricks Runtime-Version, die ai_query() unterstützt. Legen Sie die pipelines.channel in den Tabelleneigenschaften als 'preview' zu um ai_query() zu verwendenden. Siehe Beispiele für eine Beispielabfrage.

Syntax

So fragen Sie einen Endpunkt für ein externes Modell oder Foundation Model-Endpunkt ab

ai_query(endpointName, request)

Vorgehensweise zum Abfragen eines Modellbereitstellungsendpunkt mit Modellschema:

ai_query(endpointName, request)

Vorgehensweise zum Abfragen eines Modellbereitstellungsendpunkt ohne Modellschema:

ai_query(endpointName, request, returnType)

Argumente

• endpointName: Ein Zeichenfolgenliteral, der Name eines Databricks-Basismodell-Bereitstellungsendpunkts, eines externen Modellbereitstellungsendpunkts oder eines benutzerdefinierten Modellendpunkts im selben Arbeitsbereich für Aufrufe. Das Definer-Element muss über die Berechtigung KANN ABFRAGEN für den Endpunkt verfügen.
• request: Ein Ausdruck, die Anforderung, die zum Aufrufen des Endpunkts verwendet wird.
  • Wenn der Endpunkt ein externer Model Serving-Endpunkt ist oder für Databricks Foundation Model-APIs verwendet wird, muss die Anforderung eine ZEICHENFOLGE sein.
  • Wenn der Endpunkt ein benutzerdefinierter Model Serving-Endpunkt ist, kann die Anforderung eine einzelne Spalte oder ein Strukturausdruck sein. Die Namen des Strukturfelds sollten mit den Featurenamen der Eingabe übereinstimmen, die vom Endpunkt erwartet werden.
• returnType: Ein Ausdruck, der vom Endpunkt erwartete Rückgabetyp (returnType). Dies ähnelt dem Schemaparameter in der from_json-Funktion, die sowohl einen STRING-Ausdruck als auch den Aufruf der schema_of_json-Funktion akzeptiert.
  • Wenn in Databricks Runtime 14.2 und höher dieser Ausdruck nicht angegeben wird, leitet ai_query() den Rückgabetyp automatisch aus dem Modellschema des benutzerdefinierten Modellbereitstellungsendpunkts ab.
  • In Databricks Runtime 14.1 und darunter ist dieser Ausdruck zum Abrufen eines benutzerdefinierten Modellbereitstellungsendpunkts erforderlich.

Gibt zurück

Die geparste Antwort vom Endpunkt.

Beispiele

So fragen Sie einen Bereitstellungsendpunkt für ein externes Modell ab

> SELECT ai_query(
    'my-external-model-openai-chat',
    'Describe Databricks SQL in 30 words.'
  ) AS summary

  "Databricks SQL is a cloud-based platform for data analytics and machine learning, providing a unified workspace for collaborative data exploration, analysis, and visualization using SQL queries."

So fragen Sie ein Foundation-Modell ab, das von Databricks-Foundation-Modell-APIs unterstützt wird

> SELECT *,
  ai_query(
    'databricks-meta-llama-3-1-70b-instruct',
    "Can you tell me the name of the US state that serves the provided ZIP code? zip code: " || pickup_zip
    )
  FROM samples.nyctaxi.trips
  LIMIT 10

Optional können Sie auch wie folgt einen Aufruf von ai_query() in einer UDF für Funktionsaufrufe umschließen:

> CREATE FUNCTION correct_grammar(text STRING)
  RETURNS STRING
  RETURN ai_query(
    'databricks-llama-2-70b-chat',
    CONCAT('Correct this to standard English:\n', text));
> GRANT EXECUTE ON correct_grammar TO ds;
- DS fixes grammar issues in a batch.
> SELECT
    * EXCEPT text,
    correct_grammar(text) AS text
  FROM articles;

So fragen Sie einen Model Serving-Endpunkt ab

> SELECT text, ai_query(
    endpoint => 'spam-classification-endpoint',
    request => named_struct(
      'timestamp', timestamp,
      'sender', from_number,
      'text', text),
    returnType => 'BOOLEAN') AS is_spam
  FROM messages

> SELECT ai_query(
    'weekly-forecast',
    request => struct(*),
    returnType => 'FLOAT') AS predicted_revenue
  FROM retail_revenue

> SELECT ai_query(
    'custom-llama-2-7b-chat',
    request => named_struct("messages",
        ARRAY(named_struct("role", "user", "content", "What is ML?"))),
    returnType => 'STRUCT<candidates:ARRAY<STRING>>')

  {"candidates":["ML stands for Machine Learning. It's a subfield of Artificial Intelligence that involves the use of algorithms and statistical models to enable machines to learn from data, make decisions, and improve their performance on a specific task over time."]}

Beispielabfrage zum Festlegen des DLT-Kanals für die Vorschau:

> create or replace materialized view
    ai_query_mv
    TBLPROPERTIES('pipelines.channel' = 'PREVIEW') AS
  SELECT
    ai_query("databricks-dbrx-instruct", text) as response
  FROM
    messages

Zugehörige Funktionen

• from_json-Funktion
• schema_of_json-Funktion