Partilhar via

Consultar um modelo servido com ai_query

  • Artigo

Importante

Esta funcionalidade está em Pré-visualização Pública.

Este artigo descreve como consultar um modelo que serve ponto de extremidade do SQL com ai_query()o . Para casos de uso com mais de 100 linhas de dados, o Databricks recomenda o uso de ai_query com um endpoint de taxa de transferência provisionada. Consulte Executar inferência LLM em lote usando ai_query.

O que é o ai_query()?

A ai_query() função é uma função SQL interna do Azure Databricks, parte das funções de IA. Ele permite que esses tipos de modelos sejam acessíveis a partir de consultas SQL:

  • Modelos personalizados hospedados por um ponto de extremidade de serviço de modelo.
  • Modelos hospedados por APIs de modelo do Databricks Foundation.
  • Modelos externos (modelos de terceiros hospedados fora do Databricks).

Para sintaxe e padrões de design, consulte ai_query função.

Quando essa função é usada para consultar um ponto de extremidade de serviço de modelo, ela só está disponível em espaços de trabalho e regiões onde o Serviço de Modelo está disponível e habilitado.

Requisitos

Consultar o ponto de extremidade com ai_query()

Você pode consultar o modelo por trás do ponto de extremidade usando ai_query() armazéns SQL sem servidor ou pró-SQL. Para obter os formatos de solicitação e resposta de pontuação, consulte Modelos de IA generativa de consulta.

Nota

  • Para o Databricks Runtime 14.2 e superior, esta função é suportada em ambientes de bloco de notas, incluindo blocos de notas e trabalhos Databricks.
  • Para o Databricks Runtime 14.1 e inferior, esta função não é suportada em ambientes de bloco de notas, incluindo blocos de notas Databricks.

Exemplo: Consultar um modelo de linguagem grande

O exemplo a seguir consulta o modelo por trás do sentiment-analysis ponto de extremidade com o text conjunto de dados e especifica o tipo de retorno da solicitação.

SELECT text, ai_query(
    "sentiment-analysis",
    text,
    returnType => "STRUCT<label:STRING, score:DOUBLE>"
  ) AS predict
FROM
  catalog.schema.customer_reviews
LIMIT 10

Exemplo: Consultar um modelo preditivo

O exemplo a seguir consulta um modelo de classificação por trás do spam-classification ponto de extremidade para prever em lote se o text é spam na inbox_messages tabela. O modelo tem 3 recursos de entrada: carimbo de data/hora, remetente, texto. O modelo retorna uma matriz booleana.

SELECT text, ai_query(
  endpoint => "spam-classification",
  request => named_struct(
    "timestamp", timestamp,
    "sender", from_number,
    "text", text),
  returnType => "BOOLEAN") AS is_spam
FROM catalog.schema.inbox_messages
LIMIT 10