read_kafka tablefunção -valorada

Aplica-se a: Databricks SQL Databricks Runtime 13.3 LTS e superior

Lê dados de um cluster Apache Kafka e retorna os dados em forma de tabela.

Pode ler dados de um ou mais tópicos de Kafka. Ele suporta consultas em lote e ingestão de streaming.

Sintaxe

read_kafka([option_key => option_value ] [, ...])

Argumentos

Esta função requer invocação de parâmetro nomeado.

• option_key: O nome da opção a ser configurada. Você deve usar backticks (') para opções que contêm pontos (.).
• option_value: Uma expressão constante para definir a opção set. Aceita literais e funções escalares.

Devoluções

Registros lidos de um cluster Apache Kafka com os seguintes schema:

• key BINARY: A chave do disco de Kafka.
• value BINARY NOT NULL: O valor do registro de Kafka.
• topic STRING NOT NULL: O nome do tópico Kafka do qual o registro é lido.
• partition INT NOT NULL: O ID do registo do Kafka partition de onde o registo é lido.
• offset BIGINT NOT NULL: O número offset do registo em Kafka TopicPartition.
• timestamp TIMESTAMP NOT NULL: Um valor de carimbo de data/hora para o registro. O timestampTypecolumn define a que corresponde esse carimbo de data/hora.
• timestampType INTEGER NOT NULL: O tipo do timestamp especificado no timestampcolumn.
• headers ARRAY<STRUCT<key: STRING, VALUE: BINARY>>: O cabeçalho values fornecido como parte do registro (se habilitado).

Exemplos

-- A batch query to read from a topic.
> SELECT value::string as value
  FROM read_kafka(
    bootstrapServers => 'kafka_server:9092',
    subscribe => 'events'
  ) LIMIT 10;

-- Streaming ingestion from Kafka with JSON parsing.
> CREATE OR REFRESH STREAMING TABLE catalog.schema.raw_events AS
  SELECT
    value::string:events,                 -- extract the field `events`
    to_timestamp(value::string:ts) as ts  -- extract the field `ts` and cast to timestamp
  FROM STREAM read_kafka(
    bootstrapServers => 'kafka_server:9092',
    subscribe => 'events'
  );

Opções

Pode encontrar uma lista list detalhada de opções na documentação do Apache Spark.

Opções necessárias

Forneça a opção abaixo para se conectar ao seu cluster Kafka.

Forneça apenas uma das opções abaixo para configurar quais tópicos do Kafka extrair dados.

Opções diversas

read_kafka pode ser usado em consultas em lote e em consultas de streaming. As opções abaixo especificam a que tipo de consulta se aplicam.

Artigos relacionados

• CREATE STREAMING TABLE
• read_files tablede função com valor de
• função de streaming read_pubsub que retorna table