Partilhar via

Função to_avro

  • Artigo

Aplica-se a:com opção marcada como sim Databricks Runtime 16.0 e versões posteriores

Retorna um valor binário Avro com o valor de entrada especificado.

Sintaxe

to_avro(expr [, avroSchemaSpec] )

Argumentos

  • expr: Uma expressão.
  • avroSchemaSpec: Um destino opcional schema no formato JSON. Se especificado, deve corresponder ao expr tipo especificado em Notas.

Devoluções

Um Avro codificado BINARY.

Notas

O mapeamento de tipos SQL para tipos Avro é o seguinte:

Tipo SQL Avro schema
VOID { "type" : "null" }
BOOLEAN { "type" : "boolean" }
TINYINT { "type" : "int" }
SMALLINT { "type" : "int" }
INT { "type" : "int" }
BIGINT { "type" : "long" }
DECIMAL(p, s) { "type": "fixed", "name": "a", logicalType": "decimal", "size": (p+1)/2, precision": p, "scale": s }
FLOAT { "type" : "float" }
DOUBLE { "type" : "float" }
STRING { "type" : "string" }
DATE { "type" : "int", "logicalType" : "date" }
TIMESTAMP { "type" : "long" } em microssegundos desde 1970-01-01 00:00:00.000000
TIMESTAMP_NTZ { "type" : "long" } em microssegundos desde 1970-01-01 00:00:00.000000
YEAR MONTH INTERVAL { "type" : "long" } em meses
DAY TIME INTERVAL { "type" : "long" } em microssegundos
BINARY { "type" : "bytes" }
STRUCT<field1 type1, ...> { "type" : "record", "name": "struct_name", "fields": [ { "name" : "field1", "type" : ... }, ... ] }
ARRAY<type> { "type" : "array", "items": { "type" : ... }
MAP<STRING, valueType> { "type" : "map", "keyType": { "type" : ... }, "valueType": { "type" : ... } }
MAP<nonStringType, valueType> Não suportado
VARIANT Não suportado

Exemplos

> SELECT from_avro(to_avro(5), '{ "type" : "int" }');
  5

> SELECT from_avro(to_avro(5, '{ "type" : "int" }'), '{ "type" : "int" }');
  5

> SELECT from_avro(to_avro(named_struct('num', 5, 'txt', 'hello')), '{ "type" : "record", "name": "my_record", "fields": [{ "name": "num", "type": "int"}, { "name": "txt", "type": "string"}]}');
  {"num":5,"txt":"hello"}