Funções
Aplica-se a: 
Databricks Runtime
O Spark SQL fornece dois recursos de função para atender a uma ampla variedade de necessidades: funções internas e UDFs (funções definidas pelo usuário).
Para saber mais sobre a resolução de função e a invocação de função, consulte: Invocação de função.
Funções internas
Este artigo apresenta os usos e as descrições das categorias de funções internas usadas com frequência para agregação, matrizes e mapas, datas e carimbos de data/hora e dados JSON.
Funções definidas pelo usuário do SQL e do Python
As funções definidas pelo usuário (UDFs) do SQL e do Python são funções que você pode definir por conta própria que podem retornar valores escalares ou conjuntos de resultados.
ConsulteCREATE FUNCTION (SQL, Python) para saber mais.
Funções externas definidas pelo usuário
As UDFs permitem definir suas próprias funções quando as funções internas do sistema não forem suficientes para executar a tarefa desejada. Para usar UDFs, defina a função, registre a função com o Spark e, por fim, chame a função registrada. Uma UDF pode agir em uma única linha ou em várias linhas de uma só vez. O SQL do Spark também dá suporte à integração de implementações existentes de UDFs do Hive, UDAF (funções de agregação definidas pelo usuário) e UDTF (funções de tabela definidas pelo usuário).