Funções de ordem superior
O Azure Databricks fornece primitivas dedicadas para manipular matrizes no Apache Spark SQL; Isso torna o trabalho com arrays muito mais fácil e conciso e elimina as grandes quantidades de código clichê normalmente necessárias. Os primitivos giram em torno de duas construções de programação funcional: funções de ordem superior e funções anônimas (lambda). Eles trabalham juntos para permitir que você defina funções que manipulam matrizes em SQL. Uma função de ordem superior pega uma matriz, implementa como a matriz é processada e qual será o resultado da computação. Ele delega a uma função lambda como processar cada item na matriz.
Introdução ao notebook de funções de ordem superior
Tutorial de funções de ordem superior Python notebook
Funções integradas do Apache Spark
O Apache Spark tem funções integradas para manipular tipos complexos (por exemplo, tipos de matriz), incluindo funções de ordem superior.
O notebook a seguir ilustra as funções integradas do Apache Spark.