Migrar as bibliotecas do Spark do Azure Synapse para o Fabric
O pool do Spark do Azure Synapse oferece diferentes opções de feed e biblioteca personalizada. No Fabric, cada runtime vem com um conjunto pré-instalado de bibliotecas (bibliotecas internas). No entanto, com base em seus cenários e necessidades específicas, você também pode incluir outras bibliotecas usando bibliotecas de ambiente e bibliotecas embutidas. Para mover bibliotecas de pool do Spark do Azure Synapse para o Fabric, use bibliotecas de ambiente.
Para considerações sobre a biblioteca do Spark, confira as diferenças entre o Spark do Azure Synapse e o Fabric.
Pré-requisitos
- Se você ainda não tiver um, crie um workspace do Fabric no seu locatário.
- Se você ainda não tiver um, crie um Ambiente em seu espaço de trabalho.
Opção 1: adicionar bibliotecas do Spark ao ambiente personalizado
Você pode mover bibliotecas de pool do Spark para um ambiente da seguinte maneira:
- Abra o Synapse Studio: entre no Azure. Navegue até o espaço de trabalho do Azure Synapse e abra o Synapse Studio.
- Localize bibliotecas do Spark:
- Acesse a área Gerenciar e selecione em pools do Apache Spark.
- Localize o pool do Apache Spark, selecione Pacotes e localize as bibliotecas do Spark para o pool.
- Obter bibliotecas do Spark: localize os pacotes requirements.txt, environment.yml ou espaço de trabalho instalados no pool. Obtenha a lista de bibliotecas instaladas no pool.
- Assim que você tiver bibliotecas do Spark, adicione bibliotecas personalizadas do Spark a um ambiente no Fabric. Em seu Ambiente, acesse Bibliotecas e adicione bibliotecas:
- Nas Bibliotecas Públicas, você pode carregar um arquivo .yml. Você também pode instalar bibliotecas usando PyPI and Conda.
- Nas Bibliotecas Personalizadas, você pode instalar bibliotecas usando arquivos .jar/.whl/.tar.gz.
- Clique em Salvar e Publicar alterações.
Saiba mais sobre como adicionar bibliotecas Spark a um Ambiente.
Observação
Note que a instalação da biblioteca pode levar algum tempo.