Problema conhecido - O Fabric Runtime 1.3 causa bibliotecas inválidas
O Fabric Runtime 1.3 incorpora o Apache Spark 3.5. O Spark 3.5 lançou uma atualização importante em 15 de agosto de 2024 que gerou a invalidação das bibliotecas personalizadas instaladas nos ambientes de malha. O início de sessões de definição de trabalho do notebook e do Spark falha ao usar um ambiente inválido.
Status: Corrigido: 7 de novembro de 2024
Experiência do produto: Engenharia de Dados
Sintomas
Quando um novo notebook ou sessão de definição de trabalho do Spark com o ambiente do Fabric Runtime 1.3 é executado, a inicialização da sessão do Spark falha com o erro Spark_Ambiguous_SparkSubmit_PersonalizationFailed.
Soluções e alternativas
Para corrigir o problema, siga as etapas abaixo:
- Navegue até a instância do ambiente com o Runtime 1.3 no workspace
- Faça alterações na seção de bibliotecas conforme necessário com base nas dependências da biblioteca
- Salve e publique o ambiente novamente. O ambiente é recriado com a atualização mais recente do runtime do Spark 3.5.