Partilhar via

Migrando do Azure Synapse Spark para o Fabric

  • Artigo

Antes de começar a migração, você deve verificar se o Fabric Data Engineering é a melhor solução para sua carga de trabalho. O Fabric Data Engineering suporta lakehouse, notebook, ambiente, definição de tarefa do Spark (SJD) e itens de pipeline de dados, incluindo diferentes recursos de tempo de execução e recursos do Spark.

Considerações principais

O passo inicial na elaboração de uma estratégia de migração é avaliar a adequação. Vale a pena notar que certos recursos do Fabric relacionados ao Spark estão atualmente em desenvolvimento ou planejamento. Para obter mais detalhes e atualizações, visite o roteiro do Fabric.

Para o Spark, consulte uma comparação detalhada das diferenças entre o Azure Synapse Spark e o Fabric.

Cenários de migração

Se você determinar que o Fabric Data Engineering é a escolha certa para migrar suas cargas de trabalho existentes do Spark, o processo de migração pode envolver vários cenários e fases:

  • Itens: a migração de itens envolve a transferência de um ou vários itens do seu espaço de trabalho existente do Azure Synapse para o Fabric. Saiba mais sobre como migrar pools do Spark, configurações do Spark, bibliotecas do Spark, blocos de anotações e definição de trabalho do Spark.
  • Dados e pipelines: usando atalhos do OneLake, você pode disponibilizar dados do ADLS Gen2 (vinculados a um espaço de trabalho do Azure Synapse) no Fabric lakehouse. A migração de pipeline envolve a movimentação de pipelines de dados existentes para o Fabric, incluindo atividades de pipeline de definição de trabalho do notebook e do Spark. Saiba mais sobre a migração de dados e pipelines.
  • Metadados: a migração de metadados envolve mover metadados do catálogo do Spark (bancos de dados, tabelas e partições) de um Hive MetaStore (HMS) existente no Azure Synapse para o Fabric lakehouse. Saiba mais sobre a migração de metadados do HMS.
  • Espaço de trabalho: os usuários podem migrar um espaço de trabalho existente do Azure Synapse criando um novo espaço de trabalho no Microsoft Fabric, incluindo metadados. A migração do espaço de trabalho não é abordada nesta orientação, a suposição é que os usuários precisam criar um novo espaço de trabalho ou ter um espaço de trabalho de malha existente. Saiba mais sobre as funções do espaço de trabalho no Fabric.

Captura de tela mostrando os cenários de migração.

A transição do Azure Synapse Spark para o Fabric Spark requer uma compreensão profunda da sua arquitetura atual e das diferenças entre o Azure Synapse Spark e o Fabric. O primeiro passo crucial é uma avaliação, seguida da criação de um plano de migração detalhado. Esse plano pode ser personalizado para corresponder às características exclusivas do seu sistema, dependências de fase e complexidades de carga de trabalho.

Conteúdos relacionados