Compartilhar via

Migrando do Spark do Azure Synapse para o Fabric

  • Artigo

Antes de começar a migração, você deve verificar se a Engenharia de Dados do Fabric é a melhor solução para sua carga de trabalho. A Engenharia de Dados do Fabric dá suporte a lakehouse, notebook, ambiente, SJD (definição de trabalho do Spark) e itens de pipeline de dados, incluindo diferentes recursos de runtime e do Spark.

Considerações-chave

A etapa inicial na criação de uma estratégia de migração é avaliar a adequação. Vale a pena observar que determinados recursos do Fabric relacionados ao Spark estão atualmente em desenvolvimento ou planejamento. Para obter mais detalhes e atualizações, visite o roteiro do Fabric.

Para o Spark, consulte uma comparação detalhada diferenças entre o Spark do Azure Synapse e o Fabric.

Cenários de migração

Caso determine que a Engenharia de Dados do Fabric é a escolha certa para migrar suas cargas de trabalho do Spark existentes, o processo de migração pode envolver vários cenários e fases:

  • Itens: a migração de itens envolve a transferência de um ou vários itens do espaço de trabalho existente do Azure Synapse para o Fabric. Saiba mais sobre como migrar pools do Spark, configurações do Spark, bibliotecas do Spark, notebooks e definição de trabalho do Spark.
  • dados e pipelines: usando atalhos do OneLake, você poderá disponibilizar dados do ADLS Gen2 (vinculados a um espaço de trabalho do Azure Synapse) no Fabric Lakehouse. A migração de pipeline envolve a movimentação de pipelines de dados existentes para o Fabric, incluindo atividades de pipeline de definição de trabalho do Notebook e do Spark. Saiba mais sobre migração de dados e pipelines.
  • metadados: a migração de metadados envolve a movimentação de metadados do catálogo do Spark (bancos de dados, tabelas e partições) de um HMS (MetaStore do Hive) existente no Azure Synapse para o Lakehouse do Fabric. Saiba mais sobre a Migração de metadados do HMS.
  • Espaço de trabalho: os usuários podem migrar um espaço de trabalho existente do Azure Synapse criando um novo espaço de trabalho no Microsoft Fabric, incluindo metadados. A migração do espaço de trabalho e não é abordada nessa orientação, o pressuposto é que os usuários precisam criar um novo espaço de trabalho ou ter um espaço de trabalho existente do Fabric. Saiba mais sobre funções do workspace no Fabric.

Captura de tela mostrando os cenários de migração.

A transição do Spark do Azure Synapse para o Spark do Fabric requer uma compreensão profunda da arquitetura atual e das diferenças entre o Spark do Azure Synapse e o Fabric. A primeira etapa crucial é uma avaliação, seguida pela criação de um plano de migração detalhado. Esse plano pode ser personalizado para corresponder às características exclusivas do sistema, às dependências de fase e às complexidades da carga de trabalho.

Conteúdo relacionado