Migrar dados e pipelines do Azure Synapse Analytics para o Microsoft Fabric
A primeira etapa na migração de dados e pipeline é identificar os dados que você deseja disponibilizar no OneLake e os pipelines que você pretende mover.
Você tem duas opções para migração de dados:
- Opção 1: Azure Data Lake Storage (ADLS) Gen2 como armazenamento padrão. Se você estiver usando o ADLS Gen2 e quiser evitar a cópia de dados, considere usar os atalhos do OneLake.
- Opção 2: OneLake como armazenamento padrão. Se você quiser mudar do ADLS Gen2 para o OneLake como uma camada de armazenamento, considere ler/gravar de/para o OneLake a partir de seus blocos de anotações e definições de trabalho do Spark.
Migração de dados
Opção 1: ADLS Gen2 como armazenamento (atalhos)
Se você estiver interagindo com o ADLS Gen2 e quiser evitar a duplicação de dados, poderá criar um atalho para o caminho de origem do ADLS Gen2 no OneLake. Você pode criar atalhos nas seções Arquivos e Tabelas da casa do lago no Fabric com as seguintes considerações:
- A seção Arquivos é a área não gerenciada do lago. Se os seus dados estiverem no formato CSV, JSON ou Parquet, recomendamos criar um atalho para esta área.
- A seção Tabelas é a área gerenciada do lago. Todas as tabelas, gerenciadas e não gerenciadas pelo Spark, são registradas aqui. Se seus dados estiverem no formato Delta, você pode criar um atalho nessa área e o processo de descoberta automática registrará automaticamente essas tabelas Delta no metastore da lakehouse.
Saiba mais sobre como criar um atalho ADLS Gen2.
Opção 2: OneLake como armazenamento
Para usar o OneLake como uma camada de armazenamento e mover dados do ADLS Gen2, você deve inicialmente apontar os itens relacionados ao Azure Synapse Spark para o OneLake e, em seguida, transferir os dados existentes para o OneLake. Para o primeiro, consulte integrar o OneLake com o Azure Synapse Spark.
Para mover os dados existentes para o OneLake, você tem várias opções:
- mssparkutils fastcp: A biblioteca mssparkutils fornece uma API fastcp que permite copiar dados entre o ADLS Gen2 e o OneLake.
- AzCopy: Você pode usar o utilitário de linha de comando AzCopy para copiar dados do ADLS Gen2 para o OneLake.
- Azure Data Factory, Azure Synapse Analytics e Data Factory in Fabric: use a atividade de cópia para copiar dados para a lakehouse.
- Usar atalhos: você pode habilitar os dados históricos do ADLS Gen2 no OneLake usando atalhos. Não é necessária cópia de dados.
- Azure Storage Explorer: Você pode mover arquivos do local ADLS Gen2 para o OneLake usando o Azure Storage Explorer. Veja como integrar o OneLake com o Azure Storage Explorer.
Migração de gasodutos (atividades relacionadas ao Spark)
Se seus pipelines de dados do Azure Synapse incluírem atividades de definição de trabalho do Spark e/ou do Spark, você precisará mover esses pipelines do Azure Synapse para os pipelines de dados do Data Factory na Malha e fazer referência aos blocos de anotações de destino. A atividade do bloco de anotações está disponível nos pipelines de dados do Data Factory. Veja todas as atividades de pipeline de dados suportadas no Fabric aqui.
- Para obter considerações sobre a atividade do pipeline de dados relacionado ao Spark, consulte as diferenças entre o Azure Synapse Spark e o Fabric.
- Para migração de blocos de anotações, consulte migrar blocos de anotações do Azure Synapse para o Fabric.
- Para migração de pipeline de dados, consulte migrar para o Data Factory na malha.