Compartilhar via

Migrar notebooks do Spark do Azure Synapse Analytics para o Fabric

  • Artigo

O Azure Synapse e o Fabric dão suporte a notebooks. A migração de um notebook do Azure Synapse para o Fabric pode ser feita de duas maneiras:

  • Opção 1: você pode exportar notebooks do Azure Synapse (.ipynb) e importá-los para o Fabric (manualmente).
  • Opção 2: você pode usar um script para exportar notebooks do Azure Synapse e importá-los no Fabric usando a API.

Para considerações sobre notebook, confira diferenças entre o Spark do Azure Synapse e o Fabric.

Pré-requisitos

Se você ainda não tiver um, crie um workspace do Fabric em seu locatário.

Opção 1: exportar e importar o notebook manualmente

Para exportar um notebook do Azure Synapse:

  1. Abra o Synapse Studio: entre no Azure. Navegue até o workspace do Azure Synapse e abra o Synapse Studio.
  2. Localize o notebook: no Synapse Studio, localize o notebook que deseja exportar na seção Notebooks do seu workspace.
  3. Exportar notebook:
    • Clique com o botão direito do mouse no notebook que deseja exportar.
    • Selecione Exportar>Notebook (.ipynb).
    • Escolha uma pasta de destino e forneça um nome para o arquivo de notebook exportado.
  4. Quando a exportação for concluída, você terá o arquivo de notebook disponível para upload.

Captura de tela mostrando uma exportação de notebook do Synapse.

Para importar o notebook exportado no Fabric:

  1. Acesse o workspace do Fabric: entre no Fabric e acesse seu workspace.
  2. Navegue até a página inicial de Engenharia de Dados: no workspace do Fabric, acesse a página inicial de Engenharia de Dados.
  3. Importar notebook:
    • Selecione Importar notebook. Você pode importar um ou mais notebooks existentes do computador local para um workspace do Fabric.
    • Procure os arquivos de notebook .ipynb que você baixou do Azure Synapse Analytics.
    • Selecione os arquivos de notebook e clique em Carregar.
  4. Abrir e usar o Notebook: após a importação, você poderá abrir e usar o notebook no workspace do Fabric.

Após a importação do notebook, valide as dependências dele:

  • Confirme se está usando a mesma versão do Spark.
  • Se você estiver usando notebooks referenciados, poderá usar msparkutils também no Fabric. No entanto, se você importar um notebook que faça referência a outro, também precisará importá-lo. O workspace do Fabric não dá suporte a pastas por enquanto. Portanto, todas as referências a notebooks em outras pastas devem ser atualizadas. Você pode usar os recursos do notebook se necessário.
  • Se um notebook estiver usando bibliotecas e configurações específicas do pool, você também precisará importar essas bibliotecas e/ou configurações.
  • Serviços vinculados, conexões de fonte de dados e pontos de montagem.

Opção 2: usar a API do Fabric

Siga estas etapas importantes para migração:

  • Pré-requisitos.
  • Etapa 1: exportar notebooks do Azure Synapse para o OneLake (.ipynb).
  • Etapa 2: importar notebooks automaticamente para o Fabric usando a API do Fabric.

Pré-requisitos

Os pré-requisitos incluem ações que você precisa considerar antes de iniciar a migração do notebook para o Fabric.

  • Um workspace do Fabric.
  • Se você ainda não tiver um, crie um lakehouse do Fabric no seu workspace.

Etapa 1: exportar notebooks do workspace do Azure Synapse

O foco da Etapa 1 é exportar os notebooks do workspace do Azure Synapse para o OneLake no formato .ipynb. Esse processo é o seguinte:

  • 1.1) Importar o notebook de migração para o workspace do Fabric. Esse notebook exporta todos os notebooks de um determinado workspace do Azure Synapse para um diretório intermediário no OneLake. A API do Synapse é usada para exportar notebooks.
  • 1.2) Configure os parâmetros no primeiro comando para exportar notebooks para um armazenamento intermediário (OneLake). O snippet a seguir é usado para configurar os parâmetros de origem e destino. Substitua-os por seus próprios valores.
# Azure config
azure_client_id = "<client_id>"
azure_tenant_id = "<tenant_id>"
azure_client_secret = "<client_secret>"

# Azure Synapse workspace config
synapse_workspace_name = "<synapse_workspace_name>"

# Fabric config
workspace_id = "<workspace_id>"
lakehouse_id = "<lakehouse_id>"
export_folder_name = f"export/{synapse_workspace_name}"
prefix = "" # this prefix is used during import {prefix}{notebook_name}

output_folder = f"abfss://{workspace_id}@onelake.dfs.fabric.microsoft.com/{lakehouse_id}/Files/{export_folder_name}"
  • 1.3) Execute as duas primeiras células do notebook de exportação/importação para exportar notebooks para o OneLake. Depois que as células forem preenchidas, essa estrutura de pastas no diretório de saída intermediário será criada.

Captura de tela mostrando uma exportação de notebook do OneLake.

Etapa 2: importar notebooks para o Fabric

A etapa 2 acontece quando notebooks são importadas do armazenamento intermediário para o workspace do Fabric. Esse processo é o seguinte:

  • 2.1) Valide as configurações da etapa 1.2 para garantir que o workspace e os valores de prefixo certos sejam indicados para importar os notebooks.
  • 2.2) Execute a terceira célula do notebook de exportação/importação para importar todos os notebooks da localização intermediária.

Conteúdo relacionado