Partilhar via


Copiar dados do armazenamento de Blob do Azure para um Banco de Dados SQL usando a ferramenta Copiar Dados

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Gorjeta

Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange tudo, desde a movimentação de dados até ciência de dados, análises em tempo real, business intelligence e relatórios. Saiba como iniciar uma nova avaliação gratuitamente!

Neste tutorial, irá utilizar o portal do Azure para criar uma fábrica de dados. Em seguida, use a ferramenta Copiar Dados para criar um pipeline que copia dados do armazenamento de Blob do Azure para um Banco de Dados SQL.

Nota

Se não estiver familiarizado com o Azure Data Factory, veja Introdução ao Azure Data Factory.

Neste tutorial, vai executar os seguintes passos:

  • Criar uma fábrica de dados.
  • Utilizar a ferramenta Copiar Dados para criar um pipeline.
  • Monitorizar o pipeline e execuções de atividades.

Pré-requisitos

  • Subscrição do Azure: se não tem uma subscrição do Azure, crie uma conta gratuita antes de começar.
  • Conta de Armazenamento do Azure: use o armazenamento de Blob como o armazenamento de dados de origem . Se você não tiver uma conta de Armazenamento do Azure, consulte as instruções em Criar uma conta de armazenamento.
  • Banco de Dados SQL do Azure: use um Banco de Dados SQL como o armazenamento de dados do coletor . Se você não tiver um Banco de Dados SQL, consulte as instruções em Criar um Banco de Dados SQL.

Preparar o banco de dados SQL

Permita que os serviços do Azure acessem o SQL Server lógico do seu Banco de Dados SQL do Azure.

  1. Verifique se a configuração Permitir que os serviços e recursos do Azure acessem este servidor está habilitada para o servidor que está executando o Banco de Dados SQL. Esta definição permite que o Data Factory escreva dados na instância da sua base de dados. Para verificar e ativar essa configuração, vá para Firewalls de Segurança lógicos do SQL Server > e redes > virtuais defina a opção Permitir que os serviços e recursos do Azure acessem este servidor como ATIVADO.>

    Nota

    A opção para Permitir que os serviços e recursos do Azure acessem esse servidor permite o acesso de rede ao seu SQL Server a partir de qualquer recurso do Azure, não apenas daqueles em sua assinatura. Pode não ser apropriado para todos os ambientes, mas é apropriado para este tutorial limitado. Para obter mais informações, consulte Regras do Firewall do SQL Server do Azure. Em vez disso, você pode usar pontos de extremidade privados para se conectar aos serviços PaaS do Azure sem usar IPs públicos.

Criar um blob e uma tabela SQL

Prepare seu armazenamento de Blob e seu Banco de Dados SQL para o tutorial executando estas etapas.

Criar um blob de origem

  1. Inicie o Bloco de Notas. Copie o seguinte texto e guarde-o num ficheiro com o nome inputEmp.txt no seu disco:

    FirstName|LastName
    John|Doe
    Jane|Doe
    
  2. Crie um contentor com o nome adfv2tutorial e carregue o ficheiro inputEmp.txt para o contentor. Você pode usar o portal do Azure ou várias ferramentas, como o Gerenciador de Armazenamento do Azure, para executar essas tarefas.

Criar uma tabela SQL sink

  1. Use o seguinte script SQL para criar uma tabela nomeada dbo.emp em seu Banco de dados SQL:

    CREATE TABLE dbo.emp
    (
        ID int IDENTITY(1,1) NOT NULL,
        FirstName varchar(50),
        LastName varchar(50)
    )
    GO
    CREATE CLUSTERED INDEX IX_emp_ID ON dbo.emp (ID);
    

Criar uma fábrica de dados

  1. No menu à esquerda, selecione Criar um recurso>Integration>Data Factory:

    Captura de ecrã da criação da nova fábrica de dados.

  2. Na página Nova fábrica de dados, em Nome, introduza ADFTutorialDataFactory.

    O nome da fábrica de dados tem de ser globalmente exclusivo. Poderá receber a seguinte mensagem de erro:

    Captura de ecrã da mensagem de erro Novo data factory para nome duplicado.

    Se receber uma mensagem de erro relacionada com o valor do nome, introduza um nome diferente para a fábrica de dados. Por exemplo, utilize o nome oseunomeADFTutorialDataFactory. Para ter acesso às regras de nomenclatura para artefactos do Data Factory, veja Regras de nomenclatura do Data Factory.

  3. Selecione a subscrição do Azure na qual quer criar a nova fábrica de dados.

  4. Em Grupo de Recursos, efetue um destes passos:

    a. Selecione Utilizar existente e selecione um grupo de recursos já existente na lista pendente.

    b. Selecione Criar novo e introduza o nome de um grupo de recursos.

    Para saber mais sobre grupos de recursos, veja Utilizar grupos de recursos para gerir os recursos do Azure.

  5. Em Versão, selecione V2 para indicar a versão.

  6. Em Localização, selecione a localização da fábrica de dados. Apenas são apresentadas as localizações suportadas na lista pendente. Os arquivos de dados (por exemplo, o Armazenamento do Azure e a Base de Dados SQL) e as computações (por exemplo, o Azure HDInsight) utilizados pela fábrica de dados podem estar noutras localizações e regiões.

  7. Selecione Criar.

  8. Depois de concluída a criação, é apresentada a home page Fábrica de Dados.

    Captura de ecrã da Home page do Azure Data Factory, com o mosaico Open Azure Data Factory Studio.

  9. Para iniciar a interface do usuário (UI) do Azure Data Factory em uma guia separada, selecione Abrir no bloco Abrir o Azure Data Factory Studio .

Utilizar a ferramenta Copiar Dados para criar um pipeline

  1. Na home page do Azure Data Factory, selecione o bloco Ingest para iniciar a ferramenta Copiar Dados.

    Captura de ecrã que mostra a home page do Azure Data Factory.

  2. Na página Propriedades da ferramenta Copiar Dados, escolha Tarefa de cópia interna em Tipo de tarefa e selecione Avançar.

    Captura de ecrã que mostra a página Propriedades.

  3. Na página Arquivo de dados de origem, conclua os seguintes passos:

    a. Selecione + Criar nova conexão para adicionar uma conexão.

    b. Selecione Armazenamento de Blobs do Azure na galeria e, em seguida, selecione Continuar.

    c. Na página Nova conexão (Armazenamento de Blobs do Azure), selecione sua assinatura do Azure na lista de assinaturas do Azure e selecione sua conta de armazenamento na lista Nome da conta de armazenamento. Teste a conexão e selecione Criar.

    d. Selecione o serviço vinculado recém-criado como origem no bloco Conexão .

    e. Na seção Arquivo ou pasta, selecione Procurar para navegar até a pasta adfv2tutorial, selecione o arquivo inputEmp.txt e selecione OK.

    f. Selecione Avançar para passar para a próxima etapa.

    Captura de tela da página para Configurar a fonte.

  4. Na página Configurações de formato de arquivo, habilite a caixa de seleção Primeira linha como cabeçalho. Observe que a ferramenta deteta automaticamente os delimitadores de coluna e linha, e você pode visualizar dados e visualizar o esquema dos dados de entrada selecionando o botão Visualizar dados nesta página. Em seguida, selecione Seguinte.

    Captura de ecrã das definições de formato de ficheiro.

  5. Na página Arquivo de dados de destino, conclua os seguintes passos:

    a. Selecione + Criar nova conexão para adicionar uma conexão.

    b. Selecione Banco de Dados SQL do Azure na galeria e, em seguida, selecione Continuar.

    c. Na página Nova conexão (Banco de Dados SQL do Azure), selecione sua assinatura do Azure, nome do servidor e nome do banco de dados na lista suspensa. Em seguida, selecione Autenticação SQL em Tipo de autenticação, especifique o nome de usuário e a senha. Teste a conexão e selecione Criar.

    Captura de ecrã da página Configurar a Base de Dados SQL do Azure.

    d. Selecione o serviço vinculado recém-criado como coletor e, em seguida, selecione Avançar.

  6. Na página Armazenamento de dados de destino, selecione Usar tabela existente e selecione a dbo.emp tabela. Em seguida, selecione Seguinte.

  7. Na página Mapeamento de coluna, observe que a segunda e a terceira colunas no arquivo de entrada são mapeadas para as colunas FirstName e LastName da tabela emp. Ajuste o mapeamento para certificar-se de que não há erro e, em seguida, selecione Avançar.

    Captura de ecrã da página de mapeamento de colunas.

  8. Na página Configurações, em Nome da tarefa, digite CopyFromBlobToSqlPipeline e selecione Avançar.

    Captura de ecrã das definições.

  9. Na página Resumo, reveja as definições e depois selecione Seguinte.

  10. Na Página de implementação, selecione Monitorizar para monitorizar o pipeline (tarefa).

    Captura de tela de Monitoramento do pipeline.

  11. Na página Pipeline runs, selecione Atualizar para atualizar a lista. Selecione o link em Nome do pipeline para exibir os detalhes da execução da atividade ou executar novamente o pipeline.

    Captura de tela da execução do Pipeline.

  12. Na página "A atividade é executada", selecione o link Detalhes (ícone de óculos) na coluna Nome da atividade para obter mais detalhes sobre a operação de cópia. Para voltar à visualização "Pipeline runs", selecione o link All pipeline runs no menu breadcrumb. Para atualizar a vista, selecione Atualizar.

    Captura de tela da execução da atividade de monitoramento.

  13. Verifique se os dados estão inseridos na tabela dbo.emp no Banco de dados SQL.

  14. Selecione o separador Criar à esquerda para mudar para o modo de edição. Pode atualizar os serviços ligados, os conjuntos de dados e os pipelines criados através da ferramenta com o editor. Para obter detalhes de edição sobre estas entidades na IU do Data Factory, veja a versão do portal do Azure deste tutorial.

    Captura de ecrã do separador Selecionar Autor.

O pipeline neste exemplo copia dados do armazenamento de Blob para um Banco de Dados SQL. Aprendeu a:

  • Criar uma fábrica de dados.
  • Utilizar a ferramenta Copiar Dados para criar um pipeline.
  • Monitorizar o pipeline e execuções de atividades.

Avance para o tutorial seguinte para saber como copiar dados do plano local para a cloud: