Migrar dados para a conta do Azure Cosmos DB for Apache Cassandra usando Striim

APLICA-SE AO: Cassandra

A imagem Striim no Azure Marketplace oferece movimentação de dados contínua em tempo real de data warehouses e bancos de dados para o Azure. Ao movimentar os dados, você pode executar a desnormalização em linha, transformação de dados, habilitar análise em tempo real e cenários de relatórios de dados. É fácil começar a usar o Striim para movimentar continuamente dados corporativos para o Azure Cosmos DB for Apache Cassandra. O Azure fornece uma oferta do marketplace que facilita a implantação do Striim e a migração de dados para o Azure Cosmos DB.

Este artigo mostra como usar o Striim para migrar os dados de um banco de dados do Oracle para uma conta do Azure Cosmos DB for Apache Cassandra.

Pré-requisitos

• Se você não tiver uma assinatura do Azure, crie uma conta gratuita antes de começar.

• Um banco de dados do Oracle em execução no local com alguns dados.

Implantar a solução de marketplace do Striim

1. Entre no portal do Azure.

2. Selecione Criar um recurso e pesquise Striim no Azure Marketplace. Selecione a primeira opção e Criar.

   

3. Depois, insira as propriedades de configuração da instância Striim. O ambiente Striim é implantado em uma máquina virtual. No painel Básicos, insira o nome de usuário da VM, senha da VM (essa senha é usada para SSH na VM). Selecione Assinatura, Grupo de recursos e Detalhes do local onde você gostaria de implantar o Striim. Após a conclusão, selecione OK.

   

4. No painel Configurações de cluster do Striim, escolha o tipo de implantação do Striim e o tamanho da máquina virtual.

   Configuração	Valor	Descrição
   Tipo de implantação Striim	Autônomo	O Striim pode ser executado em tipos de implantação autônomos ou de cluster. O modo autônomo implantará o servidor Striim em uma única máquina virtual e você poderá selecionar o tamanho das VMs de acordo com o volume de dados. O modo de cluster implantará o servidor Striim em duas ou mais VMs com o tamanho selecionado. Ambientes de cluster com mais de 2 nós oferecem alta disponibilidade e failover automáticos. Neste tutorial, você pode selecionar a opção autônomo. Use a VM de tamanho padrão "Standard_F4s".
   Nome do cluster do Striim	<Striim_cluster_Name>	Nome do cluster do Striim.
   Senha do cluster do Striim	<Striim_cluster_password>	Senha do cluster.

   Depois de preencher o formulário, selecione OK para continuar.

5. No painel Configurações de acesso do Striim, configure o Endereço IP público (escolha os valores padrão), Nome de domínio para Striim, Senha de administrador que você gostaria de usar para fazer logon na interface do usuário do Striim. Configure uma VNET e uma sub-rede (escolha os valores padrão). Depois de preencher os detalhes, selecione OK para continuar.

   

6. O Azure validará a implantação e verificará se tudo está correto; a validação leva alguns minutos para ser concluída. Depois que a validação estiver concluída, selecione Criar.

7. Por fim, revise os termos de uso e selecione criar para criar a instância do Striim.

Configurar o banco de dados de origem

Nesta seção, você configurará o banco de dados do Oracle como a origem para a movimentação de dados. O servidor Striim vem com o driver JDBC Oracle usado para se conectar ao Oracle. Para ler as alterações do banco de dados do Oracle de origem, você pode usar as APIs LogMiner ou XStream. O driver JDBC Oracle está presente no classpath Java do Striim para ler, gravar ou manter dados do banco de dados do Oracle.

Configurar o banco de dados de destino

Nesta seção, você configurará a conta do Azure Cosmos DB for Apache Cassandra como o destino para a movimentação de dados.

1. Crie uma conta do Azure Cosmos DB for Apache Cassandra usando o portal do Azure.

2. Navegue até o painel Data Explorer na conta do Azure Cosmos DB. Selecione Nova tabela para criar um novo contêiner. Suponha que você esteja migrando dados de produtos e ordens do banco de dados do Oracle para o Azure Cosmos DB. Crie um novo Keyspace chamado StriimDemo com um contêiner Ordens. Provisione o contêiner com 1000 RUs (este exemplo usa 1000 RUs, mas você deve usar a taxa de transferência estimada para a carga de trabalho) e /ORDER_ID como a chave primária. Esses valores serão diferentes dependendo dos dados de origem.

   

Configurar o fluxo de dados do Oracle para o Azure Cosmos DB

1. Navegue até a instância do Striim implantada no portal do Azure. Selecione o botão Conectar na barra de menu superior e, na guia SSH, copie a URL no campo Logon com a conta local da VM.

   

2. Abra uma nova janela de terminal e execute o comando SSH que você copiou do portal do Azure. Este artigo usa o terminal em um macOS. Você pode seguir as instruções semelhantes usando um cliente SSH em um computador Windows. Quando solicitado, digite Sim para continuar e insira a senha que você definiu para a máquina virtual na etapa anterior.

   

3. Na mesma janela do terminal, reinicie o servidor Striim com os seguintes comandos:

   systemctl stop striim-node
   systemctl stop striim-dbms
   systemctl start striim-dbms
   systemctl start striim-node
   

4. O Striim levará um minuto para ser inicializado. Se quiser ver o status, execute o seguinte comando:

   tail -f /opt/striim/logs/striim-node.log
   

5. Agora, volte ao Azure e copie o endereço IP público da VM do Striim.

   

6. Para navegar até a interface do usuário da Web do Striim, abra uma nova guia em um navegador e copie o IP público seguido por 9080. Entre com o nome de usuário do administradore a senha de administrador que você especificou na portal do Azure.

   

7. Agora você chegará na página inicial do Striim. Há três painéis diferentes – Dashboards, Aplicativos e SourcePreview. Com o painel Dashboards, você pode mover dados em tempo real e visualizá-los. O painel Aplicativos contém os pipelines de dados de streaming ou fluxos de dados. No lado direito da página está o SourcePreview, onde você pode visualizar os dados antes de movê-los.

8. Selecione o painel Aplicativos, que será nosso foco por enquanto. Há uma variedade de aplicativos de amostra que você pode usar para aprender sobre o Striim, mas neste artigo você criará o nosso. Selecione o botão Adicionar aplicativo no canto superior direito.

   

9. Há algumas maneiras diferentes de criar aplicativos Striim. Selecione Começar do zero para este cenário.

   

10. Dê um nome amigável para o aplicativo, algo como oraToCosmosDB e selecione Salvar.

    

11. Você chegará ao Designer de Fluxo, no qual você pode arrastar e soltar os conectores de caixa para criar seus aplicativos de streaming. Digite Oracle na barra de pesquisa e arraste e solte a origem da CDA para Oracle na tela do aplicativo.

    

12. Insira as propriedades de configuração de origem da instância do Oracle. O nome de origem é apenas uma convenção de nomenclatura para o aplicativo Striim, você pode usar um nome como src_onPremOracle. Insira também outros detalhes, como tipo de adaptador, URL de conexão, nome de usuário, senha, nome da tabela. Selecione Salvar para continuar.

    

13. Agora, clique no ícone de onda do fluxo para conectar a instância do Azure Cosmos DB de destino.

    

14. Antes de configurar o destino, verifique se você adicionou um Certificado raiz Baltimore ao ambiente Java do Striim.

15. Insira as propriedades de configuração da instância do Azure Cosmos DB de destino e selecione Salvar para continuar. Estes são os principais parâmetros a serem observados:

    • Adaptador – use DatabaseWriter. Para fazer a gravação no Azure Cosmos DB for Apache Cassandra, é necessário o DatabaseWriter. O driver Cassandra 3.6.0 é fornecido junto com o Striim. Se o DatabaseWriter exceder o número de RUs provisionado no contêiner Azure Cosmos DB, o aplicativo falhará.

    • URL de conexão – especifique a URL de conexão JDBC do Azure Cosmos DB. A URL está no formato jdbc:cassandra://<contactpoint>:10350/<databaseName>?SSL=true

    • Nome de usuário – especifique o nome da conta do Azure Cosmos DB.

    • Senha – especifique a chave primária da conta do Azure Cosmos DB.

    • Tabelas – as tabelas de destino devem ter chaves primárias e elas não podem ser atualizadas.

    

    

16. Vamos continuar e executar o aplicativo Striim. Na barra de menus superior, selecione Criado e depois Implantar aplicativo. Na janela de implantação, é possível especificar se deseja executar determinadas partes do aplicativo em partes específicas da topologia de implantação. Como estamos executando em uma topologia de implantação simples por meio do Azure, usaremos a opção padrão.

    

17. Agora, vamos visualizar o streaming para ver o fluxo de dados pelo Striim. Clique no ícone de onda e no ícone de olho ao lado dele. Após a implantação, você pode visualizar o streaming para ver o fluxo de dados. Selecione o ícone de onda e o olho ao lado. Selecione o botão Implantado na barra de menu superior e selecione Iniciar aplicativo.

    

18. Com um leitor CDA (captura de dados de alterações) , o Striim obterá apenas as novas alterações feitas no banco de dados. Se tiver dados fluindo pelas tabelas de origem, você os verá. No entanto, como esta é uma tabela de amostra, a origem não está conectada a nenhum aplicativo. Se usar um gerador de dados de amostra, você poderá inserir uma cadeia de eventos no banco de dados do Oracle.

19. Você verá dados fluindo pela plataforma Striim. O Striim pega todos os metadados associados à tabela, o que ajuda a monitorar os dados e confirmar que os dados estão no destino correto.

    

20. Por fim, entre no Azure e navegue até a conta do Azure Cosmos DB. Atualize o Data Explorer e você verá que os dados chegaram.

Com a solução Striim no Azure, você pode migrar dados continuamente para o Azure Cosmos DB a partir de várias fontes como Oracle, Cassandra, MongoDB e várias outras para o Azure Cosmos DB. Para saber mais, visite o site do Striim, baixe uma avaliação gratuita de 30 dias do Striime se tiver problemas ao configurar o caminho de migração com o Striim, registre uma solicitação de suporte.

Próximas etapas

• Se você estiver migrando dados para o Azure Co DB for NoSQL, confira Como migrar dados para a conta da API para Cassandra usando o Striim

• Monitorar e depurar os dados com as métricas do Azure Cosmos DB