Copiar dados do Amazon RDS para Oracle usando o Azure Data Factory ou o Azure Synapse Analytics

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Este artigo descreve como usar a atividade Copy no Azure Data Factory para copiar dados de um banco de dados do Amazon RDS para Oracle. Ele se baseia na Visão geral da atividade Copy.

Funcionalidades com suporte

Há suporte para o conector do Amazon RDS para Oracle para as seguintes funcionalidades:

① Runtime de integração do Azure ② Runtime de integração auto-hospedada

Para obter uma lista de armazenamentos de dados que têm suporte como fontes ou coletores da atividade de cópia, confira a tabela Armazenamentos de dados com suporte.

Especificamente, esse conector do Amazon RDS para Oracle dá suporte a:

• As seguintes versões de um banco de dados do Amazon RDS para Oracle:
  • Amazon RDS para Oracle 19c R1 (19.1) e versões superiores
  • Amazon RDS para Oracle 18c R1 (18.1) e versões superiores
  • Amazon RDS para Oracle 12c R1 (12.1) e versões superiores
  • Amazon RDS para Oracle 11g R1 (11.1) e versões superiores
• Cópia paralela de uma fonte do Amazon RDS para Oracle. Confira a seção Cópia paralela do Amazon RDS para Oracle para obter detalhes.

Pré-requisitos

Se o armazenamento de dados estiver localizado dentro de uma rede local, em uma rede virtual do Azure ou na Amazon Virtual Private Cloud, você precisará configurar um runtime de integração auto-hospedada para se conectar a ele.

Se o armazenamento de dados for um serviço de dados de nuvem gerenciado, você poderá usar o Azure Integration Runtime. Se o acesso for restrito aos IPs que estão aprovados nas regras de firewall, você poderá adicionar IPs do Azure Integration Runtime à lista de permissões.

Você também pode usar o recurso de runtime de integração da rede virtual gerenciada no Azure Data Factory para acessar a rede local sem instalar e configurar um runtime de integração auto-hospedada.

Para obter mais informações sobre os mecanismos de segurança de rede e as opções compatíveis com o Data Factory, consulte Estratégias de acesso a dados.

O runtime de integração fornece um driver interno do Amazon RDS para Oracle. Portanto, você não precisa instalar manualmente um driver quando você copia dados do Amazon RDS para Oracle.

Introdução

Para executar a atividade de Cópia com um pipeline, será possível usar as ferramentas ou os SDKs abaixo:

• A ferramenta Copiar Dados
• O portal do Azure
• O SDK do .NET
• O SDK do Python
• PowerShell do Azure
• A API REST
• O modelo do Azure Resource Manager

Criar um serviço vinculado ao Amazon RDS para Oracle usando a interface do usuário

Use as etapas abaixo para criar um serviço vinculado ao Amazon RDS para Oracle na interface do usuário do portal do Azure.

1. Navegue até a guia Gerenciar no workspace do Azure Data Factory ou do Synapse e selecione Serviços Vinculados. Depois, clique em Novo:

   • Azure Data Factory
   • Azure Synapse

   

2. Pesquise Amazon RDS para Oracle e selecione o conector do Amazon RDS para Oracle.

   

3. Configure os detalhes do serviço, teste a conexão e crie o novo serviço vinculado.

   

Detalhes da configuração do conector

As seções a seguir fornecem detalhes sobre as propriedades usadas para definir entidades específicas do conector do Amazon RDS para Oracle.

Propriedades do serviço vinculado

O serviço vinculado do Amazon RDS para Oracle dá suporte às seguintes propriedades:

Se tiver várias instâncias do Amazon RDS para Oracle para o cenário de failover, você poderá criar o serviço vinculado do Amazon RDS para Oracle e preencher o host primário, a porta, o nome de usuário, a senha etc., e adicionar novas “Propriedades de conexão adicionais” com o nome de propriedade sendo AlternateServers e o valor sendo (HostName=<secondary host>:PortNumber=<secondary port>:ServiceName=<secondary service name>). Preste atenção aos colchetes e aos dois pontos (:) como separador. Por exemplo, o seguinte valor de servidores alternativos define dois servidores de banco de dados alternativos para failover de conexão: (HostName=AccountingAmazonRdsForOracleServer:PortNumber=1521:SID=Accounting,HostName=255.201.11.24:PortNumber=1522:ServiceName=ABackup.NA.MyCompany).

Mais propriedades de conexão que você pode definir na cadeia de conexão de acordo com o caso:

Para habilitar a criptografia na conexão do Amazon RDS para Oracle, há duas opções:

• Para usar a criptografia 3DES (DES triplo) e a criptografia AES (Advanced Encryption Standard) , no lado do servidor do Amazon RDS para OAS (Oracle Advanced Security) e defina as configurações de criptografia. Para obter detalhes, veja esta documentação da Oracle. O conector ADF (Application Development Framework) do Amazon RDS para Oracle negocia automaticamente o método de criptografia para usar aquele que você configura no OAS ao estabelecer a conexão com o Amazon RDS para Oracle.

• Para usar o TLS:

  1. Obtenha as informações do certificado TLS/SSL. Obtenha as informações de certificado codificado em DER (Distinguished Encoding Rules) do certificado TLS/SSL e salve a saída (----- Begin Certificate … End Certificate -----) como um arquivo de texto.

     openssl x509 -inform DER -in [Full Path to the DER Certificate including the name of the DER Certificate] -text
     

     Exemplo: extrair informações de certificado de DERcert.cer; em seguida, salvar a saída em cert.txt.

     openssl x509 -inform DER -in DERcert.cer -text
     Output:
     -----BEGIN CERTIFICATE-----
     XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
     XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
     XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
     XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
     XXXXXXXXX
     -----END CERTIFICATE-----
     

  2. Crie o keystore ou o truststore. O comando a seguir cria o arquivo truststore, com ou sem uma senha no formato PKCS-12.

     openssl pkcs12 -in [Path to the file created in the previous step] -out [Path and name of TrustStore] -passout pass:[Keystore PWD] -nokeys -export
     

     Exemplo: crie um arquivo truststore, PKCS12 denominado MyTrustStoreFile com uma senha.

     openssl pkcs12 -in cert.txt -out MyTrustStoreFile -passout pass:ThePWD -nokeys -export  
     

  3. Coloque o arquivo truststore no computador IR auto-hospedado. Por exemplo, coloque o arquivo em C:\MyTrustStoreFile.

  4. No serviço, configure a cadeia de conexão do Amazon RDS para Oracle com EncryptionMethod=1 e o valor correspondente de TrustStore/TrustStorePassword. Por exemplo, Host=<host>;Port=<port>;Sid=<sid>;User Id=<username>;Password=<password>;EncryptionMethod=1;TrustStore=C:\\MyTrustStoreFile;TrustStorePassword=<trust_store_password>.

Exemplo:

{
    "name": "AmazonRdsForOracleLinkedService",
    "properties": {
        "type": "AmazonRdsForOracle",
        "typeProperties": {
            "connectionString": "Host=<host>;Port=<port>;Sid=<sid>;User Id=<username>;Password=<password>;"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Exemplo: armazenar a senha no Azure Key Vault

{
    "name": "AmazonRdsForOracleLinkedService",
    "properties": {
        "type": "AmazonRdsForOracle",
        "typeProperties": {
            "connectionString": "Host=<host>;Port=<port>;Sid=<sid>;User Id=<username>;",
            "password": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Propriedades do conjunto de dados

Esta seção fornece uma lista das propriedades com suporte do conjunto de dados do Amazon RDS para Oracle. Para obter uma lista completa das seções e propriedades disponíveis para definir os conjuntos de dados, confira Conjuntos de dados.

Para copiar dados do Amazon RDS para Oracle, defina a propriedade type do conjunto de dados como AmazonRdsForOracleTable. Há suporte para as seguintes propriedades.

Exemplo:

{
    "name": "AmazonRdsForOracleDataset",
    "properties":
    {
        "type": "AmazonRdsForOracleTable",
        "schema": [],
        "typeProperties": {
            "schema": "<schema_name>",
            "table": "<table_name>"
        },
        "linkedServiceName": {
            "referenceName": "<Amazon RDS for Oracle linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Propriedades da atividade de cópia

Esta seção fornece uma lista das propriedades com suporte da fonte do Amazon RDS para Oracle. Para obter uma lista completa das seções e propriedades disponíveis para definir as atividades, veja Pipelines.

Amazon RDS para Oracle como origem

Para copiar dados do Amazon RDS para Oracle, defina o tipo de fonte na atividade Copy como AmazonRdsForOracleSource. As propriedades a seguir têm suporte na seção source da atividade de cópia.

Exemplo: copiar dados usando uma consulta básica sem partição

"activities":[
    {
        "name": "CopyFromAmazonRdsForOracle",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Amazon RDS for Oracle input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "AmazonRdsForOracleSource",
                "oracleReaderQuery": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Cópia paralela do Amazon RDS para Oracle

O conector do Amazon RDS para Oracle fornece particionamento de dados interno para copiar dados do Oracle em paralelo. Você pode encontrar opções de particionamento de dados na guia Origem da atividade de cópia.

Quando você habilita a cópia particionada, o serviço executa consultas paralelas com relação à sua fonte do Amazon RDS para Oracle para carregar dados por partições. O grau paralelo é controlado pela configuração do parallelCopies na atividade de cópia. Por exemplo, se você definir parallelCopies como quatro, o serviço gerará e executará simultaneamente quatro consultas com base na opção de partição especificada e nas configurações e cada consulta recuperará uma parte dos dados do banco de dados do Amazon RDS para Oracle.

É recomendável habilitar a cópia paralela com o particionamento de dados, especialmente quando você carrega grandes quantidades de dados do banco de dados do Amazon RDS para Oracle. Veja a seguir as configurações sugeridas para cenários diferentes. Ao copiar dados para o armazenamento de dados baseado em arquivo, recomendamos gravá-los em uma pasta como vários arquivos (apenas especifique o nome da pasta) para ter um desempenho melhor do que gravar em um arquivo.

Exemplo: consulta com partições físicas

"source": {
    "type": "AmazonRdsForOracleSource",
    "query": "SELECT * FROM <TABLENAME> PARTITION(\"?AdfTabularPartitionName\") WHERE <your_additional_where_clause>",
    "partitionOption": "PhysicalPartitionsOfTable",
    "partitionSettings": {
        "partitionNames": [
            "<partitionA_name>",
            "<partitionB_name>"
        ]
    }
}

Exemplo: consulta com a partição do intervalo dinâmico

"source": {
    "type": "AmazonRdsForOracleSource",
    "query": "SELECT * FROM <TABLENAME> WHERE ?AdfRangePartitionColumnName <= ?AdfRangePartitionUpbound AND ?AdfRangePartitionColumnName >= ?AdfRangePartitionLowbound AND <your_additional_where_clause>",
    "partitionOption": "DynamicRange",
    "partitionSettings": {
        "partitionColumnName": "<partition_column_name>",
        "partitionUpperBound": "<upper_value_of_partition_column>",
        "partitionLowerBound": "<lower_value_of_partition_column>"
    }
}

Pesquisar propriedades de atividades

Para saber detalhes sobre as propriedades, verifique Pesquisar atividade.

Conteúdo relacionado

Para obter uma lista dos armazenamentos de dados com suporte como coletores e fontes da atividade de cópia, confira os Armazenamentos de dados com suporte.