Copiar do Microsoft 365 (Office 365) para o Azure usando o Azure Data Factory ou o Synapse Analytics

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Os pipelines do Azure Data Factory e do Synapse Analytics integram-se com a conexão de dados do Microsoft Graph, permitindo que você traga os dados organizacionais avançados em seu locatário do Microsoft 365 (Office 365) para o Azure de forma escalável e crie aplicativos de análise e extraia insights com base nesses valiosos ativos de dados. A integração com o Privileged Access Management fornece controle de acesso seguro para os valiosos dados selecionados no Microsoft 365 (Office 365). Consulte este link para obter uma visão geral da conexão de dados do Microsoft Graph.

Este artigo descreve como usar a atividade de cópia para copiar dados e fluxo de dados para transformar dados do Microsoft 365 (Office 365). Para obter uma introdução à cópia de dados, leia a visão geral da atividade de cópia. Para obter uma introdução à transformação de dados, leia Visão geral do fluxo de dados de mapeamento.

Capacidades suportadas

Este conector do Microsoft 365 (Office 365) é suportado para as seguintes capacidades:

(1) Tempo de execução de integração do Azure (2) Tempo de execução de integração auto-hospedado

O conector ADF Microsoft 365 (Office 365) e o Microsoft Graph Data Connect permitem a ingestão em escala de diferentes tipos de conjuntos de dados de caixas de correio habilitadas para Email do Exchange, incluindo contatos do catálogo de endereços, eventos de calendário, mensagens de email, informações do usuário, configurações de caixa de correio e assim por diante. Consulte aqui para ver a lista completa de conjuntos de dados disponíveis.

Por enquanto, dentro de uma única atividade de cópia e fluxo de dados, você só pode ingerir dados do Microsoft 365 (Office 365) no Armazenamento de Blob do Azure, no Azure Data Lake Storage Gen1 e no Azure Data Lake Storage Gen2 no formato JSON (tipo setOfObjects). Quando você copia para o Armazenamento de Blobs do Azure, a saída é um blob contendo texto JSON. Se quiser carregar o Microsoft 365 (Office 365) em outros tipos de armazenamentos de dados ou em outros formatos, você pode encadear a primeira atividade de cópia ou fluxo de dados com uma atividade subsequente para carregar dados adicionais em qualquer um dos armazenamentos de destino ADF suportados (consulte a coluna "suportado como coletor" na tabela "Armazenamentos e formatos de dados suportados").

Pré-requisitos

Para copiar e transformar dados do Microsoft 365 (Office 365) no Azure, você precisa concluir as seguintes etapas de pré-requisito:

• Seu administrador de locatário do Microsoft 365 (Office 365) deve concluir as ações de integração conforme descrito aqui.
• Crie e configure um aplicativo Web Microsoft Entra no Microsoft Entra ID. Para obter instruções, consulte Criar um aplicativo Microsoft Entra.
• Anote os seguintes valores, que você usa para definir o serviço vinculado para o Microsoft 365 (Office 365):
  • ID do inquilino. Para obter instruções, consulte Obter ID do locatário.
  • ID do aplicativo e chave do aplicativo. Para obter instruções, consulte Obter ID do aplicativo e chave de autenticação.
• Adicione a identidade do usuário que está fazendo a solicitação de acesso a dados como o proprietário do aplicativo Web Microsoft Entra (do proprietário Adicionar proprietário de configurações > > do aplicativo > Web Microsoft Entra).
  • A identidade do usuário deve estar na organização do Microsoft 365 (Office 365) da qual você está recebendo dados e não deve ser um usuário convidado.

Aprovar novos pedidos de acesso a dados

Se esta for a primeira vez que você está solicitando dados para este contexto (uma combinação de qual tabela de dados está sendo acessada, em qual conta de destino são os dados que estão sendo carregados e qual identidade de usuário está fazendo a solicitação de acesso a dados), você verá o status da atividade de cópia como "Em andamento", e somente quando clicar no link "Detalhes" em Ações você verá o status como "SolicitandoConsentimento". Um membro do grupo de aprovadores de acesso a dados precisa aprovar a solicitação no Gerenciamento de Acesso Privilegiado antes que a extração de dados possa prosseguir.

Consulte aqui como o aprovador pode aprovar a solicitação de acesso aos dados.

Introdução

Você pode criar um pipeline com a atividade de cópia e o fluxo de dados usando uma das seguintes ferramentas ou SDKs. Selecione um link para ir para um tutorial com instruções passo a passo para criar um pipeline com uma atividade de cópia.

• Portal do Azure
• SDK do .NET
• Python SDK
• Azure PowerShell
• API REST
• Modelo do Azure Resource Manager.

Criar um serviço vinculado ao Microsoft 365 (Office 365) usando a interface do usuário

Use as etapas a seguir para criar um serviço vinculado ao Microsoft 365 (Office 365) na interface do usuário do portal do Azure.

1. Navegue até a guia Gerenciar em seu espaço de trabalho do Azure Data Factory ou Synapse e selecione Serviços Vinculados e clique em Novo:

   • Fábrica de Dados do Azure
   • Azure Synapse

   

2. Procure Microsoft 365 (Office 365) e selecione o conector Microsoft 365 (Office 365).

   

3. Configure os detalhes do serviço, teste a conexão e crie o novo serviço vinculado.

   

Detalhes de configuração do conector

As seções a seguir fornecem detalhes sobre as propriedades usadas para definir entidades do Data Factory específicas para o conector do Microsoft 365 (Office 365).

Propriedades do serviço vinculado

As seguintes propriedades são suportadas para o serviço vinculado do Microsoft 365 (Office 365):

Exemplo:

{
    "name": "Office365LinkedService",
    "properties": {
        "type": "Office365",
        "typeProperties": {
            "office365TenantId": "<Microsoft 365 (Office 365) tenant id>",
            "servicePrincipalTenantId": "<AAD app service principal tenant id>",
            "servicePrincipalId": "<AAD app service principal id>",
            "servicePrincipalKey": {
                "type": "SecureString",
                "value": "<AAD app service principal key>"
            }
        }
    }
}

Propriedades do conjunto de dados

Para obter uma lista completa de seções e propriedades disponíveis para definir conjuntos de dados, consulte o artigo sobre conjuntos de dados. Esta seção fornece uma lista de propriedades suportadas pelo conjunto de dados do Microsoft 365 (Office 365).

Para copiar dados do Microsoft 365 (Office 365), as seguintes propriedades são suportadas:

Se você estava definindo dateFilterColumn, startTime, endTime, e userScopeFilterUri no conjunto de dados, ele ainda é suportado como está, enquanto você é sugerido para usar o novo modelo na fonte de atividade no futuro.

Exemplo

{
    "name": "DS_May2019_O365_Message",
    "properties": {
        "type": "Office365Table",
        "linkedServiceName": {
            "referenceName": "<Microsoft 365 (Office 365) linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [],
        "typeProperties": {
            "tableName": "BasicDataSet_v0.Event_v1"
        }
    }
}

Propriedades da atividade Copy

Para obter uma lista completa de seções e propriedades disponíveis para definir atividades, consulte o artigo Pipelines . Esta seção fornece uma lista de propriedades suportadas pela fonte Microsoft 365 (Office 365).

Microsoft 365 (Office 365) como fonte

Para copiar dados do Microsoft 365 (Office 365), as seguintes propriedades são suportadas na seção de fonte de atividade de cópia:

Exemplo:

"activities": [
    {
        "name": "CopyFromO365ToBlob",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Microsoft 365 (Office 365) input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "Office365Source",
                "dateFilterColumn": "CreatedDateTime",
                "startTime": "2019-04-28T16:00:00.000Z",
                "endTime": "2019-05-05T16:00:00.000Z",
                "userScopeFilterUri": "https://graph.microsoft.com/v1.0/users?$filter=Department eq 'Finance'",
                "outputColumns": [
                    {
                        "name": "Id"
                    },
                    {
                        "name": "CreatedDateTime"
                    },
                    {
                        "name": "LastModifiedDateTime"
                    },
                    {
                        "name": "ChangeKey"
                    },
                    {
                        "name": "Categories"
                    },
                    {
                        "name": "OriginalStartTimeZone"
                    },
                    {
                        "name": "OriginalEndTimeZone"
                    },
                    {
                        "name": "ResponseStatus"
                    },
                    {
                        "name": "iCalUId"
                    },
                    {
                        "name": "ReminderMinutesBeforeStart"
                    },
                    {
                        "name": "IsReminderOn"
                    },
                    {
                        "name": "HasAttachments"
                    },
                    {
                        "name": "Subject"
                    },
                    {
                        "name": "Body"
                    },
                    {
                        "name": "Importance"
                    },
                    {
                        "name": "Sensitivity"
                    },
                    {
                        "name": "Start"
                    },
                    {
                        "name": "End"
                    },
                    {
                        "name": "Location"
                    },
                    {
                        "name": "IsAllDay"
                    },
                    {
                        "name": "IsCancelled"
                    },
                    {
                        "name": "IsOrganizer"
                    },
                    {
                        "name": "Recurrence"
                    },
                    {
                        "name": "ResponseRequested"
                    },
                    {
                        "name": "ShowAs"
                    },
                    {
                        "name": "Type"
                    },
                    {
                        "name": "Attendees"
                    },
                    {
                        "name": "Organizer"
                    },
                    {
                        "name": "WebLink"
                    },
                    {
                        "name": "Attachments"
                    },
                    {
                        "name": "BodyPreview"
                    },
                    {
                        "name": "Locations"
                    },
                    {
                        "name": "OnlineMeetingUrl"
                    },
                    {
                        "name": "OriginalStart"
                    },
                    {
                        "name": "SeriesMasterId"
                    }
                ]
            },
            "sink": {
                "type": "BlobSink"
            }
        }
    }
]

Conteúdos relacionados

Para obter uma lista de armazenamentos de dados suportados como fontes e coletores pela atividade de cópia, consulte Armazenamentos de dados suportados.