Cop0iar do Microsoft 365 (Office 365) no Azure usando o Azure Data Factory ou o Synapse Analytics

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Os pipelines do Azure Data Factory e Synapse Analytics integram-se à Conexão de dados do Microsoft Graph, que permite que você leve os dados organizacionais avançados de seu locatário do Microsoft 365 (Office 365) para o Azure de maneira escalonável e compile aplicativos de análise e extraia insights com base nesses ativos de dados valiosos. A integração com o Privileged Access Management fornece controle de acesso protegido para os dados importantes coletados no Microsoft 365 (Office 365). Consulte este link para obter uma visão geral da conexão de dados do Microsoft Graph.

Este artigo descreve como usar a Atividade de Cópia para copiar dados e o Fluxo de Dados para transformar dados do Microsoft 365 (Office 365). Para uma introdução aos dados de cópia, leia a Visão geral da atividade de cópia. Para uma introdução à transformação de dados, leia a Visão geral de fluxo de dados de mapeamento.

Funcionalidades com suporte

O conector do Microsoft 365 (Office 365) tem suporte para os seguintes recursos:

① Runtime de integração do Azure ② Runtime de integração auto-hospedada

O conector do ADF Microsoft 365 (Office 365) e a Conexão de Dados do Microsoft Graph permite a ingestão em escala de diferentes tipos de conjuntos de dados de caixas de correio habilitadas para Exchange Email, incluindo contatos do catálogo de endereços, eventos de calendário, mensagens de email, informações do usuário, configurações de caixa de correio e assim por diante. Clique aqui para ver a lista completa de conjuntos de dados disponíveis.

Por enquanto, em uma única atividade de cópia e fluxo de dados, você só pode ingerir dados do Microsoft 365 (Office 365) para o Armazenamento de Blobs do Azure, Azure Data Lake Storage Gen1 e Azure Data Lake Storage Gen2 no formato JSON (tipo setOfObjects). Quando você copia para o Armazenamento de Blobs do Azure, a saída é um blob que contém texto JSON. Para carregar o Microsoft 365 (Office 365) para outros tipos de armazenamentos de dados ou para outros formatos, você pode encadear a primeira atividade de cópia ou fluxo de dados com uma atividade subsequente para carregar mais dados em qualquer um dos armazenamentos de destino do ADF com suporte (consulte a coluna "Com suporte como coletor" na tabela "Armazenamentos de dados e formatos com suporte").

Pré-requisitos

Para copiar e transformar dados do Microsoft 365 (Office 365) no Azure, você precisa concluir as seguintes etapas de pré-requisito:

• O administrador do seu locatário do Microsoft 365 (Office 365) deve concluir ações de integração, conforme descrito aqui.
• Criar e configurar um plicativo Web do Microsoft Entra no Microsoft Entra ID. Para obter instruções, consulte Criar um aplicativo do Microsoft Entra.
• Anote os seguintes valores, que você usa para definir o serviço vinculado para o Microsoft 365 (Office 365):
  • ID do locatário. Para obter instruções, consulte Obter ID de locatário.
  • ID do aplicativo e Chave do aplicativo. Para obter instruções, confira Obter ID do aplicativo e chave de autenticação.
• Adicione a identidade do usuário que está fazendo a solicitação de acesso a dados como o proprietário do aplicativo Web Microsoft Entra (do aplicativo Web Microsoft Entra > Configurações > Proprietários > Adicionar proprietário).
  • A identidade do usuário deve estar na organização do Microsoft 365 (Office 365) da qual você está obtendo dados e não deve ser um usuário Convidado.

Aprovação de novas solicitações de acesso a dados

Se esta for a primeira vez que você estiver solicitando dados para este contexto (uma combinação de qual tabela de dados está sendo acessada, em qual conta de destino os dados estão sendo carregados e qual identidade de usuário está fazendo a solicitação de acesso a dados), você verá o status da atividade Copy como "Em andamento", e somente quando você clicar no link "Detalhes", em Ações, você verá o status como "RequestingConsent". Um membro do grupo de aprovadores de acesso a dados precisa aprovar a solicitação no Privileged Access Management antes que seja possível prosseguir com a extração de dados.

Veja aqui como o aprovador pode aprovar a solicitação de acesso a dados.

Introdução

É possível criar um pipeline com a atividade de cópia e fluxo de dados usando uma das seguintes ferramentas ou SDKs. Selecione um link para acessar um tutorial com instruções passo a passo para criar um pipeline com uma atividade de cópia.

• Azure portal
• SDK .NET
• SDK do Python
• PowerShell do Azure
• REST API
• Modelo do Azure Resource Manager.

Criar um serviço vinculado para o Microsoft 365 (Office 365) usando a interface do usuário

Use as etapas a seguir para criar um serviço vinculado ao Microsoft 365 (Office 365) na interface do usuário do portal do Azure.

1. Navegue até a guia Gerenciar em seu espaço de trabalho do Azure Data Factory ou do Synapse e selecione Serviços Vinculados, em seguida, clique em Novo:

   • Azure Data Factory
   • Azure Synapse

   

2. Pesquise o Microsoft 365 (Office 365) e selecione o conector do Microsoft 365 (Office 365).

   

3. Configure os detalhes do serviço, teste a conexão e crie o novo serviço vinculado.

   

Detalhes da configuração do conector

As seções a seguir dão detalhes sobre as propriedades que são usadas para definir entidades do Data Factory específicas para o conector do Microsoft 365 (Office 365).

Propriedades do serviço vinculado

As propriedades a seguir são compatíveis com o serviço vinculado do Microsoft 365 (Office 365):

Exemplo:

{
    "name": "Office365LinkedService",
    "properties": {
        "type": "Office365",
        "typeProperties": {
            "office365TenantId": "<Microsoft 365 (Office 365) tenant id>",
            "servicePrincipalTenantId": "<AAD app service principal tenant id>",
            "servicePrincipalId": "<AAD app service principal id>",
            "servicePrincipalKey": {
                "type": "SecureString",
                "value": "<AAD app service principal key>"
            }
        }
    }
}

Propriedades do conjunto de dados

Para obter uma lista completa das seções e propriedades disponíveis para definir os conjuntos de dados, confira o artigo sobre conjuntos de dados. Esta seção fornece uma lista das propriedades compatíveis com o conjunto de dados do Microsoft 365 (Office 365).

Para copiar dados do Microsoft 365 (Office 365), as seguintes propriedades têm suporte:

Se você está definindo dateFilterColumn, startTime, endTime e userScopeFilterUri no conjunto de dados, ainda há suporte para eles no estado em que se encontram, mas, de agora em diante, recomendamos usar o novo modelo na origem de atividade.

Exemplo

{
    "name": "DS_May2019_O365_Message",
    "properties": {
        "type": "Office365Table",
        "linkedServiceName": {
            "referenceName": "<Microsoft 365 (Office 365) linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [],
        "typeProperties": {
            "tableName": "BasicDataSet_v0.Event_v1"
        }
    }
}

Propriedades da atividade de cópia

Para obter uma lista completa das seções e propriedades disponíveis para definir atividades, confia o artigo Pipelines. Esta seção fornece uma lista das propriedades com suporte da origem do Microsoft 365 (Office 365).

Microsoft 365 (Office 365) como origem

Para copiar dados do Microsoft 365 (Office 365), as propriedades a seguir têm suporte na seção origem da atividade de cópia:

Exemplo:

"activities": [
    {
        "name": "CopyFromO365ToBlob",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Microsoft 365 (Office 365) input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "Office365Source",
                "dateFilterColumn": "CreatedDateTime",
                "startTime": "2019-04-28T16:00:00.000Z",
                "endTime": "2019-05-05T16:00:00.000Z",
                "userScopeFilterUri": "https://graph.microsoft.com/v1.0/users?$filter=Department eq 'Finance'",
                "outputColumns": [
                    {
                        "name": "Id"
                    },
                    {
                        "name": "CreatedDateTime"
                    },
                    {
                        "name": "LastModifiedDateTime"
                    },
                    {
                        "name": "ChangeKey"
                    },
                    {
                        "name": "Categories"
                    },
                    {
                        "name": "OriginalStartTimeZone"
                    },
                    {
                        "name": "OriginalEndTimeZone"
                    },
                    {
                        "name": "ResponseStatus"
                    },
                    {
                        "name": "iCalUId"
                    },
                    {
                        "name": "ReminderMinutesBeforeStart"
                    },
                    {
                        "name": "IsReminderOn"
                    },
                    {
                        "name": "HasAttachments"
                    },
                    {
                        "name": "Subject"
                    },
                    {
                        "name": "Body"
                    },
                    {
                        "name": "Importance"
                    },
                    {
                        "name": "Sensitivity"
                    },
                    {
                        "name": "Start"
                    },
                    {
                        "name": "End"
                    },
                    {
                        "name": "Location"
                    },
                    {
                        "name": "IsAllDay"
                    },
                    {
                        "name": "IsCancelled"
                    },
                    {
                        "name": "IsOrganizer"
                    },
                    {
                        "name": "Recurrence"
                    },
                    {
                        "name": "ResponseRequested"
                    },
                    {
                        "name": "ShowAs"
                    },
                    {
                        "name": "Type"
                    },
                    {
                        "name": "Attendees"
                    },
                    {
                        "name": "Organizer"
                    },
                    {
                        "name": "WebLink"
                    },
                    {
                        "name": "Attachments"
                    },
                    {
                        "name": "BodyPreview"
                    },
                    {
                        "name": "Locations"
                    },
                    {
                        "name": "OnlineMeetingUrl"
                    },
                    {
                        "name": "OriginalStart"
                    },
                    {
                        "name": "SeriesMasterId"
                    }
                ]
            },
            "sink": {
                "type": "BlobSink"
            }
        }
    }
]

Conteúdo relacionado

Para obter uma lista de armazenamentos de dados com suporte como coletores e fontes da atividade de cópia, confira os armazenamentos de dados com suporte.