Azure Data Factory 中的原始檔控制

適用於：Azure Data Factory Azure Synapse Analytics

根據預設，Azure Data Factory 使用者介面體驗 (UX) 會直接根據資料處理站製作。 此體驗有下列限制：

• Data Factory 服務不包含儲存您的修改的 JSON 實體存放庫。 儲存變更的唯一方法是透過全部發佈按鈕，所有變更都會直接發佈到資料處理站服務。
• Data Factory 服務並未針對共同作業和版本控制進行優化。
• 不包含部署 Data Factory 本身所需的 Azure Resource Manager 範本。

為了提供更好的製作體驗，Azure Data Factory 可讓您使用 Azure Repos 或 GitHub 來設定 Git 存放庫。 Git 是一種版本控制系統，可讓您更輕鬆地追蹤變更和共同作業。 本文將概述如何在 Git 存放庫中進行設定和工作，以及重點提示最佳做法和疑難排解指南。

您也可以參考 Azure Data Factory 中的持續整合與持續傳遞 (CI/CD)，以深入了解較大的 CI/CD 模式，其中原始檔控制是重要的層面。

若要深入了解 Azure Data Factory 如何與 Git 整合，請觀看下列 15 分鐘教學課程影片：

Git 整合的優點

以下列出 git 整合為製作體驗提供的一些優點：

• 原始檔控制：當您的資料處理站工作負載變得更重要時，您可以將處理站與 Git 整合，以運用數個原始程式碼控制優點，例如：
  • 追蹤/稽核變更的能力。
  • 還原引入錯誤 (bug) 的變更的能力。
• 部分儲存：使用資料處理站服務進行製作時，您無法將變更儲存為草稿，而且所有發佈都必須通過資料處理站驗證。 無論是管線尚未完成，還是您只是不想在電腦當機時遺失變更，Git 整合都能讓您以累加的方式變更資料處理站資源，無論資源處於何種狀態。 設定 Git 存放庫可讓您儲存變更，等到將變更測試到滿意後才發佈。
• 共同作業和控制項：若您有多個參與相同處理站的小組成員，您可以透過程式碼檢閱程序讓您的小組成員彼此共同作業。 您也可以設定您的中心，讓每位參與者都有不同的權限。 某些小組成員只能透過 Git 進行變更，而且小組中只有特定人員可以將變更發佈到處理站。
• 更好的 CI/CD：如果您要使用持續傳遞程序部署至多個環境，git 整合可以讓某些動作變得更容易。 其中一些動作包括：
  • 將您的發行管線設定為當任何變更發生在您的「開發人員」中心時，則自動觸發。
  • 在中心內自訂可做為 Resource Manager 範本中參數的屬性。 只保留必要屬性集做為參數並將其他項目以硬式編碼方式撰寫非常實用。
• 更好的效能： 使用 git 整合的一個一般中心與根據資料處理站服務製作的中心相較之下，載入速度快 10 倍。 效能的改善是因為資源是透過 Git 下載。

連線至 Git 存放庫

使用 Azure Repos 和 GitHub 時，有四種不同的方式可將 Git 存放庫連線至您的資料處理站。 連線至 Git 存放庫之後，您可以在 [原始檔控制] 區段中的 [Git 設定] 下，透過管理中樞檢視及管理您的設定。

設定方法 1：首頁

在 Azure Data Factory 首頁中，選取頂端的 [設定程式碼存放庫]。

設定方法 2：製作畫布

在 Azure Data Factory UX 的撰寫畫布中選取 [Data Factory] 下拉式功能表，然後選取 [設定程式碼存放庫]。

設定方法 3：管理中樞

移至 Azure Data Factory Studio 中的管理中樞。 在 [原始檔控制] 區段中，選取 [Git 設定]。 如果您沒有任何已連線的存放庫，請選取 [設定]。

設定方法 4：在建立處理站期間

在 Azure 入口網站中建立新的資料處理站時，您可以在 [Git 設定] 索引標籤中設定 Git 存放庫資訊。

使用 Azure Repos Git 整合來進行編寫

使用 Azure Repos Git 整合來進行視覺化撰寫時，可針對您資料處理站管線上的工作支援原始檔控制和共同作業。 您可以將資料處理站與 Azure Repos Git 組織存放庫建立關聯，以進行原始檔控制、共同作業及版本設定等。 一個 Azure Repos Git 組織可以有多個存放庫，但一個 Azure Repos Git 存放庫只能與一個資料處理站建立關聯。 如果您沒有 Azure Repos 組織或存放庫，請依照這些指示來建立您的資源。

Azure Repos 設定

設定窗格會逐步引導您設定下列各項程式碼存放庫設定：

編輯存放庫設定

如果需要對設定的 Azure Repos Git 存放庫進行調整，您可選擇 [編輯]。

您可更新發佈分支並決定是否要從 ADF Studio 停用發佈按鈕。 如果您選擇從 Studio 停用發佈按鈕，則 ADF Studio 中的 [發佈] 按鈕會呈現灰色。 這有助於避免覆寫最後一次自動發佈部署。

使用不同的 Microsoft Entra 租用戶

Azure Repos Git 存放庫可位於不同的 Microsoft Entra 租用戶。 若要指定不同的 Microsoft Entra 租用戶，您必須擁有所用 Azure 訂用帳戶的系統管理員權限。 如需詳細資訊，請參閱變更訂用帳戶管理員。

使用您的個人 Microsoft 帳戶

若要使用個人 Microsoft 帳戶進行 Git 整合，您可以將個人的 Azure Repos 連結至貴組織的 Active Directory。

1. 以來賓身分將您的個人 Microsoft 帳戶新增到貴組織的 Active Directory。 如需詳細資訊，請參閱在 Azure 入口網站中新增 Microsoft Entra B2B 共同作業使用者。

2. 使用您的個人 Microsoft 帳戶登入 Azure 入口網站。 然後切換到貴組織的 Active Directory。

3. 移至 [Azure DevOps] 區段，您現在會在其中看到您的個人存放庫。 選取存放庫並與 Active Directory 連線。

在這些設定步驟之後，當您在 Data Factory UI 中設定 Git 整合時，可以使用您的個人存放庫。

如需將 Azure Repos 連線至貴組織 Active Directory 的詳細資訊，請參閱將您的 Azure DevOps 組織連線至 Microsoft Entra ID。

使用 GitHub 整合進行編寫

使用 GitHub 整合所進行的視覺化撰寫，會對資料處理站管線上的工作支援原始檔控制和共同作業功能。 您可以將資料處理站與 GitHub 帳戶存放庫建立關聯，以進行原始檔控制、共同作業及版本設定。 一個 GitHub 帳戶可以裝載多個存放庫，且每個存放庫可以與多個資料處理站相關聯。 藉由將每個資料處理站設定為使用相同存放庫中的不同分支，您可以維護不同的環境 (例如開發、預備和生產環境)，同時個別管理其設定。 如果您沒有 GitHub 帳戶或存放庫，請遵循這些指示來建立您的資源。

GitHub 與 Data Factory 的整合支援公用 GitHub (即 https://github.com)、GitHub Enterprise Cloud 與 GitHub Enterprise Server。 只要您具備 GitHub 中存放庫的讀取和寫入權限，就能搭配 Data Factory 使用公用和私人 GitHub 存放庫。 若要與公用存放庫連線，請選取 [使用連結存放庫選項]，因為 [存放庫名稱] 下拉功能表中不會顯示公用存放庫。 ADF 的 GitHub 企業伺服器整合僅適用於正式支援的 GitHub 企業伺服器版本。

針對 GitHub 組織帳戶所擁有的存放庫，系統管理員必須授權 ADF 應用程式。 針對 GitHub 使用者帳戶所擁有的存放庫，具有至少共同作業權限的使用者可授權 ADF 應用程式。 此權限不會讓 ADF 應用程式直接存取帳戶/組織所擁有的存放庫，而僅允許 ADF 應用程式代表使用者根據使用者存取權限來存取存放庫。

GitHub 設定

此設定窗格會顯示下列 GitHub 存放庫設定：

編輯存放庫設定

如果需要對設定的 GitHub 存放庫進行調整，您可選擇 [編輯]。

您可更新發佈分支並決定是否要從 ADF Studio 停用發佈按鈕。 如果您選擇從 Studio 停用發佈按鈕，則 ADF Studio 中的 [發佈] 按鈕會呈現灰色。 這有助於避免覆寫最後一次自動發佈部署。

GitHub 組織

連線到 GitHub 組織需要組織將權限授與 Azure Data Factory。 對組織具有 ADMIN 權限的使用者必須執行下列步驟，以允許資料處理站進行連線。

第一次在 Azure Data Factory 中連線至公用 GitHub 或 GitHub Enterprise Cloud

如果您是第一次從 Azure Data Factory 連線至公用 GitHub 或 GitHub Enterprise Cloud，請遵循下列步驟來連線到 GitHub 組織。

1. 在 Git 組態窗格的 [GitHub 帳戶] 欄位中，輸入組織名稱。 登入 GitHub 的提示隨即顯示。
2. 使用您的使用者認證登入。
3. 系統會要求您將 Azure Data Factory 授權為名為 AzureDataFactory 的應用程式。 在此畫面上，您會看到授與 ADF 存取組織權限的選項。 如果您沒有看到授與權限的選項，請要求系統管理員透過 GitHub 手動授與權限。

遵循這些步驟後，您的處理站便可連線至組織內的公用和私人存放庫。 如果您無法連線，請嘗試清除瀏覽器快取，然後再試一次。

已使用個人帳戶連線至公用 GitHub 或 GitHub Enterprise Cloud

如果您已連線至公用 GitHub 或 GitHub Enterprise Cloud，且僅授與存取個人帳戶的權限，請依照下列步驟將權限授與組織。

1. 移至 GitHub 並開啟 [設定]。

   

2. 選取應用程式。 在 [授權的 OAuth 應用程式] 索引標籤中，您應該會看到 AzureDataFactory。

   

3. 選取應用程式，並將應用程式存取權授與貴組織。

   

遵循這些步驟後，您的處理站便可連線至組織內的公用和私人存放庫。

連線至 GitHub Enterprise Server

如果您連線至 GitHub Enterprise Server，則必須使用個人存取權杖進行驗證。 了解如何在建立個人存取權杖中建立個人存取權杖。

已知的 GitHub 限制

• 您可以將指令碼和資料檔案儲存在 GitHub 存放庫。 不過，您必須手動將檔案上載至 Azure 儲存體。 Data Factory 管線不會自動將 GitHub 存放庫中儲存的指令碼或資料檔案上傳至 Azure 儲存體。

• 早於 2.14.0 的 GitHub Enterprise 版本不適用於 Microsoft Edge 瀏覽器。

• 僅可以在正式推出的 Data Factory 版本中，使用 GitHub 與 Data Factory 視覺化撰寫工具的整合。

正在連線到 Azure DevOps Server 2022

如果您連線至 Azure DevOps Server 2022，則必須使用個人存取權杖進行驗證。 了解如何在這裡建立個人存取權杖。

提供 Azure DevOps Server URL 和 Azure DevOps Project Collection 以連線至內部部署 Azure DevOps

針對權杖提供存取範圍作為程式碼的讀取/寫入。

版本控制

版本控制系統 (也稱為原始程式碼控制) 讓開發人員對程式碼以及程式碼基底的追蹤變更進行共同作業。 原始程式碼控制是多重開發人員專案不可或缺的工具。

建立功能分支

每個與資料處理站相關的 Azure Repos Git 存放庫都有共同作業分支。 (main是預設的共同作業分支)。 使用者也可以按一下分支下拉式功能表中的+ 新分支來建立功能分支。

出現新的分支窗格之後，請輸入功能分支的名稱，然後選取要作為工作基礎的分支。

當您準備好要將功能分支的變更合併到共同作業分支時，請按一下分支下拉式功能表，然後選取建立提取要求。 這個動作會帶您前往 Azure Repos Git，您可以在其中提出提取要求、執行程式碼檢閱，以及合併變更到您的共同作業分支。 (main 是預設值)。 您只能從共同作業分支發佈到 Data Factory 服務。

設定發佈設定

根據預設，資料處理站會產生已發佈中心的 Resource Manager 範本，並將它們儲存到名為adf_publish的分支。 若要設定自訂發佈分支，請將publish_config.json檔案新增至共同作業分支中的根資料夾。 發佈時，ADF 會讀取此檔案、尋找 publishBranch 欄位，並將所有 Resource Manager 範本儲存到指定的位置。 如果該分支不存在，資料處理站會自動加以建立。 此檔案的範例如下所示：

{
    "publishBranch": "factory/adf_publish"
}

Azure Data Factory 一次只能有一個發佈分支。 當您指定新的發佈分支時，Data Factory 不會刪除先前的發佈分支。 如果您想要移除先前的發佈分支，請手動刪除該分支。

發佈程式碼變更

將變更合併到共同作業分支之後 (main 是預設值)，請按一下 [發佈] 來手動將主要分支中的程式碼變更發佈到 Data Factory 服務。

側邊窗格會在您確認發佈分支和擱置中變更正確後開啟。 驗證變更後，按一下 OK 確認發佈。

Git 整合的最佳做法

權限

一般來說，您不會希望每個小組成員都擁有更新 Data Factory 的權限。 建議使用下列權限設定：

• 所有小組成員都應該有 Data Factory 的讀取權限。
• 應只允許一組特定人員才能發佈至 Data Factory。 若要這樣做，他們必須在包含 Data Factory 的資源群組上擁有 Data Factory 參與者角色。 如需權限的詳細資訊，請參閱 Azure Data Factory 的角色和權限。

建議您不要允許直接在共同作業分支裡簽入。 此限制可協助避免錯誤 (bug)，因為每個簽入都會經歷建立功能分支所述的提取要求檢閱程序。

使用 Azure Key Vault 的密碼

建議您使用 Azure Key Vault 來儲存 Data Factory Linked Services 的任何連線字串或密碼，或受控識別驗證。 基於安全性考量，資料處理站不會在 Git 中儲存祕密。 在 Linked Services 上任何內含密碼等秘密變更，都會立即發佈至 Azure Data Factory 服務。

使用 Key Vault 或 MSI 驗證也可讓您更輕鬆地持續整合和部署，因為您不需要在 Resource Manager 範本部署期間提供這些祕密。

針對 Git 整合進行疑難排解

過時的發佈分支

以下是一些可能會導致過時發佈分支的情況範例：

• 使用者有多個分支。 在一個功能分支中，使用者刪除未與 AKV 相關聯的連結服務 (非 AKV 的連結服務會立即發佈，不論其是否位於 Git 中都會如此)，而且從未將功能分支合併到共同作業分支。
• 使用者使用 SDK 或 PowerShell 修改過資料處理站
• 使用者已將所有資源移到新的分支，並嘗試進行第一次發佈。 請於匯入資源時手動建立連結服務。
• 使用者以手動方式上傳非 AKV 連結服務或 Integration Runtime JSON。 使用者從另一個資源 (例如資料集、連結服務或管線) 參考該資源。 透過使用者介面建立的非 AKV 連結服務會立即發佈，因為認證需要加密。 如果您上傳參考該連結服務的資料集並嘗試發佈，使用者介面會允許此資料集，因為其存在於 Git 環境中。 此資料集會在發佈時遭到拒絕，因為其不存在於資料處理站服務中。

如果發佈分支與主要分支不同步，但儘管最近發佈，卻包含過期的資源，您可以使用下列任一個解決方案：

選項 1：使用覆寫即時模式功能

其會從您的協作分支將程式碼發佈或覆寫到即時模式。 也會將存放庫中的程式碼視為事實來源。

程式碼流程：協作分支 - >即時模式

選項 2：中斷連線並重新連線 Git 存放庫

其會將程式碼從即時模式匯入至協作分支。 也會將即時模式中的程式碼視為真實來源。

程式碼流程：即時模式 -> 協作分支

1. 移除目前的 Git 存放庫
2. 以相同的設定重新設定 Git，但請確定已選取 [將現有的 Data Factory 資源匯入存放庫]，然後選擇 [協作分支 (相同分支)]
3. 建立提取要求以將變更合併到共同作業分支。

視需要適當地選擇任一方法。

所有資源在發佈時都會顯示為新的資源

發佈時，即使先前已發佈所有資源，這些資源仍會顯示為新的資源。 如果 lastCommitId 屬性透過下列方式在處理站的 repoConfiguration 屬性上重設，就會發生這種情況：重新部署處理站 ARM 範本，或透過 PowerShell 或 REST API 更新處理站 repoConfiguration 屬性。 繼續發佈資源會解決此問題，但為了防止再次發生，請避免更新處理站 repoConfiguration 屬性。

切換到不同的 Git 存放庫

若要切換至不同的 Git 存放庫，請移至 [原始檔控制] 下管理中樞中的 [Git 設定] 分頁。 選取 [中斷連線]。

輸入您的資料處理站名稱，然後按一下確認以移除與您資料處理站相關聯的 Git 存放庫。

移除與目前存放庫的關聯之後，您可以設定 Git 設定以使用不同的存放庫，然後將現有的 Data Factory 資源匯入到新的存放庫。

相關內容

• 若要深入了解如何監視和管理管線，請參閱以程式設計方式監視和管理管線。
• 若要實作持續整合和持續部署，請參閱 Azure Data Factory 中的持續整合和傳遞 (CI/CD)。