教學課程：在 Azure Machine Learning 中上傳、存取及探索您的資料

適用於：Python SDK azure-ai-ml v2 (目前)

在本教學課程中，您將了解如何：

機器學習專案通常會以探索資料分析 (EDA)、資料前置處理 (清理、特徵工程)，以及建置 Machine Learning 模型原型來驗證假設開始。 此原型專案階段有高度互動性。 適合使用 Python 互動式控制台在 IDE 或 Jupyter 筆記本中開發。 本教學課程說明這些想法。

這段影片會示範如何在 Azure Machine Learning 工作室開始，以便您可以遵循教學課程中的步驟。 影片示範如何建立筆記本、複製筆記本、建立計算執行個體，以及下載教學課程所需的資料。 這些步驟也會於下列各節中說明。

必要條件

1. 若要使用 Azure 機器學習，您需要工作區。 如果您沒有工作區，請完成建立要開始使用所需要的資源以建立工作區，並深入了解其使用方式。

   重要

   如果您的 Azure 機器學習 工作區是使用受控虛擬網路設定的，您可能需要新增輸出規則，以允許存取公用 Python 套件存放庫。 如需詳細資訊，請參閱 案例：存取公用機器學習套件。

2. 登入工作室，並選取您的工作區 (如果其尚未開啟的話)。

3. 在工作區開啟或建立筆記本：

   • 如果您想要將程式代碼複製並貼到儲存格中，請建立 新的筆記本。
   • 或者，從工作室的 [範例] 區段開啟 tutorials/get-started-notebooks/explore-data.ipynb。 然後選取 [複製] 以將筆記本新增至 [檔案]。 若要尋找範例筆記本，請參閱 從範例筆記本學習。

設定您的核心並在 Visual Studio Code (VS Code) 中開啟

1. 在開啟的筆記本上方的頂端列上，如果您還沒有計算執行個體，請建立計算執行個體。

   

2. 如果計算執行個體已停止，請選取 [啟動計算]，並等到其執行為止。

   

3. 等候計算實例正在執行。 然後確定位於右上方的核心是 Python 3.10 - SDK v2。 如果沒有，請使用下拉式清單來選取此核心。

   

   如果您沒有看到此核心，請確認您的計算實例正在執行。 如果是，請選取 筆記本右上方的 [重新 整理] 按鈕。

4. 如果您看到橫幅指出您需要進行驗證，請選取 [驗證]。

5. 您可以在此執行筆記本，或在 VS Code 中予以開啟，以取得包含 Azure Machine Learning 資源強大功能的完全整合式開發環境 (IDE)。 選取 [在 VS Code 中開啟]，然後選取 Web 或桌面選項。 以這種方式啟動時，VS Code 會附加至您的計算執行個體、核心和工作區檔案系統。

   

下載本教學課程中使用的資料

就資料擷取而言，Azure 資料總管會處理這些格式的未經處理資料。 本教學課程會使用此 CSV 格式的信用卡用戶端資料範例。 步驟在 Azure Machine Learning 資源中進行。 在該資源中，我們將直接在此筆記本所在的資料夾下建立本機資料夾，其中具有建議的 data 名稱。

1. 選取三個點下方的 [開啟終端機]，如下圖所示：

   

2. 終端機視窗會在新的索引標籤開啟。

3. 確定您 cd ([變更目錄]) 至此筆記本所在的同一資料夾。 例如，如果筆記本位於名為 get-started-notebooks 的資料夾：

   cd get-started-notebooks    #  modify this to the path where your notebook is located
   

4. 在終端機視窗中輸入下列命令，將資料複製到計算執行個體：

   mkdir data
   cd data                     # the sub-folder where you'll store the data
   wget https://azuremlexamples.blob.core.windows.net/datasets/credit_card/default_of_credit_card_clients.csv
   

5. 您現在可以關閉終端機視窗。

如需 UC Irvine Machine Learning Repository 中資料的詳細資訊，請造訪此資源。

建立工作區的控制代碼

在我們探索程式碼之前，您需要一種方式來參考您的工作區。 您會建立 ml_client 以獲得工作區的控制代碼。 您接著會使用 ml_client 來管理資源和作業。

在下一個資料格中，輸入您的訂用帳戶識別碼、資源群組名稱和工作區名稱。 若要尋找這些值：

1. 在右上方的 Azure Machine Learning 工作室工具列中，選取您的工作區名稱。
2. 將工作區、資源群組和訂用帳戶識別碼的值複製到程式碼。
3. 您必須一次個別複製一個值、關閉該區域並貼上，然後繼續下一個。

from azure.ai.ml import MLClient
from azure.identity import DefaultAzureCredential
from azure.ai.ml.entities import Data
from azure.ai.ml.constants import AssetTypes

# authenticate
credential = DefaultAzureCredential()

# Get a handle to the workspace
ml_client = MLClient(
    credential=credential,
    subscription_id="<SUBSCRIPTION_ID>",
    resource_group_name="<RESOURCE_GROUP>",
    workspace_name="<AML_WORKSPACE_NAME>",
)

將資料上傳至雲端儲存體

Azure Machine Learning 會使用統一資源識別項 (URI)，其指向雲端中的儲存體位置。 URI 可讓您輕鬆地存取筆記本和作業中的資料。 資料 URI 格式類似於您在網頁瀏覽器中用來存取網頁的 Web URL 格式。 例如：

• 從公用 https 伺服器存取資料：https://<account_name>.blob.core.windows.net/<container_name>/<folder>/<file>
• 從 Azure Data Lake Gen 2 存取資料：abfss://<file_system>@<account_name>.dfs.core.windows.net/<folder>/<file>

Azure Machine Learning 資料資產類似於網頁瀏覽器書籤 (我的最愛)。 您不必記住指向最常用資料的冗長儲存體路徑 (URI)，只要建立資料資產，就能以自訂名稱存取該資產。

建立資料資產也會建立資料來源位置的參考，以及其中繼資料的複本。 因為資料留在現有位置，所以不會產生額外的儲存成本，也不損及資料來源的完整性。 您可以從 Azure Machine Learning 資料存放區、Azure 儲存體、公用 URL 或本機檔案建立資料資產。

下一個筆記本資料格會建立資料資產。 程式碼範例會將未經處理資料檔案上傳至指定的雲端儲存空間資源。

每次建立資料資產時，都需要為其製作唯一版本。 如果版本已經存在，您會收到錯誤。 在此程式碼中，我們會使用 "initial" 進行資料的第一次讀取。 如果該版本已經存在，我們不會重新建立。

您也可以省略 version 參數。 在此情況下，版本號碼是為您產生的，從 1 開始，然後自該處遞增。

本教學課程會使用名稱 "initial" 作為第一個版本。 建立生產機器學習管線教學課程也會使用此版本的資料，因此在這裡我們會使用將在該教學課程中再次看到的值。

from azure.ai.ml.entities import Data
from azure.ai.ml.constants import AssetTypes

# update the 'my_path' variable to match the location of where you downloaded the data on your
# local filesystem

my_path = "./data/default_of_credit_card_clients.csv"
# set the version number of the data asset
v1 = "initial"

my_data = Data(
    name="credit-card",
    version=v1,
    description="Credit card data",
    path=my_path,
    type=AssetTypes.URI_FILE,
)

## create data asset if it doesn't already exist:
try:
    data_asset = ml_client.data.get(name="credit-card", version=v1)
    print(
        f"Data asset already exists. Name: {my_data.name}, version: {my_data.version}"
    )
except:
    ml_client.data.create_or_update(my_data)
    print(f"Data asset created. Name: {my_data.name}, version: {my_data.version}")

若要檢查上傳的資料，請選取左側的 [資料]。 即會上傳資料並建立資料資產：

此資料命名為信用卡並位於 [資料資產] 索引標籤中，系統會在 [名稱] 資料行中顯示。

Azure Machine Learning 資料存放區是 Azure 上現有儲存體帳戶的參考。 資料存放區提供下列優點：

1. 常見且易於使用的 API，可與不同的儲存體類型

   • Azure Data Lake 儲存體
   • Blob
   • 檔案

   和驗證方法互動。

2. 以小組模式合作時，可更輕鬆探索實用的資料存放區。

3. 在指令碼中，提供隱藏認證型資料存取連線資訊的方法 (服務主體/SAS/金鑰)。

存取筆記本中的資料

Pandas 直接支援 URI；此範例示範如何從 Azure Machine Learning 資料存放區讀取 CSV 檔案：

import pandas as pd

df = pd.read_csv("azureml://subscriptions/<subid>/resourcegroups/<rgname>/workspaces/<workspace_name>/datastores/<datastore_name>/paths/<folder>/<filename>.csv")

不過，如先前所述，要記住這些 URI 可能有些困難。 此外，您必須以資源的實際值，手動取代 pd.read_csv 命令中的所有 <substring> 值。

您想要為經常存取的資料建立資料資產。 以下是在 Pandas 中存取 CSV 檔案較簡單的方式：

%pip install -U azureml-fsspec

import pandas as pd

# get a handle of the data asset and print the URI
data_asset = ml_client.data.get(name="credit-card", version=v1)
print(f"Data asset URI: {data_asset.path}")

# read into pandas - note that you will see 2 headers in your data frame - that is ok, for now

df = pd.read_csv(data_asset.path)
df.head()

如需筆記本中資料存取的詳細資訊，請造訪在互動開發期間從 Azure 雲端儲存體存取資料。

建立新版本的資料資產

資料需要進行一些簡單的清理，以使其適合定型機器學習模型。 其中包含：

• 兩個標頭
• 用戶端識別碼資料行；我們不會在機器學習中使用這項功能
• 回應變數名稱中的空格

此外，相較於 CSV 格式，Parquet 檔案格式會是儲存此資料的較佳方式。 Parquet 提供壓縮，並會維護結構描述。 若要清理資料並將其儲存在 Parquet 中，請使用：

# read in data again, this time using the 2nd row as the header
df = pd.read_csv(data_asset.path, header=1)
# rename column
df.rename(columns={"default payment next month": "default"}, inplace=True)
# remove ID column
df.drop("ID", axis=1, inplace=True)

# write file to filesystem
df.to_parquet("./data/cleaned-credit-card.parquet")

下表顯示在先前的步驟中，所下載的原始 default_of_credit_card_clients.csv .CSV 檔案中的資料結構。 上傳的資料包含 23 個解釋變數和 1 個回應變數，如下所示：

接下來，建立資料資產的新版本 (資料會自動上傳至雲端儲存體)。 針對此版本，新增時間值，以便每次此程式碼執行時，都會建立不同的版本號碼。

from azure.ai.ml.entities import Data
from azure.ai.ml.constants import AssetTypes
import time

# Next, create a new *version* of the data asset (the data is automatically uploaded to cloud storage):
v2 = "cleaned" + time.strftime("%Y.%m.%d.%H%M%S", time.gmtime())
my_path = "./data/cleaned-credit-card.parquet"

# Define the data asset, and use tags to make it clear the asset can be used in training

my_data = Data(
    name="credit-card",
    version=v2,
    description="Default of credit card clients data.",
    tags={"training_data": "true", "format": "parquet"},
    path=my_path,
    type=AssetTypes.URI_FILE,
)

## create the data asset

my_data = ml_client.data.create_or_update(my_data)

print(f"Data asset created. Name: {my_data.name}, version: {my_data.version}")

清理過的 parquet 檔案是最新版本的資料來源。 此程式碼會先顯示 CSV 版本結果集，然後顯示 Parquet 版本：

import pandas as pd

# get a handle of the data asset and print the URI
data_asset_v1 = ml_client.data.get(name="credit-card", version=v1)
data_asset_v2 = ml_client.data.get(name="credit-card", version=v2)

# print the v1 data
print(f"V1 Data asset URI: {data_asset_v1.path}")
v1df = pd.read_csv(data_asset_v1.path)
print(v1df.head(5))

# print the v2 data
print(
    "_____________________________________________________________________________________________________________\n"
)
print(f"V2 Data asset URI: {data_asset_v2.path}")
v2df = pd.read_parquet(data_asset_v2.path)
print(v2df.head(5))

清除資源

如果您打算立即繼續進行其他教學課程，請跳至後續步驟。

停止計算執行個體

如果現在不打算使用，請停止計算執行個體：

1. 在工作室的左側導覽區域中，選取 [計算]。
2. 在頂端索引標籤中，選取 [計算執行個體]
3. 選取清單中的計算執行個體。
4. 在頂端工具列中，選取 [停止]。

刪除所有資源

如果不打算使用您建立的任何資源，請刪除以免產生任何費用：

1. 在 [Azure 入口網站] 的搜尋方塊中，輸入 [資源群組]，然後從結果中選取它。

2. 從清單中，選取您所建立的資源群組。

3. 在 [概觀] 頁面上，選取 [刪除資源群組]。

   

4. 輸入資源群組名稱。 接著選取刪除。

下一步

如需資料資產的詳細資訊，請造訪建立資料資產。

如需資料存放區的詳細資訊，請造訪建立資料存放區。

繼續進行下一個教學課程，以了解如何開發定型指令碼：