搭配使用 LightGBM 模型與 Microsoft Fabric 中的 SynapseML

LightGBM 架構專門建立高品質且已啟用 GPU 的決策樹演算法，以進行排名、分類，以及許多其他機器學習工作。 在本文中，您會使用 LightGBM 來建置分類、迴歸和排名模型。

LightGBM 是一種開放原始碼、分散式、高效能漸層提升 (GBDT、GBRT、GBM 或 MART) 架構。 LightGBM 是 Microsoft 的 DMTK 專案的一部分。 您可以透過使用 LightGBMClassifier、LightGBMRegressor 和 LightGBMRanker 來採用 LightGBM。 LightGBM 可以併入現有的 SparkML 管線，並用於批次、串流和提供工作負載，優勢多多。 其可提供各種不同的可調整參數，可用來自訂其決策樹系統。 Spark 上的 LightGBM 還會支援新的問題類型，例如分位數迴歸。

必要條件

• 取得 Microsoft Fabric 訂用帳戶。 或註冊免費的 Microsoft Fabric 試用版。

• 登入 Microsoft Fabric。

• 使用首頁左側的體驗切換器，切換至 Synapse 資料科學體驗。

  

• 移至 Microsoft Fabric 中的資料科學體驗。
• 建立新的筆記本。
• 將筆記本連結至 Lakehouse。 在筆記本左側，選取 [新增]，以新增現有的 Lakehouse 或建立新的 Lakehouse。

使用 LightGBMClassifier 訓練分類模型

在本節中，您會使用 LightGBM 來建置分類模型，以預測破產。

1. 閱讀資料表。

   from pyspark.sql import SparkSession
   
   # Bootstrap Spark Session
   spark = SparkSession.builder.getOrCreate()
   
   from synapse.ml.core.platform import *
   

   df = (
       spark.read.format("csv")
       .option("header", True)
       .option("inferSchema", True)
       .load(
           "wasbs://publicwasb@mmlspark.blob.core.windows.net/company_bankruptcy_prediction_data.csv"
       )
   )
   # print dataset size
   print("records read: " + str(df.count()))
   print("Schema: ")
   df.printSchema()
   

   display(df)
   

2. 將資料集分割到訓練和測試集。

   train, test = df.randomSplit([0.85, 0.15], seed=1)
   

3. 新增特徵化工具，將特徵轉換成向量。

   from pyspark.ml.feature import VectorAssembler
   
   feature_cols = df.columns[1:]
   featurizer = VectorAssembler(inputCols=feature_cols, outputCol="features")
   train_data = featurizer.transform(train)["Bankrupt?", "features"]
   test_data = featurizer.transform(test)["Bankrupt?", "features"]
   

4. 檢查資料是否不平衡。

   display(train_data.groupBy("Bankrupt?").count())
   

5. 使用 LightGBMClassifier 來訓練模型。

   from synapse.ml.lightgbm import LightGBMClassifier
   
   model = LightGBMClassifier(
       objective="binary", featuresCol="features", labelCol="Bankrupt?", isUnbalance=True, dataTransferMode="bulk"
   )
   

   model = model.fit(train_data)
   

6. 視覺化特徵重要度

   import pandas as pd
   import matplotlib.pyplot as plt
   
   feature_importances = model.getFeatureImportances()
   fi = pd.Series(feature_importances, index=feature_cols)
   fi = fi.sort_values(ascending=True)
   f_index = fi.index
   f_values = fi.values
   
   # print feature importances
   print("f_index:", f_index)
   print("f_values:", f_values)
   
   # plot
   x_index = list(range(len(fi)))
   x_index = [x / len(fi) for x in x_index]
   plt.rcParams["figure.figsize"] = (20, 20)
   plt.barh(
       x_index, f_values, height=0.028, align="center", color="tan", tick_label=f_index
   )
   plt.xlabel("importances")
   plt.ylabel("features")
   plt.show()
   

7. 從模型產生預測

   predictions = model.transform(test_data)
   predictions.limit(10).toPandas()
   

   from synapse.ml.train import ComputeModelStatistics
   
   metrics = ComputeModelStatistics(
       evaluationMetric="classification",
       labelCol="Bankrupt?",
       scoredLabelsCol="prediction",
   ).transform(predictions)
   display(metrics)
   

使用 LightGBMRegressor 來訓練分位數迴歸模型

在本節中，您會使用 LightGBM 來建置用於藥物探索的迴歸模型。

1. 閱讀資料表。

   triazines = spark.read.format("libsvm").load(
       "wasbs://publicwasb@mmlspark.blob.core.windows.net/triazines.scale.svmlight"
   )
   

   # print some basic info
   print("records read: " + str(triazines.count()))
   print("Schema: ")
   triazines.printSchema()
   display(triazines.limit(10))
   

2. 將資料集分割到訓練和測試集。

   train, test = triazines.randomSplit([0.85, 0.15], seed=1)
   

3. 使用 LightGBMRegressor 來訓練模型。

   from synapse.ml.lightgbm import LightGBMRegressor
   
   model = LightGBMRegressor(
       objective="quantile", alpha=0.2, learningRate=0.3, numLeaves=31, dataTransferMode="bulk"
   ).fit(train)
   

   print(model.getFeatureImportances())
   

4. 從模型產生預測。

   scoredData = model.transform(test)
   display(scoredData)
   

   from synapse.ml.train import ComputeModelStatistics
   
   metrics = ComputeModelStatistics(
       evaluationMetric="regression", labelCol="label", scoresCol="prediction"
   ).transform(scoredData)
   display(metrics)
   

使用 LightGBMRanker 來訓練排名模型

在本節中，您會使用 LightGBM 來建置排名模型。

1. 閱讀資料表。

   df = spark.read.format("parquet").load(
       "wasbs://publicwasb@mmlspark.blob.core.windows.net/lightGBMRanker_train.parquet"
   )
   # print some basic info
   print("records read: " + str(df.count()))
   print("Schema: ")
   df.printSchema()
   display(df.limit(10))
   

2. 使用 LightGBMRanker 來訓練排名模型。

   from synapse.ml.lightgbm import LightGBMRanker
   
   features_col = "features"
   query_col = "query"
   label_col = "labels"
   lgbm_ranker = LightGBMRanker(
       labelCol=label_col,
       featuresCol=features_col,
       groupCol=query_col,
       predictionCol="preds",
       leafPredictionCol="leafPreds",
       featuresShapCol="importances",
       repartitionByGroupingColumn=True,
       numLeaves=32,
       numIterations=200,
       evalAt=[1, 3, 5],
       metric="ndcg",
       dataTransferMode="bulk"
   )
   

   lgbm_ranker_model = lgbm_ranker.fit(df)
   

3. 從模型產生預測。

   dt = spark.read.format("parquet").load(
       "wasbs://publicwasb@mmlspark.blob.core.windows.net/lightGBMRanker_test.parquet"
   )
   predictions = lgbm_ranker_model.transform(dt)
   predictions.limit(10).toPandas()
   

相關內容

• Azure Synapse Analytics 中的 Azure AI 服務是什麼？
• 如何在使用和不使用 SynapseML 的情況下來執行相同的分類工作
• 如何搭配使用 KNN 模型與 SynapseML