hyperdrive 套件
包含支援超參數微調的模組和類別。
超參數是您針對引導定型程式的模型定型選擇的可調整參數。 HyperDrive 套件可協助您自動選擇這些參數。 例如,您可以將參數搜尋空間定義為離散或連續,並將搜尋空間上的取樣方法定義為隨機、方格或貝氏。 此外,您也可以指定要在超參數微調實驗中優化的主要計量,以及要將該計量最小化或最大化。 您也可以定義早期終止原則,其中執行效能不佳的實驗執行已取消,並啟動新的實驗執行。 若要定義 HyperDrive 可重複使用的機器學習工作流程,請使用 hyper_drive_step 來建立 Pipeline 。
單元
error_definition |
HyperDrive SDK 的錯誤碼定義。 |
error_strings |
用於 HyperDrive SDK 的錯誤字串集合。 |
exceptions |
HyperDrive 擲回的例外狀況。 |
parameter_expressions |
定義可在 HyperDrive 中用來描述超參數搜尋空間的函式。 這些函式可用來指定不同類型的超參數分佈。 當您設定超參數掃掠的取樣時,會定義分佈。 例如,當您使用 RandomParameterSampling 類別時,您可以選擇從一組離散值或連續值的分佈取樣。 在此情況下,您可以使用 函 choice 式來產生一組離散的值和 uniform 函式,以產生連續值的分佈。 如需使用這些函式的範例,請參閱教學課程: https://docs.microsoft.com/azure/machine-learning/how-to-tune-hyperparameters 。 |
類別
BanditPolicy |
根據寬限期準則定義早期終止原則,以及評估的頻率和延遲間隔。 使用 Slack 因數、slack_amount和評估間隔,初始化 BanditPolicy。 |
BayesianParameterSampling |
定義超參數搜尋空間上的貝氏取樣。 貝氏取樣會根據先前的樣本執行方式,嘗試以智慧方式挑選下一個超參數樣本,讓新樣本改善報告的主要計量。 初始化 BayesianParameterSampling。 |
EarlyTerminationPolicy |
所有早期終止原則的抽象基類。 初始化早期終止原則。 |
GridParameterSampling |
定義超參數搜尋空間的方格取樣。 初始化 GridParameterSampling。 |
HyperDriveConfig |
定義 HyperDrive 執行的組態。 HyperDrive 設定包含超參數空間取樣、終止原則、主要計量、從設定、估算器和計算目標繼續執行實驗的相關資訊。 初始化 HyperDriveConfig。 |
HyperDriveRun |
HyperDriveRun 包含提交之 HyperDrive 實驗的詳細資料。 這個類別可用來管理、檢查狀態,以及擷取 HyperDrive 回合的執行詳細資料,以及每個產生的子執行。 初始化 HyperDrive 執行。 |
HyperDriveRunConfig |
定義 HyperDrive 執行的組態。 組態包含參數空間取樣、終止原則、主要計量、估算器和計算目標的相關資訊,以執行實驗執行。 初始化 HyperDriveConfig。 |
HyperParameterSampling |
所有超參數取樣演算法的抽象基類。 這個類別會封裝超參數空間、取樣方法,以及衍生取樣類別的其他屬性: BayesianParameterSampling 、 GridParameterSampling 和 RandomParameterSampling 。 初始化 HyperParameterSampling。 |
MedianStoppingPolicy |
根據所有執行之主要計量的執行平均值,定義早期終止原則。 初始化 MedianStoppingPolicy。 |
NoTerminationPolicy |
指定不會套用任何早期終止原則。 每次執行都會執行,直到完成為止。 初始化 NoTerminationPolicy。 |
RandomParameterSampling |
定義超參數搜尋空間的隨機取樣。 初始化 RandomParameterSampling。 |
TruncationSelectionPolicy |
定義在每次評估間隔取消指定執行百分比的早期終止原則。 初始化 TruncationSelectionPolicy。 |
列舉
PrimaryMetricGoal |
定義超參數微調支援的計量目標。 計量目標可用來判斷計量的值較高或更糟。 根據主要計量比較執行時,會使用計量目標。 例如,您可能想要將精確度最大化或最小化錯誤。 當您設定 HyperDrive 執行時, HyperDriveConfig 類別中會指定主要計量名稱和目標。 |
函式
choice
指定要從中取樣的一組離散選項。
choice(*options)
參數
名稱 | Description |
---|---|
options
必要
|
要從中選擇的選項清單。 |
傳回
類型 | Description |
---|---|
隨機運算式。 |
lognormal
指定根據 exp (一般 (mu、sigma) ) 繪製的值。
傳回值的對數通常會分散。 優化時,此變數會限制為正數。
lognormal(mu, sigma)
參數
名稱 | Description |
---|---|
mu
必要
|
常態分佈的平均值。 |
sigma
必要
|
常態分佈的標準差。 |
傳回
類型 | Description |
---|---|
隨機運算式。 |
loguniform
指定記錄統一分佈。
系統會根據 exp (統一 (min_value、max_value) ) 來繪製值,讓傳回值的對數平均分佈。 優化時,此變數受限於間隔 [exp (min_value) ,exp (max_value) ]
loguniform(min_value, max_value)
參數
名稱 | Description |
---|---|
min_value
必要
|
範圍中的最小值將會是 exp (min_value) (包含) 。 |
max_value
必要
|
範圍中的最大值將會是 exp (max_value) (包容性) 。 |
傳回
類型 | Description |
---|---|
隨機運算式。 |
normal
指定以平均 mu 和標準差 sigma 一般分佈的實際值。
優化時,這是不受限制的變數。
normal(mu, sigma)
參數
名稱 | Description |
---|---|
mu
必要
|
常態分佈的平均值。 |
sigma
必要
|
常態分佈的標準差。 |
傳回
類型 | Description |
---|---|
隨機運算式。 |
qlognormal
指定值,例如 round (exp (normal (mu, sigma) ) / q) * q。
適用于目標順暢且更順暢且具有變數大小的離散變數,其大小會從一端系結。
qlognormal(mu, sigma, q)
參數
名稱 | Description |
---|---|
mu
必要
|
常態分佈的平均值。 |
sigma
必要
|
常態分佈的標準差。 |
q
必要
|
平滑係數。 |
傳回
類型 | Description |
---|---|
隨機運算式。 |
qloguniform
指定表單圓角 (exp 的統一分佈, (統一 (min_value,max_value) / q) * q。
這適用于目標為「平滑」的離散變數,並透過值的大小更順暢,但應該同時在上方和下方系結。
qloguniform(min_value, max_value, q)
參數
名稱 | Description |
---|---|
min_value
必要
|
範圍的最小值 (含)。 |
max_value
必要
|
範圍的最大值 (含)。 |
q
必要
|
平滑係數。 |
傳回
類型 | Description |
---|---|
隨機運算式。 |
qnormal
指定值,例如四捨五入 (一般 (mu、sigma) / q) * q。
適用于可能採用 mu 值但基本上未系結的離散變數。
qnormal(mu, sigma, q)
參數
名稱 | Description |
---|---|
mu
必要
|
常態分佈的平均值。 |
sigma
必要
|
常態分佈的標準差。 |
q
必要
|
平滑係數。 |
傳回
類型 | Description |
---|---|
隨機運算式。 |
quniform
指定表單圓角 (統一 (min_value的統一分佈,max_value) / q) * q。
這適用于目標仍然有點「平滑」的離散值,但應該同時系結在上方和下方。
quniform(min_value, max_value, q)
參數
名稱 | Description |
---|---|
min_value
必要
|
範圍的最小值 (含)。 |
max_value
必要
|
範圍的最大值 (含)。 |
q
必要
|
平滑係數。 |
傳回
類型 | Description |
---|---|
隨機運算式。 |
randint
指定範圍 [0, 上層) 的一組隨機整數。
相較于較遠的整數值,此分佈的語意在於附近整數值之間的遺失函式中沒有更多相互關聯。 這是描述隨機種子的適當分佈,例如。 如果遺失函式可能更與鄰近整數值相互關聯,則您應該使用其中一個「量子化」連續分佈,例如 quniform、qloguniform、qnormal 或 qlognormal。
randint(upper)
參數
名稱 | Description |
---|---|
upper
必要
|
整數範圍的獨佔上限。 |
傳回
類型 | Description |
---|---|
隨機運算式。 |