Microsoft.MachineLearningServices 工作區/onlineEndpoints/deployments 2024-10-01-preview

發行項
12/09/2024

Bicep 資源定義

workspaces/onlineEndpoints/deployments 資源類型可以使用目標作業來部署：

資源群組 - 請參閱資源群組部署命令

如需每個 API 版本中已變更屬性的清單，請參閱變更記錄檔。

資源格式

若要建立 Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments 資源，請將下列 Bicep 新增至範本。

resource symbolicname 'Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments@2024-10-01-preview' = {
  parent: resourceSymbolicName
  identity: {
    type: 'string'
    userAssignedIdentities: {
      {customized property}: {}
    }
  }
  kind: 'string'
  location: 'string'
  name: 'string'
  properties: {
    appInsightsEnabled: bool
    codeConfiguration: {
      codeId: 'string'
      scoringScript: 'string'
    }
    dataCollector: {
      collections: {
        {customized property}: {
          clientId: 'string'
          dataCollectionMode: 'string'
          dataId: 'string'
          samplingRate: int
        }
      }
      requestLogging: {
        captureHeaders: [
          'string'
        ]
      }
      rollingRate: 'string'
    }
    description: 'string'
    egressPublicNetworkAccess: 'string'
    environmentId: 'string'
    environmentVariables: {
      {customized property}: 'string'
    }
    instanceType: 'string'
    livenessProbe: {
      failureThreshold: int
      initialDelay: 'string'
      period: 'string'
      successThreshold: int
      timeout: 'string'
    }
    model: 'string'
    modelMountPath: 'string'
    properties: {
      {customized property}: 'string'
    }
    readinessProbe: {
      failureThreshold: int
      initialDelay: 'string'
      period: 'string'
      successThreshold: int
      timeout: 'string'
    }
    requestSettings: {
      maxConcurrentRequestsPerInstance: int
      maxQueueWait: 'string'
      requestTimeout: 'string'
    }
    scaleSettings: {
      scaleType: 'string'
      // For remaining properties, see OnlineScaleSettings objects
    }
    endpointComputeType: 'string'
    // For remaining properties, see OnlineDeploymentProperties objects
  }
  sku: {
    capacity: int
    family: 'string'
    name: 'string'
    size: 'string'
    tier: 'string'
  }
  tags: {
    {customized property}: 'string'
  }
}

OnlineDeploymentProperties 物件

設定 endpointComputeType 屬性，以指定對象的類型。

針對 Kubernetes，請使用：

{
  containerResourceRequirements: {
    containerResourceLimits: {
      cpu: 'string'
      gpu: 'string'
      memory: 'string'
    }
    containerResourceRequests: {
      cpu: 'string'
      gpu: 'string'
      memory: 'string'
    }
  }
  endpointComputeType: 'Kubernetes'
}

針對 Managed，請使用：

{
  endpointComputeType: 'Managed'
}

OnlineScaleSettings 物件

設定 scaleType 屬性，以指定物件的類型。

針對 Default，請使用：

{
  scaleType: 'Default'
}

針對 TargetUtilization，請使用：

{
  maxInstances: int
  minInstances: int
  pollingInterval: 'string'
  scaleType: 'TargetUtilization'
  targetUtilizationPercentage: int
}

屬性值

CodeConfiguration

名字	描述	價值
codeId	程式代碼資產的 ARM 資源識別碼。	字串
scoringScript	[必要]在啟動時執行的腳本。例如 “score.py”	字串約束：最小長度 = 1 模式 = `[a-zA-Z0-9_]` （必要）

收集

名字	描述	價值
clientId	用來收集記錄至 Blob 記憶體的 msi 用戶端識別碼。如果為 null，後端會挑選已註冊的端點身分識別進行驗證。	字串
dataCollectionMode	啟用或停用數據收集。	'Disabled' 'Enabled'
dataId	數據資產arm資源標識碼。用戶端可確保數據資產指向 Blob 記憶體，而後端會將數據收集到 Blob 記憶體。	字串
samplingRate	收集的取樣率。取樣率 1.0 表示我們預設會收集 100% 數據。	int

ContainerResourceRequirements

名字	描述	價值
containerResourceLimits	容器資源限制資訊：	ContainerResourceSettings
containerResourceRequests	容器資源要求資訊：	ContainerResourceSettings

ContainerResourceSettings

名字	描述	價值
中央處理器	容器的 vCPU 要求/限制數目。詳細資訊： https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/	字串
gpu	容器的 Nvidia GPU 卡片要求/限制數目。詳細資訊： https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/	字串
記憶	容器的記憶體大小要求/限制。詳細資訊： https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/	字串

DataCollector

名字	描述	價值
收集	[必要]集合組態。每個集合都有自己的組態來收集模型數據，而且集合的名稱可以是任意字串。模型數據收集器可用於承載記錄或自定義記錄或兩者。收集要求和回應會保留給承載記錄，其他則用於自定義記錄。	DataCollectorCollections （必要）
requestLogging	mdc 的要求記錄組態包含所有集合的進階記錄設定。這是選擇性的。	RequestLogging
rollingRate	將模型數據收集到 Blob 記憶體時，我們需要將數據變換到不同的路徑，以避免在單一 Blob 檔案中記錄所有數據。如果滾動速率為小時，則會在 Blob 路徑 /yyyy/MM/dd/HH/中收集所有數據。如果是當天，所有數據都會在 Blob 路徑 /yyyy/MM/dd/中收集。滾動路徑的另一個優點是模型監視 ui 能夠非常快速地選取時間範圍的數據。	'Day' 'Hour' 'Minute' 'Month' 'Year'

DataCollectorCollections

名字	描述	價值

DefaultScaleSettings

名字	描述	價值
scaleType	[必要]部署調整演算法的類型	'Default' （必要）

EndpointDeploymentPropertiesBaseEnvironmentVariables

名字	描述	價值

EndpointDeploymentPropertiesBaseProperties

名字	描述	價值

KubernetesOnlineDeployment

名字	描述	價值
containerResourceRequirements	容器的資源需求（cpu和記憶體）。	ContainerResourceRequirements
endpointComputeType	[必要]端點的計算類型。	'Kubernetes' （必要）

ManagedOnlineDeployment

名字	描述	價值
endpointComputeType	[必要]端點的計算類型。	'Managed' （必要）

ManagedServiceIdentity

名字	描述	價值
類型	受控服務識別的類型（允許 SystemAssigned 和 UserAssigned 類型）。	'None' 'SystemAssigned' 'SystemAssigned，UserAssigned' 'UserAssigned' （必要）
userAssignedIdentities	與資源相關聯的使用者指派身分識別集。 userAssignedIdentities 字典索引鍵的格式為 ARM 資源標識符：'/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.ManagedIdentity/userAssignedIdentities/{identityName}。字典值可以是要求中的空白物件（{}）。	UserAssignedIdentities

Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments

名字	描述	價值
身份	受控服務識別（系統指派和/或使用者指派的身分識別）	ManagedServiceIdentity
類	入口網站/工具等用來轉譯相同類型資源的不同UX體驗的元數據。	字串
位置	資源所在的地理位置	字串（必要）
名字	資源名稱	字串約束：模式 = `^[a-zA-Z0-9][a-zA-Z0-9\-_]{0,254}$` （必要）
父母	在 Bicep 中，您可以指定子資源的父資源。只有在父資源外部宣告子資源時，才需要新增這個屬性。如需詳細資訊，請參閱父資源外部的子資源。	類型資源的符號名稱：workspaces/onlineEndpoints
性能	[必要]實體的其他屬性。	OnlineDeploymentProperties （必要）
sku	自動調整之 ARM 合約所需的 SKU 詳細數據。	Sku
標籤	資源標籤	標記名稱和值的字典。請參閱範本中的標籤

OnlineDeploymentProperties

名字	描述	價值
appInsightsEnabled	如果為 true，請啟用 Application Insights 記錄。	bool
codeConfiguration	端點部署的程式代碼組態。	CodeConfiguration
dataCollector	mdc 組態是 null 時，我們會停用 mdc。	DataCollector
描述	端點部署的描述。	字串
egressPublicNetworkAccess	如果已啟用，請允許輸出公用網路存取。如果停用，這會建立安全的輸出。預設值：已啟用。	'Disabled' 'Enabled'
endpointComputeType	針對 KubernetesOnlineDeployment 類型設定為 'Kubernetes'，。針對 managedOnlineDeployment 類型設定為 'Managed'，。	'Kubernetes' 'Managed' （必要）
environmentId	端點部署環境規格的 ARM 資源識別碼或 AssetId。	字串
environmentVariables	部署的環境變數組態。	EndpointDeploymentPropertiesBaseEnvironmentVariables
instanceType	計算實例類型。默認值：Standard_F4s_v2。	字串
livenessProbe	即時性探查會定期監視容器的健康情況。	ProbeSettings
型	模型的 URI 路徑。	字串
modelMountPath	在自定義容器中掛接模型的路徑。	字串
性能	屬性字典。可以新增屬性，但無法移除或改變。	EndpointDeploymentPropertiesBaseProperties
readinessProbe	整備探查會驗證容器是否已準備好提供流量。屬性和預設值與活躍度探查相同。	ProbeSettings
requestSettings	要求部署的設定。	OnlineRequestSettings
scaleSettings	部署的調整設定。如果它是 Null 或未提供，默認為 KubernetesOnlineDeployment 的 TargetUtilizationScaleSettings 和至 ManagedOnlineDeployment 的 DefaultScaleSettings。	OnlineScaleSettings

OnlineRequestSettings

名字	描述	價值
maxConcurrentRequestsPerInstance	每個節點允許每個部署的最大並行要求數目。預設值為 1。	int
maxQueueWait	（已淘汰受控在線端點）要求以 ISO 8601 格式留在佇列中的最大時間量。預設為 500 毫秒。（現在增加 `request_timeout_ms` 以考慮任何網路/佇列延遲）	字串
requestTimeout	ISO 8601 格式的評分逾時。預設為 5000 毫秒。	字串

OnlineScaleSettings

名字	描述	價值
scaleType	在 defaultScaleSettings類型設定為 'Default'。針對 targetUtilizationScaleSettings 類型設定為 'TargetUtilization'，。	'Default' 'TargetUtilization' （必要）

ProbeSettings

名字	描述	價值
failureThreshold	傳回狀況不良狀態之前允許的失敗次數。	int
initialDelay	ISO 8601 格式第一個探查之前的延遲。	字串
時期	ISO 8601 格式探查之間的時間長度。	字串
successThreshold	傳回狀況良好狀態之前，成功探查的數目。	int
超時	ISO 8601 格式的探查逾時。	字串

RequestLogging

名字	描述	價值
captureHeaders	針對承載記錄，我們預設只會收集承載。如果客戶也想要收集指定的標頭，他們可以在 captureHeaders 中設定它們，讓後端會收集這些標頭以及承載。	string[]

Sku

名字	描述	價值
能力	如果 SKU 支援相應放大/縮小，則應該包含容量整數。如果資源無法相應放大/縮小，可能會省略此專案。	int
家庭	如果服務有不同世代的硬體，針對相同的 SKU，則可以在這裡擷取。	字串
名字	SKU 的名稱。例如 - P3。通常是字母+數位碼	字串（必要）
大小	SKU 大小。當名稱欄位是階層和其他一些值的組合時，這會是獨立程序代碼。	字串
層	如果服務有一個以上的層級，但 PUT 上不需要此欄位，則資源提供者必須實作此字段。	'Basic' 'Free' 'Premium' 'Standard'

TargetUtilizationScaleSettings

名字	描述	價值
maxInstances	部署可調整的實例數目上限。配額將保留給max_instances。	int
minInstances	要一律存在的實例數目下限。	int
pollingInterval	ISO 8691 格式的輪詢間隔。僅支援有效位數為秒數的持續時間。	字串
scaleType	[必要]部署調整演算法的類型	'TargetUtilization' （必要）
targetUtilizationPercentage	自動調整程式的目標 CPU 使用量。	int

TrackedResourceTags

名字	描述	價值

UserAssignedIdentities

名字	描述	價值

UserAssignedIdentity

名字	描述	價值

ARM 樣本資源定義

workspaces/onlineEndpoints/deployments 資源類型可以使用目標作業來部署：

資源群組 - 請參閱資源群組部署命令

如需每個 API 版本中已變更屬性的清單，請參閱變更記錄檔。

資源格式

若要建立 Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments 資源，請將下列 JSON 新增至範本。

{
  "type": "Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments",
  "apiVersion": "2024-10-01-preview",
  "name": "string",
  "identity": {
    "type": "string",
    "userAssignedIdentities": {
      "{customized property}": {
      }
    }
  },
  "kind": "string",
  "location": "string",
  "properties": {
    "appInsightsEnabled": "bool",
    "codeConfiguration": {
      "codeId": "string",
      "scoringScript": "string"
    },
    "dataCollector": {
      "collections": {
        "{customized property}": {
          "clientId": "string",
          "dataCollectionMode": "string",
          "dataId": "string",
          "samplingRate": "int"
        }
      },
      "requestLogging": {
        "captureHeaders": [ "string" ]
      },
      "rollingRate": "string"
    },
    "description": "string",
    "egressPublicNetworkAccess": "string",
    "environmentId": "string",
    "environmentVariables": {
      "{customized property}": "string"
    },
    "instanceType": "string",
    "livenessProbe": {
      "failureThreshold": "int",
      "initialDelay": "string",
      "period": "string",
      "successThreshold": "int",
      "timeout": "string"
    },
    "model": "string",
    "modelMountPath": "string",
    "properties": {
      "{customized property}": "string"
    },
    "readinessProbe": {
      "failureThreshold": "int",
      "initialDelay": "string",
      "period": "string",
      "successThreshold": "int",
      "timeout": "string"
    },
    "requestSettings": {
      "maxConcurrentRequestsPerInstance": "int",
      "maxQueueWait": "string",
      "requestTimeout": "string"
    },
    "scaleSettings": {
      "scaleType": "string"
      // For remaining properties, see OnlineScaleSettings objects
    },
    "endpointComputeType": "string"
    // For remaining properties, see OnlineDeploymentProperties objects
  },
  "sku": {
    "capacity": "int",
    "family": "string",
    "name": "string",
    "size": "string",
    "tier": "string"
  },
  "tags": {
    "{customized property}": "string"
  }
}

OnlineDeploymentProperties 物件

設定 endpointComputeType 屬性，以指定對象的類型。

針對 Kubernetes，請使用：

{
  "containerResourceRequirements": {
    "containerResourceLimits": {
      "cpu": "string",
      "gpu": "string",
      "memory": "string"
    },
    "containerResourceRequests": {
      "cpu": "string",
      "gpu": "string",
      "memory": "string"
    }
  },
  "endpointComputeType": "Kubernetes"
}

針對 Managed，請使用：

{
  "endpointComputeType": "Managed"
}

OnlineScaleSettings 物件

設定 scaleType 屬性，以指定物件的類型。

針對 Default，請使用：

{
  "scaleType": "Default"
}

針對 TargetUtilization，請使用：

{
  "maxInstances": "int",
  "minInstances": "int",
  "pollingInterval": "string",
  "scaleType": "TargetUtilization",
  "targetUtilizationPercentage": "int"
}

屬性值

CodeConfiguration

名字	描述	價值
codeId	程式代碼資產的 ARM 資源識別碼。	字串
scoringScript	[必要]在啟動時執行的腳本。例如 “score.py”	字串約束：最小長度 = 1 模式 = `[a-zA-Z0-9_]` （必要）

收集

名字	描述	價值
clientId	用來收集記錄至 Blob 記憶體的 msi 用戶端識別碼。如果為 null，後端會挑選已註冊的端點身分識別進行驗證。	字串
dataCollectionMode	啟用或停用數據收集。	'Disabled' 'Enabled'
dataId	數據資產arm資源標識碼。用戶端可確保數據資產指向 Blob 記憶體，而後端會將數據收集到 Blob 記憶體。	字串
samplingRate	收集的取樣率。取樣率 1.0 表示我們預設會收集 100% 數據。	int

ContainerResourceRequirements

名字	描述	價值
containerResourceLimits	容器資源限制資訊：	ContainerResourceSettings
containerResourceRequests	容器資源要求資訊：	ContainerResourceSettings

ContainerResourceSettings

名字	描述	價值
中央處理器	容器的 vCPU 要求/限制數目。詳細資訊： https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/	字串
gpu	容器的 Nvidia GPU 卡片要求/限制數目。詳細資訊： https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/	字串
記憶	容器的記憶體大小要求/限制。詳細資訊： https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/	字串

DataCollector

名字	描述	價值
收集	[必要]集合組態。每個集合都有自己的組態來收集模型數據，而且集合的名稱可以是任意字串。模型數據收集器可用於承載記錄或自定義記錄或兩者。收集要求和回應會保留給承載記錄，其他則用於自定義記錄。	DataCollectorCollections （必要）
requestLogging	mdc 的要求記錄組態包含所有集合的進階記錄設定。這是選擇性的。	RequestLogging
rollingRate	將模型數據收集到 Blob 記憶體時，我們需要將數據變換到不同的路徑，以避免在單一 Blob 檔案中記錄所有數據。如果滾動速率為小時，則會在 Blob 路徑 /yyyy/MM/dd/HH/中收集所有數據。如果是當天，所有數據都會在 Blob 路徑 /yyyy/MM/dd/中收集。滾動路徑的另一個優點是模型監視 ui 能夠非常快速地選取時間範圍的數據。	'Day' 'Hour' 'Minute' 'Month' 'Year'

DataCollectorCollections

名字	描述	價值

DefaultScaleSettings

名字	描述	價值
scaleType	[必要]部署調整演算法的類型	'Default' （必要）

EndpointDeploymentPropertiesBaseEnvironmentVariables

名字	描述	價值

EndpointDeploymentPropertiesBaseProperties

名字	描述	價值

KubernetesOnlineDeployment

名字	描述	價值
containerResourceRequirements	容器的資源需求（cpu和記憶體）。	ContainerResourceRequirements
endpointComputeType	[必要]端點的計算類型。	'Kubernetes' （必要）

ManagedOnlineDeployment

名字	描述	價值
endpointComputeType	[必要]端點的計算類型。	'Managed' （必要）

ManagedServiceIdentity

名字	描述	價值
類型	受控服務識別的類型（允許 SystemAssigned 和 UserAssigned 類型）。	'None' 'SystemAssigned' 'SystemAssigned，UserAssigned' 'UserAssigned' （必要）
userAssignedIdentities	與資源相關聯的使用者指派身分識別集。 userAssignedIdentities 字典索引鍵的格式為 ARM 資源標識符：'/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.ManagedIdentity/userAssignedIdentities/{identityName}。字典值可以是要求中的空白物件（{}）。	UserAssignedIdentities

Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments

名字	描述	價值
apiVersion	API 版本	'2024-10-01-preview'
身份	受控服務識別（系統指派和/或使用者指派的身分識別）	ManagedServiceIdentity
類	入口網站/工具等用來轉譯相同類型資源的不同UX體驗的元數據。	字串
位置	資源所在的地理位置	字串（必要）
名字	資源名稱	字串約束：模式 = `^[a-zA-Z0-9][a-zA-Z0-9\-_]{0,254}$` （必要）
性能	[必要]實體的其他屬性。	OnlineDeploymentProperties （必要）
sku	自動調整之 ARM 合約所需的 SKU 詳細數據。	Sku
標籤	資源標籤	標記名稱和值的字典。請參閱範本中的標籤
類型	資源類型	'Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments'

OnlineDeploymentProperties

名字	描述	價值
appInsightsEnabled	如果為 true，請啟用 Application Insights 記錄。	bool
codeConfiguration	端點部署的程式代碼組態。	CodeConfiguration
dataCollector	mdc 組態是 null 時，我們會停用 mdc。	DataCollector
描述	端點部署的描述。	字串
egressPublicNetworkAccess	如果已啟用，請允許輸出公用網路存取。如果停用，這會建立安全的輸出。預設值：已啟用。	'Disabled' 'Enabled'
endpointComputeType	針對 KubernetesOnlineDeployment 類型設定為 'Kubernetes'，。針對 managedOnlineDeployment 類型設定為 'Managed'，。	'Kubernetes' 'Managed' （必要）
environmentId	端點部署環境規格的 ARM 資源識別碼或 AssetId。	字串
environmentVariables	部署的環境變數組態。	EndpointDeploymentPropertiesBaseEnvironmentVariables
instanceType	計算實例類型。默認值：Standard_F4s_v2。	字串
livenessProbe	即時性探查會定期監視容器的健康情況。	ProbeSettings
型	模型的 URI 路徑。	字串
modelMountPath	在自定義容器中掛接模型的路徑。	字串
性能	屬性字典。可以新增屬性，但無法移除或改變。	EndpointDeploymentPropertiesBaseProperties
readinessProbe	整備探查會驗證容器是否已準備好提供流量。屬性和預設值與活躍度探查相同。	ProbeSettings
requestSettings	要求部署的設定。	OnlineRequestSettings
scaleSettings	部署的調整設定。如果它是 Null 或未提供，默認為 KubernetesOnlineDeployment 的 TargetUtilizationScaleSettings 和至 ManagedOnlineDeployment 的 DefaultScaleSettings。	OnlineScaleSettings

OnlineRequestSettings

名字	描述	價值
maxConcurrentRequestsPerInstance	每個節點允許每個部署的最大並行要求數目。預設值為 1。	int
maxQueueWait	（已淘汰受控在線端點）要求以 ISO 8601 格式留在佇列中的最大時間量。預設為 500 毫秒。（現在增加 `request_timeout_ms` 以考慮任何網路/佇列延遲）	字串
requestTimeout	ISO 8601 格式的評分逾時。預設為 5000 毫秒。	字串

OnlineScaleSettings

名字	描述	價值
scaleType	在 defaultScaleSettings類型設定為 'Default'。針對 targetUtilizationScaleSettings 類型設定為 'TargetUtilization'，。	'Default' 'TargetUtilization' （必要）

ProbeSettings

名字	描述	價值
failureThreshold	傳回狀況不良狀態之前允許的失敗次數。	int
initialDelay	ISO 8601 格式第一個探查之前的延遲。	字串
時期	ISO 8601 格式探查之間的時間長度。	字串
successThreshold	傳回狀況良好狀態之前，成功探查的數目。	int
超時	ISO 8601 格式的探查逾時。	字串

RequestLogging

名字	描述	價值
captureHeaders	針對承載記錄，我們預設只會收集承載。如果客戶也想要收集指定的標頭，他們可以在 captureHeaders 中設定它們，讓後端會收集這些標頭以及承載。	string[]

Sku

名字	描述	價值
能力	如果 SKU 支援相應放大/縮小，則應該包含容量整數。如果資源無法相應放大/縮小，可能會省略此專案。	int
家庭	如果服務有不同世代的硬體，針對相同的 SKU，則可以在這裡擷取。	字串
名字	SKU 的名稱。例如 - P3。通常是字母+數位碼	字串（必要）
大小	SKU 大小。當名稱欄位是階層和其他一些值的組合時，這會是獨立程序代碼。	字串
層	如果服務有一個以上的層級，但 PUT 上不需要此欄位，則資源提供者必須實作此字段。	'Basic' 'Free' 'Premium' 'Standard'

TargetUtilizationScaleSettings

名字	描述	價值
maxInstances	部署可調整的實例數目上限。配額將保留給max_instances。	int
minInstances	要一律存在的實例數目下限。	int
pollingInterval	ISO 8691 格式的輪詢間隔。僅支援有效位數為秒數的持續時間。	字串
scaleType	[必要]部署調整演算法的類型	'TargetUtilization' （必要）
targetUtilizationPercentage	自動調整程式的目標 CPU 使用量。	int

TrackedResourceTags

名字	描述	價值

UserAssignedIdentities

名字	描述	價值

UserAssignedIdentity

名字	描述	價值

Terraform （AzAPI 提供者）資源定義

workspaces/onlineEndpoints/deployments 資源類型可以使用目標作業來部署：

資源群組

如需每個 API 版本中已變更屬性的清單，請參閱變更記錄檔。

資源格式

若要建立 Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments 資源，請將下列 Terraform 新增至範本。

resource "azapi_resource" "symbolicname" {
  type = "Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments@2024-10-01-preview"
  name = "string"
  identity = {
    type = "string"
    userAssignedIdentities = {
      {customized property} = {
      }
    }
  }
  kind = "string"
  location = "string"
  sku = {
    capacity = int
    family = "string"
    name = "string"
    size = "string"
    tier = "string"
  }
  tags = {
    {customized property} = "string"
  }
  body = jsonencode({
    properties = {
      appInsightsEnabled = bool
      codeConfiguration = {
        codeId = "string"
        scoringScript = "string"
      }
      dataCollector = {
        collections = {
          {customized property} = {
            clientId = "string"
            dataCollectionMode = "string"
            dataId = "string"
            samplingRate = int
          }
        }
        requestLogging = {
          captureHeaders = [
            "string"
          ]
        }
        rollingRate = "string"
      }
      description = "string"
      egressPublicNetworkAccess = "string"
      environmentId = "string"
      environmentVariables = {
        {customized property} = "string"
      }
      instanceType = "string"
      livenessProbe = {
        failureThreshold = int
        initialDelay = "string"
        period = "string"
        successThreshold = int
        timeout = "string"
      }
      model = "string"
      modelMountPath = "string"
      properties = {
        {customized property} = "string"
      }
      readinessProbe = {
        failureThreshold = int
        initialDelay = "string"
        period = "string"
        successThreshold = int
        timeout = "string"
      }
      requestSettings = {
        maxConcurrentRequestsPerInstance = int
        maxQueueWait = "string"
        requestTimeout = "string"
      }
      scaleSettings = {
        scaleType = "string"
        // For remaining properties, see OnlineScaleSettings objects
      }
      endpointComputeType = "string"
      // For remaining properties, see OnlineDeploymentProperties objects
    }
  })
}

OnlineDeploymentProperties 物件

設定 endpointComputeType 屬性，以指定對象的類型。

針對 Kubernetes，請使用：

{
  containerResourceRequirements = {
    containerResourceLimits = {
      cpu = "string"
      gpu = "string"
      memory = "string"
    }
    containerResourceRequests = {
      cpu = "string"
      gpu = "string"
      memory = "string"
    }
  }
  endpointComputeType = "Kubernetes"
}

針對 Managed，請使用：

{
  endpointComputeType = "Managed"
}

OnlineScaleSettings 物件

設定 scaleType 屬性，以指定物件的類型。

針對 Default，請使用：

{
  scaleType = "Default"
}

針對 TargetUtilization，請使用：

{
  maxInstances = int
  minInstances = int
  pollingInterval = "string"
  scaleType = "TargetUtilization"
  targetUtilizationPercentage = int
}

屬性值

CodeConfiguration

名字	描述	價值
codeId	程式代碼資產的 ARM 資源識別碼。	字串
scoringScript	[必要]在啟動時執行的腳本。例如 “score.py”	字串約束：最小長度 = 1 模式 = `[a-zA-Z0-9_]` （必要）

收集

名字	描述	價值
clientId	用來收集記錄至 Blob 記憶體的 msi 用戶端識別碼。如果為 null，後端會挑選已註冊的端點身分識別進行驗證。	字串
dataCollectionMode	啟用或停用數據收集。	'Disabled' 'Enabled'
dataId	數據資產arm資源標識碼。用戶端可確保數據資產指向 Blob 記憶體，而後端會將數據收集到 Blob 記憶體。	字串
samplingRate	收集的取樣率。取樣率 1.0 表示我們預設會收集 100% 數據。	int

ContainerResourceRequirements

名字	描述	價值
containerResourceLimits	容器資源限制資訊：	ContainerResourceSettings
containerResourceRequests	容器資源要求資訊：	ContainerResourceSettings

ContainerResourceSettings

名字	描述	價值
中央處理器	容器的 vCPU 要求/限制數目。詳細資訊： https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/	字串
gpu	容器的 Nvidia GPU 卡片要求/限制數目。詳細資訊： https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/	字串
記憶	容器的記憶體大小要求/限制。詳細資訊： https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/	字串

DataCollector

名字	描述	價值
收集	[必要]集合組態。每個集合都有自己的組態來收集模型數據，而且集合的名稱可以是任意字串。模型數據收集器可用於承載記錄或自定義記錄或兩者。收集要求和回應會保留給承載記錄，其他則用於自定義記錄。	DataCollectorCollections （必要）
requestLogging	mdc 的要求記錄組態包含所有集合的進階記錄設定。這是選擇性的。	RequestLogging
rollingRate	將模型數據收集到 Blob 記憶體時，我們需要將數據變換到不同的路徑，以避免在單一 Blob 檔案中記錄所有數據。如果滾動速率為小時，則會在 Blob 路徑 /yyyy/MM/dd/HH/中收集所有數據。如果是當天，所有數據都會在 Blob 路徑 /yyyy/MM/dd/中收集。滾動路徑的另一個優點是模型監視 ui 能夠非常快速地選取時間範圍的數據。	'Day' 'Hour' 'Minute' 'Month' 'Year'

DataCollectorCollections

名字	描述	價值

DefaultScaleSettings

名字	描述	價值
scaleType	[必要]部署調整演算法的類型	'Default' （必要）

EndpointDeploymentPropertiesBaseEnvironmentVariables

名字	描述	價值

EndpointDeploymentPropertiesBaseProperties

名字	描述	價值

KubernetesOnlineDeployment

名字	描述	價值
containerResourceRequirements	容器的資源需求（cpu和記憶體）。	ContainerResourceRequirements
endpointComputeType	[必要]端點的計算類型。	'Kubernetes' （必要）

ManagedOnlineDeployment

名字	描述	價值
endpointComputeType	[必要]端點的計算類型。	'Managed' （必要）

ManagedServiceIdentity

名字	描述	價值
類型	受控服務識別的類型（允許 SystemAssigned 和 UserAssigned 類型）。	'None' 'SystemAssigned' 'SystemAssigned，UserAssigned' 'UserAssigned' （必要）
userAssignedIdentities	與資源相關聯的使用者指派身分識別集。 userAssignedIdentities 字典索引鍵的格式為 ARM 資源標識符：'/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.ManagedIdentity/userAssignedIdentities/{identityName}。字典值可以是要求中的空白物件（{}）。	UserAssignedIdentities

Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments

名字	描述	價值
身份	受控服務識別（系統指派和/或使用者指派的身分識別）	ManagedServiceIdentity
類	入口網站/工具等用來轉譯相同類型資源的不同UX體驗的元數據。	字串
位置	資源所在的地理位置	字串（必要）
名字	資源名稱	字串約束：模式 = `^[a-zA-Z0-9][a-zA-Z0-9\-_]{0,254}$` （必要）
parent_id	此資源為父系之資源的標識碼。	類型資源的標識碼：工作區/onlineEndpoints
性能	[必要]實體的其他屬性。	OnlineDeploymentProperties （必要）
sku	自動調整之 ARM 合約所需的 SKU 詳細數據。	Sku
標籤	資源標籤	標記名稱和值的字典。
類型	資源類型	“Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments@2024-10-01-preview”

OnlineDeploymentProperties

名字	描述	價值
appInsightsEnabled	如果為 true，請啟用 Application Insights 記錄。	bool
codeConfiguration	端點部署的程式代碼組態。	CodeConfiguration
dataCollector	mdc 組態是 null 時，我們會停用 mdc。	DataCollector
描述	端點部署的描述。	字串
egressPublicNetworkAccess	如果已啟用，請允許輸出公用網路存取。如果停用，這會建立安全的輸出。預設值：已啟用。	'Disabled' 'Enabled'
endpointComputeType	針對 KubernetesOnlineDeployment 類型設定為 'Kubernetes'，。針對 managedOnlineDeployment 類型設定為 'Managed'，。	'Kubernetes' 'Managed' （必要）
environmentId	端點部署環境規格的 ARM 資源識別碼或 AssetId。	字串
environmentVariables	部署的環境變數組態。	EndpointDeploymentPropertiesBaseEnvironmentVariables
instanceType	計算實例類型。默認值：Standard_F4s_v2。	字串
livenessProbe	即時性探查會定期監視容器的健康情況。	ProbeSettings
型	模型的 URI 路徑。	字串
modelMountPath	在自定義容器中掛接模型的路徑。	字串
性能	屬性字典。可以新增屬性，但無法移除或改變。	EndpointDeploymentPropertiesBaseProperties
readinessProbe	整備探查會驗證容器是否已準備好提供流量。屬性和預設值與活躍度探查相同。	ProbeSettings
requestSettings	要求部署的設定。	OnlineRequestSettings
scaleSettings	部署的調整設定。如果它是 Null 或未提供，默認為 KubernetesOnlineDeployment 的 TargetUtilizationScaleSettings 和至 ManagedOnlineDeployment 的 DefaultScaleSettings。	OnlineScaleSettings

OnlineRequestSettings

名字	描述	價值
maxConcurrentRequestsPerInstance	每個節點允許每個部署的最大並行要求數目。預設值為 1。	int
maxQueueWait	（已淘汰受控在線端點）要求以 ISO 8601 格式留在佇列中的最大時間量。預設為 500 毫秒。（現在增加 `request_timeout_ms` 以考慮任何網路/佇列延遲）	字串
requestTimeout	ISO 8601 格式的評分逾時。預設為 5000 毫秒。	字串

OnlineScaleSettings

名字	描述	價值
scaleType	在 defaultScaleSettings類型設定為 'Default'。針對 targetUtilizationScaleSettings 類型設定為 'TargetUtilization'，。	'Default' 'TargetUtilization' （必要）

ProbeSettings

名字	描述	價值
failureThreshold	傳回狀況不良狀態之前允許的失敗次數。	int
initialDelay	ISO 8601 格式第一個探查之前的延遲。	字串
時期	ISO 8601 格式探查之間的時間長度。	字串
successThreshold	傳回狀況良好狀態之前，成功探查的數目。	int
超時	ISO 8601 格式的探查逾時。	字串

RequestLogging

名字	描述	價值
captureHeaders	針對承載記錄，我們預設只會收集承載。如果客戶也想要收集指定的標頭，他們可以在 captureHeaders 中設定它們，讓後端會收集這些標頭以及承載。	string[]

Sku

名字	描述	價值
能力	如果 SKU 支援相應放大/縮小，則應該包含容量整數。如果資源無法相應放大/縮小，可能會省略此專案。	int
家庭	如果服務有不同世代的硬體，針對相同的 SKU，則可以在這裡擷取。	字串
名字	SKU 的名稱。例如 - P3。通常是字母+數位碼	字串（必要）
大小	SKU 大小。當名稱欄位是階層和其他一些值的組合時，這會是獨立程序代碼。	字串
層	如果服務有一個以上的層級，但 PUT 上不需要此欄位，則資源提供者必須實作此字段。	'Basic' 'Free' 'Premium' 'Standard'

TargetUtilizationScaleSettings

名字	描述	價值
maxInstances	部署可調整的實例數目上限。配額將保留給max_instances。	int
minInstances	要一律存在的實例數目下限。	int
pollingInterval	ISO 8691 格式的輪詢間隔。僅支援有效位數為秒數的持續時間。	字串
scaleType	[必要]部署調整演算法的類型	'TargetUtilization' （必要）
targetUtilizationPercentage	自動調整程式的目標 CPU 使用量。	int

TrackedResourceTags

名字	描述	價值

UserAssignedIdentities

名字	描述	價值

UserAssignedIdentity

名字	描述	價值

共用方式為

Microsoft.MachineLearningServices 工作區/onlineEndpoints/deployments 2024-10-01-preview

Bicep 資源定義

資源格式

OnlineDeploymentProperties 物件

OnlineScaleSettings 物件

屬性值

CodeConfiguration

收集

ContainerResourceRequirements

ContainerResourceSettings

DataCollector

DataCollectorCollections

DefaultScaleSettings

EndpointDeploymentPropertiesBaseEnvironmentVariables

EndpointDeploymentPropertiesBaseProperties

KubernetesOnlineDeployment

ManagedOnlineDeployment

ManagedServiceIdentity

Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments

OnlineDeploymentProperties

OnlineRequestSettings

OnlineScaleSettings

ProbeSettings

RequestLogging

Sku

TargetUtilizationScaleSettings

TrackedResourceTags

UserAssignedIdentities

UserAssignedIdentity

ARM 樣本資源定義

資源格式

OnlineDeploymentProperties 物件

OnlineScaleSettings 物件

屬性值

CodeConfiguration

收集

ContainerResourceRequirements

ContainerResourceSettings

DataCollector

DataCollectorCollections

DefaultScaleSettings

EndpointDeploymentPropertiesBaseEnvironmentVariables

EndpointDeploymentPropertiesBaseProperties

KubernetesOnlineDeployment

ManagedOnlineDeployment

ManagedServiceIdentity

Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments

OnlineDeploymentProperties

OnlineRequestSettings

OnlineScaleSettings

ProbeSettings

RequestLogging

Sku

TargetUtilizationScaleSettings

TrackedResourceTags

UserAssignedIdentities

UserAssignedIdentity

Terraform （AzAPI 提供者） 資源定義

資源格式

OnlineDeploymentProperties 物件

OnlineScaleSettings 物件

屬性值

CodeConfiguration

收集

ContainerResourceRequirements

ContainerResourceSettings

DataCollector

DataCollectorCollections

DefaultScaleSettings

EndpointDeploymentPropertiesBaseEnvironmentVariables

EndpointDeploymentPropertiesBaseProperties

KubernetesOnlineDeployment

ManagedOnlineDeployment

ManagedServiceIdentity

Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments

OnlineDeploymentProperties

OnlineRequestSettings

OnlineScaleSettings

ProbeSettings

Terraform （AzAPI 提供者）資源定義