共用方式為

管理服務端點的模型

  • 發行項

本文說明如何使用服務 UI 和 REST API 來管理服務端點的模型。 請參閱 在 REST API 參考中提供端點 。

若要建立服務端點的模型，請使用下列其中一項：

取得模型端點的狀態

在 [服務 UI] 中，您可以從端點詳細數據頁面頂端的 [服務端點狀態指標] 檢查端點的狀態。

使用 REST API 或 MLflow 部署 SDK，以程式設計方式檢查端點的狀態和詳細資料：

REST API

GET /api/2.0/serving-endpoints/{name}

下列範例會建立端點，以提供 Unity 目錄模型登錄中註冊的第 my-ads-model 一個模型版本。 您必須提供完整的模型名稱，包括父目錄和架構，例如 。 catalog.schema.example-model

在下列範例回應中 state.ready ，字段為 “READY”，這表示端點已準備好接收流量。 欄位 state.update_state 為 NOT_UPDATING ， pending_config 且不再傳回，因為更新已順利完成。

{
  "name": "unity-model-endpoint",
  "creator": "customer@example.com",
  "creation_timestamp": 1666829055000,
  "last_updated_timestamp": 1666829055000,
  "state": {
    "ready": "READY",
    "update_state": "NOT_UPDATING"
  },
  "config": {
    "served_entities": [
      {
        "name": "my-ads-model",
        "entity_name": "myCatalog.mySchema.my-ads-model",
        "entity_version": "1",
        "workload_size": "Small",
        "scale_to_zero_enabled": false,
        "state": {
          "deployment": "DEPLOYMENT_READY",
          "deployment_state_message": ""
        },
        "creator": "customer@example.com",
        "creation_timestamp": 1666829055000
      }
    ],
    "traffic_config": {
      "routes": [
        {
          "served_model_name": "my-ads-model",
          "traffic_percentage": 100
        }
      ]
    },
    "config_version": 1
  },
  "id": "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx",
  "permission_level": "CAN_MANAGE"
}

MLflow 部署 SDK

from mlflow.deployments import get_deploy_client

client = get_deploy_client("databricks")
endpoint = client.get_endpoint(endpoint="chat")
assert endpoint == {
    "name": "chat",
    "creator": "alice@company.com",
    "creation_timestamp": 0,
    "last_updated_timestamp": 0,
    "state": {...},
    "config": {...},
    "tags": [...],
    "id": "88fd3f75a0d24b0380ddc40484d7a31b",
}

停止提供端點的模型

您可以暫時停止提供端點的模型，稍後再加以啟動。 當端點停止時，為其布建的資源會關閉，而且端點在再次啟動之前無法提供查詢。 只有提供 自定義模型的端點未 經過路由優化，而且無法停止進行中的更新。 已停止的端點不會計入資源配額。 傳送至已停止端點的查詢會傳回 400 錯誤。

您可以從服務 UI 中的端點詳細資料頁面停止端點。

  1. 按兩下您要停止的端點。
  2. 按兩下右上角的 [ 停止 ]。

或者，您可以使用 REST API 以程式設計方式停止服務端點，如下所示：

POST /api/2.0/serving-endpoints/{name}/config:stop

當您準備好啟動已停止的模型服務端點時，您可以從服務 UI 中的端點詳細數據頁面執行此動作。

  1. 按兩下您要啟動的端點。
  2. 按兩下 右上角的 [開始 ]。

或者，您可以使用 REST API 以程式設計方式啟動已停止的端點服務端點，如下所示：

POST /api/2.0/serving-endpoints/{name}/config:start

刪除服務端點的模型

若要停用模型的服務，您可以刪除其提供的端點。

您可以從服務 UI 中的端點詳細資料頁面刪除端點。

  1. 按兩下 提要欄位上的 [服務 ]。
  2. 按兩下您要刪除的端點。
  3. 點擊頂端的 Kebab 功能表，然後選取 [ 刪除]。

或者，您可以使用 REST API 或 MLflow 部署 SDK，以程式設計方式刪除服務端點

REST API

DELETE /api/2.0/serving-endpoints/{name}

MLflow 部署 SDK

from mlflow.deployments import get_deploy_client

client = get_deploy_client("databricks")
client.delete_endpoint(endpoint="chat")

對服務端點的模型進行偵錯

若要對端點的任何問題進行偵錯，您可以擷取：

  • 模型伺服器容器組建記錄
  • 模型伺服器記錄

您也可以從 [記錄] 索引 標籤中的 [端點] UI 存取這些記錄 。

針對服務模型的組建記錄，您可以使用下列要求。 如需詳細資訊，請參閱 模型服務的 偵錯指南。


GET /api/2.0/serving-endpoints/{name}/served-models/{served-model-name}/build-logs
{
  “config_version”: 1  // optional
}

針對服務模型的模型伺服器記錄，您可以使用下列要求：


GET /api/2.0/serving-endpoints/{name}/served-models/{served-model-name}/logs

{
  “config_version”: 1  // optional
}

管理模型服務端點的許可權

您必須至少有服務端點的 CAN MANAGE 許可權，才能修改許可權。 如需許可權等級的詳細資訊，請參閱 提供端點 ACL。

取得服務端點的許可權清單。

databricks permissions get servingendpoints <endpoint-id>

將服務端點的 CAN QUERY 許可權授與使用者 jsmith@example.com 。

databricks permissions update servingendpoints <endpoint-id> --json '{
  "access_control_list": [
    {
      "user_name": "jsmith@example.com",
      "permission_level": "CAN_QUERY"
    }
  ]
}'

您也可以使用 許可權 API 修改服務端點許可權。

為服務端點的模型新增預算原則

重要

這項功能目前處於 公開預覽 階段，不適用於用於提供 外部模型 或 按次計費的基礎模型 API 負載的端點。

預算政策允許您的組織在無伺服器使用上套用自訂標籤，以實現細粒度的計費歸因。 如果您的工作區使用預算原則來計算無伺服器的使用量，您可以將預算原則新增到您的模型服務端點。 ** 請參閱 無伺服器使用方式的預算原則。

在建立模型服務端點時，您可以從 [服務 UI] 的 [預算原則] 選單中選取端點的預算政策。 如果您已指派預算原則，您建立的所有端點都會指派該預算原則，即使您未從 [預算原則] 功能表中選取原則。

在使用服務 UI 建立模型服務端點期間新增預算政策。

如果您有現有端點 MANAGE 許可權，您可以從 UI 中的 端點詳細數據 頁面，編輯預算原則並將其新增至該端點。

使用服務 UI 在現有模型服務端點上編輯預算政策。

注意

如果您已被指派預算政策，則現有的端點不會自動依附於您的政策。 如果您想要將預算原則附加至現有端點，則必須手動更新這些端點。

取得提供端點架構的模型

重要

支援提供端點查詢架構處於 公開預覽狀態。 此功能可在模型服務區域中取得。

服務端點查詢架構是使用 JSON 格式標準 OpenAPI 規格之服務端點的正式描述。 其中包含端點的相關信息，包括端點路徑、查詢端點的詳細數據，例如要求和回應本文格式，以及每個字段的數據類型。 這項信息對於重現性案例或當您需要端點的相關信息，但您不是原始端點建立者或擁有者時很有説明。

若要取得服務端點架構的模型，服務模型必須記錄模型簽章，而且端點必須處於 READY 狀態。

下列範例示範如何使用 REST API 以程式設計方式取得服務端點架構的模型。 如需提供端點架構的功能，請參閱 什麼是 Databricks 功能服務？。

API 所傳回的架構格式為遵循 OpenAPI 規格的 JSON 物件格式。


ACCESS_TOKEN="<endpoint-token>"
ENDPOINT_NAME="<endpoint name>"

curl "https://example.databricks.com/api/2.0/serving-endpoints/$ENDPOINT_NAME/openapi" -H "Authorization: Bearer $ACCESS_TOKEN" -H "Content-Type: application/json"

架構回應詳細數據

回應是 JSON 格式的 OpenAPI 規格，通常包括 、 openapiinfo 和 servers等paths欄位。 因為架構回應是 JSON 物件，所以您可以使用一般程式設計語言剖析它，並使用第三方工具從規格產生用戶端程式代碼。 您也可以使用 Swagger 編輯器等第三方工具將 OpenAPI 規格可視化。

回應的主要欄位包括：

  • 欄位 info.title 會顯示服務端點的名稱。
  • servers欄位一律包含一個物件，通常是url 端點基底 URL 的欄位。
  • paths回應中的物件包含端點的所有支持路徑。 物件中的索引鍵是路徑 URL。 每個 path 都可以支援多種輸入格式。 這些輸入會列在 oneOf 欄位中。

以下是端點架構回應的範例：


{
  "openapi": "3.1.0",
  "info": {
    "title": "example-endpoint",
    "version": "2"
  },
  "servers": [{ "url": "https://example.databricks.com/serving-endpoints/example-endpoint"}],
  "paths": {
    "/served-models/vanilla_simple_model-2/invocations": {
      "post": {
        "requestBody": {
          "content": {
            "application/json": {
              "schema": {
                "oneOf": [
                  {
                    "type": "object",
                    "properties": {
                      "dataframe_split": {
                        "type": "object",
                        "properties": {
                          "columns": {
                            "description": "required fields: int_col",
                            "type": "array",
                            "items": {
                              "type": "string",
                              "enum": [
                                "int_col",
                                "float_col",
                                "string_col"
                              ]
                            }
                          },
                          "data": {
                            "type": "array",
                            "items": {
                              "type": "array",
                              "prefixItems": [
                                {
                                  "type": "integer",
                                  "format": "int64"
                                },
                                {
                                  "type": "number",
                                  "format": "double"
                                },
                                {
                                  "type": "string"
                                }
                              ]
                            }
                          }
                        }
                      },
                      "params": {
                        "type": "object",
                        "properties": {
                          "sentiment": {
                            "type": "number",
                            "format": "double",
                            "default": "0.5"
                          }
                        }
                      }
                    },
                    "examples": [
                      {
                        "columns": [
                          "int_col",
                          "float_col",
                          "string_col"
                        ],
                        "data": [
                          [
                            3,
                            10.4,
                            "abc"
                          ],
                          [
                            2,
                            20.4,
                            "xyz"
                          ]
                        ]
                      }
                    ]
                  },
                  {
                    "type": "object",
                    "properties": {
                      "dataframe_records": {
                        "type": "array",
                        "items": {
                          "required": [
                            "int_col",
                            "float_col",
                            "string_col"
                          ],
                          "type": "object",
                          "properties": {
                            "int_col": {
                              "type": "integer",
                              "format": "int64"
                            },
                            "float_col": {
                              "type": "number",
                              "format": "double"
                            },
                            "string_col": {
                              "type": "string"
                            },
                            "becx_col": {
                              "type": "object",
                              "format": "unknown"
                            }
                          }
                        }
                      },
                      "params": {
                        "type": "object",
                        "properties": {
                          "sentiment": {
                            "type": "number",
                            "format": "double",
                            "default": "0.5"
                          }
                        }
                      }
                    }
                  }
                ]
              }
            }
          }
        },
        "responses": {
          "200": {
            "description": "Successful operation",
            "content": {
              "application/json": {
                "schema": {
                  "type": "object",
                  "properties": {
                    "predictions": {
                      "type": "array",
                      "items": {
                        "type": "number",
                        "format": "double"
                      }
                    }
                  }
                }
              }
            }
          }
        }
      }
    }
  }
}