Modelleri sunucusuz API'ler olarak dağıtma

Makale
12/20/2024

Bu makalede, model kataloğundan bir modeli kullandıkça öde belirteci tabanlı faturalama ile sunucusuz API olarak dağıtmayı öğreneceksiniz.

Önemli

Önizleme aşamasında olan modeller, model kataloğundaki model kartlarında önizleme olarak işaretlenir.

Model kataloğundaki bazı modeller kullandıkça öde faturalaması ile sunucusuz API olarak dağıtılabilir. Bu tür bir dağıtım, modelleri aboneliğinizde barındırmadan API olarak kullanmanın yanı sıra kuruluşların ihtiyaç duyduğu kurumsal güvenlik ve uyumluluğu korumanın bir yolunu sağlar. Bu dağıtım seçeneği aboneliğinizden kota gerektirmez.

Bu makalede, çizim için meta lama modeli dağıtımı kullanılır. Ancak, model kataloğunda sunucusuz API dağıtımı için kullanılabilen modellerden herhangi birini dağıtmak için aynı adımları kullanabilirsiniz.

Önkoşullar

Geçerli bir ödeme yöntemine sahip bir Azure aboneliği. Ücretsiz veya deneme Azure abonelikleri çalışmaz. Azure aboneliğiniz yoksa başlamak için ücretli bir Azure hesabı oluşturun.
Azure AI Foundry hub'ı.
Azure AI Foundry projesi.
Azure rol tabanlı erişim denetimleri (Azure RBAC), Azure AI Foundry portalında işlemlere erişim vermek için kullanılır. Bu makaledeki adımları gerçekleştirmek için kullanıcı hesabınıza kaynak grubunda Azure AI Geliştirici rolü atanmalıdır. İzinler hakkında daha fazla bilgi için bkz . Azure AI Foundry portalında rol tabanlı erişim denetimi.
Azure AI Foundry ile çalışmak için aşağıdaki yazılımı yüklemeniz gerekir:
Azure AI Foundry'de gezinmek için uyumlu herhangi bir web tarayıcısını kullanabilirsiniz.
Azure Machine Learning için Azure CLI ve ml uzantısı.
```
az extension add -n ml
```
Uzantı zaten yüklüyse en son sürümün yüklü olduğundan emin olun.
```
az extension update -n ml
```
Uzantı yüklendikten sonra yapılandırın:
```
az account set --subscription <subscription>
az configure --defaults workspace=<project-name> group=<resource-group> location=<location>
```
Python için Azure Machine Learning SDK'sını yükleyin.
```
pip install -U azure-ai-ml
```
Yüklendikten sonra gerekli ad alanlarını içeri aktarıp projenize bağlı bir istemci oluşturun:
```
from azure.ai.ml import MLClient
from azure.identity import InteractiveBrowserCredential
from azure.ai.ml.entities import MarketplaceSubscription, ServerlessEndpoint

client = MLClient(
    credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
    subscription_id="<subscription-id>",
    resource_group_name="<resource-group>",
    workspace_name="<project-name>",
)
```
Azure CLI'yi Azure CLI'da açıklandığı gibi yükleyin.

Ayarlarınıza göre aşağıdaki ortam değişkenlerini yapılandırın:
```
RESOURCE_GROUP="serverless-models-dev"
LOCATION="eastus2" 
```
Microsoft Azure portalında ARM şablonlarını dağıtmak için uyumlu herhangi bir web tarayıcısı kullanabilir veya dağıtım araçlarından herhangi birini kullanabilirsiniz. Bu öğreticide Azure CLI kullanılır.

Model kataloğunda modelinizi ve model kimliğinizi bulma

Azure AI Foundry'de oturum açın.
Henüz projenizde değilseniz seçin.
Sol gezinti bölmesinden Model kataloğu'nu seçin.

Not

Azure Market aracılığıyla sunulan modeller için hesabınızın kaynak grubunda Azure AI Geliştirici rolü izinlerine sahip olduğundan veya model tekliflerine abone olmak için gereken izinleri karşıladığınızdan emin olun.

Microsoft dışı sağlayıcılar (örneğin, Lama ve Mistral modeller) tarafından sunulan modeller Azure Market üzerinden faturalandırılır. Bu tür modeller için projenizi belirli model teklifine abone olmanız gerekir. Faturalama farklı yapıldığından, Microsoft tarafından sunulan modeller (örneğin Phi-3 modelleri) bu gereksinime sahip değildir. Model kataloğundaki modellerin sunucusuz dağıtımı için faturalama hakkında ayrıntılı bilgi için bkz . Sunucusuz API'ler için faturalama.

Dağıtmak istediğiniz modelin model kartını seçin. Bu makalede bir Meta-Llama-3-8B-Instruct modeli seçersiniz.
1. Modeli Azure CLI, Python veya ARM kullanarak dağıtıyorsanız Model Kimliğini kopyalayın.
  
  Önemli
  
  Model Kimliğini kopyalarken sürümü eklemeyin. Sunucusuz API uç noktaları her zaman modelin kullanılabilir en son sürümünü dağıtır. Örneğin, model kimliği azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct/versions/3için değerini kopyalayın azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct.

Sonraki bölümde projenizi bir model teklifine abone yapmaya yönelik adımlar açıklanmıştır. Microsoft modeli dağıtıyorsanız bu bölümü atlayabilir ve Modeli sunucusuz API uç noktasına dağıtma bölümüne gidebilirsiniz.

Sunucusuz API uç noktaları hem Microsoft tarafından sunulan hem de Microsoft dışı modelleri dağıtabilir. Microsoft modelleri (Phi-3 modelleri gibi) için bir Azure Market aboneliği oluşturmanız gerekmez ve tahminlerini kullanmak için bunları doğrudan sunucusuz API uç noktalarına dağıtabilirsiniz. Microsoft dışı modeller için önce aboneliği oluşturmanız gerekir. Modeli projede ilk kez dağıtıyorsanız, projenizi Azure Market belirli bir model teklifi için abone olmanız gerekir. Her projenin, harcamaları denetlemenize ve izlemenize olanak tanıyan modelin belirli Azure Market teklifine kendi aboneliği vardır.

İpucu

Phi-3 model ailesinden model dağıtıyorsanız bu adımı atlayın. Modeli sunucusuz bir API uç noktasına doğrudan dağıtın.

Not

Azure Market aracılığıyla sunulan modeller, belirli bölgelerdeki sunucusuz API uç noktalarına dağıtılabilir. Hangi modellerin ve bölgelerin kullanılabilir olduğunu doğrulamak için Sunucusuz API dağıtımları için Model ve bölge kullanılabilirliğini denetleyin. İhtiyacınız olan listede yoksa, desteklenen bir bölgedeki bir çalışma alanına dağıtabilir ve ardından farklı bir çalışma alanından sunucusuz API uç noktalarını kullanabilirsiniz.

Modelin market aboneliğini oluşturun. Abonelik oluşturduğunuzda, model teklifiyle ilişkili hüküm ve koşulları kabul edersiniz.

Modelin Ayrıntılar sayfasında Dağıt'ı seçin. Bir Dağıtım seçenekleri penceresi açılır ve yönetilen işlem kullanarak sunucusuz API dağıtımı ile dağıtım arasında seçim yapın.

Not

Yalnızca sunucusuz API dağıtımı aracılığıyla dağıtılabilir modeller için, modelin ayrıntılar sayfasından Dağıt'ı seçtikten hemen sonra sunucusuz API dağıtım sihirbazı açılır.
Sunucusuz API dağıtım sihirbazını açmak için Azure AI content Safety (önizleme) ile Sunucusuz API'yi seçin.
Modellerinizi dağıtmak istediğiniz projeyi seçin. Sunucusuz API modeli dağıtım teklifini kullanmak için projenizin belirli bir model için sunucusuz dağıtım için desteklenen bölgelerden birine ait olması gerekir.
Bu proje için zaten bir Azure Market aboneliğiniz var notunu görüyorsanız, zaten bir aboneliğiniz olduğundan aboneliği oluşturmanız gerekmez. Modeli sunucusuz api uç noktasına dağıtma işlemine geçebilirsiniz.
Kullanım koşulları hakkında daha fazla bilgi edinmek için dağıtım sihirbazında Azure Market Koşulları bağlantısını seçin. Seçilen modelin fiyatlandırması hakkında bilgi edinmek için Fiyatlandırma ve koşullar sekmesini de seçebilirsiniz.
Abone Ol ve Dağıt'ı seçin.

subscription.yml

name: meta-llama3-8b-qwerty
model_id: azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct

Aboneliği oluşturmak için önceki dosyayı kullanın:

az ml marketplace-subscription create -f subscription.yml

model_id="azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct"
subscription_name="Meta-Llama-3-8B-Instruct"

marketplace_subscription = MarketplaceSubscription(
    model_id=model_id,
    name=subscription_name,
)

marketplace_subscription = client.marketplace_subscriptions.begin_create_or_update(
    marketplace_subscription
).result()

Model aboneliği oluşturmak için aşağıdaki bicep yapılandırmasını kullanın:

model-subscription.bicep

param projectName string = 'my-project'
param modelId string = 'azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct'

var modelName = substring(modelId, (lastIndexOf(modelId, '/') + 1))
var subscriptionName = '${modelName}-subscription'

resource projectName_subscription 'Microsoft.MachineLearningServices/workspaces/marketplaceSubscriptions@2024-04-01-preview' = if (!startsWith(
  modelId,
  'azureml://registries/azureml/'
)) {
  name: '${projectName}/${subscriptionName}'
  properties: {
    modelId: modelId
  }
}

Ardından kaynağı aşağıdaki gibi oluşturun:

az deployment group create --resource-group $RESOURCE_GROUP --template-file model-subscription.bicep

Model aboneliği oluşturmak için aşağıdaki şablonu kullanın:

model-subscription.json

{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "project_name": {
            "defaultValue": "my-project",
            "type": "String"
        },
        "subscription_name": {
            "defaultValue": "Meta-Llama-3-8B-Instruct",
            "type": "String"
        },
        "model_id": {
            "defaultValue": "azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct",
            "type": "String"
        }
    },
    "variables": {},
    "resources": [
        {
            "type": "Microsoft.MachineLearningServices/workspaces/marketplaceSubscriptions",
            "apiVersion": "2024-04-01",
            "name": "[concat(parameters('project_name'), '/', parameters('subscription_name'))]",
            "properties": {
                "modelId": "[parameters('model_id')]"
            }
        }
    ]
}

Dağıtımı oluşturmak için Azure portalını veya Azure CLI'yi kullanın.

az deployment group create --resource-group $RESOURCE_GROUP --template-file model-subscription.json

Projeyi belirli Azure Market teklifi için abone olduktan sonra, aynı teklifin aynı projedeki sonraki dağıtımları yeniden abone olmayı gerektirmez.
Herhangi bir noktada, projenizin şu anda abone olduğu model tekliflerini görebilirsiniz:
1. Azure portala gidin.
2. Projenin ait olduğu kaynak grubuna gidin.
3. Tür filtresinde SaaS'yi seçin.
4. Şu anda abone olduğunuz tüm teklifleri görürsünüz.
5. Ayrıntıları görmek için herhangi bir kaynağı seçin.
```
az ml marketplace-subscription list
```
```
marketplace_sub_list = client.marketplace_subscriptions.list()

for sub in marketplace_sub_list:
    print(sub.as_dict())
```
Kaynakları sorgulamak için kaynak yönetimi araçlarını kullanabilirsiniz. Aşağıdaki kod Azure CLI'yi kullanır:
```
az resource list \
    --query "[?type=='Microsoft.SaaS']"
```
Kaynakları sorgulamak için kaynak yönetimi araçlarını kullanabilirsiniz. Aşağıdaki kod Azure CLI'yi kullanır:
```
az resource list \
    --query "[?type=='Microsoft.SaaS']"
```

Modeli sunucusuz API uç noktasına dağıtma

Microsoft dışı bir model için abonelik oluşturduktan sonra, ilişkili modeli sunucusuz API uç noktasına dağıtabilirsiniz. Microsoft modelleri (Phi-3 modelleri gibi) için abonelik oluşturmanız gerekmez.

Sunucusuz API uç noktası, modelleri aboneliğinizde barındırmadan API olarak kullanmanın bir yolunu sağlarken kuruluşların ihtiyaç duyduğu kurumsal güvenlik ve uyumluluk özelliklerini de korumanızı sağlar. Bu dağıtım seçeneği aboneliğinizden kota gerektirmez.

Bu bölümde meta-llama3-8b-qwerty adlı bir uç nokta oluşturacaksınız.

Sunucusuz uç nokta oluşturma

Bir model teklifine abone olmayı gerektirmeyen bir Microsoft modeli dağıtmak için:
1. Dağıtım sihirbazını açmak için Dağıt'ı ve ardından Azure AI İçerik Güvenliği (önizleme) ile Sunucusuz API'yi seçin.
2. Modelinizi dağıtmak istediğiniz projeyi seçin. Tüm bölgelerin desteklenmediğini unutmayın.
Alternatif olarak, model aboneliği gerektiren Microsoft dışı bir model için projenizi önceki bölümdeki model teklifine abone yaptıysanız Dağıt'ı seçmeye devam edin. Alternatif olarak, Dağıtıma devam et'i seçin (dağıtım sihirbazınızda bu proje için zaten bir Azure Market aboneliğiniz var notu varsa).
Dağıtıma bir ad verin. Bu ad, dağıtım API'si URL'sinin bir parçası olur. Bu URL her Azure bölgesinde benzersiz olmalıdır.

İpucu

İçerik filtresi (önizleme) seçeneği varsayılan olarak etkindir. Nefret, kendine zarar verme, cinsel içerik ve şiddet içeren içerik gibi zararlı içerikleri algılamak için hizmetin varsayılan ayarını değiştirmeyin. İçerik filtreleme (önizleme) hakkında daha fazla bilgi için bkz . Azure AI Foundry portalında içerik filtreleme.
Dağıt'ı seçin. Dağıtım hazır olana ve Dağıtımlar sayfasına yönlendirilene kadar bekleyin.

endpoint.yml

name: meta-llama3-8b-qwerty
model_id: azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct

Uç noktayı oluşturmak için endpoint.yml dosyasını kullanın:

az ml serverless-endpoint create -f endpoint.yml

endpoint_name="meta-llama3-8b-qwerty"

serverless_endpoint = ServerlessEndpoint(
    name=endpoint_name,
    model_id=model_id
)

created_endpoint = client.serverless_endpoints.begin_create_or_update(
    serverless_endpoint
).result()

Uç nokta oluşturmak için aşağıdaki şablonu kullanın:

serverless-endpoint.bicep

param projectName string = 'my-project'
param endpointName string = 'myserverless-text-1234ss'
param location string = resourceGroup().location
param modelId string = 'azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct'

var modelName = substring(modelId, (lastIndexOf(modelId, '/') + 1))
var subscriptionName = '${modelName}-subscription'

resource projectName_endpoint 'Microsoft.MachineLearningServices/workspaces/serverlessEndpoints@2024-04-01-preview' = {
  name: '${projectName}/${endpointName}'
  location: location
  sku: {
    name: 'Consumption'
  }
  properties: {
    modelSettings: {
      modelId: modelId
    }
  }
  dependsOn: [
    projectName_subscription
  ]
}

output endpointUri string = projectName_endpoint.properties.inferenceEndpoint.uri

Dağıtımı aşağıdaki gibi oluşturun:

az deployment group create --resource-group $RESOURCE_GROUP --template-file model-subscription.bicep

Uç nokta oluşturmak için aşağıdaki şablonu kullanın:

template.json

{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "project_name": {
            "defaultValue": "my-project",
            "type": "String"
        },
        "endpoint_name": {
            "defaultValue": "meta-llama3-8b-qwerty",
            "type": "String"
        },
        "location": {
            "defaultValue": "eastus2",
            "type": "String"
        },
        "model_id": {
            "defaultValue": "azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct",
            "type": "String"
        }
    },
    "variables": {},
    "resources": [
        {
            "type": "Microsoft.MachineLearningServices/workspaces/serverlessEndpoints",
            "apiVersion": "2024-04-01",
            "name": "[concat(parameters('project_name'), '/', parameters('endpoint_name'))]",
            "location": "[parameters('location')]",
            "sku": {
                "name": "Consumption"
            },
            "properties": {
                "modelSettings": {
                    "modelId": "[parameters('model_id')]"
                }
            }
        }
    ]
}

Ardından dağıtımı oluşturun:

az deployment group create \
    --resource-group $RESOURCE_GROUP \
    --template-file template.json

Azure dağıtım şablonunun tamamlanması birkaç dakika sürebilir. Tamamlandığında, sonucu içeren bir ileti görürsünüz:

"provisioningState": "Succeeded",

Herhangi bir noktada projenize dağıtılan uç noktaları görebilirsiniz:

Projenize gidin.
Varlıklarım bölümünde Modeller + uç noktalar'ı seçin.
Sunucusuz API uç noktaları görüntülenir.

az ml serverless-endpoint list

endpoint_name="meta-llama3-8b-qwerty"

serverless_endpoint = ServerlessEndpoint(
    name=endpoint_name,
    model_id=model_id
)

created_endpoint = client.serverless_endpoints.begin_create_or_update(
    serverless_endpoint
).result()

Kaynakları sorgulamak için kaynak yönetimi araçlarını kullanabilirsiniz. Aşağıdaki kod Azure CLI'yi kullanır:

az resource list \
    --query "[?type=='Microsoft.MachineLearningServices/workspaces/serverlessEndpoints']"

Kaynakları sorgulamak için kaynak yönetimi araçlarını kullanabilirsiniz. Aşağıdaki kod Azure CLI'yi kullanır:

az resource list \
    --query "[?type=='Microsoft.MachineLearningServices/workspaces/serverlessEndpoints']"

Oluşturulan uç nokta yetkilendirme için anahtar kimlik doğrulamasını kullanır. Belirli bir uç noktayla ilişkili anahtarları almak için aşağıdaki adımları kullanın.
Dağıtımı seçebilir ve uç noktanın Hedef URI'sini ve Anahtarını not edebilirsiniz. Dağıtımı çağırmak ve tahminler oluşturmak için bunları kullanın.

Not

Azure portalını kullanırken sunucusuz API uç noktaları varsayılan olarak kaynak grubunda görüntülenmez. Gizli türleri göster seçeneğini kullanarak bunları kaynak grubunda görüntüleyin.
```
az ml serverless-endpoint get-credentials -n meta-llama3-8b-qwerty
```
```
endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
print(endpoint_keys.primary_key)
print(endpoint_keys.secondary_key)
```
Bu bilgileri sorgulamak için REST API'lerini kullanın.

Bu bilgileri sorgulamak için REST API'lerini kullanın.
Bu noktada uç noktanız kullanılmaya hazırdır.
Bu dağıtımı farklı bir projeden veya hub'dan kullanmanız gerekiyorsa veya akıllı uygulamalar oluşturmak için istem akışını kullanmayı planlıyorsanız sunucusuz API dağıtımına bir bağlantı oluşturmanız gerekir. Yeni bir projede veya hub'da mevcut sunucusuz API uç noktasını yapılandırmayı öğrenmek için bkz . Farklı bir projeden veya prompt akışından dağıtılan sunucusuz API uç noktalarını kullanma.

İpucu

Dağıtımın dağıtıldığı projede veya hub'da istem akışı kullanıyorsanız, bağlantıyı yine de oluşturmanız gerekir.

Sunucusuz API uç noktasını kullanma

Sunucusuz API uç noktalarındaki Azure Machine Learning ve Azure AI Foundry'de dağıtılan modeller, temel modeller için ortak bir özellik kümesini kullanıma sunan ve geliştiriciler tarafından çeşitli modellerden gelen tahminleri tekdüzen ve tutarlı bir şekilde kullanmak için kullanılabilen Azure Yapay Zeka Modeli Çıkarım API'sini destekler.

Bu API'nin özellikleri ve uygulamaları oluştururken nasıl kullanabileceğiniz hakkında daha fazla bilgi edinin.

Ağ yalıtımı

Sunucusuz API'ler olarak dağıtılan modellerin uç noktaları, dağıtımın bulunduğu projenin bulunduğu Azure AI Foundry portal Hub'ının genel ağ erişimi (PNA) bayrağı ayarını izler. MaaS uç noktanızın güvenliğini sağlamak için Azure AI Foundry Hub'ınızdaki PNA bayrağını devre dışı bırakın. Hub için özel bir uç nokta kullanarak istemciden uç noktanıza gelen iletişimin güvenliğini sağlayabilirsiniz.

Azure AI Foundry hub'ına yönelik PNA bayrağını ayarlamak için:

Azure portala gidin.
Hub'ın ait olduğu Kaynak grubunu arayın ve bu kaynak grubu için listelenen kaynaklardan Azure AI hub'ını seçin.
Soldaki menüden hub'a Genel Bakış sayfasında Ayarlar>Ağ'ı seçin.
Genel erişim sekmesinde, genel ağ erişim bayrağının ayarlarını yapılandırabilirsiniz.
Değişikliklerinizi kaydedin. Değişikliklerinizin yayılması beş dakika kadar sürebilir.

Uç noktaları ve abonelikleri silme

Model aboneliklerini ve uç noktaları silebilirsiniz. Model aboneliğini silmek, ilişkili uç noktaların iyi durumda olmadığını ve kullanılamaz hale gelmesini sağlar.

Sunucusuz API uç noktasını silmek için:

Azure AI Foundry'ye gidin.
Projenize gidin.
Varlıklarım bölümünde Modeller + uç noktalar'ı seçin.
Silmek istediğiniz dağıtımı açın.
Sil'i seçin.

İlişkili model aboneliğini silmek için:

Azure portal'a gidin
Projenin ait olduğu kaynak grubuna gidin.
Tür filtresinde SaaS'yi seçin.
Silmek istediğiniz aboneliği seçin.
Sil'i seçin.

Sunucusuz API uç noktasını silmek için:

az ml serverless-endpoint delete \
    --name "meta-llama3-8b-qwerty"

İlişkili model aboneliğini silmek için:

az ml marketplace-subscription delete \
    --name "Meta-Llama-3-8B-Instruct"

Sunucusuz API uç noktasını silmek için:

client.serverless_endpoints.begin_delete(endpoint_name).wait()

İlişkili model aboneliğini silmek için:

client.marketplace_subscriptions.begin_delete(subscription_name).wait()

Kaynakları yönetmek için kaynak yönetimi araçlarını kullanabilirsiniz. Aşağıdaki kod Azure CLI'yi kullanır:

az resource delete --name <resource-name>

Kaynakları yönetmek için kaynak yönetimi araçlarını kullanabilirsiniz. Aşağıdaki kod Azure CLI'yi kullanır:

az resource delete --name <resource-name>

Sunucusuz API uç noktaları olarak dağıtılan modeller için maliyet ve kota konuları

Kota dağıtım başına yönetilir. Her dağıtımın dakikada 200.000 belirteç ve dakikada 1.000 API isteği hız sınırı vardır. Ancak şu anda proje başına model başına bir dağıtımla sınırlandırıyoruz. Geçerli hız sınırları senaryolarınız için yeterli değilse Microsoft Azure Desteği'ne başvurun.

Microsoft modelleri için maliyet

Microsoft modellerini (Phi-3 modelleri gibi) sunucusuz API uç noktaları olarak dağıtırken dağıtım sihirbazının Fiyatlandırma ve koşullar sekmesinde fiyatlandırma bilgilerini bulabilirsiniz.

Microsoft dışı modeller için maliyet

Sunucusuz API uç noktaları olarak dağıtılan Microsoft dışı modeller, Azure Market aracılığıyla sunulur ve kullanım için Azure AI Foundry ile tümleştirilir. Bu modelleri dağıtırken veya hassas ayarlar yaparken Azure Market fiyatlandırmasını bulabilirsiniz.

Bir proje Azure Market'ten belirli bir teklife her abone olduğunda tüketimiyle ilişkili maliyetleri izlemek için yeni bir kaynak oluşturulur. Çıkarımla veya ince ayar yapmayla ilişkili maliyetleri izlemek için aynı kaynak kullanılır ancak, her senaryoda bağımsız izleme için birden çok metre kullanılabilir.

Maliyetlerin nasıl izleneceği hakkında daha fazla bilgi için Azure Market aracılığıyla sunulan modellerin maliyetlerini izleme bölümüne bakın.

Azure rol tabanlı erişim denetimleri (Azure RBAC), Azure AI Foundry portalında işlemlere erişim vermek için kullanılır. Bu makaledeki adımları gerçekleştirmek için kullanıcı hesabınıza Azure aboneliği için Sahip, Katkıda Bulunan veya Azure AI Geliştirici rolü atanmalıdır. Alternatif olarak, hesabınıza aşağıdaki izinlere sahip bir özel rol de atanabilir:

Azure aboneliğinde - Çalışma alanının her çalışma alanı ve teklif başına bir kez Azure Market teklifine abone olması için:
- Microsoft.MarketplaceOrdering/agreements/offers/plans/read
- Microsoft.MarketplaceOrdering/agreements/offers/plans/sign/action
- Microsoft.MarketplaceOrdering/offerTypes/publishers/offers/plans/agreements/read
- Microsoft.Marketplace/offerTypes/publishers/offers/plans/agreements/read
- Microsoft.SaaS/register/action
Kaynak grubunda - SaaS kaynağını oluşturmak ve kullanmak için:
- Microsoft.SaaS/resources/read
- Microsoft.SaaS/resources/write
Çalışma alanında - Uç noktaları dağıtmak için (Azure Machine Learning veri bilimci rolü bu izinleri zaten içerir):
- Microsoft.MachineLearningServices/workspaces/marketplaceModelSubscriptions/*
- Microsoft.MachineLearningServices/workspaces/serverlessEndpoints/*

İzinler hakkında daha fazla bilgi için bkz . Azure AI Foundry portalında rol tabanlı erişim denetimi.

Aracılığıyla paylaş

Modelleri sunucusuz API'ler olarak dağıtma

Önkoşullar

Model kataloğunda modelinizi ve model kimliğinizi bulma

Modeli sunucusuz API uç noktasına dağıtma

Sunucusuz API uç noktasını kullanma

Ağ yalıtımı

Uç noktaları ve abonelikleri silme

Sunucusuz API uç noktaları olarak dağıtılan modeller için maliyet ve kota konuları

Microsoft modelleri için maliyet

Microsoft dışı modeller için maliyet

Geri Bildirim

Ek kaynaklar

Aracılığıyla paylaş

Modelleri sunucusuz API'ler olarak dağıtma

Önkoşullar

Model kataloğunda modelinizi ve model kimliğinizi bulma

Projenizi model teklifine abone olma

Modeli sunucusuz API uç noktasına dağıtma

Sunucusuz API uç noktasını kullanma

Ağ yalıtımı

Uç noktaları ve abonelikleri silme

Sunucusuz API uç noktaları olarak dağıtılan modeller için maliyet ve kota konuları

Microsoft modelleri için maliyet

Microsoft dışı modeller için maliyet

Model tekliflerine abone olmak için gereken izinler

İlgili içerik

Geri Bildirim

Ek kaynaklar