Limity i regiony obsługi modelu

Artykuł
12/30/2024

W tym artykule przedstawiono podsumowanie ograniczeń i dostępności regionów dla funkcji Obsługi modelu sztucznej inteligencji mozaiki i obsługiwanych typów punktów końcowych.

Limity zasobów i ładunków

Obsługa modelu mozaiki sztucznej inteligencji nakłada domyślne limity, aby zapewnić niezawodną wydajność. Jeśli masz opinię na temat tych limitów, skontaktuj się z zespołem ds. kont usługi Databricks.

Poniższe table zawiera podsumowanie ograniczeń zasobów i ładunku dla punktów końcowych obsługujących model.

Funkcja	Poziom szczegółowości	Limit
Rozmiar ładunku	Na żądanie	16 MB. W przypadku punktów końcowych obsługujących podstawowych modeli lub zewnętrznych modeli limit wynosi 4 MB.
Zapytania na sekundę (QPS)	Na obszar roboczy	200, ale można zwiększyć do 25 000 lub więcej, docierając do zespołu konta usługi Databricks.
Czas trwania wykonywania modelu	Na żądanie	120 sekund
Użycie pamięci modelu punktu końcowego procesora CPU	Na punkt końcowy	4 GB
Użycie pamięci modelu punktu końcowego procesora GPU	Na punkt końcowy	Większe niż lub równe przypisanej pamięci procesora GPU zależy od rozmiaru obciążenia procesora GPU
Aprowizowana współbieżność	Na model i na obszar roboczy	200 współbieżność. Można zwiększyć, wychodząc do zespołu ds. kont usługi Databricks.
Opóźnienie związane z obciążeniem	Na żądanie	Mniej niż 50 milisekund
Skrypty init		Skrypty inicjowania nie są obsługiwane.
Limity stawek modelu foundation (pay-per-token)	Na obszar roboczy	Jeśli następujące limity nie są wystarczające dla twojego przypadku użycia, usługa Databricks zaleca użycie aprowizowanej przepływności. - Llama 3.3 70B Instruct ma limit wynoszące 2 zapytania na sekundę i 1200 zapytań na godzinę. - Llama 3.1 405B Instrukt ma limit wynoszące 1 zapytanie na sekundę oraz 1200 zapytań na godzinę. Model DBRX Instruct ma limit 1 zapytanie na sekundę. - Mixtral-8x 7B Instrukcja ma domyślną szybkość 2 zapytań na sekundę limit. - GtE Large (En) ma szybkość limit 150 zapytań na sekundę BGE Large ma przepustowość limit 600 zapytań na sekundę.
Limity szybkości interfejsów API modelu foundation (aprowizowana przepływność)	Na obszar roboczy	200

Ograniczenia dotyczące sieci i zabezpieczeń

Punkty końcowe obsługujące model są chronione przez kontrolę dostępu i przestrzeganie reguł ruchu przychodzącego związanych z siecią skonfigurowanych w obszarze roboczym, takich jak listy dozwolonych adresów IP i usługa Private Link.
Łączność prywatna (taka jak usługa Azure Private Link) jest obsługiwana tylko w przypadku punktów końcowych obsługujących model korzystających z aprowizowanej przepływności lub punktów końcowych obsługujących modele niestandardowe.
Domyślnie obsługa modelu nie obsługuje usługi Private Link do zewnętrznych punktów końcowych (takich jak Azure OpenAI). Obsługa tej funkcji jest oceniana i implementowana w poszczególnych regionach. Skontaktuj się z zespołem kont usługi Azure Databricks, aby uzyskać więcej informacji.
Obsługa modelu nie zapewnia poprawek zabezpieczeń istniejących obrazów modelu ze względu na ryzyko destabilizacji wdrożeń produkcyjnych. Nowy obraz modelu utworzony na podstawie nowej wersji modelu będzie zawierać najnowsze poprawki. Skontaktuj się z zespołem kont usługi Databricks, aby uzyskać więcej informacji.

Limity interfejsów API modelu foundation

Uwaga

W ramach udostępniania interfejsów API Modelu Podstawowego, usługa Databricks może przetwarzać dane poza regionem, z którego pochodzą dane, where, ale nie poza odpowiednią lokalizacją geograficzną .

W przypadku obciążeń z płatnością za token i aprowizowaną przepływnością:

Tylko administratorzy obszarów roboczych mogą zmieniać ustawienia ładu, takie jak limity szybkości dla punktów końcowych interfejsów API modelu foundation. Aby zmienić limity szybkości, wykonaj następujące czynności:
1. Otwórz interfejs użytkownika obsługującego w obszarze roboczym, aby wyświetlić punkty końcowe obsługujące.
2. Z menu kebab w punkcie końcowym interfejsów API modelu bazowego, który chcesz edytować, selectWyświetl szczegóły.
3. W menu w kształcie kebaba w prawym górnym rogu strony szczegółów punktów końcowych selectZmień stawkę limit.
Modele osadzania GTE Large (En) nie generate znormalizowanych osadzania.

Limity płatności za token

Poniżej przedstawiono limity istotne dla interfejsów API modelu foundation dla obciążeń z płatnością za token :

Obciążenia z płatnością za token nie są zgodne ze standardem HIPAA ani profilem zabezpieczeń zgodności.
Meta Llama 3.3 70B i GTE Large (En) modele są dostępne w regionach z płatnością za token UE i USA obsługiwanych.
Następujące modele płatności za token są obsługiwane tylko w interfejsach API modelu foundation pay-per-token obsługiwanych w regionach USA:
- Meta Llama 3.1 405B Poinstruowanie
- DBRX Poinstruowanie
- Mixtral-8x7B Poinstruowanie
- Duży BGE (en)
Jeśli obszar roboczy znajduje się w regionie obsługa modelu, ale nie w regionie USA lub UE, obszar roboczy musi być włączony na potrzeby przetwarzania danych między obszarami geograficznymi. Po włączeniu obciążenia z płatnością za token jest kierowany do STANÓW Zjednoczonych. Databricks Geo. Aby zobaczyć, które regiony geograficzne przetwarzają obciążenia z płatnością za token, zobacz Databricks Designated Services (Wyznaczone usługi usługi Databricks).

Aprowizowane limity przepływności

Poniżej przedstawiono limity istotne dla interfejsów API modelu foundation aprowizowanych obciążeń przepływności :

Aprowizowana przepływność obsługuje profil zgodności HIPAA i jest zalecana w przypadku obciążeń wymagających certyfikacji zgodności.
Aby użyć architektury modelu DBRX dla obciążenia aprowizowanej przepływności , punkt końcowy obsługujący musi znajdować się w jednym z następujących regionów:
- eastus
- eastus2
- westus
- centralus
- westeurope
- northeurope
- australiaeast
- canadacentral
- brazilsouth
W poniższym table przedstawiono dostępność regionalną obsługiwanych modeli Meta Llama 3.1 i 3.2. Zobacz Wdrażanie dostosowanych modeli podstawowych, aby uzyskać wskazówki dotyczące wdrażania dostosowanych modeli.

Wariant modelu Meta Llama	Regiony
meta-llama/Llama-3.1-8B	- `centralus` - `eastus` - `eastus2` - `northcentralus` - `westus` - `westus2` - `northeurope` - `westeurope`
meta-llama/Llama-3.1-8B-Poinstruowanie	- `centralus` - `eastus` - `eastus2` - `northcentralus` - `westus` - `westus2` - `northeurope` - `westeurope`
meta-llama/Llama-3.1-70B	- `centralus` - `eastus` - `eastus2` - `northcentralus` - `westus` - `westus2` - `northeurope` - `westeurope`
meta-llama/Llama-3.1-70B-Poinstruowanie	- `centralus` - `eastus` - `eastus2` - `northcentralus` - `westus` - `westus2` - `northeurope` - `westeurope`
meta-llama/Llama-3.1-405B	- `centralus` - `eastus` - `eastus2` - `northcentralus` - `westus` - `westus2`
meta-llama/Llama-3.1-405B-Poinstruowanie	- `centralus` - `eastus` - `eastus2` - `northcentralus` - `westus` - `westus2`
meta-llama/Llama-3.2-1B	- `centralus` - `eastus` - `eastus2` - `northcentralus` - `westus` - `westus2` - `northeurope` - `westeurope`
meta-llama/Llama-3.2-1B-Poinstruowanie	- `centralus` - `eastus` - `eastus2` - `northcentralus` - `westus` - `westus2` - `northeurope` - `westeurope`
meta-llama/Llama-3.2-3B	- `centralus` - `eastus` - `eastus2` - `northcentralus` - `westus` - `westus2` - `northeurope` - `westeurope`
meta-llama/Llama-3.2-3B-Poinstruowanie	- `centralus` - `eastus` - `eastus2` - `northcentralus` - `westus` - `westus2` - `northeurope` - `westeurope`
meta-llama/Llama-3.3-70B	- `centralus` - `eastus` - `eastus2` - `northcentralus` - `westus` - `westus2`

Dostępność regionów

Uwaga

Jeśli potrzebujesz punktu końcowego w nieobsługiwanym regionie, skontaktuj się z zespołem konta usługi Azure Databricks.

Jeśli obszar roboczy jest wdrożony w regionie obsługującym obsługę modelu, ale jest obsługiwany przez płaszczyznę sterowania w nieobsługiwanym regionie, obszar roboczy nie obsługuje obsługi modelu. Jeśli spróbujesz użyć obsługi modelu w takim obszarze roboczym, zostanie wyświetlony komunikat o błędzie z informacją, że obszar roboczy nie jest obsługiwany. Skontaktuj się z zespołem kont usługi Azure Databricks, aby uzyskać więcej informacji.

Aby uzyskać więcej informacji na temat regionalnej dostępności funkcji, zobacz Model obsługujący dostępność regionalną.

Udostępnij za pośrednictwem