Dela via

Mosaic AI Gateway

  • Artikel

Viktigt!

Den här funktionen finns som allmänt tillgänglig förhandsversion.

Den här artikeln beskriver Mosaic AI Gateway, Databricks-lösningen för styrning och övervakning av åtkomst till generativa AI-modeller som stöds och deras associerade modell som betjänar slutpunkter.

Vad är Mosaic AI Gateway?

Mosaic AI Gateway är utformad för att effektivisera användningen och hanteringen av generativa AI-modeller inom en organisation. Det är en centraliserad tjänst som ger styrnings-, övervaknings- och produktionsberedskap för att modellera serverdelsslutpunkter. Du kan också köra, skydda och styra AI-trafik för att demokratisera och påskynda AI-implementeringen för din organisation.

Alla data loggas in i Delta-tabeller i Unity Catalog.

Om du vill börja visualisera insikter från dina AI Gateway-data laddar du ned ai Gateway-exempelinstrumentpanelen från GitHub. Den här instrumentpanelen utnyttjar data från inferenstabellerna för användningsspårning och nyttolastloggning.

När du har laddat ned JSON-filen importerar du instrumentpanelen till din arbetsyta. Anvisningar om hur du importerar instrumentpaneler finns i Importera en instrumentpanelsfil.

AI Gateway stöder följande funktioner:

  • Behörighet och hastighetsbegränsning för att styra vem som har åtkomst och hur mycket åtkomst.
  • Nyttolastloggning för att övervaka och granska data som skickas till modell-API:er med hjälp av slutsatsdragningstabeller.
  • Användningsspårning för att övervaka driftanvändning på slutpunkter och associerade kostnader med hjälp av systemtabeller.
  • AI Guardrails för att förhindra oönskade data och osäkra data i begäranden och svar.
  • Trafikroutning för att minimera produktionsstopp under och efter distributionen.

Mosaic AI Gateway debiteras på en aktiverad funktionsbas. Under förhandsversionen inkluderar dessa betalda funktioner AI Guardrails, nyttolastloggning och användningsspårning. Funktioner som frågebehörigheter, hastighetsbegränsning och trafikroutning är kostnadsfria. Alla nya funktioner debiteras.

Följande tabell visar databricks-enheter (DBUs) per miljon token (M) för de betalda AI Gateway-funktionerna. Avgifter visas under SKU:n Serverless Real-time Inference .

Funktion DBU-hastighet
AI-skyddsräcken 21.429 DBUs per M-token
Nyttolastloggning 2,857 DBUs per M-token
Användningsspårning 0,571 DBUs per M-token

AI-skyddsräcken

MED AI Guardrails kan användare konfigurera och framtvinga dataefterlevnad på den modell som betjänar slutpunktsnivå och minska skadligt innehåll på alla begäranden som skickas till den underliggande modellen. Felaktiga begäranden och svar blockeras och ett standardmeddelande returneras till användaren. Se hur du konfigurerar skyddsräcken på en modell som betjänar slutpunkten.

Viktigt!

AI Guardrails är endast tillgängliga i regioner som stöder Foundation Model API:er betala per token.

I följande tabell sammanfattas de konfigurerbara skyddsräckena.

Skyddsräcke Definition
Säkerhetsfiltrering Säkerhetsfiltrering hindrar din modell från att interagera med osäkert och skadligt innehåll, till exempel våldsbrott, självskadebeteende och hatpropaganda.

Säkerhetsfiltret för AI Gateway skapas med Meta Llama 3. Databricks använder Llama Guard 2-8b som säkerhetsfilter. Mer information om Llama Guard-säkerhetsfiltret och vilka ämnen som gäller för säkerhetsfiltret finns i Meta Llama Guard 2 8B-modellkortet.

Meta Llama 3 är licensierad under LLAMA 3 Community License, Copyright © Meta Platforms, Inc. Alla rättigheter reserverade. Kunderna ansvarar för att säkerställa efterlevnaden av tillämpliga modelllicenser.
Identifiering av personligt identifierbar information (PII) Kunder kan identifiera känslig information, till exempel namn, adresser, kreditkortsnummer för användare.

För den här funktionen använder AI Gateway Presidio för att identifiera följande amerikanska kategorier av PII: kreditkortsnummer, e-postadresser, telefonnummer, bankkontonummer och personnummer.

PII-klassificeraren kan hjälpa till att identifiera känslig information eller PII i strukturerade och ostrukturerade data. Men eftersom den använder automatiserade identifieringsmekanismer finns det ingen garanti för att tjänsten hittar all känslig information. Därför bör ytterligare system och skydd användas.

Dessa klassificeringsmetoder är främst begränsade till amerikanska kategorier av PII, till exempel amerikanska telefonnummer och personnummer.
Ämnesmoderering Möjlighet att lista en uppsättning tillåtna ämnen. Med en chattbegäran flaggar det här skyddsräcket begäran om ämnet inte finns med i de tillåtna ämnena.
Nyckelordsfiltrering Kunder kan ange olika uppsättningar med ogiltiga nyckelord för både indata och utdata. Ett potentiellt användningsfall för nyckelordsfiltrering är att modellen inte talar om konkurrenter.

Det här skyddsräcket använder nyckelords- eller strängmatchning för att avgöra om nyckelordet finns i innehållet för begäran eller svar.

Använda AI Gateway

Du kan konfigurera AI Gateway-funktioner på din modell som betjänar slutpunkter med hjälp av användargränssnittet för servering. Se Konfigurera AI Gateway på modell som betjänar slutpunkter.

Begränsningar

Följande är begränsningar under förhandsversionen:

  • AI Gateway stöds endast för modeller som betjänar slutpunkter som hanterar externa modeller.
  • När skyddsräcken används får batchstorleken för begäran, som är en inbäddningsbatchstorlek, batchstorlek för slutföranden eller parametern n för chattbegäranden, inte överstiga 16.