Freigeben über


Referenz: Vervollständigungen | Azure KI Studio

Wichtig

Die in diesem Artikel markierten Elemente (Vorschau) sind aktuell als öffentliche Vorschau verfügbar. Diese Vorschauversion wird ohne Vereinbarung zum Servicelevel bereitgestellt und sollte nicht für Produktionsworkloads verwendet werden. Manche Features werden möglicherweise nicht unterstützt oder sind nur eingeschränkt verwendbar. Weitere Informationen finden Sie unter Zusätzliche Nutzungsbestimmungen für Microsoft Azure-Vorschauen.

Erstellt eine Vervollständigung für den angegebenen Prompt und die angegebenen Parameter.

POST /completions?api-version=2024-04-01-preview
Name Geben Sie in Erforderlich Type BESCHREIBUNG
api-version Abfrage True Zeichenfolge Die Version der API im Format "JJJJ-MM-TT" oder "JJJJ-MM-TT-Vorschau"

Anforderungsheader

Name Erforderlich Type Beschreibung
Zusätzliche Parameter Zeichenfolge Das Verhalten der API, wenn zusätzliche Parameter in der Nutzlast angegeben werden. Durch die Verwendung von pass-through wird die API zum Übergeben des Parameters an das zugrunde liegende Modell angeregt. Verwenden Sie diesen Wert, wenn Sie Parameter übergeben möchten, die Ihnen bekannt sind, damit das zugrunde liegende Modell unterstützt werden kann. Die Verwendung von ignore führt dazu, dass die API alle nicht unterstützten Parameter ablegt. Verwenden Sie diesen Wert, wenn Sie dieselbe Nutzlast in verschiedenen Modellen verwenden müssen, aber einer der zusätzlichen Parameter kann dazu führen, dass ein Modell ausfällt, wenn es nicht unterstützt wird. Die Verwendung von error sorgt dafür, dass die API alle zusätzlichen Parameter in der Nutzlast ablehnt. Es können nur Parameter angegeben werden, die in dieser API festgelegt sind, ansonsten wird ein 400-Fehler zurückgegeben.
azureml-model-deployment Zeichenfolge Name der Bereitstellung, an die Sie die Anforderung weiterleiten möchten Unterstützt für Endpunkte, die mehrere Bereitstellungen unterstützen

Anforderungstext

Name Erforderlich Type Beschreibung
prompt True Die Prompts zum Generieren von Vervollständigungen, die als Zeichenfolge, Array von Zeichenfolgen, Array von Token oder Array von Tokenarrays codiert werden Beachten Sie, dass <\|endoftext\|> das Dokumententrennzeichen enthält, das das Modell während des Trainings sieht. Wenn kein Prompt angegeben wird, generiert das Modell daher so, als würde es sich am Anfang eines neuen Dokuments befinden.
frequency_penalty Zahl Positive Werte benachteiligen neue Token auf der Grundlage ihrer bisherigen Häufigkeit im Text, wodurch die Wahrscheinlichkeit, dass das Modell dieselbe Zeile wortwörtlich wiederholt, sinkt.
max_tokens integer Die maximale Anzahl von Token, die in der Vervollständigung generiert werden können. Die Tokenanzahl Ihres Prompts plus max_tokens darf die Kontextlänge des Modells nicht überschreiten.
presence_penalty Zahl Positive Werte benachteiligen neue Token, je nachdem, ob sie bereits im Text vorkommen, und erhöhen so die Wahrscheinlichkeit, dass das Modell über neue Themen spricht.
seed integer Wenn dies angeben ist, bemüht sich das Modell nach besten Kräften, eine deterministische Auswahl der Token zu treffen, sodass wiederholte Anforderungen mit demselben seed und denselben Parametern dasselbe Ergebnis liefern sollten.

Der Determinismus ist nicht garantiert, und Sie sollten sich auf den Antwortparameter system_fingerprint beziehen, um Änderungen im Back-End zu überwachen.
stop Sequenzen, bei denen die API aufhört, weitere Token zu generieren. Die Beendigungssequenz ist nicht im zurückgegebenen Text enthalten.
Datenstrom boolean Gibt an, ob der Teilfortschritt zurückgestreamt werden soll. Wenn dieser Parameter festgelegt wird, werden Token als vom Server gesendete Ereignisse (nur Daten) übermittelt, sobald sie verfügbar sind, wobei der Stream durch die Nachricht data: [DONE] beendet wird.
Temperatur Zahl Die zu verwendende Temperatur für die Stichprobenentnahme zwischen 0 und 2. Durch höhere Werte wie 0,8 wird die Ausgabe zufälliger, während sie durch niedrigere Werte wie 0,2 fokussierter und deterministischer wird.

Im Allgemeinen wird empfohlen, temperature oder top_p zu ändern, aber nicht beides.
top_p Zahl Eine Alternative zur Stichprobenentnahme mit Temperatur, die sogenannte Kernstichprobenentnahme (Nucleus Sampling), bei dem das Modell die Ergebnisse der Token mit der Wahrscheinlichkeitsmasse „top_p“ berücksichtigt. Daher bedeutet 0,1, dass nur die Token berücksichtigt werden, die die oberen 10 % der Wahrscheinlichkeitsmasse umfassen.

Im Allgemeinen wird empfohlen, top_p oder temperature zu ändern, aber nicht beides.

Antworten

Name Typ BESCHREIBUNG
200 – OK CreateCompletionResponse OK
401 – Nicht autorisiert UnauthorizedError Zugriffstoken fehlt oder ist ungültig

Kopfzeile

x-ms-error-code: string
404 Nicht gefunden NotFoundError Modalität wird vom Modell nicht unterstützt. Sehen Sie in der Dokumentation des Modells nach, welche Routen verfügbar sind.

Kopfzeile

x-ms-error-code: string
422: Entität kann nicht verarbeitet werden UnprocessableContentError Die Anforderung enthält nicht verarbeitbaren Inhalt.

Kopfzeile

x-ms-error-code: string
429 – Zu viele Anforderungen TooManyRequestsError Sie haben das zugewiesene Ratenlimit erreicht, und Ihre Anforderung muss beschleunigt werden.

Kopfzeile

x-ms-error-code: string
Andere Statuscodes ContentFilterError Ungültige Anforderung

Kopfzeile

x-ms-error-code: string

Sicherheit

Autorisierung

Das Token mit dem Bearer:-Präfix, z. B. Bearer abcde12345

Typ: apiKey
In: Header

AADToken

Azure Active Directory OAuth2-Authentifizierung

Typ: oauth2
Flow: Anwendung
Token-URL: https://login.microsoftonline.com/common/oauth2/v2.0/token

Beispiele

Erstellt eine Vervollständigung für den angegebenen Prompt und die angegebenen Parameter

Beispiel-Anfrage

POST /completions?api-version=2024-04-01-preview

{
  "prompt": "This is a very good text",
  "frequency_penalty": 0,
  "presence_penalty": 0,
  "max_tokens": 256,
  "seed": 42,
  "stop": "<|endoftext|>",
  "stream": false,
  "temperature": 0,
  "top_p": 1
}

Beispiel für eine Antwort

Statuscode: 200

{
  "id": "1234567890",
  "model": "llama2-7b",
  "choices": [
    {
      "index": 0,
      "finish_reason": "stop",
      "text": ", indeed it is a good one."
    }
  ],
  "created": 1234567890,
  "object": "text_completion",
  "usage": {
    "prompt_tokens": 15,
    "completion_tokens": 8,
    "total_tokens": 23
  }
}

Definitionen

Name Beschreibung
Optionen Eine Liste der Auswahlmöglichkeiten für den Chatabschluss.
CompletionFinishReason Der Grund, warum das Modell das Generieren von Token beendet hat. Dies ist stop, wenn das Modell einen natürlichen Stopppunkt oder eine angegebene Stoppsequenz erreicht hat, oder length, wenn die in der Anforderung angegebene maximale Anzahl von Token erreicht wurde, oder content_filter, wenn Inhalte aufgrund eines Flags in unseren Inhaltsfiltern ausgelassen wurden.
CompletionUsage Nutzungsstatistiken für die Vervollständigungsanforderung
ContentFilterError Der API-Aufruf schlägt fehl, wenn der Prompt einen Inhaltsfilter wie konfiguriert auslöst. Ändern Sie die Äußerung, und versuchen Sie es erneut.
CreateCompletionRequest
CreateCompletionResponse Stellt eine Vervollständigungsantwort der API dar.
Detail
TextCompletionObject Der Objekttyp, der immer „text_completion“ lautet
UnprocessableContentError

Optionen

Eine Liste der Auswahlmöglichkeiten für den Chatabschluss.

Name Typ Beschreibung
finish_reason CompletionFinishReason Der Grund, warum das Modell das Generieren von Token beendet hat. Dies ist stop, wenn das Modell einen natürlichen Stopppunkt oder eine angegebene Stoppsequenz erreicht hat, oder length, wenn die in der Anforderung angegebene maximale Anzahl von Token erreicht wurde, oder content_filter, wenn Inhalte aufgrund eines Flags in unseren Inhaltsfiltern ausgelassen wurden, oder tool_calls, wenn das Modell ein Tool aufgerufen hat.
Index integer Der Index der Auswahl in der Liste der Auswahlmöglichkeiten
Text Zeichenfolge Der generierte Text.

CompletionFinishReason

Der Grund, warum das Modell das Generieren von Token beendet hat. Dies ist stop, wenn das Modell einen natürlichen Stopppunkt oder eine angegebene Stoppsequenz erreicht hat, oder length, wenn die in der Anforderung angegebene maximale Anzahl von Token erreicht wurde, oder content_filter, wenn Inhalte aufgrund eines Flags in unseren Inhaltsfiltern ausgelassen wurden.

Name Typ Beschreibung
content_filter Zeichenfolge
length Zeichenfolge
stop Zeichenfolge

CompletionUsage

Nutzungsstatistiken für die Vervollständigungsanforderung

Name Typ Beschreibung
completion_tokens integer Anzahl der Token in der generierten Vervollständigung
prompt_tokens integer Anzahl der Token im Prompt.
total_tokens integer Die Gesamtzahl der in der Anforderung verwendeten Token (Prompt + Vervollständigung).

ContentFilterError

Der API-Aufruf schlägt fehl, wenn der Prompt einen Inhaltsfilter wie konfiguriert auslöst. Ändern Sie die Äußerung, und versuchen Sie es erneut.

Name Typ BESCHREIBUNG
code Zeichenfolge Der Fehlercode.
error Zeichenfolge Die Fehlerbeschreibung.
message Zeichenfolge Die Fehlermeldung.
param Zeichenfolge Der Parameter, der den Inhaltsfilter ausgelöst hat.
status integer Der HTTP-Statuscode.

CreateCompletionRequest

Name Type Standardwert Beschreibung
frequency_penalty Zahl 0 Positive Werte benachteiligen neue Token auf der Grundlage ihrer bisherigen Häufigkeit im Text, wodurch die Wahrscheinlichkeit, dass das Modell dieselbe Zeile wortwörtlich wiederholt, sinkt.
max_tokens integer 256 Die maximale Anzahl von Token, die in der Vervollständigung generiert werden können. Die Tokenanzahl Ihres Prompts plus max_tokens darf die Kontextlänge des Modells nicht überschreiten.
presence_penalty Zahl 0 Positive Werte benachteiligen neue Token, je nachdem, ob sie bereits im Text vorkommen, und erhöhen so die Wahrscheinlichkeit, dass das Modell über neue Themen spricht.
prompt <\|endoftext\|> Die Prompts zum Generieren von Vervollständigungen, die als Zeichenfolge, Array von Zeichenfolgen, Array von Token oder Array von Tokenarrays codiert werden Beachten Sie, dass <\|endoftext\|> das Dokumententrennzeichen enthält, das das Modell während des Trainings sieht. Wenn kein Prompt angegeben wird, generiert das Modell daher so, als würde es sich am Anfang eines neuen Dokuments befinden.
seed integer Wenn Sie dies angeben, bemüht sich unser System nach besten Kräften, eine deterministische Auswahl zu treffen, sodass wiederholte Anforderungen mit demselben seed und denselben Parametern dasselbe Ergebnis liefern sollten.

Der Determinismus ist nicht garantiert, und Sie sollten sich auf den Antwortparameter system_fingerprint beziehen, um Änderungen im Back-End zu überwachen.
stop Sequenzen, bei denen die API aufhört, weitere Token zu generieren. Die Beendigungssequenz ist nicht im zurückgegebenen Text enthalten.
Datenstrom boolean False Gibt an, ob der Teilfortschritt zurückgestreamt werden soll. Wenn dieser Parameter festgelegt wird, werden Token als vom Server gesendete Ereignisse (nur Daten) übermittelt, sobald sie verfügbar sind, wobei der Stream durch die Nachricht data: [DONE] beendet wird.
Temperatur number 1 Die zu verwendende Temperatur für die Stichprobenentnahme zwischen 0 und 2. Durch höhere Werte wie 0,8 wird die Ausgabe zufälliger, während sie durch niedrigere Werte wie 0,2 fokussierter und deterministischer wird.

Wir empfehlen im Allgemeinen, dies oder top_p zu ändern, aber nicht beides.
top_p number 1 Eine Alternative zur Stichprobenentnahme mit Temperatur, die sogenannte Kernstichprobenentnahme (Nucleus Sampling), bei dem das Modell die Ergebnisse der Token mit der Wahrscheinlichkeitsmasse „top_p“ berücksichtigt. Daher bedeutet 0,1, dass nur die Token berücksichtigt werden, die die oberen 10 % der Wahrscheinlichkeitsmasse umfassen.

Wir empfehlen im Allgemeinen, dies oder temperature zu ändern, aber nicht beides.

CreateCompletionResponse

Stellt eine Vervollständigungsantwort der API dar. Hinweis: Sowohl die gestreamten als auch nicht gestreamten Antwortobjekte verwenden dieselbe Form (im Gegensatz zum Chatendpunkt).

Name Typ Beschreibung
Optionen Choices[] Die Liste der Vervollständigungsoptionen, die das Modell für die Eingabeaufforderung generiert hat
erstellte integer Der Unix-Zeitstempel (in Sekunden) des Zeitpunkts, zu dem die Vervollständigung erstellt wurde
Kennung Zeichenfolge Eindeutiger Bezeichner für die Vervollständigung
model Zeichenfolge Das für die Vervollständigung verwendete Modell
Objekt TextCompletionObject Der Objekttyp, der immer „text_completion“ lautet
system_fingerprint Zeichenfolge Dieser Fingerabdruck stellt die Back-End-Konfiguration dar, mit der das Modell ausgeführt wird.

Kann mit dem Anforderungsparameter seed verwendet werden, um zu verstehen, wann Back-End-Änderungen vorgenommen wurden, die sich auf den Determinismus auswirken können.
Nutzung CompletionUsage Nutzungsstatistiken für die Vervollständigungsanforderung

Detail

Name Typ Beschreibung
loc string[] Der Parameter, der das Problem verursacht
value Zeichenfolge Der an den Parameter übergebene Wert, der Probleme verursacht.

TextCompletionObject

Der Objekttyp, der immer „text_completion“ lautet

Name Typ Beschreibung
text_completion Zeichenfolge

ListObject

Der Objekttyp, der immer „list“ lautet.

Name Typ Beschreibung des Dataflows
list Zeichenfolge

NotFoundError

Name Typ Beschreibung des Dataflows
error Zeichenfolge Die Fehlerbeschreibung.
message Zeichenfolge Die Fehlermeldung.
status integer Der HTTP-Statuscode.

TooManyRequestsError

Name Typ Beschreibung des Dataflows
error Zeichenfolge Die Fehlerbeschreibung.
message Zeichenfolge Die Fehlermeldung.
status integer Der HTTP-Statuscode.

UnauthorizedError

Name Typ Beschreibung des Dataflows
error Zeichenfolge Die Fehlerbeschreibung.
message Zeichenfolge Die Fehlermeldung.
status integer Der HTTP-Statuscode.

UnprocessableContentError

Name Typ BESCHREIBUNG
code Zeichenfolge Der Fehlercode.
Detail Detail
error Zeichenfolge Die Fehlerbeschreibung.
message Zeichenfolge Die Fehlermeldung.
status integer Der HTTP-Statuscode.