Kernkonzepte von LLMs
Es gibt ein paar zentrale Konzepte, die man verstehen muss, um LLMs effektiv zu nutzen, nämlich Tokens und Prompts.
- Prompt: Ein Prompt ist ein Textsatz, mit dem Sie Anweisungen an ein LLM übermitteln. Je nachdem, wie Sie den Satz formulieren, erhalten Sie unterschiedliche Ergebnisse.
- Token: Ein Token kann ein einzelnes Zeichen, ein Bruchteil eines Wortes oder ein ganzes Wort sein. Ein einzelnes Token kann verwendet werden, um häufige Wörter darzustellen, während mehrere Token erforderlich sind, um weniger häufige Wörter darzustellen.
Eingabeaufforderungen
Ein Textprompt ist ein Satz. Ein LLM versteht mehrere verschiedene Sprachen. Sie können Prompts in Ihrer eigenen Sprache verfassen; Sie müssen also keine bestimmte Sprache lernen, um mit dem LLM zu arbeiten. Sehen Sie sich die folgenden Beispiele für Prompts an:
Erzeuge ein Bild von einem rosa Papagei mit einem Piratenhut.
Erzeuge eine Webanwendung in Python, die Kunden und Kundinnen verwaltet.
Je genauer Sie Ihre Anfrage formulieren, desto besser ist das Ergebnis.
Token
Ein Token ist eine grundlegende Einheit von Text oder Code, die ein LLM verstehen und verarbeiten kann.
OpenAI-Modelle für natürliche Sprache arbeiten nicht mit Wörtern oder Zeichen als Texteinheiten, sondern mit etwas dazwischen: Token.
OpenAI bietet eine nützliche Tokenizer-Website, die Ihnen helfen kann zu verstehen, wie Ihre Anfragen in Token umgewandelt werden. Weitere Informationen finden Sie unter OpenAI-Tokenizer.
Hinweis
Sobald Sie mit der Eingabe in das OpenAI-Tokenizer-Eingabefeld beginnen, erscheint ein Zähler, der die Gesamtzahl der Token im Feld zählt.
Während Sie aktiv tippen, kann es ein paar Sekunden dauern, bis der Zähler aktualisiert wird.
Wie viele Token sind in den folgenden Wörtern enthalten?
Versuchen wir, die Anzahl der Token für die folgenden Wörter zu bestimmen: apple, blueberries und Skarsgård.
Da das Wort apple ein gängiges Wort ist, wird es durch ein einziges Token dargestellt. Andererseits muss das Wort blueberries durch zwei Token (blue und berries) dargestellt werden. Sofern es sich nicht um ein gebräuchliches Wort handelt, müssen Eigennamen wie Skarsgård durch mehrere Token dargestellt werden.
Diese Token-Darstellung ermöglicht es KI-Modellen, Wörter zu generieren, die Sie in keinem Wörterbuch finden können, ohne dass Sie den Text Buchstabe für Buchstabe generieren müssen.
Hinweis
Eine buchstabenweise Texterstellung könnte leicht zu Kauderwelsch führen.
Wie funktioniert die Vervollständigung?
Natürliche Sprachmodelle generieren Vervollständigungen nicht-deterministisch, ein Token nach dem anderen.
Bei jedem Schritt gibt das Modell eine Liste von Token und den dazugehörigen Gewichtungen aus. Die API wählt dann ein Token aus der Liste aus, basierend auf seiner Gewichtung. Stark gewichtete Token werden mit größerer Wahrscheinlichkeit ausgewählt.
Die API fügt das ausgewählte Token zum Prompt hinzu und wiederholt den Vorgang, bis die maximale Länge der Token für Vervollständigungen erreicht ist oder bis das Modell ein spezielles Token mit dem Namen Stop-Token erzeugt, das die Erzeugung neuer Token verhindert.
Dieser nicht-deterministische Prozess sorgt dafür, dass das Modell jedes Mal neue Wörter erzeugt, wenn wir eine Anforderung zur Vervollständigungen senden.
Hinweis
Jedes LLM hat ein Limit für die Anzahl der Token, die es erzeugen kann. Bei Vervollständigungen gilt diese Begrenzung für die Gesamtzahl der Token im ursprünglichen Prompt und für die neu generierten Token, wenn sie zusammengefügt werden. Weitere Informationen zu Tokenbeschränkungen finden Sie unter Azure OpenAI Service-Modelle.
Größere Token-Limits ermöglichen längere Vervollständigungen und viel größere Prompts.