Verwenden des lokalen Sprachmodells mit Dev Proxy
Indem Sie Dev Proxy mit einem lokalen Sprachmodell verbinden, können Sie die Funktionalität von Dev Proxy verbessern. Wählen Sie Dev Proxy-Plug-Ins mit dem Sprachmodell aus, um ihre Ausgabe zu verbessern, wobei natürliche Sprache beteiligt ist. Durch die Verwendung eines lokalen Sprachmodells können Sie von der verbesserten Funktionalität profitieren, ohne dass zusätzliche Kosten anfallen.
Voraussetzungen
Dev Proxy unterstützt Ollama als Host für lokale Sprachmodelle. Folgen Sie den Anweisungen in der Ollama-Dokumentation, um sie auf Ihrem Computer einzurichten.
Konfigurieren von Dev Proxy für die Verwendung eines lokalen Sprachmodells
Um Dev Proxy für die Verwendung eines lokalen Sprachmodells zu konfigurieren, verwenden Sie die languageModel Einstellung in der devproxyrc.json Datei.
{
"languageModel": {
"enabled": true
}
}
Sie können die folgenden Optionen als Teil der languageModel Einstellung verwenden:
| Option | Beschreibung | Standardwert |
|---|---|---|
cacheResponses |
Gibt an, ob Antworten aus dem Sprachmodell zwischengespeichert werden sollen. | true |
enabled |
Gibt an, ob ein lokales Sprachmodell verwendet werden soll. | false |
model |
Der Name des zu verwendenden Sprachmodells. | phi3 |
url |
Die URL der Ollama-Instanz. | http://localhost:11434 |
Standardmäßig verwendet Dev Proxy die Standardmäßige Ollama-Konfiguration mit dem Phi-3-Modell . Außerdem werden Antworten aus dem Sprachmodell zwischengespeichert, was bedeutet, dass Sie für dieselbe Eingabeaufforderung eine sofortige Antwort erhalten, ohne darauf zu warten, dass das Sprachmodell verarbeitet wird.
Wichtig
Wenn Sie ein lokales Sprachmodell verwenden, müssen Sie Ollama starten, bevor Sie Dev Proxy starten.
Dev Proxy-Plug-Ins, die ein lokales Sprachmodell verwenden können
Die folgenden Dev Proxy-Plug-Ins verwenden ein lokales Sprachmodell, falls verfügbar:
