Usare il modello linguistico locale con Dev Proxy
Connettendo Dev Proxy a un modello linguistico locale, è possibile migliorare le funzionalità del proxy di sviluppo. Selezionare Dev Proxy plugins (Plug-in Dev Proxy) usare il modello linguistico per migliorare l'output, in cui è coinvolto il linguaggio naturale. Usando un modello linguistico locale, è possibile sfruttare le funzionalità migliorate senza incorrere in costi aggiuntivi.
Prerequisiti
Dev Proxy supporta Ollama come host per i modelli linguistici locali. Per configurarlo nel computer, seguire le istruzioni nella documentazione di Ollama.
Configurare il proxy di sviluppo per l'uso di un modello linguistico locale
Per configurare Dev Proxy per l'uso di un modello linguistico locale, usare l'impostazione languageModel nel devproxyrc.json file.
{
"languageModel": {
"enabled": true
}
}
È possibile usare le opzioni seguenti come parte dell'impostazione languageModel :
| Opzione | Descrizione | Default value |
|---|---|---|
cacheResponses |
Specifica se memorizzare nella cache le risposte dal modello linguistico. | true |
enabled |
Specifica se utilizzare un modello linguistico locale. | false |
model |
Nome del modello linguistico da usare. | phi3 |
url |
URL dell'istanza di Ollama. | http://localhost:11434 |
Per impostazione predefinita, Dev Proxy usa la configurazione predefinita di Ollama con il modello Phi-3 . Memorizza nella cache anche le risposte dal modello linguistico, ovvero per la stessa richiesta, si ottiene una risposta immediata senza attendere che il modello linguistico lo elabori.
Importante
Quando si usa un modello linguistico locale, assicurarsi di avviare Ollama prima di avviare Dev Proxy.
Plug-in di Dev Proxy che possono usare un modello linguistico locale
I plug-in Dev Proxy seguenti usano un modello linguistico locale, se disponibile:
