Condividi tramite

OpenAIMockResponsePlugin

Simula le risposte da Azure OpenAI e OpenAI usando un modello linguistico locale.

Screenshot di un prompt dei comandi con Dev Proxy che simula la risposta per una richiesta all'API OpenAI di Azure.

Esempio di configurazione

{
  "$schema": "https://raw.githubusercontent.com/dotnet/dev-proxy/main/schemas/v2.1.0/rc.schema.json",
  "plugins": [
    {
      "name": "OpenAIMockResponsePlugin",
      "enabled": true,
      "pluginPath": "~appFolder/plugins/DevProxy.Plugins.dll"
    }
  ]
}

Proprietà di configurazione

Nessuno

Opzioni della riga di comando

Nessuno

Osservazioni:

Il OpenAIMockResponsePlugin plug-in simula le risposte da Azure OpenAI e OpenAI usando un modello linguistico locale. L'uso di questo plug-in consente di emulare usando un modello linguistico nell'app senza connettersi al servizio OpenAI o Azure OpenAI e sostenere i costi.

Il plug-in usa la configurazione del modello linguistico Dev Proxy per comunicare con un modello linguistico locale. Per usare questo plug-in, configurare Dev Proxy per l'uso di un modello linguistico locale.

Importante

L'accuratezza delle risposte generate dal plug-in dipende dal modello linguistico locale usato. Prima di distribuire l'app nell'ambiente di produzione, assicurarsi di testarla con il modello linguistico che si prevede di usare nell'ambiente di produzione.

Il OpenAIMockResponsePlugin plug-in supporta gli endpoint API OpenAI seguenti:

  • Completamento chat (/v1/chat/completions): usa la messages matrice e restituisce choices con prompt_tokens/completion_tokens i campi di utilizzo
  • API Risposte (/v1/responses): usa la input matrice e restituisce output con input_tokens/output_tokens i campi di utilizzo

Il plug-in non supporta altri endpoint API OpenAI.

Passo successivo

Simulare l'API OpenAI di Azure

  • Last updated on