Strumenti disponibili e richieste di esempio per il server MCP Foundry (anteprima)

Foundry MCP Server espone un set di strumenti che consentono di gestire set di dati, eseguire valutazioni, distribuire e monitorare modelli e altro ancora, tramite richieste di conversazione anziché chiamate API. Usare questo riferimento per esplorare ogni strumento e provare le richieste di esempio nel progetto.

Gestione dell'agente

agent_get (lettura)

Ottenere un agente specifico in base al nome o elencare tutti gli agenti in un progetto Foundry.

Alcuni prompt di esempio includono:

• "Elencare tutti gli agenti nel mio progetto Foundry."
• "Mostra dettagli per l'oggetto customer-support-agent".
• "Ottenere la configurazione per l'agente triage-agent".

agent_update (scrittura)

Creare, aggiornare o clonare un agente in un progetto Foundry.

Alcuni prompt di esempio includono:

• "Creare un nuovo agente denominato faq-agent usando il modello gpt-4o-mini".
• "Aggiornare triage-agent le istruzioni per classificare in ordine di priorità i problemi di fatturazione".
• "Clona prod-agent in staging-agent e passa a un modello più recente".

agent_delete (scrittura)

Eliminare un agente in un progetto Foundry.

Alcuni prompt di esempio includono:

• "Elimina il dal old-test-agent mio progetto."
• "Rimuovi deprecated-agent ora che la migrazione è stata completata".
• "Pulire gli agenti inutilizzati in questo progetto".

Gestione dei set di dati

evaluation_dataset_create (scrittura)

Creare o aggiornare una versione del set di dati in un progetto Foundry.

Alcuni prompt di esempio includono:

• Carica il set di dati di domande e risposte del supporto clienti da questo URL di Azure Blob Storage.
• "Crea un nuovo set di dati versione 2.0 per i dati di training disponibili in <blob-storage-account-url>".
• "Registrare un nuovo set di dati di valutazione chiamato product-reviews-v1 dall'archivio BLOB".

evaluation_dataset_get (lettura)

Ottenere un set di dati in base al nome e alla versione oppure elencare tutti i set di dati nel progetto.

Alcuni prompt di esempio includono:

• "Mostra tutti i set di dati nel progetto Foundry"
• Ottieni i dettagli per il set di dati 'customer-support-qa' versione 2
• "Elencare tutti i set di dati disponibili che è possibile usare per la valutazione"

Operazioni di valutazione

evaluation_create (scrittura)

Creare un'esecuzione di valutazione per un set di dati usando uno o più analizzatori.

Alcuni prompt di esempio includono:

• Creare un run di valutazione per il dataset del servizio clienti utilizzando gli analizzatori di rilevanza, fondamento e coerenza.
• Eseguire una valutazione sul dataset 456 con i valutatori di Violenza, HateUnfairness e ContentSafety per il modello di chatbot.
• "Valutare il modello di controllo di qualità usando le metriche F1Score, BleuScore e RougeScore nel set di dati di test".

ottieni_valutazione (lettura)

Elencare le esecuzioni di valutazione nel progetto Foundry.

Alcuni prompt di esempio includono:

• Mostrami tutte le esecuzioni di valutazione nel mio progetto Foundry
• "Elencare le valutazioni recenti che ho eseguito questa settimana"
• "Ottenere lo stato di tutte le valutazioni del modello"

crea_confronto_valutazione (scrivere)

Creare risultati di confronto delle valutazioni all'interno di un gruppo.

Alcuni prompt di esempio includono:

• "Confrontare le prestazioni del modello di base con le due nuove versioni ottimizzate".
• "Crea un confronto tra run-baseline-123 e le esecuzioni di trattamento run-124, run-125 per la valutazione eval-456".
• "Si vuole confrontare le prestazioni del modello A e del modello B sulle stesse metriche di valutazione".

evaluation_comparison_get (lettura)

Ottenere o elencare i risultati di confronto delle valutazioni all'interno di un gruppo.

Alcuni prompt di esempio includono:

• "Ottenere i risultati del confronto insight-789".
• "Mostra i risultati del confronto creati ieri".
• Recupera tutte le analisi dettagliate sul confronto di valutazione dal mio progetto.

Catalogo e dettagli del modello

model_catalog_list (lettura)

Elencare i modelli dal catalogo dei modelli Foundry.

Alcuni prompt di esempio includono:

• "Mostra tutti i modelli GPT-4 disponibili nel catalogo."
• "Elencare tutti i modelli pubblicati da Microsoft con licenza MIT".
• "Trova modelli che posso usare gratuitamente nel playground."
• "Quali modelli sono disponibili per la generazione di testo da OpenAI?"

model_details_get (lettura)

Ottenere i dettagli completi del modello e l'esempio di codice da Foundry.

Alcuni prompt di esempio includono:

• "Ottenere informazioni dettagliate ed esempi di codice per GPT-4o-mini".
• "Mostra le specifiche e gli esempi di utilizzo per il modello Llama-2-70b".
• "Ho bisogno della documentazione e del codice di esempio per il modello text-embedding-ada-002".

Gestione della distribuzione dei modelli

model_deploy (scrittura)

Creare o aggiornare una distribuzione del modello nell'account Foundry specificato.

Alcuni prompt di esempio includono:

• "Distribuire GPT-4o-mini come "production-chatbot" con 20 unità di capacità
• "Creare una nuova distribuzione denominata "content-generator" usando il modello GPT-4o.
• "Distribuire la versione più recente di GPT-4o per l'applicazione."

model_deployment_get (lettura)

Ottieni una o più implementazioni di modelli da un account Foundry.

Alcuni prompt di esempio includono:

• "Mostra tutte le distribuzioni del modello corrente".
• Ottieni i dettagli per la mia distribuzione di "production-chatbot".
• Elenca tutte le implementazioni nel mio account Foundry.

model_deployment_delete (scrittura)

Eliminare una distribuzione specifica del modello in base al nome.

Alcuni prompt di esempio includono:

• "Eliminare la 'old-test-deployment' che non uso più."
• Rimuovere la distribuzione di staging per liberare spazio disponibile.
• Elimina la distribuzione del modello deprecata dal mio account Foundry <account-name>.

Analisi dei modelli e raccomandazioni

model_benchmark_get (lettura)

Recuperare i dati di benchmark per i modelli Foundry.

Alcuni prompt di esempio includono:

• "Mostra i dati di benchmark per tutti i modelli disponibili".
• "Ottenere confronti delle prestazioni tra diverse famiglie di modelli".
• "Voglio visualizzare le metriche di accuratezza e costo per vari modelli".

model_benchmark_subset_get (lettura)

Ottenere dati di benchmark per coppie specifiche di nome e versione del modello.

Alcuni prompt di esempio includono:

• "Confrontare le prestazioni del benchmark tra GPT-4 e GPT-3.5-turbo."
• "Ottenere dati di benchmark per i modelli Claude-3 e Llama-2-70b."
• "Mostra le metriche delle prestazioni per le versioni specifiche del modello che sto prendendo in considerazione".

model_similar_models_get (lettura)

Restituisce un elenco di modelli simili in base ai dettagli della distribuzione o del modello.

Alcuni prompt di esempio includono:

• Trova modelli simili alla mia attuale implementazione di GPT-4.
• "Quali alternative sono disponibili per il modello attualmente in uso?"
• Mostrami modelli con funzionalità simili alla mia distribuzione di produzione.

model_switch_recommendations_get (lettura)

Ottenere raccomandazioni per il cambio di modello in base ai dati di benchmark.

Alcuni prompt di esempio includono:

• Raccomanda modelli migliori in base alle prestazioni della distribuzione corrente.
• "È consigliabile passare dal modello corrente a qualcosa di più conveniente?"
• "Ottenere consigli di ottimizzazione per la distribuzione del modello di produzione".
• "Quali modelli mi darebbero un rapporto di qualità/costo migliore rispetto a quello che uso ora?"

Monitoraggio e operazioni del modello

model_monitoring_metrics_get (lettura)

Ottenere le metriche di monitoraggio per una distribuzione modello.

Alcuni prompt di esempio includono:

• Mostra le metriche delle richieste per la distribuzione del chatbot di produzione
• "Ottieni le statistiche di latenza per la distribuzione GPT-4o nell'ultima settimana".
• "Verificare l'utilizzo della quota per l'implementazione del text embedding."
• "Quali sono le percentuali di errore per il modello di generatore di contenuti?"

model_deprecation_info_get (lettura)

"Ottieni informazioni sulla distribuzione arricchite con i dati di deprecazione".

Alcuni prompt di esempio includono:

• Controllare se la distribuzione in produzione utilizza una versione del modello deprecata.
• "Ottieni le informazioni di deprecazione per la distribuzione del chatbot obsoleto".
• Qualcuna delle mie distribuzioni attuali è prevista per il ritiro?

model_quota_list (lettura)

Elencare la quota di distribuzione e l'utilizzo disponibili per una sottoscrizione in un'area.

Alcuni prompt di esempio includono:

• "Controllare la quota disponibile nell'area Stati Uniti orientali".
• "Quanta capacità mi resta per le nuove implementazioni in Europa occidentale?"
• Mostra l'utilizzo della quota in tutte le regioni per la mia sottoscrizione.

Flussi di lavoro di esempio

Flusso di lavoro completo di valutazione del modello:

• "Carica il set di dati di valutazione da questo URL di archiviazione BLOB".
• Eseguire una valutazione utilizzando i criteri di pertinenza, fondatezza e sicurezza.
• "Confrontare il modello di base con la nuova versione ottimizzata".
• "Mostra i risultati del confronto con significato statistico".

Distribuzione e ottimizzazione dei modelli:

• "Mostra tutti i modelli GPT-4 disponibili nel catalogo."
• "Distribuire GPT-4o come "customer-service-bot" con 15 unità di capacità".
• Monitorare la latenza delle richieste per la mia nuova distribuzione.
• "Consigliare alternative più convenienti in base all'utilizzo corrente."

Gestione risorse e pulizia:

• "Elencare tutte le distribuzioni correnti e il relativo utilizzo".
• Verificare quali distribuzioni utilizzano versioni del modello obsoleti.
• "Mostra l'utilizzo della quota in tutte le aree".
• "Eliminare le distribuzioni di test inutilizzate per liberare capacità".

Contenuti correlati

• Introduzione a Foundry MCP Server
• Informazioni su come creare un server MCP personalizzato
• Esaminare le procedure consigliate per la sicurezza per i server MCP