Analizzatori di agenti (anteprima)

Gli agenti di intelligenza artificiale sono potenti assistenti alla produttività che possono creare flussi di lavoro per le esigenze aziendali. Tuttavia, l'osservabilità può essere una sfida dovuta ai modelli di interazione complessi. Gli analizzatori di agenti forniscono un'osservabilità sistematica nei flussi di lavoro agenti tramite la misurazione della qualità, della sicurezza e delle prestazioni.

Un flusso di lavoro dell'agente comporta in genere il ragionamento tramite finalità dell'utente, la chiamata di strumenti pertinenti e l'uso dei risultati degli strumenti per completare attività come l'aggiornamento di un database o la stesura di un report. Per creare applicazioni agentic pronte per la produzione, è necessario valutare non solo l'output finale, ma anche la qualità e l'efficienza di ogni passaggio del flusso di lavoro.

Foundry fornisce analizzatori di agenti predefiniti che funzionano come unit test per i sistemi agenti, accettano i messaggi dell'agente come punteggi binari di input e output pass/fail (o punteggi ridimensionati convertiti in punteggi binari in base alle soglie). Questi analizzatori supportano due procedure consigliate per la valutazione dell'agente:

• Valutazione del sistema: per esaminare i risultati end-to-end del sistema agentico.
• Valutazione del processo: per verificare l'esecuzione dettagliata per ottenere i risultati.

Valutazione del sistema

La valutazione del sistema esamina la qualità del risultato finale del flusso di lavoro agentico. Questi analizzatori sono applicabili a singoli agenti e, nei sistemi multi-agente, all'agente di orchestrazione principale o all'agente finale responsabile del completamento dell'attività:

• Completamento attività: l'agente ha completato completamente l'attività richiesta?
• Conformità alle attività: l'agente ha seguito le regole e i vincoli nelle istruzioni?
• Efficienza navigazione attività: l'agente ha eseguito i passaggi previsti in modo efficiente?
• Risoluzione delle finalità: l'agente identifica correttamente e indirizza le intenzioni dell'utente?

In particolare, per gli output testuali degli agenti, è anche possibile applicare analizzatori di qualità RAG, ad Relevance esempio e Groundedness che accettano input agenti per valutare la qualità finale della risposta.

Esempi:

• Esempio di completamento attività (anteprima)
• Esempio di conformità delle attività
• Esempio di efficienza di navigazione delle attività (anteprima)
• Esempio di risoluzione delle finalità

Valutazione del processo

La valutazione del processo esamina la qualità e l'efficienza di ogni passaggio del flusso di lavoro agentico. Questi analizzatori si concentrano sulle chiamate degli strumenti eseguite in un sistema per completare le attività:

• Accuratezza chiamata strumento: l'agente ha eseguito le chiamate corrette con parametri corretti senza ridondanza?
• Selezione degli strumenti: l'agente ha selezionato gli strumenti corretti e necessari?
• Accuratezza input strumento: l'agente ha fornito parametri corretti per le chiamate agli strumenti?
• Utilizzo dell'output dello strumento: l'agente ha usato correttamente la chiamata allo strumento per il ragionamento e la risposta finale?
• Operazione riuscita chiamata strumento: le chiamate degli strumenti hanno avuto esito positivo senza errori tecnici?

Esempi:

• Esempio di accuratezza delle chiamate degli strumenti
• Esempio di selezione degli strumenti (anteprima)
• Esempio di accuratezza dell'input dello strumento (anteprima)
• Esempio di utilizzo dell'output degli strumenti (anteprima)
• Esempio di esito positivo della chiamata dello strumento (anteprima)

Modello di analizzatore e supporto degli strumenti per gli analizzatori di agenti

Per gli analizzatori assistito dall'intelligenza artificiale, è possibile usare modelli di ragionamento OpenAI o OpenAI di Azure e modelli di non ragionamento per il giudice LLM. Per una valutazione complessa che richiede un ragionamento raffinato, è consigliabile gpt-5-mini bilanciare le prestazioni, i costi e l'efficienza.

Strumenti supportati

Gli analizzatori di agenti supportano gli strumenti seguenti:

• Ricerca file
• Strumento funzione (strumenti definiti dall'utente)
• MCP
• MCP basato sulle informazioni

Gli strumenti seguenti hanno attualmente un supporto limitato. Evitare di usare tool_call_accuracy, tool input accuracytool_output_utilization, tool_call_success, o groundedness analizzatori se la conversazione dell'agente include chiamate a questi strumenti:

• Ricerca di intelligenza artificiale di Azure
• Bing Grounding
• Ricerca personalizzata Bing
• Fondamenti di SharePoint
• Agente dati di Fabric
• Web Search

Uso degli analizzatori di agenti

Gli analizzatori di agenti valutano il grado di efficienza degli agenti di intelligenza artificiale che eseguono attività, seguono le istruzioni e usano gli strumenti in modo efficace. Ogni analizzatore richiede mapping e parametri di dati specifici:

Input di esempio

Il set di dati di test deve contenere i campi a cui si fa riferimento nei mapping dei dati. Entrambi i campi accettano stringhe semplici o matrici di conversazioni:

{"query": "What's the weather in Seattle?", "response": "The weather in Seattle is rainy, 14°C."}
{"query": "Book a flight to Paris for next Monday", "response": "I've booked your flight to Paris departing next Monday at 9:00 AM."}

Per interazioni agente più complesse con le chiamate agli strumenti, usare il formato della matrice di conversazioni. Questo formato segue lo schema dei messaggi OpenAI (vedere Schema dei messaggi dell'agente). Il messaggio di sistema è facoltativo ma utile per gli analizzatori che valutano il comportamento dell'agente rispetto alle istruzioni, tra cui task_adherence, task_completiontool_call_accuracytool_selectiontool_input_accuracy, tool_output_utilization, e :groundedness

{
    "query": [
        {"role": "system", "content": "You are a travel booking agent."},
        {"role": "user", "content": "Book a flight to Paris for next Monday"}
    ],
    "response": [
        {"role": "assistant", "content": [{"type": "tool_call", "name": "search_flights", "arguments": {"destination": "Paris", "date": "next Monday"}}]},
        {"role": "tool", "content": [{"type": "tool_result", "tool_result": {"flight": "AF123", "time": "9:00 AM"}}]},
        {"role": "assistant", "content": "I've booked flight AF123 to Paris departing next Monday at 9:00 AM."}
    ]
}

Esempio di configurazione

Sintassi del mapping dei dati:

• {{item.field_name}} fa riferimento ai campi del set di dati di test, ad esempio {{item.query}}.
• {{sample.output_items}} fa riferimento alle risposte dell'agente generate o recuperate durante la valutazione. Usare questa opzione durante la valutazione con un'origine dati di risposta dell'agente o di destinazione agente.
• {{sample.tool_definitions}} fa riferimento alle definizioni degli strumenti. Usare questa opzione durante la valutazione con un'origine dati di risposta dell'agente o di destinazione agente. Questi vengono popolati automaticamente per gli strumenti predefiniti supportati o dedotti per le funzioni personalizzate.

Di seguito è riportato un esempio di configurazione per l'adesione alle attività:

testing_criteria = [
    {
        "type": "azure_ai_evaluator",
        "name": "task_adherence",
        "evaluator_name": "builtin.task_adherence",
        "initialization_parameters": {"deployment_name": model_deployment},
        "data_mapping": {
            "query": "{{item.query}}",
            "response": "{{item.response}}",
        },
    },
]

Per informazioni dettagliate sull'esecuzione delle valutazioni e sulla configurazione delle origini dati, vedere Eseguire valutazioni nel cloud .

Output di esempio

Gli analizzatori di agenti restituiscono risultati pass/fail con ragionamento. Campi di output chiave:

{
    "type": "azure_ai_evaluator",
    "name": "Task Adherence",
    "metric": "task_adherence",
    "label": "pass",
    "reason": "Agent followed system instructions correctly",
    "threshold": 3,
    "passed": true
}

Efficienza di spostamento delle attività

Efficienza navigazione attività misura se l'agente ha eseguito una sequenza ottimale di azioni confrontando con una sequenza prevista (verità del terreno). Usare questo analizzatore per l'ottimizzazione del flusso di lavoro e i test di regressione.

{
    "type": "azure_ai_evaluator",
    "name": "task_navigation_efficiency",
    "evaluator_name": "builtin.task_navigation_efficiency",
    "initialization_parameters": {
        "matching_mode": "exact_match"  # Options: "exact_match", "in_order_match", "any_order_match"
    },
    "data_mapping": {
        "actions": "{{item.actions}}",
        "expected_actions": "{{item.expected_actions}}"
    },
}

Modalità di corrispondenza:

Formato delle azioni previste:

expected_actions Può essere un semplice elenco di passaggi previsti:

expected_actions = ["identify_tools_to_call", "call_tool_A", "call_tool_B", "response_synthesis"]

Oppure una tupla con nomi e parametri degli strumenti per una convalida più dettagliata:

expected_actions = (
    ["func_name1", "func_name2"],
    {
        "func_name1": {"param_key": "param_value"},
        "func_name2": {"param_key": "param_value"},
    }
)

Output:

Restituisce un risultato di passaggio/esito negativo binario più precisione, richiamo e punteggi F1:

{
    "type": "azure_ai_evaluator",
    "name": "task_navigation_efficiency",
    "passed": true,
    "details": {
        "precision_score": 0.85,
        "recall_score": 1.0,
        "f1_score": 0.92
    }
}

Schema dei messaggi dell'agente

Quando si usa il formato query della matrice di conversazioni e response si segue la struttura dei messaggi OpenAI:

• query: contiene la cronologia della conversazione che conduce alla richiesta dell'utente. Includere il messaggio di sistema per fornire il contesto per gli analizzatori che valutano il comportamento dell'agente rispetto alle istruzioni.
• risposta: contiene la risposta dell'agente, incluse le chiamate agli strumenti e i relativi risultati.

Schema del messaggio:

[
  {
    "role": "system" | "user" | "assistant" | "tool",
    "content": "string" | [                // string or array of content items
      {
        "type": "text" | "tool_call" | "tool_result",
        "text": "string",                  // if type == text
        "tool_call_id": "string",          // if type == tool_call
        "name": "string",                  // tool name if type == tool_call
        "arguments": { ... },              // tool args if type == tool_call
        "tool_result": { ... }             // result if type == tool_result
      }
    ]
  }
]

Tipi di ruolo:

Esempio:

{
  "query": [
    {"role": "system", "content": "You are a weather assistant."},
    {"role": "user", "content": [{"type": "text", "text": "What's the weather in Seattle?"}]}
  ],
  "response": [
    {"role": "assistant", "content": [{"type": "tool_call", "tool_call_id": "call_123", "name": "get_weather", "arguments": {"city": "Seattle"}}]},
    {"role": "tool", "content": [{"type": "tool_result", "tool_result": {"temp": "62°F", "condition": "Cloudy"}}]},
    {"role": "assistant", "content": [{"type": "text", "text": "It's currently 62°F and cloudy in Seattle."}]}
  ]
}

Contenuti correlati

• Altri esempi per l'analizzatore di qualità dell'agente
• Come eseguire la valutazione dell'agente
• Come eseguire la valutazione cloud
• Come ottimizzare l'agente RAG