Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Queste domande frequenti (FAQ) descrivono l'effetto dell'intelligenza artificiale delle funzionalità di assistenza analitica in Copilot Studio.
Come viene usata l'intelligenza artificiale generativa per l'analisi?
Copilot Studio usa l'intelligenza artificiale per misurare la qualità delle risposte generative e per creare cluster, usati per fornire informazioni dettagliate sulle prestazioni dell'agente.
Le risposte generative usano le fonti di conoscenza scelte per generare una risposta. La funzionalità raccoglie anche eventuali commenti e suggerimenti forniti. L'analisi usa modelli linguistici di grandi dimensioni per classificare i messaggi di chat tra utenti e agenti in livelli che indicano la qualità delle risposte generative. Copilot Studio compila questi indicatori per fornire ai produttori un riepilogo delle prestazioni complessive di un agente.
Il clustering usa i modelli linguistici di grandi dimensioni per ordinare i messaggi degli utenti in gruppi in base a soggetti condivisi e fornire a ogni gruppo un nome descrittivo. Copilot Studio usa i nomi di questi cluster per fornire diversi tipi di informazioni dettagliate che è possibile usare per migliorare l'agente.
Qualità delle risposte per risposte generative
Qual è la qualità della risposta prevista per l'uso?
Gli autori usano la qualità dell'analisi delle risposte per individuare informazioni dettagliate sull'utilizzo e sulle prestazioni degli agenti, quindi creare azioni per il miglioramento dell'agente. Attualmente, l'analisi può essere utilizzata per capire se la qualità delle risposte generative di un agente soddisfa le aspettative del produttore.
Oltre alla qualità complessiva, l'analisi della qualità della risposta identifica le aree in cui un agente performa male o non raggiunge gli obiettivi previsti dal produttore. I creatori possono definire le aree in cui le risposte generative funzionano male e adottare misure per migliorarne la qualità.
Inoltre, quando si identificano prestazioni scarse, esistono procedure consigliate che consentono di migliorare la qualità. Ad esempio, dopo aver identificato le fonti di conoscenza con prestazioni scarse, un autore può modificare l'origine delle informazioni o suddividere l'origine delle informazioni in più origini più incentrate per migliorare la qualità.
Quali dati vengono usati per creare analisi per la qualità della risposta?
La qualità dell'analisi delle risposte viene calcolata usando un campione di risposte generative. Richiede la query dell'utente, la risposta dell'agente e le fonti di conoscenza pertinenti usate dal modello generativo per la risposta generativa.
L'analisi della qualità della risposta usa tali informazioni per valutare se la qualità della risposta generativa è buona e, in caso contrario, perché la qualità è scarsa. Ad esempio, la qualità della risposta può identificare risposte incomplete, irrilevanti o non completamente fondate.
Quali sono i limiti della qualità dell'analisi delle risposte e come possono gli utenti minimizzare l'impatto di tali limiti?
La qualità dell'analisi delle risposte non viene calcolata usando tutte le risposte generative. L'analisi misura invece un esempio di sessioni dell'agente utente. Gli agenti al di sotto di un numero minimo di risposte generative riuscite non possono ricevere una qualità di riepilogo analitico della risposta.
Esistono casi in cui l'analisi non valuta accuratamente una singola risposta. In un livello aggregato, deve essere accurato per la maggior parte dei casi.
L'analisi della qualità delle risposte non fornisce una suddivisione delle query specifiche che hanno portato a prestazioni di bassa qualità. Non fornisce inoltre una suddivisione delle fonti di conoscenza comuni o degli argomenti usati quando si verificano risposte di bassa qualità.
L'analisi non viene calcolata per le risposte che usano conoscenza generativa.
La completezza delle risposte è una delle metriche utilizzate per valutare la qualità delle risposte. Questa metrica misura quanto la risposta affronta completamente il contenuto del documento recuperato.
Se il sistema non recupera un documento rilevante con informazioni aggiuntive per la domanda, non valuta la metrica di completezza di quel documento.
Quali protezioni sono in atto per l'analisi della qualità della risposta all'interno di Copilot Studio per un'IA responsabile?
Gli utenti degli agenti non visualizzano i risultati dell'analisi; sono disponibili solo per i creatori di agenti e gli amministratori.
Gli autori e gli amministratori possono usare solo la qualità dell'analisi delle risposte per visualizzare la percentuale di risposte di buona qualità e qualsiasi motivo predefinito per prestazioni scarse. I creatori possono visualizzare solo la percentuale di risposte di buona qualità e motivi predefiniti.
L'analisi è stata testata per la qualità delle risposte accuratamente durante lo sviluppo per garantire prestazioni ottimali. Tuttavia, in casi rari, la qualità delle valutazioni della risposta potrebbe risultare imprecisa.
Analisi del sentimento per le sessioni di conversazione
Qual è l'uso previsto dell'analisi del sentiment?
I creatori utilizzano l'analisi del sentiment per comprendere il livello di soddisfazione dell'utente nelle sessioni di conversazione basandosi su un'analisi AI dei messaggi degli utenti all'agente. I creatori possono comprendere il sentimento generale della sessione (positivo, negativo o neutro), indagare le ragioni e adottare misure per affrontarle.
Quali dati vengono utilizzati per definire il sentiment in una sessione di conversazione?
Copilot Studio calcola l'analisi del sentiment basandosi sui messaggi utente all'agente per un esempio di sessioni conversazionali.
L'analisi del sentiment utilizza queste informazioni per valutare se la soddisfazione dell'utente durante la sessione è positiva, negativa o neutra. Ad esempio, un utente può usare parole e un tono di voce che indicano frustrazione o insoddisfazione in base all'interazione con l'agente. In questo caso, la sessione è classificata come sentimento negativo.
Quali sono i limiti dell'analisi del sentiment e come possono gli utenti mitigare questi limiti?
Le analisi del sentiment non vengono calcolate usando tutte le sessioni di conversazione. L'analisi misura invece un esempio di sessioni dell'agente utente. Gli agenti al di sotto di un numero minimo di risposte generative giornaliere di successo non possono ricevere un punteggio sentimentale.
L'analisi del sentiment attualmente dipende dalle risposte generative e richiede un numero minimo di risposte giornaliere di successo per calcolare il punteggio di sentiment dell'agente.
Per calcolare il sentiment di una sessione, devono esserci almeno due messaggi utente. Inoltre, a causa delle attuali limitazioni tecniche, l'analisi del sentiment non viene eseguita su sessioni che superano un totale di 26 messaggi (inclusi sia i messaggi dell'utente che degli agenti)
L'analisi del sentiment non fornisce una suddivisione dei messaggi specifici degli utenti che hanno portato al punteggio di sentiment.
Quali protezioni sono in vigore per l'analisi del sentiment all'interno di Copilot Studio per un'IA responsabile?
Gli utenti degli agenti non visualizzano i risultati dell'analisi; sono disponibili solo per i creatori di agenti e gli amministratori.
I creatori e gli admin possono usare solo l'analisi del sentiment per vedere la suddivisione del sentiment in tutte le sessioni.
Abbiamo testato accuratamente l'analisi del sentiment durante lo sviluppo per garantire buone prestazioni. Tuttavia, in casi rari, le valutazioni del sentiment potrebbero essere imprecise.
Temi delle domande dell'utente
Qual è l'uso previsto dei temi?
Questa funzionalità analizza automaticamente grandi set di query utente e li raggruppa in argomenti di alto livello denominati temi. Ogni tema rappresenta un singolo utente soggetto di alto livello richiesto. I temi offrono una visualizzazione non supervisionata e guidata dai dati del contenuto utente. Questa visualizzazione consente ai team di comprendere cosa interessa di più agli utenti senza il passaggio manuale di revisione di migliaia di query.
Quali dati vengono usati per creare cluster?
La funzionalità Temi usa query utente che attivano risposte generative. I temi analizzano tutte le query degli ultimi sette giorni per generare nuovi temi suggeriti.
I temi usano la somiglianza semantica per raggruppare le query. Viene quindi usato un modello linguistico per generare il titolo e la descrizione per ogni cluster. Il feedback degli autori (ad esempio i pollici su/giù) viene raccolto anche per migliorare la qualità del clustering.
Quali sono le limitazioni del clustering per i temi e come gli utenti possono attenuare queste limitazioni?
Il clustering riuscito nei temi dipende dal volume di query. Se non sono presenti query sufficienti o se le query non sono correlate l'una all'altra, Copilot Studio potrebbe raggruppare query in temi eccessivamente estesi o troppo stretti.
I temi possono occasionalmente suddividere argomenti simili o unire quelli non correlati.
Lo spostamento del linguaggio nelle query potrebbe influire sulla coerenza dei cluster nel tempo.
Gli autori possono esaminare regolarmente i temi e fornire feedback per migliorare la qualità dei nomi.
Quali sono le tutele per i temi previste in Copilot Studio per un'IA responsabile?
I temi sono visibili solo agli autori e agli amministratori. La moderazione del contenuto viene applicata durante la generazione di nomi e descrizioni per ridurre il rischio di output dannosi o inappropriati.