Domande frequenti sullo strumento per l'uso del computer

Queste domande frequenti forniscono informazioni dettagliate sulle funzionalità, l'utilizzo, le limitazioni e le misure di sicurezza da tenere presenti quando si aggiunge lo strumento per l'uso del computer agli agenti di Copilot Studio.

Che cos'è lo strumento per l'uso del computer?

L'uso del computer è uno strumento che è possibile aggiungere agli agenti di Copilot Studio progettati per automatizzare le attività nei siti Web e nelle applicazioni. Le descrizioni delle attività vengono fornite in linguaggio naturale e lo strumento automatizza i clic del mouse e le azioni da tastiera di conseguenza. Ad esempio, è possibile indicare allo strumento di aprire un PDF e utilizzare il relativo contenuto per compilare un modulo Web. Lo strumento interpreta visivamente lo schermo ed esegue i clic e le sequenze di tasti necessari, simulando interazioni umane.

Cosa può fare lo strumento per l'uso del computer?

Lo strumento per l'uso del computer elabora i dati pixel dello schermo per comprendere il contenuto visualizzato ed esegue attività utilizzando click del mouse virtuali e input della tastiera. Lo strumento può gestire flussi di lavoro a più passaggi, gestire scenari imprevisti e adattarsi dinamicamente alle modifiche di schermo, permettendogli di svolgere vari compiti digitali come navigare su siti web e compilare moduli senza la necessità di API specializzate.

Lo strumento per l'uso del computer segue un ciclo iterativo basato su tre passaggi:

• Percezione: acquisisce screenshot per comprendere visivamente lo stato corrente dello schermo del computer.

• Ragionamento: valuta lo stato corrente, le azioni precedenti e gli screenshot tramite un approccio basato sulla catena di pensieri, che consente di adattare le azioni in modo efficace.

• Azione: esegue azioni come clic, digitazione o scorrimento fino al completamento dell'attività o richiede un ulteriore input dell'utente.

Quali sono gli scopi previsti dello strumento per l'uso del computer?

Lo strumento per l'uso del computer è progettato per automatizzare le interazioni degli utenti con siti Web e applicazioni tramite un mouse virtuale e una tastiera, particolarmente utile negli scenari in cui le API non sono disponibili.

Come è stato valutato lo strumento di utilizzo del computer? Quali metriche vengono usate per misurare le prestazioni?

Lo strumento per l'uso del computer è stato valutato rigorosamente usando scenari reali durante le fasi di progettazione, sviluppo e distribuzione. I metodi di valutazione includono ricerche, studi sull'impatto e test in diversi scenari per misurare l'accuratezza, la fiducia degli utenti e l'utilità. Le metriche qualitativhe e quantitative vengono monitorate regolarmente per mantenere prestazioni elevate e un'esperienza utente positiva. La disponibilità dello strumento è garantita anche dall'aderenza agli SLA consolidati.

Quali sono le limitazioni dello strumento per l'uso del computer? Come possono gli utenti ridurre l'impatto delle limitazioni dello strumento di utilizzo del computer durante l'uso del sistema?

L'uso del computer è una nuova tecnologia con rischi di sicurezza noti e limitazioni funzionali. Ti stiamo dando la possibilità di sperimentare con esso. Questa funzionalità in fase iniziale consente l'automazione di determinate attività basate su computer, anche se le prestazioni variano notevolmente a seconda del caso d'uso. Per usarlo in modo efficace e responsabile, comprendi i suoi limiti attuali.

Limitazioni note

• La frequenza di riuscita varia in base all'attività: lo strumento esegue le migliori attività basate sul Web (circa 80% successo) ma diminuisce significativamente nelle app desktop (circa 35% successo).
• Prestazioni incoerenti: la stessa attività potrebbe produrre risultati diversi a seconda delle modifiche visive o temporali.
• Difficoltà con determinati controlli dell'interfaccia utente: l'uso del computer può avere difficoltà a interagire con elementi di interfaccia non standard o dinamici, ad esempio elenchi a discesa, selezione data o widget personalizzati.
• Cicli e stati bloccati: in alcuni casi, l'agente entra in un ciclo o si blocca quando lo schermo non corrisponde alle aspettative o cambia imprevedibilmente.
• Sfide con attività complesse: sebbene sia efficace per azioni semplici, lo strumento potrebbe avere difficoltà con interfacce grafiche dettagliate o attività che coinvolgono complesse manipolazioni del testo.
• Non per i casi d'uso sensibili o ad alto rischio: lo strumento non è destinato a:
  • Raccomandazione o assegnazione di punteggi in domini sensibili, ad esempio assunzione, assistenza sanitaria o finanza
  • Effettuare transazioni finanziarie
  • Azioni dannose, ad esempio spam o disinformazioni
  • Condivisione dei dati all'esterno dell'organizzazione senza autorizzazione appropriata

Come ridurre al minimo le limitazioni

Per migliorare l'affidabilità, è necessario fornire istruzioni chiare e dettagliate durante la configurazione delle attività per ridurre gli errori e aumentare le percentuali di successo delle attività.

Qual è la caratteristica di supervisione umana?

Le esecuzioni di uso del computer possono riscontrare ambiguità o informazioni mancanti, ad esempio un valore obbligatorio non è presente o più interpretazioni sono plausibili. In questi casi, la funzionalità di supervisione umana consente all'agente che utilizza il computer di sospendere l'esecuzione e inviare una richiesta di chiarimento a un revisore umano autorizzato e configurato. I revisori possono rispondere tramite posta elettronica o all'interno di Copilot Studio usando la mappa delle attività operative dell'agente. Quando l'agente che usa il computer riceve una risposta, riprende l'esecuzione dal passaggio sospeso sulla mappa.

Affidabilità e limiti

Le valutazioni guidate dal prodotto indicano che la funzionalità di supervisione umana funziona generalmente come previsto, ma può non riuscire o comportarsi in modi in cui gli utenti potrebbero non prevedere. Poiché le richieste di chiarimento vengono attivate dal comportamento probabilistico del modello, potrebbero non attivarsi in ogni situazione in cui una persona vuole una pausa e può anche attivarsi quando non è necessaria una pausa. Non è consigliabile fare affidamento sulle richieste di chiarimento come meccanismo di sicurezza o come garanzia che il sistema chiederà sempre l'input umano prima di procedere.

Non un meccanismo di imposizione delle regole personalizzate

Le richieste di supervisione umana non garantiscono l'applicazione delle regole, dei criteri o dei vincoli definiti. È consigliabile applicare più controlli appropriati per ogni possibile scenario (ad esempio, istruzioni chiare, ambienti con restrizioni, account con privilegi minimi, elenchi consentiti e altre misure di sicurezza operative) anziché basarsi su richieste di chiarimento per fornire informazioni o impedire azioni indesiderate.

Quali fattori operativi e impostazioni consentono un uso efficace e responsabile dello strumento di utilizzo del computer?

Lo strumento di utilizzo del computer offre prestazioni ottimali quando vengono fornite istruzioni utente chiare e dettagliate. Gli utenti devono fornire suggerimenti precisi sulle interazioni tra siti Web o applicazioni per migliorare l'affidabilità e l'accuratezza durante l'esecuzione dell'attività. Per una maggiore visibilità e controllo, abilitare la supervisione umana assegnando uno o più revisori autorizzati nella pagina di configurazione degli strumenti. Quando il modello rileva istruzioni potenzialmente dannose, questi revisori ricevono notifiche per convalidare e decidere se continuare o interrompere l'esecuzione.

Come si forniscono commenti e suggerimenti sullo strumento per l'uso del computer?

Inviare commenti e suggerimenti sullo strumento per l'uso del computer? Indirizzo di posta elettronica computeruse-feedback@microsoft.com.