Häufig gestellte Fragen zum Computerverwendungstool

Diese häufig gestellten Fragen (FAQ) bieten Einblicke in die Funktionen, Nutzung, Einschränkungen und Garantien, die Sie beachten sollten, wenn Sie dem Copilot Studio-Agents das Computerverwendungstool hinzufügen.

Was ist das Computerverwendungstool?

Die Computerverwendung ist ein Tool, das Sie Ihren Copilot Studio-Agents hinzufügen können, um Aufgaben auf Websites und Anwendungen zu automatisieren. Sie stellen Aufgabenbeschreibungen in natürlicher Sprache bereit, und das Tool automatisiert Mausklicks und Tastaturaktionen entsprechend. Beispielsweise könnten Sie das Tool anweisen, eine PDF-Datei zu öffnen und dessen Inhalt zum Ausfüllen eines Webformulars zu verwenden. Das Tool interpretiert den Bildschirm visuell und führt die erforderlichen Klicks und Tastenanschläge aus und emuliert menschliche Interaktionen.

Was kann das Computerwerkzeug tun?

Das Computerwerkzeug verarbeitet Bildschirmpixeldaten, um den Inhalt auf dem Bildschirm zu verstehen, und Aufgaben mit virtuellen Mausklicks und Tastatureingaben auszuführen. Das Tool kann mehrstufige Workflows verwalten, unerwartete Szenarien bewältigen und sich dynamisch an Bildschirmänderungen anpassen, sodass es verschiedene digitale Aufgaben wie das Navigieren von Webseiten und das Ausfüllen von Formularen ohne spezielle APIs erledigen kann.

Das Computerverwendungstool folgt einer iterativen Schleife basierend auf drei Schritten:

• Wahrnehmung: Es erfasst Screenshots, um den aktuellen Zustand des Computerbildschirms visuell zu verstehen.

• Begründung: Sie wertet den aktuellen Zustand, frühere Aktionen und Screenshots durch einen Gedankenkettenansatz aus, der es ermöglicht, seine Aktionen effektiv anzupassen.

• Aktion: Es führt Aktionen wie Klicken, Eingeben oder Scrollen aus, bis die Aufgabe abgeschlossen ist oder weitere Benutzereingaben erforderlich sind.

Was sind die beabsichtigten Anwendungsgebiete des Computer-Tools?

Das Computerverwendungstool dient zum Automatisieren von Benutzerinteraktionen mit Websites und Anwendungen über eine virtuelle Maus und Tastatur, insbesondere in Szenarien, in denen APIs nicht verfügbar sind.

Wie wurde das Tool zur Computernutzung bewertet? Welche Metriken werden verwendet, um die Leistung zu messen?

Das Computerverwendungstool wurde in allen Entwurfs-, Entwicklungs- und Bereitstellungsphasen streng anhand realer Szenarien bewertet. Zu den Bewertungsmethoden gehörten Forschung, Auswirkungsstudien und Tests in verschiedenen Szenarien, um Genauigkeit, Benutzervertrauen und Nützlichkeit zu messen. Sowohl qualitative als auch quantitative Metriken werden regelmäßig überwacht, um eine hohe Leistung und eine positive Benutzererfahrung aufrechtzuerhalten. Die Verfügbarkeit des Tools wird zudem durch die Einhaltung etablierter SLAs gewährleistet.

Welche Einschränkungen gelten für das Computerverwendungstool? Wie können Nutzer die Auswirkungen der Einschränkungen des Computerwerkzeugs bei der Nutzung des Systems minimieren?

Die Computernutzung ist eine neuartige Technologie mit bekannten Sicherheitsrisiken und funktionalen Einschränkungen. Wir ermöglichen Es Ihnen, damit zu experimentieren. Diese frühzeitige Funktion ermöglicht die Automatisierung bestimmter computerbasierter Aufgaben, obwohl ihre Leistung je nach Anwendungsfall stark variiert. Um sie effektiv und verantwortungsvoll zu nutzen, verstehen Sie ihre aktuellen Einschränkungen.

Bekannte Einschränkungen

• Die Erfolgsquote variiert je nach Aufgabe: Das Tool führt bei webbasierten Aufgaben (ca. 80% Erfolg) am besten aus, fällt jedoch deutlich auf Desktop-Apps (etwa 35% Erfolg).
• Inkonsistente Leistung: Je nach visuellen oder zeitlichen Änderungen kann dieselbe Aufgabe unterschiedliche Ergebnisse erzielen.
• Schwierigkeiten bei bestimmten UI-Steuerelementen: Die Computerverwendung kann Schwierigkeiten bei der Interaktion mit nicht standardmäßigen oder dynamischen Schnittstellenelementen haben, z. B. Dropdowns, Datumsauswahlen oder benutzerdefinierte Widgets.
• Schleifen und hängen gebliebene Zustände: In einigen Fällen wechselt der Agent in eine Schleife oder bleibt hängen, wenn der Bildschirm nicht den Erwartungen entspricht oder sich unvorhersehbar ändert.
• Herausforderungen mit komplexen Aufgaben: Während sie für einfache Aktionen effektiv sind, kann das Tool mit detaillierten grafischen Schnittstellen oder Aufgaben mit komplizierter Textbearbeitung kämpfen.
• Nicht für sensible oder risikoreiche Anwendungsfälle: Das Tool ist nicht für Folgendes vorgesehen:
  • Empfehlen oder Bewerten in vertraulichen Domänen, z. B. Einstellung, Gesundheitswesen oder Finanzen
  • Durchführen von Finanztransaktionen
  • Schädliche Aktionen, z. B. Spam oder Falschinformationen
  • Freigeben von Daten außerhalb Ihrer Organisation ohne ordnungsgemäße Autorisierung

Wie man Einschränkungen minimiert

Um die Zuverlässigkeit zu verbessern, sollten Sie klare, detaillierte Anweisungen beim Konfigurieren von Aufgaben bereitstellen, um Fehler zu reduzieren und die Erfolgsraten der Aufgabe zu erhöhen.

Was ist das Merkmal der menschlichen Aufsicht?

Computerverwendungsläufe können auf Mehrdeutigkeit oder fehlende Informationen stoßen, z. B. ist kein erforderlicher Wert vorhanden oder mehrere Interpretationen sind plausibel. In diesen Fällen ermöglicht das Feature für die menschliche Überwachung dem den Computer nutzenden Agenten, die Ausführung zu pausieren und eine Klarstellungsanforderung an einen autorisierten und konfigurierten menschlichen Prüfer zu stellen. Prüfer können per E-Mail oder in Copilot Studio mit der Aktivitätsverlaufskarte des Agents antworten. Sobald der Computer nutzende Agent eine Antwort erhält, setzt er ab dem pausierten Schritt auf der Karte fort.

Zuverlässigkeit und Grenzwerte

Produktgeführte Auswertungen deuten darauf hin, dass das Feature der menschlichen Überwachung im Allgemeinen wie erwartet funktioniert, aber es kann fehlschlagen oder sich auf unerwartete Weise verhalten. Da Klarstellungsanforderungen durch das probabilistische Modellverhalten ausgelöst werden, werden sie möglicherweise nicht in jeder Situation ausgelöst, in der eine Person eine Pause wünschen würde, und sie können auch auslösen, wenn eine Pause nicht erforderlich ist. Sie sollten sich nicht auf Klarstellungsanforderungen als sicherheitsfehlersicher oder als Garantie verlassen, dass das System immer menschliche Eingaben anfordert, bevor Sie fortfahren.

Kein Mechanismus zur Durchsetzung benutzerdefinierter Regeln

Anforderungen für die menschliche Aufsicht garantieren nicht die Durchsetzung Ihrer definierten Regeln, Richtlinien oder Einschränkungen. Sie sollten für jedes mögliche Szenario mehr geeignete Steuerelemente anwenden (z. B. klare Anweisungen, eingeschränkte Umgebungen, Konten mit geringsten Berechtigungen, Zulassungslisten und andere betriebliche Sicherheitsvorkehrungen), anstatt sich auf Klarstellungsanforderungen zu verlassen, um Informationen bereitzustellen oder unerwünschte Aktionen zu verhindern.

Welche Betrieblichen Faktoren und Einstellungen ermöglichen eine effektive und verantwortungsvolle Verwendung des Computerverwendungstools?

Das Computerverwendungstool führt am besten aus, wenn klare und detaillierte Benutzeranweisungen bereitgestellt werden. Benutzer sollten präzise Hinweise auf Website- oder Anwendungsinteraktionen geben, um die Zuverlässigkeit und Genauigkeit bei der Aufgabenausführung zu verbessern. Für zusätzliche Transparenz und Kontrolle aktivieren Sie die menschliche Aufsicht, indem Sie einen oder mehrere autorisierte Prüfer auf der Konfigurationsseite der Tools zuweisen. Wenn das Modell potenziell schädliche Anweisungen erkennt, erhalten diese Prüfer Benachrichtigungen, um zu überprüfen und zu entscheiden, ob die Ausführung fortgesetzt oder beendet werden soll.

Wie gebe ich Feedback zum Computerverwendungstool?

Haben Sie Feedback zum Computerverwendungstool? E-Mail computeruse-feedback@microsoft.com.