この FAQ では、Copilot Studio の分析支援機能における AI の効果について説明します。
生成 AI は分析にどのように使用されますか?
Copilot Studio は AI を活用し、生成応答の品質を測定するとともにクラスターを作成します。これらのクラスターはエージェントのパフォーマンスに関する分析情報を提供するために使用されます。
生成応答では、選択したナレッジ ソースを使用して応答を生成します。 この機能では、提供したフィードバックも収集されます。 分析は、大規模言語モデル (LLM) を使用して、ユーザーとエージェント間のチャットメッセージを、生成型回答の品質を示すレベルに分類します。 Copilot Studioはこれらの指標をまとめ、エージェントの全体的なパフォーマンスをまとめて提供します。
クラスタリングは LLM を使用して、ユーザーのメッセージを共通の主題に基づいてグループに分類し、各グループに説明的な名前を付けます。 Copilot Studio は、これらのクラスター名を使用して、エージェントの改善に活用できるさまざまなタイプの分析情報を使用します。
生成回答の応答の品質
使用する応答の品質は何ですか?
作成者は応答品質分析を使用し、エージェントの利用状況とパフォーマンスに関する分析情報を発見し、エージェントの改善に向けたアクションを作成します。 現在、分析はエージェントの生成的回答の質がメーカーの期待に応えているかどうかを理解するために使われています。
全体的な品質に加え、応答の質分析はエージェントがパフォーマンスが悪い、あるいはメーカーの意図した目標を達成できていない部分を特定します。 メイカーは生成回答がパフォーマンスが低い分野を定義し、その質を向上させるための措置を講じることができます。
さらに、パフォーマンスの低下を特定する際には、品質向上に役立つベストプラクティスがあります。 たとえば、パフォーマンスの低いナレッジソースを特定した後、作成者はそのナレッジソースを編集するか、より焦点を絞った複数のソースに分割することで品質を向上させることができます。
応答の品質に関する分析を作成するために使用するデータは何ですか?
応答の質に関する分析は、生成型応答のサンプルを使用して算出されます。 生成モデルが生成応答に使用するには、ユーザーのクエリ、エージェントの応答、関連するナレッジソースが必要です。
応答品質の分析は、生成された回答の品質が良好かどうかを評価するためにこの情報を使用して、良好でない場合には、その品質が低い理由を特定します。 たとえば、応答の質によって、不完全な応答、関連性のない応答、あるいは十分に根拠付けられていない応答を特定できます。
応答品質分析の制約、またユーザーはそれらの限界点の影響を最小限に抑えるにはどうすればよいですか?
応答の品質分析は、すべての生成応答を使用して計算されるわけではありません。 代わりに、分析はユーザー エージェント セッションのサンプルを測定します。 生成回答の成功数が最小限の基準に達していないエージェントは、応答品質の分析概要を受け取ることができません。
分析では個々の応答が正確に評価されない場合があります。 集計レベルでは、ほとんどのケースで正確である必要があります。
応答の質分析は、低品質パフォーマンスを引き起こした具体的なクエリの内訳を提供しません。 また、低品質な回答が発生した際に使用された、一般的なナレッジソースやトピックの内訳も提供していません。
生成ナレッジを使用した回答については、分析は計算されません。
回答の完全性は回答の質を評価する指標の一つです。 この指標は、回答が検索された文書の内容にどれだけ完全に対応しているかを測定します。
もしシステムが質問に追加情報を含む関連文書を取得しなければ、その文書の完全性指標は評価されません。
責任あるAIのために、Copilot Studio内の応答分析の質を確保するための保護策はどのようなものか?
エージェントのユーザーは分析結果を確認できません。分析結果はエージェント作成者と管理者のみが使用できます。
作成者と管理者は、応答の品質に関する分析機能を使用して、良質な回答の割合と、低品質な回答の事前定義された理由を確認することのみが可能です。 作成者は良質な回答の割合と事前定義された理由のみを確認できます。
開発中に回答の品質に関する分析機能を徹底的にテストし、良好なパフォーマンスを確保しました。 しかし、稀に反応の質評価が不正確になることがあります。
会話セッションにおける感情分析
感情分析の意図された用途は何ですか?
メイカーは、ユーザーメッセージのAI分析に基づき、会話セッションにおけるユーザーの満足度を感情分析で把握します。 メーカーはセッション全体の感情(ポジティブ、ネガティブ、ニュートラル)を理解し、その理由を調査し、それに対処するための対策を講じることができます。
会話セッションで感情を定義するために使われるデータは何でしょうか?
Copilot Studioは、ユーザーからエージェントへのメッセージをもとに、サンプルの会話セッションのセンチメント分析を計算します。
センチメント分析はその情報をもとに、セッション中のユーザーの満足度が肯定的か否定的か中立的かを評価します。 例えば、ユーザーはエージェントとのやり取りに基づいて、フラストレーションや不満を示す言葉や口調を使うことができます。 この場合、そのセッションはネガティブセンチメントとして分類されます。
感情分析の限界は何であり、ユーザーはこれらの制約をどのように緩和できるのでしょうか?
感情分析はすべての会話セッションで計算されるわけではありません。 代わりに、分析はユーザー エージェント セッションのサンプルを測定します。 1日の成功した生成回答数を最低限満たさないエージェントは、感情スコアを受け取ることができません。
感情分析は現在、生成回答に依存しており、エージェントの感情スコアを計算するために最低限の1日の成功回答数が必要です。
セッションのセンチメントを計算するには、少なくとも2つのユーザーメッセージが必要です。 さらに、現在の技術的制約により、合計26件を超えるセッション(ユーザーメッセージとエージェントメッセージの両方を含む)では感情分析は行われません
センチメント分析は、センチメントスコアに至った特定のユーザーメッセージの内訳を提供しません。
責任あるAIのためにCopilot Studio内の感情分析にはどのような保護策が設けられていますか?
エージェントのユーザーは分析結果を確認できません。分析結果はエージェント作成者と管理者のみが使用できます。
メイカーや管理者は、すべてのセッションにおける感情の内訳を見るためにのみセンチメント分析を使えます。
開発中に感情分析を徹底的にテストし、良好なパフォーマンスを確保しました。 しかし、稀に感情評価が正確でないこともあります。
ユーザーの質問のテーマ
テーマを使用する目的は何ですか。
この機能により、多数のユーザー クエリが自動的に分析され、テーマ と呼ばれる大まかなトピックにグループ化されます。 各テーマは、ユーザーが質問した単一の大まかな件名を表します。 テーマは、ユーザー コンテンツのデータに基づく教師なしビューを提供します。 このビューは、何千ものクエリを手動で確認することなく、ユーザーが最も関心を持っていることをチームが理解するのに役立ちます。
クラスターの作成にはどのようなデータを使用しますか。
テーマ機能は、生成的な回答をトリガーするユーザー クエリを使用します。 テーマは、過去 7 日間のすべてのクエリを分析して、提案された新しいテーマを生成します。
テーマでは、グループ クエリにセマンティック類似性が使用されます。 言語モデルを使用して、各クラスターのタイトルと説明を生成します。 クラスタリングの品質を向上させるために、作成者からのフィードバック (良い/悪い) も収集されます。
テーマのクラスタリングにはどのような制限事項がありますか。また、ユーザーがこれらの制限事項をどのようして軽減すればよいですか。
テーマへのクラスタリングの成功は、クエリの量によって異なります。 十分なクエリがない場合、またはクエリが相互に関連付けられていない場合、Copilot Studio はクエリを過度に広いテーマまたは過度に狭いテーマにクラスター化する可能性があります。
テーマは、類似のトピックを分割したり、関連のないトピックをマージしたりする場合があります。
クエリ内の言語のシフトは、時間の経過に伴うクラスターの一貫性に影響する可能性があります。
作成者は、テーマを定期的に確認し、名前付けの品質を向上させるためのフィードバックを提供できます。
Copilot Studio では、責任ある AI に関してどのようなテーマへの保護策が講じられていますか。
テーマは、作成者と管理者にのみ表示されます。 コンテンツ モデレーションは、有害または不適切な出力のリスクを軽減するために名前と説明を生成するときに適用されます。