次の方法で共有

フィードバック モデル (非推奨)

Important

新しいユース ケースでは、エージェント コード、サーバー構成、デプロイ ワークフローを完全に制御するために、Databricks Apps にエージェントをデプロイすることをお勧めします。 「AI エージェントを作成して Databricks Apps にデプロイする」を参照してください。

Important

非推奨の通知: フィードバック モデルは 2025 年 12 月 4 日の時点で 非推奨 となり、最新バージョンの databricks-agents ではサポートされなくなりました。

必要なアクション: MLflow 3 を使用して、代わりにモデル 3 をログに記録します 。 次に、代わりに log_feedback API と MLflow 3 Assessments API を使用してフィードバックを収集します。

フィードバック モデルを使用すると、エージェントの応答に関するフィードバックをプログラムで収集できます。 agents.deploy()を使用してエージェントをデプロイすると、Databricks によって、エージェントと共にフィードバック モデル エンドポイントが自動的に作成されます。

このエンドポイントは、構造化されたフィードバック (評価、コメント、評価) を受け入れ、推論テーブルにログ記録します。 ただし、このアプローチは、MLflow 3 のより堅牢なフィードバック機能に置き換えられました。

MLflow 3 への移行

非推奨のフィードバック モデルを使用する代わりに、包括的なフィードバックと評価機能のために MLflow 3 に移行します。

  • 堅牢な検証とエラー処理を使用したファースト クラスの評価ログ
  • リアルタイムトレース統合により フィードバックを即座に可視化
  • 強化された利害関係者コラボレーション機能とのアプリ統合を確認する
  • 自動品質評価による運用監視のサポート

既存のワークロードを MLflow 3 に移行するには:

  1. 開発環境で MLflow 3.1.3 以降にアップグレードします。

    %pip install mlflow>=3.1.3
dbutils.library.restartPython()

  2. レビュー アプリ を有効にして、利害関係者のフィードバック収集を行います。

  3. フィードバック API 呼び出しを MLflow 3 評価ログに置き換えます。

  4. MLflow 3 を使用してエージェントをデプロイします。

    • リアルタイム トレースでは、すべての操作が自動的にキャプチャされます
    • 評価は、統一された可視性のためにトレースに直接アタッチされます

  5. 運用環境の監視を設定する (省略可能):

フィードバック API のしくみ (非推奨)

フィードバック モデルでは、エージェントの応答に関する構造化されたフィードバックを受け入れる REST エンドポイントが公開されました。 エージェントが要求を処理した後、POST 要求を介してフィードバックをフィードバック エンドポイントに送信します。

フィードバック要求の例:

curl \
  -u token:$DATABRICKS_TOKEN \
  -X POST \
  -H "Content-Type: application/json" \
  -d '
      {
          "dataframe_records": [
              {
                  "source": {
                      "id": "user@company.com",
                      "type": "human"
                  },
                  "request_id": "573d4a61-4adb-41bd-96db-0ec8cebc3744",
                  "text_assessments": [
                      {
                          "ratings": {
                              "answer_correct": {
                                  "value": "positive"
                              },
                              "accurate": {
                                  "value": "positive"
                              }
                          },
                          "free_text_comment": "The answer used the provided context to talk about pipelines"
                      }
                  ],
                  "retrieval_assessments": [
                      {
                          "ratings": {
                              "groundedness": {
                                  "value": "positive"
                              }
                          }
                      }
                  ]
              }
          ]
      }' \
https://<workspace-host>.databricks.com/serving-endpoints/<your-agent-endpoint-name>/served-models/feedback/invocations

text_assessments.ratingsフィールドとretrieval_assessments.ratingsフィールドに追加または異なるキーと値のペアを渡して、さまざまな種類のフィードバックを提供できます。 この例では、フィードバック ペイロードは、ID 573d4a61-4adb-41bd-96db-0ec8cebc3744 を持つ要求に対するエージェントの応答が、取得ツールによってフェッチされたコンテキストで正しく、正確で、接地されていることを示しています。

フィードバック API の制限事項

実験用フィードバック API には、いくつかの制限があります。

  • 入力検証なし。 API は、無効な入力でも常に正常に応答します
  • Databricks リクエスト ID が必要です: 元のエージェント要求から databricks_request_id を渡す必要があります
  • 推論テーブルの依存関係:フィードバックは、推論テーブルと固有の制限を使用して収集されます
  • 制限付きエラー処理: トラブルシューティングのための意味のあるエラー メッセージがない

必要な databricks_request_idを取得するには、エージェント サービス エンドポイントへの元の要求に {"databricks_options": {"return_trace": True}} を含める必要があります。

次のステップ

  • Last updated on