Skip to main content

Agentforceエージェントが誤った回答をする理由:データ品質の根本原因

Agentforceが誤った回答をする理由:不正確な応答とハルシネーションの背後にある6つのデータ品質の根本原因、それぞれを診断するDQS指標、そして修正法。

更新日

Agentforceエージェントが誤った回答をする理由:データ品質の根本原因

Agentforceの誤った回答のほとんどは、テキストを生成するモデルではなく、エージェントが取得するデータにさかのぼります。Agentforceエージェントは、あなたのSalesforceレコードを読み、見つけたものに応答の根拠を置き、それに基づいてアクションを起こします。そのため、バックにあるレコードが不完全、一貫性がない、古い、または重複していると、エージェントは不良データを正確に取得した結果として、不正確な応答を生み出します。

これはトラブルシューティングガイドです。各セクションは、観察できる障害の症状を、それを引き起こすデータ問題、それを診断するDQS指標、そしてそれを修正する修復ステップに対応づけます。デバッグではなく導入を計画しているのであれば、Agentforceデータ品質ガイドデータ対応チェックリストから始めてください。

そもそもなぜAgentforceは誤った回答をするのか

エージェントは、何もないところから事実を作り出すわけではありません。リクエストに一致するレコードを取得し、アクセスできるフィールドを読み、そのコンテキストから応答を組み立てます。モデルは一貫していますが、その下にあるデータはそうではありません。

ハルシネーションのように見えるものは、多くの場合、エージェントがあなたのレコードに書かれていることを忠実に報告しているだけです。空白のフィールドは、エージェントに根拠を置くものを何も与えません。同じ国の4通りの表記は、4つの回答を与えます。重複レコードは、真実の2つ目のバージョンを与えます。データを修正すれば、これらの障害のほとんどは、エージェントの設定に手を加えることなく消えます。

このパターンは業界全体の傾向であり、あなたの組織に特有ではありません。Gartnerは2024年に、2025年末までにコンセプト実証後に少なくとも30%の生成AIプロジェクトが放棄されると予測しており、質の低いデータを主な原因に挙げています。そしてSalesforceの State of Data and Analytics 調査では、データおよび分析リーダーは26%のデータが信頼できないと評価しています。つまり、その上に構築されたエージェントに誤ったコンテキストを供給するレコードが約4件中1件です。

以下の6つの障害モードは、Salesforce内で測定し是正できるデータの根本原因をカバーしています。

なぜAgentforceの応答は曖昧または一般的なのか

症状。 エージェントが具体的な質問に一般的な返信で答えます。ユーザーがなぜCaseがエスカレーションされたのかを尋ねると、実際の理由ではなく「問題は確認され対処されました」という回答が返ってきます。

根本原因。 不完全なレコード。エージェントが空のDescription、Comments、Resolutionフィールドを持つCaseを取得すると、具体的な回答の根拠を置くコンテキストがありません。読むべき具体的なものが何もないため、曖昧な要約に頼ります。

診断。 フィールド別に分解した完全性率は、エージェントのスコープ内のレコードのうち、コンテキストに必要なフィールドが何件欠落しているかを示します。空のフィールドがまさにエージェントが読むものである場合、全体のスコアが高くても問題は隠れてしまいます。Description、Notes、Comments、Resolutionの完全性を特に確認してください。

修正。 エージェントが応答に使うフィールドの完全性を高めます。信頼できる情報源からバックフィルし、重要なフィールドを入力時に必須にし、スキャンを再実行して確認します。フィールドレベルの診断フローについては、完全性を参照してください。

なぜAgentforceは会話をまたいで自己矛盾するのか

症状。 同じ質問が、セッションごとに異なる回答を返す、または2人のユーザーが同じアカウントについて矛盾する事実を得ます。

根本原因。 一貫性のない値と重複レコード。Countryフィールドに「US」「USA」「United States」「U.S.A.」が含まれていると、エージェントはそれらを4つの別個の値として扱い、取得したものによって回答を分けます。2つのAccountレコードが同じ会社を異なるデータで記述していると、エージェントは最初に見つけたほうから回答します。

診断。 準拠率は、いくつの値が正規セットに一致するかを測定するため、率が低いと、選択リストと参照フィールドが分断されていることが明らかになります。重複率は、いくつのレコードが別のレコードの重複であるかを測定し、これはこの障害のもう半分です。エージェントが読むオブジェクトにわたって両方を実行してください。

修正。 値を制御されたセットに標準化し、重複をマージします。Definition BuilderのImport from Fieldを使って、すでにデータにあるバリアントを発見し、正規値を定義して正規化します。その後、重複レコードをマージし、新たな重複をブロックするマッチングルールを設定します。一貫性一意性を参照してください。

なぜAgentforceは古い情報を返すのか

症状。 エージェントが、成立済みの商談を進行中と報告する、1年前に退職した担当者の名前を挙げる、または差し替えられたレコードから価格を引用します。

根本原因。 古いレコード。エージェントには「古い」という概念がありません。データが最後にいつ更新されたかにかかわらず、内容の一致によって最も関連性の高いレコードを読みます。事実が変わってから更新されていないレコードは、エージェントに時代遅れのコンテキストを供給します。

診断。 適時性率は、LastModifiedDateやビジネス上の日付といった日付フィールドで定義した鮮度のしきい値の範囲内に、いくつのレコードが収まっているかを測定します。エージェントのオブジェクトで適時性率が低下していると、エージェントが古い事実を表面化させる可能性がますます高まります。適時性を参照してください。

修正。 鮮度のしきい値を過ぎたレコードをフラグし、再エンゲージメントまたはアーカイブのワークフローへ振り分けます。もはや回答に反映されるべきでないレコードをアーカイブまたは除外し、エージェントがそれらを取得しなくなるようにします。古さが見えるよう、適時性スキャンを繰り返すようスケジュールしてください。

なぜAgentforceは表に出すべきでない機密データを表面化させるのか

症状。 生成された応答に、Social Security Number、クレジットカード番号、またはエージェント出力に現れる理由のない別のPIIが含まれます。

根本原因。 自由記述フィールドに置かれたPII。email-to-case、チャットのトランスクリプト、手書きのメモが、個人データをDescriptionやCommentsフィールドに取得します。エージェントがそうしたレコードの1つを取得すると、PIIはAIのコンテキストに入り、応答に現れることがあります。

診断。 PII Exposure Rateは、スコープ内のレコードのうち、テキストフィールドにわたって検出可能なPIIを含むものがいくつあるかを測定します。露出は汎用的なcommentやdescriptionフィールドに隠れているため、PIIという名前のフィールドではなく、エージェントが読めるすべてのテキストフィールドをスキャンしてください。PII Detectionを参照してください。

修正。 PIIスキャンで検出結果を特定し、確認したマッチをマスク、削除、または制限します。一致するパターンが想定され正当であるフィールドには、フィールドごとのパターンオーバーライドを設定し、実際の露出に対処できるようにします。スキャンを再実行して検証し、導入前にPIIコンプライアンスガイドを確認してください。

なぜAgentforceは正しいレコードを見つけられないのか

症状。 エージェントが、存在する顧客を見つけられないと報告する、または全く別のレコードを取得します。ユーザーがメールで検索しても、エージェントは何も返しません。

根本原因。 無効なフォーマットと検索できない値。「john [at] company dot com」として保存されたメール、句読点が一貫しない電話番号、または誤ったフォーマットのIDは、エージェントが実行するルックアップに一致しません。レコードは存在しますが、エージェントはそれを解決できません。

診断。 妥当性率は、メール、電話、識別子といった構造化フィールドで定義したフォーマットルールを、いくつの値が通過するかを測定します。主要なルックアップフィールドで妥当性率が低いと、取得の失敗が予測されます。妥当性を参照してください。

修正。 エージェントが検索するフィールドの不正な値を一括修正し、新しいレコードでフォーマットを強制する入力規則を追加します。フォーマットエラーが応答を劣化させるだけでなく取得そのものを壊す、ルックアップとマッチングを駆動するフィールドに焦点を当てましょう。

なぜAgentforceの回答は時間とともに悪化するのか

症状。 エージェントは立ち上げ時にはうまく機能していたのに、数週間かけて劣化します。クリーンな導入の後、曖昧な回答、矛盾、古い事実が再び現れます。

根本原因。 モニタリングのないデータ品質の劣化。立ち上げ前にクリーンにしたレコードは、ユーザーが新しいデータを入力し、インテグレーションが新しいレコードを書き込み、エージェント自身がフィールドを更新するにつれて劣化します。一度きりのクリーンアップはスナップショットであり、そのスナップショットは古くなります。

診断。 劣化を捕捉する単一の指標はありません。劣化はトレンドで捕捉します。6つの次元すべてにわたって定期スキャンをスケジュールし、各率を時系列の線として見守ることで、新しいインテグレーションやプロセス変更が不良データを持ち込んでから数日以内に落ち込みが現れます。結果を理解するを参照してください。

修正。 エージェントのスコープ内のオブジェクトにスケジュール化された定期スキャンを設定し、Insight Studioで指標のトレンドを追跡します。リスクに応じてサイクルを設定してください。大量のテキストフィールドには毎週のPIIスキャン、完全性と一貫性には毎月、フルスキャンには四半期ごとです。回答に到達する前に、ダッシュボードで劣化を捕捉しましょう。

症状から修正への対応表

症状 根本原因 DQS指標 修正
曖昧または一般的な応答 不完全なレコード(空のDescription、Notes) 完全性率 コンテキストフィールドをバックフィルし、入力時に必須にする
会話をまたいだ矛盾する回答 一貫性のない値と重複レコード 準拠率、重複率 値を標準化し、重複をマージし、マッチングルールを追加する
古い情報 古いレコード 適時性率 鮮度のしきい値を過ぎたレコードをフラグしアーカイブする
機密データの表面化 自由記述フィールド内のPII PII Exposure Rate テキストフィールドをスキャンし、検出結果をマスク・削除・制限する
正しいレコードを見つけられない 無効なフォーマット、検索できない値 妥当性率 フォーマットを一括修正し、ルックアップフィールドに入力規則を追加する
回答が時間とともに悪化する データ品質の劣化、モニタリングなし 6つすべて(トレンド) 定期スキャンをスケジュールし、Insight Studioでトレンドを追跡する

この診断の実行方法

エージェントが読むすべてのオブジェクトに対してDQSスキャンを実行し、6つの指標をまとめて確認します。スキャンは完全にSalesforce内で実行されるため、データが組織を離れることはありません。弱い各指標を上の表の症状に対応づけ、優先順位順に修復し、修正が持続するようスキャンを繰り返すようスケジュールしてください。完全な準備ワークフローについては、Agentforce向けデータクリーンアップガイドを参照してください。

次のステップ