テストと精度改善
ナレッジベースのテスト方法と精度改善のアプローチを解説します。
ナレッジベースのテスト
テストの重要性
ナレッジベースのテストは、デジタルヒューマンの回答品質に直結します。
- 期待する情報が検索されるか確認
- 無関係な情報が混ざらないか確認
- 検索漏れがないか確認
テスト方法
1. 検索プレビュー
- ナレッジベースの詳細画面を開く
- 「検索テスト」タブをクリック
- テストクエリを入力
- 検索結果を確認
2. アプリからのテスト
- ナレッジベースを接続したアプリを開く
- デバッグモードでテスト
- 検索されたチャンクを確認
テストシナリオの作成
テストケースの種類
カテゴリ | 例 |
基本的な質問 | 「営業時間は？」「価格は？」 |
複雑な質問 | 「AとBの違いは？」 |
表記揺れ | 「返品」「リターン」「返したい」 |
想定外の質問 | 登録されていない内容への質問 |
テストシートの例
テストクエリ | 期待される結果 | 結果 |
営業時間を教えて | 営業時間情報 | ○/× |
返品はできますか？ | 返品ポリシー | ○/× |
おすすめの商品は？ | 人気商品情報 | ○/× |
精度改善のアプローチ
1. ドキュメントの改善
問題 | 対策 |
情報が見つからない | ドキュメントを追加する |
関連情報がヒットしない | 想定される質問キーワードを含める |
情報が古い | ドキュメントを更新する |
2. チャンク設定の調整
問題 | 対策 |
情報が途中で切れる | チャンクサイズを大きく |
ノイズが多い | チャンクサイズを小さく |
文脈が失われる | オーバーラップを増やす |
3. 検索設定の調整
問題 | 対策 |
結果が少なすぎる | TopKを増やす、Score Thresholdを下げる |
無関係な結果が多い | Rerankを有効化、Score Thresholdを上げる |
キーワードがヒットしない | Hybrid Searchに変更 |
継続的な改善サイクル
1. テスト実施
↓
2. 問題点の特定
↓
3. 原因分析
↓
4. 改善策の実施
↓
5. 再テスト
↓
6. 1に戻る精度測定の指標
指標 | 説明 | 目標 |
適合率 | 検索結果が質問に関連する割合 | 80%以上 |
再現率 | 正解が検索結果に含まれる割合 | 90%以上 |
ユーザー満足度 | 実際のユーザーフィードバック | 良好以上 |
お役に立ちましたか？
😞
😐
🤩
最終更新日 December 23, 2025