利用状況モニタリング
dify-docs-usage-monitoring
1. モニタリングダッシュボード
アクセス方法
- アプリケーション一覧から対象アプリを選択します。
- 左側メニューまたは上部タブから「モニタリング」を開きます。
ダッシュボードの基本操作
- 期間フィルタ: 表示期間（今日、過去7日間、過去30日間など）を切り替えて推移を確認します。
- グラフ: 各指標のトレンドを視覚的に把握します。
- 概要: 総会話数や平均値などのサマリを確認します。
2. 確認できる主要指標（メトリクス）
運用において特に重要な指標とその見方です。
指標名 | 内容・活用方法 |
メッセージ数 / 会話数 | アプリケーションの利用総量です。日次・週次の推移を見て、利用が定着しているかを確認します。 |
アクティブユーザー数 | 期間内に利用したユニークユーザー数です。利用規模の拡大状況を把握します。 |
トークン消費 | LLM利用に伴うトークン量（入力/出力）です。コスト管理や、異常な大量消費（ループや攻撃など）の検知に利用します。 |
平均応答時間 | ユーザーが入力を終えてから応答が始まる（または完了する）までの時間です。UX（体感品質）に直結するため、悪化していないか注視します。 |
ユーザーフィードバック | 回答に対する評価（Good/Badなど）の比率です。回答精度の健全性を測る重要な指標です。 |
3. 利用統計の分析アプローチ
3.1 時間帯別分析
- ピークタイムの特定: アクセスが集中する時間帯を把握し、インフラ負荷やサポート体制を調整します。
- 利用パターンの把握: 業務時間内の利用か、夜間の利用かによって、ユーザーの属性や利用目的を推測します。
3.2 質問傾向の分析
- 頻出トピック: よく聞かれる質問を特定し、関連するナレッジベースや回答精度を重点的に強化します。
- 回答失敗・低評価: 「回答できなかった質問」や「Bad評価」がついたログを抽出し、追加学習やプロンプト修正の材料にします。
4. データのエクスポートと活用
手順
- 「モニタリング」画面を開きます。
- 対象期間を選択します。
- 「エクスポート（ログのエクスポート）」機能を使用し、CSV形式などでダウンロードします。
活用例
- 週次/月次レポート: KPIの推移をグラフ化して報告資料に利用。
- 詳細分析: ExcelやBIツールに取り込み、カテゴリごとのクロス集計や、特定のキーワードを含む会話の抽出を実施。
- 異常検知: 急激な利用増減やエラーの相関関係を調査。
5. KPIとアラート管理
推奨KPI（重要業績評価指標）
- 利用規模: 会話数、アクティブユーザー数
- 回答品質: ユーザー評価率（Good率）、修正・再生成の発生率
- コスト/効率: 1会話あたりの平均トークン数
- パフォーマンス: 平均応答時間
アラート設定の考え方
モニタリング機能や連携ツールを用いて、以下のような異常値に気づける体制を作ります。
- 応答遅延: 平均応答時間が閾値（例: 5秒以上）を超え続けている場合。
- エラー多発: システムエラーやタイムアウトの頻度上昇。
- コスト急増: トークン消費量が想定予算ペースを超過した場合。
アラート機能の実装状況はプラットフォームのバージョンやプランに依存します。標準機能にない場合は、API経由での監視や定期的なダッシュボード確認を推奨します。
6. デジタルヒューマン・対話型AI向け指標
音声やアバターを伴う対話型AIの場合、以下の指標も重要になります。
- セッション継続時間: ユーザーがどれくらい長く対話を続けたか。
- 回答完了率: 途中離脱せず、対話が正常に終了した割合。
- ターンアラウンドタイム: 音声対話における「沈黙時間」の許容範囲内か。
7. 運用改善サイクル（ルーチン例）
頻度 | アクション |
週次 | ・低評価（Bad）ログの全件確認と原因分析
・エラーログの確認と技術的な不具合チェック |
月次 | ・KPIの予実管理（目標に対する達成度）
・トレンド分析（利用者の増減傾向）
・ナレッジベースの大規模メンテナンス計画 |
四半期 | ・KPI項目の見直し
・モデルのアップグレードやプロンプトの大幅改修検討 |
継続的なモニタリングとデータに基づく改善により、アプリケーションの価値を高め続けることができます。
お役に立ちましたか？
😞
😐
🤩
最終更新日 February 20, 2026