利用状況モニタリング
1. ダッシュボード
アクセス方法
アプリケーション一覧から対象アプリを選択します。
左側メニューから「監視」を開きます。
ダッシュボードの基本操作
期間フィルタ: 表示期間（今日、過去7日間、過去30日間など）を切り替えて推移を確認します。
グラフ: 各指標のトレンドを視覚的に把握します。
概要: 総会話数や平均値などのサマリを確認します。
2. 確認できる主要指標（メトリクス）
運用において特に重要な指標とその見方です。
総会話数
アプリケーションの利用総量です。日次・週次の推移を見て、利用が定着しているかを確認します。
アクティブユーザー数
期間内に利用したユニークユーザー数です。利用規模の拡大状況を把握します。
ユーザー満足度率
回答に対する評価（Good/Badなど）の比率です。回答精度の健全性を測る重要な指標です。
トークン使用量
LLM利用に伴うトークン量（入力/出力）です。コスト管理や、異常な大量消費（ループや攻撃など）の検知に利用します。
3. 利用統計の分析アプローチ
3.1 時間帯別分析
ピークタイムの特定: アクセスが集中する時間帯を把握し、インフラ負荷やサポート体制を調整します。
利用パターンの把握: 業務時間内の利用か、夜間の利用かによって、ユーザーの属性や利用目的を推測します。
3.2 質問傾向の分析
頻出トピック: よく聞かれる質問を特定し、関連するナレッジベースや回答精度を重点的に強化します。
回答失敗・低評価: 「回答できなかった質問」や「Bad評価」がついたログを抽出し、追加学習やプロンプト修正の材料にします。
4. データのエクスポートと活用
活用例
週次/月次レポート: KPIの推移をグラフ化して報告資料に利用。
詳細分析: ExcelやBIツールに取り込み、カテゴリごとのクロス集計や、特定のキーワードを含む会話の抽出を実施。
異常検知: 急激な利用増減やエラーの相関関係を調査。
5. KPIとアラート管理
推奨KPI
利用規模: 会話数、アクティブユーザー数
回答品質: ユーザー評価率（Good率）、修正・再生成の発生率
コスト/効率: 1会話あたりの平均トークン数
アラート設定の考え方
モニタリング機能や連携ツールを用いて、以下のような異常値に気づける体制を作ります。
エラー多発: システムエラーやタイムアウトの頻度上昇。
コスト急増: トークン消費量が想定予算ペースを超過した場合。
アラート機能の実装状況はプラットフォームのバージョンやプランに依存します。標準機能にない場合は、API経由での監視や定期的なダッシュボード確認を推奨します。
6. デジタルヒューマン・対話型AI向け指標
音声やアバターを伴う対話型AIの場合、以下の指標も重要になります。
セッション継続時間: ユーザーがどれくらい長く対話を続けたか。
回答完了率: 途中離脱せず、対話が正常に終了した割合。
ターンアラウンドタイム: 音声対話における「沈黙時間」の許容範囲内か。
7. 運用改善サイクル（ルーチン例）
週次
・低評価（Bad）ログの全件確認と原因分析 ・エラーログの確認と技術的な不具合チェック
月次
・KPIの予実管理（目標に対する達成度） ・トレンド分析（利用者の増減傾向） ・ナレッジベースの大規模メンテナンス計画
四半期
・KPI項目の見直し ・モデルのアップグレードやプロンプトの大幅改修検討
継続的なモニタリングとデータに基づく改善により、アプリケーションの価値を高め続けることができます。
最終更新