プラットフォームの概要
概要
デジタルヒューマンプラットフォームは、ユーザーがウェブブラウザ、モバイルデバイス、キオスク、デジタルサイネージなどのアクセスチャンネルを通じてデジタルヒューマンと対話できるようにします。
アクセスチャンネルは、ページに組み込まれたSDKを使用して、ビデオやオーディオデータをデジタルヒューマンプラットフォームに送信し、プラットフォームはさまざまな機能を実行した後、ユーザーが発話したデータ(追加のメタデータを含む)を接続された会話AI/自然言語処理(NLP)/チャットボットサービスに送信します。
会話AI/自然言語処理(NLP)/チャットボットサービスには、デジタルヒューマンがユーザーにどのように返答すべきかを決定するためのロジックとコンテンツが含まれており、プラットフォームにその返答内容を指示します。
プラットフォームは、リアルタイムに音声やアバターのビデオデータを生成し、そのデータをユーザーが受信できるアクセスチャンネルに送信します。
![Notion image](https://www.notion.so/image/https%3A%2F%2Fs3-us-west-2.amazonaws.com%2Fsecure.notion-static.com%2F60f38156-238d-4903-81b0-461f36e92ed0%2Foverview-1-2048x1054.png?table=block&id=4b8d8014-8540-4a83-980c-0a6a6c3aadb6&cache=v2)
下図は、上記の図をより具体的かつ拡張したものです。さまざまな外部システムとの連携が可能であり、有人チャットや有人オペレーターとの連携、eKYCなどとも連携することができます。
※ 標準・オプションに対応するNLP/チャットボットは随時増加していますが、お好みのNLP/チャットボットと接続することが可能です。
![インテグレーションイメージ](https://www.notion.so/image/https%3A%2F%2Fs3-us-west-2.amazonaws.com%2Fsecure.notion-static.com%2F9d4a5c69-3fce-48b9-925f-13d3941b3d36%2Fintegrate-2048x1031.webp?table=block&id=8c6012f5-5b6b-4c28-8576-5321a855d28f&cache=v2)
WEBサイト/アプリ
デスクトップおよびモバイルブラウザ
デジタルヒューマンプラットフォームは、ユーザーがPCまたはスマートフォンのウェブブラウザを使用してデジタルヒューマンと対話できるようにサポートします。
私たちはサブスクリプションサービスを契約しているお客様にJavascript SDKを提供しています。これにより、お客様はデジタルヒューマンをウェブサイト/ウェブアプリケーションに統合して展開することができます。SDKは、ウェブサイト/ウェブアプリケーションとプラットフォーム間の通信を容易にします。
モバイルデバイス
ユーザーはモバイルデバイスでもデジタルヒューマンと対話することができます。
かつてはiOSアプリ向けの組み込みSDKを提供していましたが、現在はWEB SDKのみ提供しています。アプリ側でブラウザを組み込むなどの対応をお願いします。
キオスクやデジタルサイネージ
デジタルヒューマンプラットフォームでは、スクリーン、マイク、スピーカーを搭載したキオスク端末(コンピューティングデバイス)やデジタルサイネージに、ダウンロード可能なアプリケーションをインストールしたり、ブラウザを利用することで、ユーザーはどこでもデジタルヒューマンと対話することができます。
多くの場合、セキュリティと外観の向上のために、必要なハードウェアを収納するケースやスタンドを作成し、お客様のブランディングに合わせます。
デジタルヒューマンプラットフォーム
デジタルヒューマンプラットフォーム(デジタルヒューマンのアニメーション基盤)は、音声認識(STT)や合成音声(TTS)を処理し、同時にアニメーションを描画して、WEBサイトやアプリ、NLPやチャットボットなどの会話AIとの橋渡しをします。
デジタルヒューマンプラットフォームのポリシーとして、音声認識と合成音声の生成に必要な最低限の会話は通過しますが、音声認識や音声合成を行った際に会話ログは一切保存せず、すべて破棄しています。
つまり、運営側は電話サービスと同様に開始と終了のタイムスタンプを取得しますが、会話の内容には一切関与せず、善意の第三者として運営しています。私たちはお客さまのいかなる会話にもアクセスせず、アクセスすることもできない構造になっています。
会話ログを収集したい場合は、会話AI/チャットボットの会話履歴か、下のオーケストレーションレイヤーでログを取得することが可能です。
デジタルヒューマンの世代
デジタルヒューマンにはいくつかの世代があります。
オーケストレーションインターフェース
オーケストレーションインターフェース(オーケストレーションレイヤー)は、デジタルヒューマンプラットフォームとNLP/チャットボットとの会話の橋渡しを行います。サンプルソースコードを公開しているため、お客様の仕様に合わせて自身で開発することも可能です。
オーケストレーションインターフェースの用途は以下を想定していますが、他の用途でも利用することが可能です。
- デジタルヒューマンと会話AI/チャットボットのAPI仕様の差異を吸収する
- 複数の会話AI/チャットボットを同時に利用するためのルーティング
- ログの取得
- 会話の強制的な加工
会話AI/チャットボット
会話AI/チャットボット部分は様々なサービスと接続可能です。ルールベース、一問一答(一問多答)のチャットボット、ChatGPT等をはじめとするLLMとも接続できます。これにより、デジタルヒューマンに個性や知能・頭脳を与えることができます。
既に使用中のチャットボットがある場合は、蓄積されたデータをそのまま利用できます。また、チャットボットのシナリオを変更すれば、デジタルヒューマンはその通りに動作します。NLP/チャットボットはデジタルヒューマンの特徴の一つであり、アバターの制御に使われます。したがって、チャットボットの設定に合わせて、デジタルヒューマンプラットフォームで合成音声やアニメーションを生成します。
接続実績のあるチャットボットについては、下記をご覧下さい。APIがあれば、お手持ちの会話AIやチャットボットと接続できます。
カスタマークラウド等
会話AI/チャットボットと接続することで、会話をパーソナライズしたり、会話を解析してより素晴らしい対話サービスにするための重要な要素です。
カスタマークラウドは、私たち運営側が関与しない企業や団体のクラウドサービスを指します。以下のようなサービスを想定しています。
- オープンデータ
- ビッグデータ
- 顧客データ
- ストレージ
- 有人オペレーターによるチャット・対話サービス
- その他
最終更新日 January 1, 2023