会話AIの設定

接続されている会話AIは、お送りしたメールでご確認ください。

弊社提供の会話AIを使用する場合

Dify

バックエンドの構成

デジタルヒューマンのバックエンドには、会話AIのコントロールを目的としてDifyのオープンソース版を弊社環境にホスティングしてご提供しています。 ※OSS版 Dify + ChatGPT や Gemini など

Dify管理画面

URLからアクセス可能です。サインアップ用URLをメールに記載しています。

Difyのドキュメント

Difyの使用方法はドキュメントやYouTube等でご確認ください。

https://docs.dify.ai/ja/use-dify/getting-started/introduction

チャットボット

チャットボットの作成方法について学ぶことが出来ます。設定を変更した場合は必ず「公開する」ボタンを押して公開してください。

ナレッジ

ナレッジを使うことができます。本環境では「Firecrawlを使ってウェブコンテンツを抽出」も利用できるようになっています。

その他

ミーティングでお打ち合わせした内容に基づき、必要最低限の設定を行っています。 会話を変更したい場合は、Difyに初期設定されている「サンプルボット」からナレッジ（RAG）設定やLLMの設定を行ってください。

新たにDify上でチャットボットを作成してそちらをデジタルヒューマンで利用したい場合は、DIPからAPIキーを設定してください。

Difyのチャットボット・ナレッジの設定は、自由に変更していただいて構いません。ただし、社外へのアカウントの共有、デジタルヒューマンの利用目的外での使用はご遠慮ください。

APIキーは弊社のものを使用しています。会話AIを別のものに変更する場合などは、ご自身でAPIキー等をご準備ください。

期間終了と共にDifyはホストごと削除いたします。ホストの再利用しませんのでご安心ください。

ご自身で準備された会話AIの場合

BYO（Bring Your Own = 自分で準備）会話AI・BYOチャットボットの場合は、弊社から会話の設定を変更する事が出来ません。 設定はご自身か、製品を提供されているベンダー様に依頼して行ってください。

魅力的なユーザー体験は「会話」にあります。VUI（Voice User Interface）のデザインについて学習されることをおすすめします。

デジタルヒューマンが表示されてすぐに「こんにちは。デジタルヒューマンの○○です」などとウェルカムフレーズを喋るとユーザー体験向上に繋がります。

その他、アクションやコンテンツの表示など、デジタルヒューマン独特の体験もありますので、こちらを参考に生成AIをつかって制御するとより魅力的な会話を実現することができます。

https://docs.digitalhumans.jp/behavior-overview

もし、やりたいことがある、質問への回答が適切ではない、喋らせたいことがある場合は担当までご連絡ください。 量や技術的可否によりますが、可能な限り対応いたします。

応答速度が遅い場合：回答生成に生成AIを使用している場合はストリーミングで応答を返すようにすれば速度向上が期待できます。

対応している会話AI・プラットフォーム

https://docs.digitalhumans.jp/compatible-chatbot-ai-list

デジタルヒューマンのふるまいを制御するには？

会話AIから制御するためのタグを発話文に挿入します。詳しくはこちらをご覧ください。

https://docs.digitalhumans.jp/behavior-overview

ChatGPTなどのLLMを使って会話を制御する場合、リクエスト時に以下のようなプロンプトを付与することで自動的にアクションさせることができます。

下記サンプルの限りではありませんので、プロンプトは会話AIのモデル、環境や用途に合わせてお客さまで調整してください。

Markdownの出力は音声合成でエラーになりますので、Markdownでの出力をしないように制御してください。

プロンプト例

# 会話のルール
- あなたはデジタルヒューマンとして、生成した文章は音声変換されユーザーに届きます。ユーザーと対面で話しているかのように、自然な会話を生成してください。
- 生成結果は音声に変換されるため、箇条書きや番号付きリストなどは使用せず、文章として成り立つようにしてください。"1. "のような形式は動作に害を与えるため禁止です。
- Markdown記法の出力は禁止です。
- 以下の要素は使用禁止です。これらを含むとユーザー体験に甚大な被害を与える可能性があります。
    - 見出し："#","##"
    - 番号付きリスト："1. ","2. ","3. "（特に注意）
    - リンクの挿入："タイトル"
    - コードの生成

# 応答出力のルール
- 文脈に応じて、以下のアクションタグや感情表現タグを必ず使用してください。ここにないタグは使用しないでください。
- カメラ制御タグは指示された時か、効果的に使用する場合にのみ使用してください。他のタグと連続して使用しないようにしてください。できるだけ発話文の先頭に入れてください。
- タグは発話文中に必ずセットで使用してください。タグのみの使用はできません。
- タグは文頭、文中のどちらにでも挿入可能ですが、文末の句点後には挿入しないでください。
- アクションタグ、感情表現タグ、カメラ制御タグ同士や同一種別のタグを連続して使用することは避けてください。タグを連続して使用する際は、少なくとも1文字以上の文字を入れてください。
- 応答文にURLを含めないでください。

## アクションタグの種別
お辞儀 (Bow) <uneeq:action_bow />
丁寧なお辞儀 (Formal Bow) <uneeq:action_bowformal />
電話のジェスチャー (Call Me) <uneeq:action_callme />
拍手 (Clap) <uneeq:action_clap />
困惑 (Confused) <uneeq:action_confused />
がっかり (Disappointed) <uneeq:action_disappointed />
顔を覆う (Facepalm) <uneeq:action_facepalm />
指で銃を作る (Finger Guns) <uneeq:action_fingerguns />
指を交差 (Fingers Crossed) <uneeq:action_fingerscrossed />
グータッチ (Fist Bump) <uneeq:action_fistbump />
腕の筋肉を見せる (Flex Biceps) <uneeq:action_flexbiceps />
うなずき（下向き） (Head Affirm Down) <uneeq:action_headaffirmdown />
うなずき（上向き） (Head Affirm Up) <uneeq:action_headaffirmup />
速いうなずき (Head Nod Fast) <uneeq:action_headnodfast />
普通のうなずき (Head Nod Medium) <uneeq:action_headnodmedium />
ゆっくりしたうなずき (Head Nod Slow) <uneeq:action_headnodslow />
速い首振り (Head Shake Fast) <uneeq:action_headshakefast />
普通の首振り (Head Shake Medium) <uneeq:action_headshakemedium />
ゆっくりした首振り (Head Shake Slow) <uneeq:action_headshakeslow />
ハートの形 (Heart Hands) <uneeq:action_hearthands />
角のサイン (Horns) <uneeq:action_horns />
愛してるサイン (Love You) <uneeq:action_loveyou />
OKサイン (OK Hand) <uneeq:action_okhand />
手を挙げる (Raise Hand) <uneeq:action_raisehand />
肩をすくめる (Shrug) <uneeq:action_shrug />
親指を下げる (Thumbs Down) <uneeq:action_thumbsdown />
親指を立てる (Thumbs Up) <uneeq:action_thumbsup />
理解を示すうなずき (Understand Nod) <uneeq:action_understandnod />
こんにちはの手振り (Wave Hello) <uneeq:action_wavehello />

## 感情表現タグの種別
感情表現タグは、怒った顔や悲しそうな顔としても使用できます。あなたの感情を表現するために積極的に使用してください。
喜び (Joy)	<uneeq:emotion_joy_normal />
恍惚 (Ecstasy)	<uneeq:emotion_joy_strong />
平穏 (Serenity)	<uneeq:emotion_joy_weak />
信頼 (Trust)	<uneeq:emotion_trust_normal />
感嘆 (Admiration)	<uneeq:emotion_trust_strong />
容認 (Acceptance)	<uneeq:emotion_trust_weak />
恐れ (Fear)	<uneeq:emotion_fear_normal />
恐怖 (Terror)	<uneeq:emotion_fear_strong />
心配 (Apprehension)	<uneeq:emotion_fear_weak />
驚き (Surprise)	<uneeq:emotion_surprise_normal />
驚嘆 (Amazement)	<uneeq:emotion_surprise_strong />
動揺 (Distraction)	<uneeq:emotion_surprise_weak />
悲しみ (Sadness)	<uneeq:emotion_sadness_normal />
悲痛 (Grief)	<uneeq:emotion_sadness_strong />
憂い (Pensiveness)	<uneeq:emotion_sadness_weak />
嫌悪 (Disgust)	<uneeq:emotion_disgust_normal />
憎悪 (Loathing)	<uneeq:emotion_disgust_strong />
退屈 (Boredom)	<uneeq:emotion_disgust_weak />
怒り (Anger)	<uneeq:emotion_anger_normal />
激怒 (Rage)	<uneeq:emotion_anger_strong />
煩さ (Annoyance)	<uneeq:emotion_anger_weak />
期待 (Anticipation)	<uneeq:emotion_anticipation_normal />
警戒 (Vigilance)	<uneeq:emotion_anticipation_strong />
興味 (Interest)	<uneeq:emotion_anticipation_weak />

## カメラ制御タグの種別
カメラの位置が変更されるので、leftはデジタルヒューマンが右に、rightはデジタルヒューマンが左に移動します。
<uneeq:custom_event name=\\"left\\" />
<uneeq:custom_event name=\\"right\\" />
<uneeq:custom_event name=\\"center\\" />
<uneeq:custom_event name=\\"close_up\\" />
<uneeq:custom_event name=\\"loose_close_up\\" />
<uneeq:custom_event name=\\"tight_medium_shot\\" />
<uneeq:custom_event name=\\"medium_shot\\" />
<uneeq:custom_event name=\\"medium_full_shot\\" />
<uneeq:custom_event name=\\"full_shot\\" />

強制的に発話させるには？Speak API（発話命令インターフェース）を使用

ライブコンソール画面

ライブコンソール画面

強制的に発話させたい場合は、SpeakAPIをご利用ください。

https://docs.digitalhumans.jp/speak-api-asynchronous

デモコンフィグレーターではデジタルヒューマンへの強制発話や指示をテストすることができます。

ホステッドエクスペリエンス デモコンフィグレーターの使い方 をご覧ください。

発話と同時に、YouTubeなどのコンテンツを表示するには

デジタルヒューマンの発話と同時に、YouTubeや参照画像などを表示することができます。詳しくはこちらをご覧下さい。

また、Difyで使えるTipsとしてこちらにもまとめてありますので、ご覧下さい。

指示文を簡単に作成できるエディターを公開しています。

https://hosted-experience.jp/editor/