１．APIを使わずにローカルPCだけで動作するAItuber改め、配信を手伝うAI Agent構想まとめ
・VoiceCoreの認知度向上のためにカスタマーサポートの生産性向上を競うコンペティションに参加する事にした
・具体的にはvtuber/aituber/配信者のユーザー対応(視聴者のエンゲージメント対応)を手伝うAI Agent
・実際に自分自身でも配信してみた結果、Local LLMで完全動作させるニーズはレアケースである可能性に気がつく
２．配信を手伝うAI Agent構想とは？
経緯は上記配信動画内で詳しく説明していますが、以下です。
自社開発の音声合成モデルVoiceCoreの認知度を上げたい
↓
GENIAC PRIZE(日本国内の団体が作ったAI(国産基盤モデル)が実際に社会で使われるように普及促進しましょうという趣旨のコンペ)がある
↓
VoiceCoreは国産基盤モデル登録済なのでGENIAC PRIZEの「カスタマーサポートの生産性向上」に応募してみよう
↓
「配信者の準顧客(視聴者)のユーザーサポート(エンゲージメント)を手伝うAI Agent」という企画案で申請
↓
しかし、実際の配信者ニーズを理解しないまま開発するとニーズを間違う可能性がある
↓
実際に自分自信もAItuber/vtuberデビューを目指して配信者となって配信してみよう
↓
自分でも体験し、先輩AItuberの見ているとやっぱり直感するものがあった
の流れです。
正直、まだAItuber界隈の入口にも立ててないことは自覚してますが、先輩AItuber/AIvtuberの皆さんの配信等を数回見させて頂いて感じた直感がアイキャッチ画像です
すなわち、青春を謳歌する事が目的のおしゃれな大学のテニスサークルで入門者が「お主の必殺サーブを見せてみぃ！」などと言い出しているイメージ
もう少し噛み砕いて説明するとAItuber/AI vtuberは定義も厳密ではないようなのですが、可愛いアバターや美声を愛でるのがメインコンテンツであって、中身のAIにこだわっている人は少数派であって、わざわざセットアップが難しいLocal LLMを極限までFinetuneして動かしたいというニーズは実はレアケースなのではないか、という直感です。
ゼロと言っているわけではなくて、むしろ、私の知り合いはLocal LLM推進派が圧倒的多数派なので自分が世間一般では圧倒的少数派に属している可能性に全く気づけてなかったのですが、まぁ、そうですよね～、APIの方が手っ取り早いし、設備投資も不要ですものね～。実際、動画内で紹介したシステムは
１）NvidiaのGPU付きのPCにLinux入れてCUDAとpytorchと関連pythonライブラリをインストール
２）WindowsPCにpythonとllama.cppと関連pythonライブラリをpipでインストール
が前提で、これ、結構手間がかかりますよね。
セットアップ作業をやるよりはアバターの可愛い衣装や髪型、小道具、声質、演出、実際の配信に注力したい人の方が多いのではないかと感じたのです。
念の為、配信でチラ見せした完全ローカルPC環境で音声認識(ASR)→チャット(SLM)→合成音声(TTS)の一連の流れが実現できるモデルとスクリプトはgithub上で公開したのでご興味を持たれた方は上記の前提条件と実際のスクリプトをchatGPTやgeminiにわたして動かし方やセットアップ方法を質問しながらトライしてみてください。どうしてもわからなかったらTwitterやyoutubeコメント欄等でご質問頂ければと思います。各モデルのモデルカードにもセットアップ手順は書いてあるので参考にしてください。
自分の作成したアバターが動いたりしゃべったりするのを見ているのが楽しい/愛おしいという感覚は、自分のトレーニングしたLLMの出力を読んだり聞いたりするのが楽しい/愛おしいという感覚に通じるものがあるので、根っこは同じなのかもしれませんが、コンペに参加するからには、簡単に使えて広くたくさんの人に有用と思ってもらえるような敷居が低いAI Agentでなければなりません。
第二回の配信(10月4日(土)20時 YouTube Live予定)は既に準備開始してしまっているので引き続き、配信を盛り上げるAItuber(リアクション対応型エージェント)のデモのご紹介がメインの予定ですが、方向性としてはなるべく多くの方の配信作業を陰ながらサポートするAI Agent, AI Manager機能の実装に注力していく感じになるのかな、と思っています。
とはいえ、引き続き、先輩AItuberの皆さんの配信を積極的に視聴させて頂こうと思っておりますのでよろしくお願いします。
