こんにちは〜。キュービックインターンのguparupaです。
本日はSkayland Ventures主催の「荒波〜ARAMAMI〜」で総合優秀賞を獲得したインターンエンジニアの倉嶋さんにインタビューをしていこうと思います！
倉嶋さん。本日はよろしくお願いします！
よろしくお願いしま〜す
本日は以下の流れでインタビューをしていこうと思います。
目次
1. 荒波とは
はじめに出場したイベントについて教えてください！
荒波というGeneraltive AIに特化したインキュベーションプログラムに出場しました。開発期間は3週間で開発をして発表しました。その発表結果で良い開発物は投資してもらえます。
何チームくらい参加していたんですか？
15チームくらい参加していて、一人のチームもあれば複数人のチームもありましたよ。僕は一人で参加しました。
その中で総合優秀賞を獲得したのはすごいですね！
2. 開発物と開発した背景
実際に開発したものを見せてもらってもいいですか？
いいですよ。ツイッターに上がっているものになってしまうんですけど、
【インターン先の社長をデジタルクローンに！】
— 倉嶋将矢 (@krap730) 2023年6月2日
これで社長といつでも壁打ちができるようになりました😁
OpenAIのChatGPTやembeddingsなどを使って実現。技術的な詳細はスレッドにて！
①チャットボックスに相談内容を入力
②社長の過去の発言をもとに、「本人の声」「本人の姿」でアドバイス… pic.twitter.com/2URrPFcXXg
社長の世一さんをバーチャルヒューマンにしたんですね！
そうですそうです。(笑)
開発物の簡単な紹介と開発した背景を教えてください！
簡単にいうと、ChatGPTを使って世一さんぽい反応をテキスト生成してもらってその上で音声も生成して口も動かしています。
開発した背景としては「メラビアンの法則(ウィキペディア)」が根底にあって、話の内容よりも言語情報よりも聴覚情報と視覚情報が全体の９割を占めています。なのでバーチャルヒューマンのように言語情報だけではなく、聴覚情報と視覚情報が最も活かされる形をGeneraltive AIで再現しました！
口元が動いているのは魅力的ですね！
3. 技術的に苦労した点
次に技術的に苦労した点はなんでしたか？
これは間違いなく「リップシンク」いわゆる口パクですね。音声に合わせて口を動かすのが本当に大変でした。
どういうアプローチをしたんですか？
実際の開発期間は１週間だったんですけど、そのうちの半分をここに注いでいました。リップシンク機能をつけるために論文を読み漁ったり検索したりしました。実際に調べても使っている技術は分かってもどういう使い方をしているかは分からないのでそこは検証し続けました。
たくさん調べて、Howの部分は自身で検証していったってことなんですね！
ですです。
確かにリップシンクがあることでメラビアンの法則である視覚情報も惹きつけることができますね！１週間でここまで開発できたことは驚きです🫢
4. 総合優秀賞をもらった感想
実際に総合優秀賞をもらった感想を教えてください
実際に荒波に参加するきっかけをくれたのが社長の世一さんだったり、CTOの加藤さんだったので総合優秀賞をもらって「やってみせたぜ(ニヤニヤ)」という感じですね。とにかく勝ちきれたのはすごく良くて、自信に繋がりましたね。
この荒波ではFBはもらえるんですか？
もらえますよ。海外事例のFBをもらえたことが一番嬉しかったです。やはり海外事例は自分で調べるにも限界があったのでそのアドバイスをもらえたことは本当に良かったです。
5. 今後の取り組みや課題
今後の取り組みや課題について教えてください
先に取り組みについて話しますね。今実際にキュービックではAIを取り入れようとしていて以下の記事に書いてある通り動き始めています。そこでバーチャルヒューマンの使い道も探しながら自分でもビジネスを起こしたいと考えています。
今後の課題についてはどうですか？
今後の課題としてはやはり「IP問題」つまり知的財産権の問題ですね。今回の開発物でいうと結局世一さんなので権利が世一さんになります。これを架空の人で行なってしまおうと考えています。また二次元だけではなく、三次元の3DCGにも取り組んでいきたいと思っています。例えばアイドルを作るとか。
いいですね！テキスト入力で、音声や3Dとして動くようになるのはとても便利ですね。
インタビューはこれで終わりにします。ありがとうございました！
ありがとうございました〜
まとめ
今回は倉嶋さんが新しいGenerative AIの使い方を探求してくれました。キュービックインターンの仲間としてはとても誇らしい成績を倉嶋さんが取ってくれました。おめでとうございます。今回でた荒波の結果は以下の記事で参照してください。 prtimes.jp 次回の荒波開催情報は以下のサイトで見ることができますので興味がある方はご覧ください。 svmeetup.connpass.com 最後まで見ていただきありがとうございました。
