
音声AIで今日できること、まだできないこと
こんにちは!イレブンラボジャパン広報室です。
前回の自己紹介記事、想像していたよりたくさんの方に読んでいただきました。ありがとうございます涙涙(うれし涙!)
第2回目。色々書きたいことが盛りだくさんなのですが、今回は音声AIに興味を持ってくださっている方との会話でよく聞かれる質問にお答えしてみようと思います。
「結局イレブンラボさんって、今どこまでできるんですか?」
これ、結構よく聞かれます。
デモを見ると何でもできそうに見えるし、でも実際に触ると「あれ、ここは意外と苦手なんだ」という部分もある。
その差がいちばんモヤモヤするところだと思うんですよね。
なので今日は、できることと、まだできないことを両方書きます。できないほうも、けっこう正直に書いてみたいと思います。
今日、できること
企業向けと個人向けでパッキリ分けられるものではないのですが、なんとなく分けたほうがイメージしやすいので、そんな感じで並べてみます。
企業側
・日本語しか話せない日本企業の経営者が、自分自身の声のまま、世界中の社員や顧客に語りかけられるようになる。通訳を介した「伝言」ではなく、本人の声とトーンで届く。最新の『Dubbing v2』は90言語以上に対応していて、話し方の熱量までそのまま運びます。
・AIエージェントが問い合わせの一次対応を引き受けることで、人は判断や交渉が必要な高度な対応にだけ集中できるようになる。電話をかけるお客様も、待ち時間が短くなる。NTTドコモビジネスさんとは、この形での協業を始めています。
・現場で手が塞がっている人が、話しかけるだけで必要な情報にたどり着けるようになる。SORABITOさんがコマツさん向けに構築した整備技術者向けアシスタント「TakumiX」は、まさにこれを実証実験中です。工具を持ったまま、声で聞けるようになるということです。
・会議や商談の記録が、後から人の手で整えなくても残るようになる。『Scribe v2 Realtime』は150ミリ秒未満でリアルタイムに文字起こしします。議事録を取ることに気を取られず、議論そのものに参加できるようになる、というほうが近いかもしれません。
・自社の動画や研修教材を、数十言語に展開できるようになる。翻訳会社の十印さんは、これを企業向けの多言語吹き替えサービスとして提供しています。
クリエイター・個人側
・声優さんが、自分の声のトーンやニュアンスを保ったまま、世界の何十か国語に吹き替えられるようになる。声優の梶裕貴さんには、展覧会「記憶汚染展」の英語版音声ナビゲーションで、まさにこれをやっていただきました。ご本人の声のまま、英語で話しています。
・楽器が弾けなくても、曲が作れるようになる。『Eleven Music』は文章で指示すると歌の入った曲まで作れます。7月には自分の声で歌える『Vocals』も出ました。CyberAgent Legitさんは、この技術で作った楽曲をワンマンライブで披露されています。
・個人でオーディオブックやeラーニング、ゲームのボイスを作れるようになる。以前ならスタジオを押さえて、声の方を手配して、収録日を合わせて、という工程が必要だったところです。企画の段階で「とりあえず音にしてみる」ができると、創作もとても速くなります。
・ラジオの企画に、AIのパーソナリティが参加できるようになる。J-WAVEさんにて当社が提供するコーナー『ElevenLabs MORNING RESEARCH』では、別所哲也さんの隣で「ラボちゃん」というAIキャラクターが喋っています。人の代わりに立つのではなく、相方が増えるという使い方です。
・遠くにいる家族の代わりに、AIが定期的に電話をかけられるようになる。高知発の「リリーメモリー」は、独居の高齢の方に家族の声で電話をかけるサービスです。使い方によっては、こういうこともできる。
並べてみると、共通しているのは
「これまで人が全部やらざるを得なかった単純な部分が減って、人にしかできない部分に時間を寄せられる」という形になっているのではないかな、と思います。
まだできないこと
イレブンラボジャパンの広報室的にはここからが本題かも、と思っています。
日本語の読みを、時々間違えます
「日本橋」は東京なら「にほんばし」で大阪なら「にっぽんばし」のように、特に地名と人名で間違ってしまうことが多いと思います。
また、「上手」も「かみて」なのか「じょうず」なのか、はたまた「うわて」なのか。こういうところで、たまに間違えてしまいます。
こらはもう英語ではほぼ起こりません。日本語は同じ表記で読みが変わる語が多く、学習データの量も英語とは桁が違います。構造的に難しい領域ともいえます。
実務では、読ませたい語句を辞書として事前登録することで回避できます。固有名詞が繰り返し出るコールセンターや社内アナウンスのような用途では、初期設定さえ済ませれば問題になりません。逆に、未知の固有名詞が次々出てくる用途は、現時点では向いていません。
リアルタイムの同時通訳は、まだできません
イレブンラボに期待されているかどうかは正直わからないのですが、たまに聞かれるので書いておきます。
「今しゃべっている言葉が、その場で別の言語になって相手に届く」という同時通訳は、まだ製品として提供できていません。公式のドキュメントにも、リアルタイムの吹き替えは現時点では提供していないと書いてあります。
ただし部品は揃いつつあります。150ミリ秒で文字起こしできて、75ミリ秒で音声を生成できる。でも、その間に「翻訳」を挟んだときに、会話として成立する速さと自然さで返せるか。ここがまだ越えられていません。
そもそも通訳という仕事は、相手が言い終わる前に文の着地を予測しながら訳しているわけで、あれを機械でやるのはかなり難しいことなんだなと、調べるほど思います。研究は続いています。
「間」が、あともう一歩
TTS(Text-To-Speech)と呼ばれるテキストの読み上げも、AIエージェントとの会話も、かなり人間らしくなってきました。感情も乗るし、抑揚もつきます。
ただ、人同士の会話で何気なくやっていることが、まだできません。
相手が話し終わる前に「あー、はいはい、なるほどね」と被せる相槌。答える前に置く、ほんの少しの間。「そうですよね…」と言うときの、あの微妙なトーン。
こういう、言葉の内容そのものではない部分が、会話の自然さをかなりの割合で作っているんですよね。ここがあともう一歩です。
話している内容が正確でも、なんとなく「AIと話しているな」と感じる瞬間があるとしたら、たぶん原因はここなんじゃないかなと思いっています。
用件が明確な問い合わせ対応では実用上ほとんど問題になりませんが、雑談や情緒的なやり取りが本質になる用途では、まだ難しいのが現状です。
しかもこれ、日本語だと難易度が上がります。相槌の多さも、間の取り方も、言語によってかなり違うので。「ええ」「はい」「なるほど」を相手の話に重ねていくのは、けっこう日本語的な会話の作法です。
それでも、日進月歩です!
こうして並べると、できないことがけっこうあるように見えるかもしれません。
ただ、この記事を書いていて改めて思ったのは、ここに書いた「できないこと」は、1年前だったらもっとずっと長いリストだったということです。
実際、イレブンラボは2025年の4月に日本に本格上陸していますが、1年前を思い出すと、まだまだ全然できないことは多くありました。
日本語の文字起こしの誤り率は、昨年11月時点の4.2%から、この7月には3.1%まで下がりました。吹き替えの対応言語は90を超え、感情まで運べるようになりました。音楽は気に入らない部分だけを選んで作り直せるようになりました。数か月単位で、できることが増えていきます。
本当にまさに日進月歩で、社内にいても毎週何かが変わっていて、追いかけるのが大変なくらいです(広報室としては、うれしい悲鳴です)。
まだまだできないことがあっても、日々ものすごい勢いで改善されていく。だから今日の「できない」は、そんなに長く「できない」のままではないと思っています。
最後までお読みいただきありがとうございました。
このアカウントでは、これからも音声AIのことを日本語で書いていきます。「これができるかどうか知りたい」というリクエストがあれば、ぜひコメントで教えてください!
全部にお答えできるかどうかはわからないのですが、なるべく今後の記事のネタにさせていただきます。
導入のご相談や、自社のユースケースで試してみたいという方は、こちらのフォームからご連絡ください。日本語で対応いたします!
そして個人・小規模事業者の方は、無料プランからすぐにお試しいただけますので、ぜひぜひ気軽に触ってみてください!