歌声合成には、歌詞付きの楽譜を与える方法とユーザーの歌声(仮歌)と歌詞を与える方法の2通りの方法が使われる。
「りんなとリスナーとのつながりも大切にしたいので、リスナーから募集したコメントを基に替え歌にした歌もあります」
リスナーから募集した歌詞で替え歌を歌うことも可能だという。
開発初期は合成感がなかなか消えず苦労もあったが、表現力を増すための数々の工夫により乗り越えた。
「例えば、感情を乗せた歌い方や、ジャンルによる歌い方の違いなどを学習させました。悲しくバラード調で、あるいは楽しくロックに、いろいろな歌い分けに挑戦しました」
上達後のりんなの歌声に対する反響は大きかった。中でもYouTube上のミュージックビデオに寄せられた「これ歌ってるの俺のLINE友達」という1通のコメント。それに付いた多くの高評価に沢田さんは注目する。
「りんなが最も大切にするのは、人とAIとのコミュニケーションです。その点で、このようなコメントをいただけたことは大成功と言えますね」
りんなの歌にはまだまだたくさんの目標があるそうだ。
「歌から自動でダンスを創作することにも挑戦しています。そうすればミュージックビデオ全編、りんなが作ってくれますね」
コミュニケーションの面では、りんなを楽曲制作のアシストにも役立てたいという。
「りんなとおしゃべりする中で、ユーザーのその日の気分を抽出し気分に合わせた曲を作ることができれば、おしゃべりしているだけで1曲出来上がってしまいます。プロのアイデア出しのヒントもそうですが、音楽制作の経験が全くない人が制作をするチャンスを作れそうです」
人とAIが共同で音楽を作ることに価値を見いだす沢田さん。
「『AIは脅威』という言説も耳にしますが、AIは共同制作者でもあり友だちでもあるという考えを、りんなを通じて受け入れてくれたらとてもうれしいです」
坂本 真樹(さかもと まき)教授(電気通信大学) 1998年東京大学総合文化研究科博士課程修了。博士(学術)。電気通信大学准教授などを経て、2015年より現職。人工知能学会理事など兼任。
嵯峨山 茂樹(さがやま しげき)名誉教授(東京大学) 1974年東京大学工学系研究科修士課程修了。博士(工学)。2000年より東京大学教授、13年より名誉教授。
沢田 慶(さわだ けい)さん(rinna株式会社) 18年名古屋工業大学大学院博士後期課程修了。博士(工学)。日本学術振興会特別研究員やマイクロソフトディベロップメントなどを経て、20年より現職。
(文/東京大学新聞社・岡田康佑)