「中の人」がいない歌唱合成をしようの会

この記事は文化祭に寄稿させていただいた記事に一部加筆修正し、転載したものです。

はじめに

UTAUを知っていますか？「UTAU」と言うのは、超簡単に言うと、自分でボーカロイドのようなものを作成することができるソフトウェアです。
さて、自分で作れるとはいえ、私は自分の声で作る気にはなれなかったんですよね。

というわけで楽器をUTAU音源化しようと思います。録音環境が劣悪だった為試作として自分とは縁もゆかりもないフルートの音源を利用して作ってます。ゆるして

技術面の話

まず、UTAUやVOCALOID（バージョン５まで）は、「コーパスベース合成方式」をとっていると言うことが重要です。耳慣れない単語だと思いますが、やっていることは単純です。
例えば「うさぎ(u sa gi)」と喋らせたい場合を考えていきましょう。この場合、日本語が子音と母音に別れていることから、

「u（母音）」「a（母音）」「i（母音）」
と、
「s（子音）」　「g（子音）」

の音声ファイルを用意し、適切な順番と音量でならべて再生してあげると、「うさぎ」と発音されたように聞こえる、と言うわけです。
イメージとしては、お寿司はご飯部分と具材部分に分かれてて、それぞれを別に作った後にくっつけたらちゃんとお寿司になるよね、っていう感じです。
前述のUTAUやVOCALOID、ボイスロイドもこの合成方式に該当します。ゆっくりボイスもこの合成方式です。

母音に応じて子音の発音も微妙に変わるので、最終的には５０音全ての音源ファイルが必要です。ですが、「母音と子音を合体させて発音させることができる」というのがとても重要なので覚えておいてください。

ということで、５０音の音声ファイルを作ることが必要だということになります。一つの音程について５０音のファイルを作れれば、他の音程についてはUTAU側が勝手に作ってくれます。

さて、どうやって声を上げない楽器から５０音分ものファイルを作るか、という壁が立ちはだかって来ます。こんな時頼りになるのはインターネットの大海です。大海には、なんと単純な正弦波から声を作った偉人がいます。制作方法の動画はこちら。

上にリンクを貼った動画では、簡単に言うと、人間の声のファイルから、どの振動数の音を重ねるとそれぞれの母音に聞こえるようになるかや、子音の波形を見て、オーダシティ（波形編集ソフト）で元にする音を切ったり貼ったりして、人間の声の波形を真似しています。

それから、母音に関しては、Vocalizerと言うソフトで、元となる音（以後原音と表記）さえあれば作ってくれます。このソフト作ってる会社がゆっくりボイスを作ってます。かがくの　ちからって　すげ〜！

声の波形は主にこのサイトを参考にしました。
http://myonseininsiki.syogyoumujou.com/boin_aiueo.html（サイト生きててよかった〜）

と言うわけで、同じようにして作った作業の成果を一部お見せします。

試作品

これ↓が元の音に採用した「原音」。切り取りが面倒だっただけで、冒頭以外に音は入ってない。

これ↓はギロの音源を加工して作った「子音のひながた」（子音のたたき台）

で、原音を加工して作った「いの母音」はこれ↓

で、これらのファイルををいい感じに切って（切って）貼って（貼って）貼ったら出来上がったのが、これ↓。一番出来がよかった「き」の音源です。

、これなんで完成しなかったかというと、「さ行」でつまづいたからです。
あの独特のスーって発音がどうにもならなかった。　子音の雛形を変えてみてもだめだったんですよね。

今後の展望

まず、当時より録音環境がよくなったから、実際に私の声をサンプルとして真似できる
さらに、当時より知恵が向上している
と、このへんを根拠に、またのんびり作ってみようかと思っています。

名付けやイラストもいつかできたらいいなと空想しています。
あとめっちゃ夢をいうなら、Live2Dか何かで動かせるようにしたい。なんならリアタイでトーク変換したい。

それから、AI合成にもっと詳しくなりたいですね。しばらく情報追ってなかったらこんなのとかこんなのとかこんなのが出てきている…　特に、コエイロインクは自分の声で作れるみたいなのでかなり興味があります。

ここまでお読みいただきありがとうございました。質問、感想あればコメントにぜひお願いします。