【ＡＩ】元歌手と判別できないレベルのAI歌声合成、名古屋工業大学と音声ベンチャーが開発［12/14］

**しじみ ★** · 2018/12/14(金) 14:59:47.35

名古屋工業大学国際音声言語技術研究所と音声合成を柱とするベンチャー企業テクノスピーチは12月12日、これまでの歌声合成とは一線を画す、元の歌い手の声質、癖、歌い方といった特徴を捉えた歌い方をディープラーニング技術などの適用で実現した。約2時間分の音声データで学習し、日本語、英語、中国語に対応する。

　名古屋工業大学の徳田恵一教授を中心とするチームはこれまで、隠れマルコフモデルを使った統計的手法により、音声合成のOpen JTalk、歌声合成のSinsyを開発し、提供してきた。テクノスピーチはこれらを発展させた商用製品CeVIO Creative Studioの開発にも携わっている。今回の新技術はこれらを新たな次元に推し進めるものと言える。

　名古屋工業大学とその出身者によるテクノスピーチの共同研究は、2019年3月に開催される日本音響学会2019年春季研究発表で公開される。

　Sinsyと同じく、人手による調整がされていない「ベタ打ち」の歌詞付き楽譜データをMusicXML形式で与えるだけで、元歌手の特徴を再現する。

今回のデモはCeVIOで歌声を提供している、さとうささら、IAが使われていることから、CeVIOの将来バージョンまたは後継製品で使われることも予想される。

　故人である三波春夫さんをバーチャルシンガーにした「ハルオロイド・ミナミ」がCeVIOに対応する歌声として製品化しているが、この新技術を使った、本物と区別がつかない仮想三波春夫による「世界の国からこんにちは」を期待したいところだ。

http://image.itmedia.co.jp/news/articles/1812/14/koya_cevio2.png
http://image.itmedia.co.jp/news/articles/1812/14/koya_cevio3.png

※記事の音源はこちらのlinkから聞けます
https://www.techno-speech.com/news-20181214a

ITmedia NEWS
http://www.itmedia.co.jp/news/articles/1812/14/news089.html

**ニュースソース検討中＠自治議論スレ** · 2018/12/24(月) 01:17:24.76

富山さんとか塩沢さんとか加納屋さんを復活させられそうだな

**ニュースソース検討中＠自治議論スレ** · 2018/12/24(月) 01:56:52.95

脳内口パク

**ニュースソース検討中＠自治議論スレ** · 2018/12/24(月) 11:35:06.70

亡くなった声優なんとかしてくれ！

**ニュースソース検討中＠自治議論スレ** · 2018/12/24(月) 12:44:09.74

>>196
2時間学習させるときに楽譜を見せる必要がないのならば
（今の機械学習ならその可能性がある）、
音痴の歌唱も、そういう音程の歌だと学習する。
その学習結果と楽譜の組み合わせによる歌唱では音程は外れない。

学習時に楽譜の必要があるのかないのか、どちらなのかによる

**ニュースソース検討中＠自治議論スレ** · 2018/12/24(月) 17:14:20.78

美空ひばりを蘇らせることができたなら、
マリアカラスを蘇らせることができたなら、
パバロッティを蘇らせることができたなら、
水木一郎を蘇らせることができたなら、
どれほどすばらしいことかと。

**ニュースソース検討中＠自治議論スレ** · 2018/12/24(月) 17:53:58.27

有名歌手の場合は著作権とかどうなるんだろ？

**ニュースソース検討中＠自治議論スレ** · 2018/12/24(月) 19:05:31.37

>>200
くせをおぼえこませるんやったら音符のままの歌との差が大切になるから学習段階では音源と楽譜はセットって考えるのが自然じゃない？

**ニュースソース検討中＠自治議論スレ** · 2018/12/24(月) 20:36:29.05

岡田有希子をもう一度！

**ニュースソース検討中＠自治議論スレ** · 2018/12/24(月) 23:51:14.84

>>201
水木一郎死んだの？

**ニュースソース検討中＠自治議論スレ** · 2018/12/26(水) 10:34:38.44

木口喇叭手は死んでも音霊となって喇叭の音を鳴り響かせました。
進め進め兵隊進め！進め一億火の玉だ。贅沢は敵だ。討ちてしやまん。

**ニュースソース検討中＠自治議論スレ** · 2018/12/26(水) 14:35:22.22

二時間分のサンプルでここまでなるのか。
数十時間数百時間分学ばせたらもう違い分かんなくなるんじゃないの。

この手法ってアニメの動画とかにも使えると思うんだよな。３DCGじゃない、人の手描きによるキャラの造形を
そのまま学んで中割りカットを描いてくれるAI

**ニュースソース検討中＠自治議論スレ** · 2018/12/26(水) 17:45:51.59

>>207
音と違って絵は素材表現が出来ていない元絵から動きつけるのは難しいだろう、一度3Dにしないと裏側も書けないし
角なのか髪なのか、鎧なのか服なのか

**ニュースソース検討中＠自治議論スレ** · 2018/12/26(水) 19:28:06.01

https://youtu.be/3nx7_G5R0oA
この技術が発達すれば政治家のスキャンダル捏造も思いのまま

**ニュースソース検討中＠自治議論スレ** · 2018/12/26(水) 23:15:03.39

「VOCALOIDの競合となるのか？中国人天才少年が開発した歌声合成ソフト、Synthesizer Vの破壊力」
https://www.dtmstation.com/archives/22760.html

**ニュースソース検討中＠自治議論スレ** · 2018/12/26(水) 23:55:05.52

ブレスがずいリアルで驚いた。
こりゃいよいよAKBも終わるな。

**ニュースソース検討中＠自治議論スレ** · 2018/12/27(木) 01:04:35.67

>>207
今のプログラムは二時間で飽和するのかもしれない。

**ニュースソース検討中＠自治議論スレ** · 2018/12/27(木) 12:37:50.88

＞こりゃいよいよAKBも終わるな。

大丈夫まだ＊営業という手がアル。

**ニュースソース検討中＠自治議論スレ** · 2018/12/27(木) 13:34:14.06

これ発音のクオンタイズを微かに前のめりに調整すれば間延びせず聴けそうだな
あとは発声時の「擦過音」の音質がもっとクリアな感じにならないと、
声のリアルさにはほど遠い。
スマホで通話してる感じの音質だもの。
エフェクトで誤魔化さずに使えるような、ボーカルパートの元音源に使えるのは
どれくらい先だろうか？・・・

**ニュースソース検討中＠自治議論スレ** · 2018/12/27(木) 19:16:19.06

2010年 GUMI Packaged https://youtu.be/eJnKnLW2ArA
2012年 IA 鳥の詩
https://youtu.be/1CU9tJRlDbk

**ニュースソース検討中＠自治議論スレ** · 2018/12/28(金) 07:21:07.70

https://youtu.be/2qweC8cRC-8
https://youtu.be/WNCx1HuXMeg

**ニュースソース検討中＠自治議論スレ** · 2018/12/29(土) 14:50:12.37

元歌手が音痴だったり下手糞だったら、教え込まれたAIも同じように音痴や下手糞に
なるわけだな。

**ニュースソース検討中＠自治議論スレ** · 2018/12/30(日) 08:10:00.71

>>217
そういうふうにもできるし、うまく歌わせることもできる、のだろうね

**ニュースソース検討中＠自治議論スレ** · 2018/12/30(日) 10:34:22.56

>>217
https://youtu.be/CFIxD95yBzM

**ニュースソース検討中＠自治議論スレ** · 2018/12/31(月) 15:18:01.05

女の歌手の歌い方の特徴をそっくり盗んで、男の歌手の声で歌わせるとか
できるかもな。美空ひばる、とか

**ニュースソース検討中＠自治議論スレ** · 2019/01/02(水) 18:11:53.08

陛下のお言葉も今にソフトが代わりに読み上げるようになるのか。

**ニュースソース検討中＠自治議論スレ** · 2019/01/12(土) 09:09:13.05

そのうち美貌の少年少女を整形で作り、その声を元にして
AIソフトが裏で歌を歌って、口パクでもって歌手兼タレント
としてデビュー、それが普通の時代になるのかもしれないな。

**ニュースソース検討中＠自治議論スレ** · 2019/01/12(土) 10:34:40.44

整形なんて面倒な事をせずとも、ロボアイドルで十分だろ
今でも画面だけならバーチャルしとる

**ニュースソース検討中＠自治議論スレ** · 2019/01/12(土) 12:20:33.96

おらさぁはあ、初音ミクだべや。
歌をば歌うべや。聞いてくんろ。

今後はこういうのが流行るべき。

**ニュースソース検討中＠自治議論スレ** · 2019/01/14(月) 07:44:29.73

各地の日本の地方語で自然に会話したり歌えるソフトが欲しいね。

あるいは一太郎のようなワープロも、標準日本語から各地方語に
変換する機能が欲しい。あるいは文語表現と現代語表現を変換
したり、明治、大正、昭和初期に新聞などで使われていた字体に
文章の表記を置き換えるような機能とか。草書体で印刷できる
機能なども。

**ニュースソース検討中＠自治議論スレ** · 2019/01/14(月) 08:47:49.12

一周回ってケロケロヴォイスで自然な声から遠ざかる。
ケロケロハルオフォン。

**ニュースソース検討中＠自治議論スレ** · 2019/01/14(月) 09:35:12.86

初音ミクなどのボカロの歌声はどうしても好きになれなかったけどこれなら良いんじゃないかな
これで自分で楽曲を作れるならボカロよりずっといい
更なる改良を進めて欲しい

**ニュースソース検討中＠自治議論スレ** · 2019/01/14(月) 13:06:51.16

初音ミクが職失いそうだな

**ニュースソース検討中＠自治議論スレ** · 2019/01/14(月) 13:34:55.37

>>217
口パク禿おっさんアイドルには朗報だな。

**ニュースソース検討中＠自治議論スレ** · 2019/01/14(月) 14:05:17.94

早く実用化しないと
悟空を永遠に闘わせるために

**ニュースソース検討中＠自治議論スレ** · 2019/01/15(火) 07:41:43.18

多くの実在の歌手とその声や歌声の対応を学習させることにより、
任意に連れてきた人の顔の形や体形などを見せて、その人の声でも矛盾が無い
と人間が思うような声や歌声をAIに提案させることができるだろう。
たとえば既に死んでいて声などどこにも記録がないような人でも、
肖像画や彫刻を元にして矛盾感の出ない声を合成できる可能性がある。

それをさらに発展させれば、アニメのキャラとその吹き替えで使われている声優の
台詞の対をたくさん学習させる。何百のアニメキャラと声優の対応関係を学習
すると、それを元にAIは、任意にもって来られた漫画や今後制作する予定の
キャラの画とか設定をみて、それがアニメの中でしゃべるとすればこんな感じの
声になるというのを出して来ることができる可能性が高い。

そのソフトに、新幹線の写真を与えれば、如何にも新幹線ならこういう声を
出すかもしれないと思う声がでるし、ヤカンならこういう声を出すかもな、
郵便ポストならこういう声を出すかもな、などと思える声で話したり
歌うなどが実現するかもしれない（CMなどに使えるかも）。

**ニュースソース検討中＠自治議論スレ** · 2019/01/15(火) 13:23:55.04

>>231
それ安田大サーカスのクロちゃんだとどうなるんや

**ニュースソース検討中＠自治議論スレ** · 2019/01/18(金) 10:27:50.22

人間の外形とその音声や歌声のサンプルデータをたくさん集めることで、
機械学習させて、
イエス・キリスト像とかアベ・マリア像を与えて、それらがどのような声であり
どのような歌声を持つかを推定させれば、
スーパースターのイエス・キリストロイドとか、
スーパーボーカルのアベ・マリアロイダとかを作って、
賛美歌を歌わせたり、山上の教えを語らせたりできるな。

宗教画や彫刻像などをたくさん集めて平均画像、平均像を作り、
それでCGモデルを作れば、3Dライブでパフォーマンスもできる。
すばらしいとは思わんかね。（偶像崇拝は昔のキリスト教では
禁じられていたが、ルネッサンス以降はそうではないようだから
NGではないだろう。）ただし、イスラム教関係ではNGだから
類似のことには手を出したらいかん。

**ニュースソース検討中＠自治議論スレ** · 2019/01/18(金) 20:19:36.39

>>233
できるかわからん
本質的に推定不可能な量を推定しようとしてる可能性もある

**ニュースソース検討中＠自治議論スレ** · 2019/01/18(金) 20:55:03.62

これ特許とれる？

**ニュースソース検討中＠自治議論スレ** · 2019/01/21(月) 14:52:37.53

AIは鹿児島出身らしいね

**ニュースソース検討中＠自治議論スレ** · 2019/01/21(月) 14:53:58.04

井上陽水の声を本当に作れるのか？

**ニュースソース検討中＠自治議論スレ** · 2019/01/21(月) 15:20:47.03

AIボイスチェンジャーで誰でも萌えボイスに！
っていう時代はまだですか

**ニュースソース検討中＠自治議論スレ** · 2019/01/21(月) 15:34:29.99

きしょい

**ニュースソース検討中＠自治議論スレ** · 2019/01/21(月) 15:48:33.13

三波春夫もいい迷惑だろうよ

**ニュースソース検討中＠自治議論スレ** · 2019/01/21(月) 15:58:31.69

Rolling In The Deepは現行のと比べると凄い進歩だな
歌と言うよりか話し言葉に近いが、
clearとbareのr発音がやけに伸びるところ以外は一般人歌ったように聞こえる

**ニュースソース検討中＠自治議論スレ** · 2019/01/21(月) 16:00:58.31

>>41
NHKの大河でも、内容に合わせたニュース出てきたりするじゃん。

これの宣伝があの映画だよ。

**ニュースソース検討中＠自治議論スレ** · 2019/01/21(月) 16:04:49.27

ブリトニースピアーズのEverytimeも
smallのモーが変なのと高音域になると電子音が聞こえるが
その他はよく出来てる

**ニュースソース検討中＠自治議論スレ** · 2019/01/21(月) 16:07:05.22

下唇を噛んでるのを再現してるのは凄いな

**ニュースソース検討中＠自治議論スレ** · 2019/01/21(月) 16:21:30.04

つんく向け

**ニュースソース検討中＠自治議論スレ** · 2019/01/21(月) 18:29:08.49

元歌手だった人と判別できないの？
芸能活動しているけどバラエティに行っちゃった人とか？

**ニュースソース検討中＠自治議論スレ** · 2019/01/25(金) 18:48:38.14

ベタ打ちでこれはすごい
10年ほど前にも初音ミクで曲作ってたけどすげー調節頑張っても機械っぽさ抜けなかったなー