【AI】元歌手と判別できないレベルのAI歌声合成、名古屋工業大学と音声ベンチャーが開発[12/14]

1しじみ ★2018/12/14(金) 14:59:47.35ID:CAP_USER
名古屋工業大学 国際音声言語技術研究所と音声合成を柱とするベンチャー企業テクノスピーチは12月12日、これまでの歌声合成とは一線を画す、元の歌い手の声質、癖、歌い方といった特徴を捉えた歌い方をディープラーニング技術などの適用で実現した。約2時間分の音声データで学習し、日本語、英語、中国語に対応する。

 名古屋工業大学の徳田恵一教授を中心とするチームはこれまで、隠れマルコフモデルを使った統計的手法により、音声合成のOpen JTalk、歌声合成のSinsyを開発し、提供してきた。テクノスピーチはこれらを発展させた商用製品CeVIO Creative Studioの開発にも携わっている。今回の新技術はこれらを新たな次元に推し進めるものと言える。

 名古屋工業大学とその出身者によるテクノスピーチの共同研究は、2019年3月に開催される日本音響学会2019年春季研究発表で公開される。

 Sinsyと同じく、人手による調整がされていない「ベタ打ち」の歌詞付き楽譜データをMusicXML形式で与えるだけで、元歌手の特徴を再現する。

今回のデモはCeVIOで歌声を提供している、さとうささら、IAが使われていることから、CeVIOの将来バージョンまたは後継製品で使われることも予想される。

 故人である三波春夫さんをバーチャルシンガーにした「ハルオロイド・ミナミ」がCeVIOに対応する歌声として製品化しているが、この新技術を使った、本物と区別がつかない仮想三波春夫による「世界の国からこんにちは」を期待したいところだ。

http://image.itmedia.co.jp/news/articles/1812/14/koya_cevio2.png
http://image.itmedia.co.jp/news/articles/1812/14/koya_cevio3.png

※記事の音源はこちらのlinkから聞けます
https://www.techno-speech.com/news-20181214a

ITmedia NEWS
http://www.itmedia.co.jp/news/articles/1812/14/news089.html

196ニュースソース検討中@自治議論スレ2018/12/24(月) 00:48:33.30ID:ywwDdyoy
>>195
何を言ってるんだ歌下手な人を元にしたら「ちゃんと」音もはずしてくれるだろ?

197ニュースソース検討中@自治議論スレ2018/12/24(月) 01:17:24.76ID:jzTYZTDX
富山さんとか塩沢さんとか加納屋さんを復活させられそうだな

198ニュースソース検討中@自治議論スレ2018/12/24(月) 01:56:52.95ID:0OZv9K6/
脳内口パク

199ニュースソース検討中@自治議論スレ2018/12/24(月) 11:35:06.70ID:kAyY6dFb
亡くなった声優なんとかしてくれ!

200ニュースソース検討中@自治議論スレ2018/12/24(月) 12:44:09.74ID:+Q3nbSZU
>>196
2時間学習させるときに楽譜を見せる必要がないのならば
(今の機械学習ならその可能性がある)、
音痴の歌唱も、そういう音程の歌だと学習する。
その学習結果と楽譜の組み合わせによる歌唱では音程は外れない。

学習時に楽譜の必要があるのかないのか、どちらなのかによる

201ニュースソース検討中@自治議論スレ2018/12/24(月) 17:14:20.78ID:/r4SI0cZ
美空ひばりを蘇らせることができたなら、
マリアカラスを蘇らせることができたなら、
パバロッティを蘇らせることができたなら、
水木一郎を蘇らせることができたなら、
どれほどすばらしいことかと。

202ニュースソース検討中@自治議論スレ2018/12/24(月) 17:53:58.27ID:J6Pe56cg
有名歌手の場合は著作権とかどうなるんだろ?

203ニュースソース検討中@自治議論スレ2018/12/24(月) 19:05:31.37ID:ywwDdyoy
>>200
くせをおぼえこませるんやったら音符のままの歌との差が大切になるから学習段階では音源と楽譜はセットって考えるのが自然じゃない?

204ニュースソース検討中@自治議論スレ2018/12/24(月) 20:36:29.05ID:JSKD4FqK
岡田有希子をもう一度!

205ニュースソース検討中@自治議論スレ2018/12/24(月) 23:51:14.84ID:JXpZwQ9K
>>201
水木一郎死んだの?

206ニュースソース検討中@自治議論スレ2018/12/26(水) 10:34:38.44ID:AAHXUJjd
木口喇叭手は死んでも音霊となって喇叭の音を鳴り響かせました。
進め進め兵隊進め!進め一億火の玉だ。贅沢は敵だ。討ちてしやまん。

207ニュースソース検討中@自治議論スレ2018/12/26(水) 14:35:22.22ID:27wxp7gL
二時間分のサンプルでここまでなるのか。
数十時間数百時間分学ばせたらもう違い分かんなくなるんじゃないの。

この手法ってアニメの動画とかにも使えると思うんだよな。3DCGじゃない、人の手描きによるキャラの造形を
そのまま学んで中割りカットを描いてくれるAI

208ニュースソース検討中@自治議論スレ2018/12/26(水) 17:45:51.59ID:kd3OJPYG
>>207
音と違って絵は素材表現が出来ていない元絵から動きつけるのは難しいだろう、一度3Dにしないと裏側も書けないし
角なのか髪なのか、鎧なのか服なのか

209ニュースソース検討中@自治議論スレ2018/12/26(水) 19:28:06.01ID:mBkVMckF
https://youtu.be/3nx7_G5R0oA
この技術が発達すれば政治家のスキャンダル捏造も思いのまま

210ニュースソース検討中@自治議論スレ2018/12/26(水) 23:15:03.39ID:AAHXUJjd
「VOCALOIDの競合となるのか?中国人天才少年が開発した歌声合成ソフト、Synthesizer Vの破壊力」
https://www.dtmstation.com/archives/22760.html

211ニュースソース検討中@自治議論スレ2018/12/26(水) 23:55:05.52ID:OCghCEB1
ブレスがずいリアルで驚いた。
こりゃいよいよAKBも終わるな。

212ニュースソース検討中@自治議論スレ2018/12/27(木) 01:04:35.67ID:WUMyDB5p
>>207
今のプログラムは二時間で飽和するのかもしれない。

213ニュースソース検討中@自治議論スレ2018/12/27(木) 12:37:50.88ID:B4VqKe9w
>こりゃいよいよAKBも終わるな。

大丈夫まだ*営業という手がアル。

214ニュースソース検討中@自治議論スレ2018/12/27(木) 13:34:14.06ID:DyRAPePk
これ発音のクオンタイズを微かに前のめりに調整すれば間延びせず聴けそうだな
あとは発声時の「擦過音」の音質がもっとクリアな感じにならないと、
声のリアルさにはほど遠い。
スマホで通話してる感じの音質だもの。
エフェクトで誤魔化さずに使えるような、ボーカルパートの元音源に使えるのは
どれくらい先だろうか?・・・

215ニュースソース検討中@自治議論スレ2018/12/27(木) 19:16:19.06ID:bwFSROv/
2010年 GUMI Packaged https://youtu.be/eJnKnLW2ArA
2012年 IA 鳥の詩
https://youtu.be/1CU9tJRlDbk

216ニュースソース検討中@自治議論スレ2018/12/28(金) 07:21:07.70ID:uW3HvL+j

217ニュースソース検討中@自治議論スレ2018/12/29(土) 14:50:12.37ID:c/p4jo3D
元歌手が音痴だったり下手糞だったら、教え込まれたAIも同じように音痴や下手糞に
なるわけだな。

218ニュースソース検討中@自治議論スレ2018/12/30(日) 08:10:00.71ID:Y4mG0F7Y
>>217
そういうふうにもできるし、うまく歌わせることもできる、のだろうね

219ニュースソース検討中@自治議論スレ2018/12/30(日) 10:34:22.56ID:jvee1E24

220ニュースソース検討中@自治議論スレ2018/12/31(月) 15:18:01.05ID:Fc6cyMR6
女の歌手の歌い方の特徴をそっくり盗んで、男の歌手の声で歌わせるとか
できるかもな。美空ひばる、とか

221ニュースソース検討中@自治議論スレ2019/01/02(水) 18:11:53.08ID:OXoa97dj
陛下のお言葉も今にソフトが代わりに読み上げるようになるのか。

222ニュースソース検討中@自治議論スレ2019/01/12(土) 09:09:13.05ID:89sxoMBv
そのうち美貌の少年少女を整形で作り、その声を元にして
AIソフトが裏で歌を歌って、口パクでもって歌手兼タレント
としてデビュー、それが普通の時代になるのかもしれないな。

223ニュースソース検討中@自治議論スレ2019/01/12(土) 10:34:40.44ID:a0ZkL0R0
整形なんて面倒な事をせずとも、ロボアイドルで十分だろ
今でも画面だけならバーチャルしとる

224ニュースソース検討中@自治議論スレ2019/01/12(土) 12:20:33.96ID:89sxoMBv
おらさぁはあ、初音ミクだべや。
歌をば歌うべや。聞いてくんろ。

今後はこういうのが流行るべき。

225ニュースソース検討中@自治議論スレ2019/01/14(月) 07:44:29.73ID:EqP8tKaX
各地の日本の地方語で自然に会話したり歌えるソフトが欲しいね。

あるいは一太郎のようなワープロも、標準日本語から各地方語に
変換する機能が欲しい。あるいは文語表現と現代語表現を変換
したり、明治、大正、昭和初期に新聞などで使われていた字体に
文章の表記を置き換えるような機能とか。草書体で印刷できる
機能なども。

226ニュースソース検討中@自治議論スレ2019/01/14(月) 08:47:49.12ID:F3XCyReK
一周回ってケロケロヴォイスで自然な声から遠ざかる。
ケロケロハルオフォン。

227ニュースソース検討中@自治議論スレ2019/01/14(月) 09:35:12.86ID:hC0Azn2T
初音ミクなどのボカロの歌声はどうしても好きになれなかったけどこれなら良いんじゃないかな
これで自分で楽曲を作れるならボカロよりずっといい
更なる改良を進めて欲しい

228ニュースソース検討中@自治議論スレ2019/01/14(月) 13:06:51.16ID:14/MqfAH
初音ミクが職失いそうだな

229ニュースソース検討中@自治議論スレ2019/01/14(月) 13:34:55.37ID:CLXUD+ih
>>217
口パク禿おっさんアイドルには朗報だな。

230ニュースソース検討中@自治議論スレ2019/01/14(月) 14:05:17.94ID:YWIJiQP/
早く実用化しないと
悟空を永遠に闘わせるために

231ニュースソース検討中@自治議論スレ2019/01/15(火) 07:41:43.18ID:AXtfnf7o
多くの実在の歌手とその声や歌声の対応を学習させることにより、
任意に連れてきた人の顔の形や体形などを見せて、その人の声でも矛盾が無い
と人間が思うような声や歌声をAIに提案させることができるだろう。
たとえば既に死んでいて声などどこにも記録がないような人でも、
肖像画や彫刻を元にして矛盾感の出ない声を合成できる可能性がある。

それをさらに発展させれば、アニメのキャラとその吹き替えで使われている声優の
台詞の対をたくさん学習させる。何百のアニメキャラと声優の対応関係を学習
すると、それを元にAIは、任意にもって来られた漫画や今後制作する予定の
キャラの画とか設定をみて、それがアニメの中でしゃべるとすればこんな感じの
声になるというのを出して来ることができる可能性が高い。

そのソフトに、新幹線の写真を与えれば、如何にも新幹線ならこういう声を
出すかもしれないと思う声がでるし、ヤカンならこういう声を出すかもな、
郵便ポストならこういう声を出すかもな、などと思える声で話したり
歌うなどが実現するかもしれない(CMなどに使えるかも)。

232ニュースソース検討中@自治議論スレ2019/01/15(火) 13:23:55.04ID:XV2CLiyV
>>231
それ安田大サーカスのクロちゃんだとどうなるんや

233ニュースソース検討中@自治議論スレ2019/01/18(金) 10:27:50.22ID:DxlpmR3I
人間の外形とその音声や歌声のサンプルデータをたくさん集めることで、
機械学習させて、
イエス・キリスト像とかアベ・マリア像を与えて、それらがどのような声であり
どのような歌声を持つかを推定させれば、
スーパースターのイエス・キリストロイドとか、
スーパーボーカルのアベ・マリアロイダとかを作って、
賛美歌を歌わせたり、山上の教えを語らせたりできるな。

宗教画や彫刻像などをたくさん集めて平均画像、平均像を作り、
それでCGモデルを作れば、3Dライブでパフォーマンスもできる。
すばらしいとは思わんかね。(偶像崇拝は昔のキリスト教では
禁じられていたが、ルネッサンス以降はそうではないようだから
NGではないだろう。)ただし、イスラム教関係ではNGだから
類似のことには手を出したらいかん。

234ニュースソース検討中@自治議論スレ2019/01/18(金) 20:19:36.39ID:zjOgUZfe
>>233
できるかわからん
本質的に推定不可能な量を推定しようとしてる可能性もある

235ニュースソース検討中@自治議論スレ2019/01/18(金) 20:55:03.62ID:eyRbYlXI
これ特許とれる?

236ニュースソース検討中@自治議論スレ2019/01/21(月) 14:52:37.53ID:kFOoaJO/
AIは鹿児島出身らしいね

237ニュースソース検討中@自治議論スレ2019/01/21(月) 14:53:58.04ID:kFOoaJO/
井上陽水の声を本当に作れるのか?

238ニュースソース検討中@自治議論スレ2019/01/21(月) 15:20:47.03ID:kjKBkVte
AIボイスチェンジャーで誰でも萌えボイスに!
っていう時代はまだですか

239ニュースソース検討中@自治議論スレ2019/01/21(月) 15:34:29.99ID:WkbTI57d
きしょい

240ニュースソース検討中@自治議論スレ2019/01/21(月) 15:48:33.13ID:WkbTI57d
三波春夫もいい迷惑だろうよ

241ニュースソース検討中@自治議論スレ2019/01/21(月) 15:58:31.69ID:BHKAvbQb
Rolling In The Deepは現行のと比べると凄い進歩だな
歌と言うよりか話し言葉に近いが、
clearとbareのr発音がやけに伸びるところ以外は一般人歌ったように聞こえる

242ニュースソース検討中@自治議論スレ2019/01/21(月) 16:00:58.31ID:a62IJYxA
>>41
NHKの大河でも、内容に合わせたニュース出てきたりするじゃん。

これの宣伝があの映画だよ。

243ニュースソース検討中@自治議論スレ2019/01/21(月) 16:04:49.27ID:BHKAvbQb
ブリトニースピアーズのEverytimeも
smallのモーが変なのと高音域になると電子音が聞こえるが
その他はよく出来てる

244ニュースソース検討中@自治議論スレ2019/01/21(月) 16:07:05.22ID:BHKAvbQb
下唇を噛んでるのを再現してるのは凄いな

245ニュースソース検討中@自治議論スレ2019/01/21(月) 16:21:30.04ID:ZzPAldVR
つんく向け

246ニュースソース検討中@自治議論スレ2019/01/21(月) 18:29:08.49ID:6SpgM2Vl
元歌手だった人と判別できないの?
芸能活動しているけどバラエティに行っちゃった人とか?

新着レスの表示
レスを投稿する