歌声合成ソフト『 CeVIO Creative Studio 』 Part.5
■ このスレッドは過去ログ倉庫に格納されています
CeVIOに関する情報交換を目的としたスレです。
【「CeVIO」とは？】
「CeVIO（チェビオ）」とは、UGC（User Generated Contents、ユーザー生成コンテンツ）を支援するために生まれた、これまでに無いエンターテイメントを創出する新しいプロジェクトです。
魅力的なキャラクターを生み出す映像・音楽のクリエイター集団と、豊かな感情表現が可能な音声合成技術・歌声合成技術を持つ技術者集団の融合によって生まれました。
CeVIO Creative Studio：CeVIOプロジェクト
http://cevio.jp
ONE -ARIA ON THE PLANETES-(オネ)：1st PLACE株式会社
http://1stplace.co.jp/software/cevio/
Color Voice Series：株式会社エクシング
http://camp.joysound.com/colorvoice/
HMM/DNN歌声合成システム：Sinsy
http://www.sinsy.jp/
前スレ:
歌声合成ソフト『 CeVIO Creative Studio 』 Part.4
https://egg.5ch.net/test/read.cgi/dtm/1468540727/ >>445
ディープラーニングで上手い歌い方を学習できていないようだし、あの程度だと学習が少ないだろ
目指しているブレークスルーとなる高品質の歌声の再現ってのが１つの対象素材の再現ってことなら話は別だがな
なぜマイクロソフトのりんなが歌ウマプロジェクトで学習の教師となる素材を一般から集めたかって話だ
それにSCOPEでの研究開発は1カ年で完成させることになっている
だから理論実証が中心の研究開発としてシステムの基礎が完成するのが今年の6月あたりだろ
それをうけて今年出しうる最高品質は今年後半に制作したものになる
製品化の話はもっと先だから、まだまだ先って書いてるのは当然だよ どのみち今作られてるシステムでCevio2らしきものが発売されるのは数年先の話だろうね >>446
数時間の素材で「上手い歌唱」を学習するという研究目的は、SCOPEと関係ない自分のような一般人には二の次、
「鼻声ノイズが少ない」「音素が明確に聞き取れる」「人間らしい声色を持っている」ことが自分には大事なんだな。
で第三者が「まだ難もあるけどこんだけ生っぽく歌ったよすごいよ」とやってくれるのは純粋にありがたいのよ。
というのもボカロは今まで長年突き詰めてみても、どれについても自分の理想に遠いし（良くなってきたけど声色がね…）
音声・歌声合成界隈の現状水準を踏まえてのSCOPEの意義は理解できる一方で、現行ささらは既知の中の人と技術で
製品化して実績があることから母体のCeVIOプロジェクトと、SCOPEの研究を同じレールに乗せるのか？が気になってる。
まず研究を成功させるのが最優先なのは当然なので、学習素材を厳選して、歌にうるさい専門家の評価に耐えうる精度を
出すように持っていくだろうし、CeVIOプロジェクトで新ささら・新IAをリリースするためには、大人気になってる中の人や
所属会社にお願いして新しい素材で高品質に仕上げなきゃファンががっかりするから、コストがかかって大変に違いない。
さしあたり製品化するなら研究時に厳選した素材、別人のボイスで出してくる可能性もありそうだ。
要するに、昔の素材でとりあえず学習して仕上がったAIささら・IAの声が聴けるのは、テクノスピーチのサンプル以外では
このCDだけになるかもしれない。ならば自分はささらに需要があるからこれは記念で買っておきますよと。 ちょっとマスタリングまじめにやれば消えそうなノイズすら消す手間も省いてCD売ろうとか、
さすがアホみたいなレイテンシのゴミを売ろうとした藤本だけあるわ CDじゃなく配信だとしてもオリジナル曲として世界初のはずなんだけどな。
りんなの実力も、オリジナルをアカペラで歌ってもらわないと分からんのだよ。 >>448
質問された、なぜ未完成と感じたかを答えただけだど？
VOCALOID5を意識してたのかSCOPEの課題としてスタイルを使わずに自然に歌えるようにするって大見得切ってんだから
スタイル無しでどんな曲でもそこそこ上手い歌い方をするのが標準になってなきゃ歌い方の揺らぎも何もないだろ
だから推論するためのベースとして膨大な学習も必要
それと歌い方がヘタで編集の手間がCeVIO以上にかかるならブレークスルーにならず研究成果としても問題になる
少なくともCeVIOよりもリアルで、かつ、上手いことで研究の課題であったブレークスルーの実現になり研究が成功と思える
総務省相手に受託してんだから既存システムのCeVIOやVOCALOIDを越えて課題であるブレークスルーを明確に実現しないとヤバいだろ
だから今年前半まででブレークスルーを起こす成果が必達となるので今以上の結果に期待出来る
だからこそ完成度が上がるってわけだな ちょっと長く書きすぎたか
研究しているのはビッグデータとして大規模な歌声データベースの利用が前提になっているシステムで、それを、ささらの歌声に適用することになる
この歌声データベースがないから学習が少ないんだろってことを446で書いたつもり >>451
人間の歌唱の上手さってSCOPEで明確に定義されてるのかな？
楽譜どおり歌うという言葉があるが、ボカロの時代から「それは厳密には違う」って言われてる部分。
声量やリズムはともかくとして、ピッチは揺らぐのが人間らしい歌唱だし、V5で追加されたスタイルって作り手が
明示的に指図しない限りは楽譜上は「無い方がいい」表現要素の塊。
ハスキーとかファルセットとか巻き舌気味にとか色々あるけど失敗すると聞き取りにくいだけなんよね。
それはともかく、現行ささらのベタ打ちが上手だなと思ったのは最初だけで実際は割とピッチヨレヨレなので、
AIささらがよほどブレブレでもなけりゃ現行より手間がかかるってことはなさそうに思う。
発声自体はたぶんおおむね良好だろうし、音素タイミングも1ティック単位の調整をAIに求めても仕方ない。
こだわり作業は人間に残してくれてかまわない。でないとリアル歌手の仕事がなくなりそうだ。
ともかく早くユーザーに使わせてくれ、性能向上は金取ってアプデすればいいから、とCeVIOプロジェクトに言いたい。
今キックスタートでビジネスに持ち込めばきっと成功すると思うんだが…３年も待ちたくないぞ。 >>452
ビッグデータの歌声DBって悪い言い方をすると「無個性な集合体」になるのかな。誰かが細かくアノテーションするのかもしれないけど。
ささらやハルオロイドが無個性だったら拍子抜けだし、やはりボイスキャラクターを重視してもらいたいので学習素材は厳選してほしいな。
バックコーラスなら専用の音源も出ているので欲しいのは声が際立つリードボーカルなんだよ。 キャラなりの歌い方を求めず作曲者のイメージした歌唱じゃないと受け入れられない使い方だとCeVIOの様なAI歌唱はかなり使いづらいし
歌手に合わせた作曲をしないボカロPは今後もAI歌唱は使わないんじゃないかなって思う。
まあVSTやReWireに対応してくれないとボーカル作れませんって時点でダメだとは思うけど
ところでトークの方はもっとキャラ追加してほしいんだけど全然増えないよね… 全然詳しくないから適当なこと言うけど平均的な人間の声の出し方の設計図を作って
後から声優だったり歌手だったり色んな人のサンプリングデータを設計図に混ぜてやるとその都度色んな声が作れるみたいな便利なシステムだと汎用性高そう トークがソングの声色・声質に寄るようにAIで解決されるといいんだけどな。
それにTV局のアナウンサー並に滑らかな発声をしてもらわないと長時間は聞くに堪えない。 >>456
たぶん現状のAIはそんなに便利なことはできないと思っている。
女声と男声で完全に別のデータベースを作らないと必ず破綻すると思うし
男声もテナーとバリトンとバスで細かく分けとかないとやっぱり破綻する気がする。
今回のささらAIも、以前にテスト済みの音域を外れたら破綻する恐れがあるという前提で作曲したくらいだから。
ハルオロイドのコブシを効かせる特殊奏法も専用の演歌素材から作るのがより良い結果になると思う。 >>460
いかにもお役所の考えるクールジャパン戦略のIT版みたいなやつだということだけは分かった
内容はさっぱり ビッグデータを用いた深層学習に基づく統計的パラメトリック歌声合成技術の研究開発
中村 和寛(株式会社テクノスピーチ)
-
近年、ビッグデータとして蓄積されつつある歌声のデータをもとに、ニューラル
ネットワークに基づく深層学習による歌声合成技術の実現に向けた研究開発を行
う。現在普及している歌声合成ソフトウェアは、あらかじめ収録した波形素片を
ルールに従って接続する方式が多く、自然に歌わせたり歌唱スタイルを付加するた
めには高度な調整作業が必要である。本研究開発では、深層構造を持つニューラル
ネットワークに基づく歌声合成手法を用いつつ、統計的パラメトリック歌声合成技
術を組み合わせることにより、合成時の計算量を下げながら自然性の高い歌声を合
成することが可能な歌声合成システムの実現を目指す。 日本でどこの誰が歌声をビッグデータとして蓄積しているんだ？ ボカロも含まれてるんだろうか？
ミク歌、再生回数に基づけばプロ歌手と張り合えるくらい歌声として定着してると思うが…
さすがに混濁しないよう最低限のアノテーションくらいはしているかな？ あえて音域が狭い歌い手を再現できる実装もよろしく
高音でファルセットまでいかず声の基音が抜ける感じとか低音だとグロウル気味になるとかそういうの
阿久女イクのスクリームは無理だろうからいいや >>463
ホント、どうやって蓄積してるんだろうねえ。
ルールベースである程度できちゃうくらいだから、少ない層数で実現できるだろう。
だからビッグデータ（）って程じゃないんだろうなとは思う。 ビッグデータとまではいかないが、これぐらいしかない？
RWC 研究用音楽 DB（RWC-MDB）[12] 研究
目的で共通利用できる世界初の著作権処理済み
音楽 DB である。ポピュラ音楽，ロック，ジャ
ズ，ラテン，声楽，邦楽，童謡や英語の有名曲，
単音の歌唱など，多様なスタイルの歌唱とその
歌詞が用意されている。
https://staff.aist.go.jp/m.goto/RWC-MDB/index-j.html#intro AIさとうささら、既存のあらゆる日本語歌声合成を易易と10年前の昔に置いてくるだけのポテンシャルを持ってるな
これはDTMerにとっても危険すら感じる性能だわ。あまりにも人間に近すぎて。 初心者的には無調整で人のように歌ってくれる方が楽できて良いね
でもボカロにドップリはまっちゃってるDTMerは来ないだろうね
アレはもうボカロというジャンルだから人間に近いほど相容れなくなるしAI歌唱のオート調整が邪魔に感じるだろうからなあ。 自分は作った曲を代わりに歌ってれば良いので、ベタうちで良いです。
新バージョンが楽しみだなぁ。 ま、人間に近い方が良いという人はたくさんいると思うよ
だってボカロ耳じゃなくなるとボカロの声は耳障りが悪いだけだからね 純粋な作品としての価値は、作詞，作曲，編曲にあるわけで、楽曲が良ければ
誰が歌っても、良い作品は良いということになる
歌唱ソフトが下手にしか歌えないから、その調整に時間をかけなければいけない
というのは、作曲という作品づくりからすると余計な作業だと思う
こまかい歌唱指導を行いたい人もいるだろうけど、自分の場合は筒美京平先生の
ように、作品は歌手に丸投げしてスタジオにも顔を出したくない覆面作者タイプ 自分が歌う場合を想定しているよりも感情表現を上手く歌ってくれたらいいなあ 人間じゃないから投げたデータでたまたま神表現が出てきても
狙って次の別のデータでもそれを出せるとは限らないみたいだな それにしてもベタ打ち２テイク程度でなんでこんなに人間らしく歌えるんだろうな
今までもAIの作った絵画とかを見てきたが、たぶんこれがAIの作った中で一番すごいわ
使ってる理論的にもAIの最先端かつ最高峰なのかなあ 気付いたらAIが架空の人物をリアルに生成したりしてるしもう分からんねこれ >>476
現実にいるかもしれないけど、何回か開いて思ったのがなんか女性なのに顎パーツが男性ぽかったり、男性なのに目元が女性だったり
なんか性別的な違和感を感じる 同じく整形したような違和感を感じた
手作業で写真データを切り貼りしてフォトショップ使って加工するよりは精度は良いと感じる
造形で考えると超絶技巧の精密画よりは劣っている感じ
音声合成でも今後何年か何十年か知らんがこんな違和感は同じように感じるだろな 残念ながら自分の耳では今回のAIさとうささらは既に違和感を感じなかった
若干録音環境が悪い生声だと言われたら9割がた信じるレベル
怪しむポイントがあるとしたら長音のビブラートの掛け方くらいかなあ その環境の悪い生声って評価が既に他のAIたちより数歩遅れてるからね
↑の画像のやつももっと解像度低かったらまだまだだなw
って評価を間違いなく一定数受ける
一般に受けるにはまだまだ開発段階だよ しかしAIさとうささらで既存の歌声合成がいかに全然ダメだったか否応なく認識することになったのは悲しいな 合成音くささが消えてるわけじゃない
圧倒的に生声感がない違和感は今の技術だと仕方ないとして、聞いた人からはサンプリングレートが低くて
余計なエフェクトをかけたような声って言われそうだ
学習したデータのせいか分からんが発声が悪くて口先だけで歌っているような感じもなんとかしないとな
生声らしい感じが圧倒的にないから歌い上げた感じのボーカル曲にするにはMIXで誤魔化すにも限界がある 人間の上手い生声を100点として既存のささらは神エディットしても70点くらい。ベタ打ちだと55点くらい。
ボーカロイドは点数を付ける気にもならないので置いといて、今回のAIで一気に85点くらいまで上げてきたイメージ。
どのみち外部でエフェクトかけて10点くらい盛るのだが、できれば素で95点ほしいのはDTMerの本音だろうな 『Sing Trury』やっと届いたんで聞いてみた。ささら好きにはたまらんが、
DTMerや一般にはまだまだの性能なんだろうな。ベタ打ちではピッチ不安定なところが
あるし、(「かわれない」のところとか)あとノーマルCeVIOでもバージョンによっては
感じることだけど、ブレスノイズがうるさい。人が歌っているように聞こえさせるための
あざとさなんだろうな。 まだ調整中らしいから今判断するのは良くないだろうけど現ver以上のCeVIOと言えるんじゃないかなって思う。
納期が決まってる仕事をする人にとって調声で時間なんて取られたくは無いだろうし
DAW上でなんとかなるレベルなら良いんじゃ無いかな。 音声合成のカテゴリで優秀ってスタンスで良いと思う
生歌に匹敵するような品質という高望みするから話がおかしくなってる 製品として売るには声の肖像権問題だけは確実にクリアしないとだな
失敗して最悪の前例を作ったら界隈が詰む 水瀬いのりさんのご家族は将来オレオレ詐欺的なものに気をつけたほうがいい、と思わせる品質だった AIに人間の顔写真をランダムで描かせるってのがあったけどあれで似た顔が出た場合利用出来るのだろうか？ってのと同じ疑問が湧く。
膨大なサンプルを学習させればいろんな声色を出せるんだろうし似ているからって理由で問題が出る可能性はある。
今の１名１キャラの作り方では無くなったときの事も考えないとね。 りんなはその点でボカロ寄りの歌い方だったな
誰に似てるかと聞かれたらVY1と答えておけば許されそうなレベル こういう技術と高精度なAIトークが合わさると架空の声が誰かの実在の声になるんだろうな
https://japan.cnet.com/article/35136577/ ささらの弱点はビジュアルかね
キズナアイくらいお金かかった感じになってほしい
AIでささら風の美女生成してもいいけどね ビジュアルが必要なら自分で作るか金払って依頼すればいい 最近、アマゾンのプライムビデオでアニメを見るようになったのだけど、
ささらの中の人（水瀬いのり）が声を担当している作品が多くて驚いた ささらとかつづみとか、見た目や衣装が地味でモブキャラみたいなんだよな
ボカロボイロのキャラみたくファンタジー色というか
非日常感を強く出した方がいい そうだよね。所帯じみてるっていうか普通すぎるっていうか。
もう少しキラキラしてても良いよね。 今の方が好きだけどなあ
ボイロはもうあれ以外無いってくらい型にはまってるから扱いづらいよ
こんなのゆかりさんじゃない！とか言われるの辛いって
CeVIO組の漂白具合は使うにあたってはキャラ付けが規約に触れなければ大体受け入れてくれるし暖かいよ… バーチャルシンガーキャラで売るにしてはビジュアルの中途半端さよりも公式の露出や動きが少なすぎるのが気になる
AI見据えた純粋な歌唱合成ソフトを目指すにしては規約の縛り(商用・非商用の基準とかソフト・キャラの明記とか)がめんどくさそうに見える
個人的にはバーチャルシンガーよりも自由に使える歌唱合成ソフトを目指してほしいと思うけど。 見るからに商売っけを感じない、研究者が趣味でやってるプロジェクトにしか見えないね 趣味というか広告塔のようなもんだろ
CeVIOは宣伝用で音声合成や歌声合成を民生品に組み込んでもらう商売がやりたいんじゃないの
テクノスピーチなんてそっちがメインだろ スマホや自動販売機など、機械のおしゃべり機能についてはべつにキャラクター必要ないからね
今後も、歌唱ソフトのパッケージより、そうしたファームウェアとしての需要の方が大きいと思う
CeVIOに関しても、個人的にはそれほどキャラのデザインにこだわらなくていいと思っている
というか、アイドルというより、普通の女の子に近い現在の地味な設定が気に入ってるんだよね なんかそういう人じゃないとCeVIOには合わないだろうね
派手なキャラも人を寄せてくれると思うんだよ 派手というかキャッチーでわかりやすいキャラだな
それこそキャラで売ってる1stPLACEの影響を受ければいいんじゃないのかな トーク売りたいならボイロよりゆっくり動画制作者に狙いを定めた方が良いと思う
代替えキャラで作るのはお手の物だし機械音声にも慣れてるからすぐになじめるだろう キャラで勝負したいんだったら別にしゃべったり歌ったりできなくてもいいだろうに 音声・歌唱合成＝キャラ物ってくくりになりがちなのよね
キャラと言うかライブラリはONE・IAみたいにサードパーティ次第でもいいんじゃないかと思う
極端で無根拠な話すると初音ミク5がCeVIOでもおかしくはない訳で。 ガチのサードはCeVIOには来ないよ
だって基本は嫌でしょ、こんなDTMerの需要無視したシステム そうでもない
というか仕組みを理解したらそりゃDAWと合わせるの無理だよねって受け入れたし ボカロがアレだけ出てるのにこっちこれだけよ
wavでボーカル扱うのめんどくさがる向きには売れないって >>506
ファームウェアってか組込み向けには絶対に売れないからサーバー側で処理する路線だな
自販機を含めて1チップマイコンを使ってる多くの機器では高性能なデバイスも大容量のRAMもコスト面で使えない
だから売り込む先は何らかのサービスを提供している所になりがちで意外に商売先が少ない
サービス向けなら性能やコストよりもユーザーにそこそこウケる声質になるのが重要だからニーズやユーザーの反応が見える広告塔があった方が売り込みしやすい ネットワークに繋がった民生品に組み込むって書かなかったからミスリードさせてしまったのはこっちのせいだな
申し訳ない AIささらがどうなるかで決まるのだろう
DTMerが全員買うわけじゃないから売り先が多いならその方がいいのは当然だ 超ささらと同じタイプの技術を使ってるならそれだけで浪漫よ
宇宙開発のための素材でつくられた枕みたいなもの AIボイスはサードパーティのもやって欲しいな
とくにハルオロイドミナミ ささらってTwitterで中のおっさんバイトが１日１回つぶやくだけBOTでしょ？ 社員じゃね？おっさんかおばさんかお兄さんかお姉さんかは知らん 正直話す方はどーでもいい
歌をもっとブラッシュアップしてほしい どっちも高精度にしてくれないとCeVIOの上位バージョンとは認められないな >>526
トークの方も、着々と進歩していると感じている
下は Open JTalk のサイトで変換した音声データ
https://dotup.org/uploda/dotup.org1856380.mp3
無調声とはいうものの、実は発音がきれいになるようテキストで調声している
たとえば、CeVIOをチェ美尾、花澤香菜を花澤加奈など、当て字で抑揚を変え
語尾の方もですます調にしている
CeVIOのようなエディット機能は無いものの、Open JTalkも工夫次第で遊べる
Open JTalk
http://open-jtalk.sp.nitech.ac.jp/index.php テキストに調声記号を付けてく方式はもう廃れたの？
あっちのが自然にできるからいいんだけどな
ベトナム語では必須だからある程度実用化してるはずなんだけど日本語は漢字がネックか とりあえず男性のトークボイスを増やして欲しい
売れないという判断なんだろうけど トークは現状ではゆっくりボイスで事足りるんだよなぁ お前がそう思うんならそうなんだろう
お前の中ではな 歌なんてそもそも聞かないし
人間に近付いたからだから何？って感じ
UTAUも進化して一時期持て囃されたけどすぐ沈静化したし 両方の需要に１本で答えるからCeVIOには意味があるんだよ
別々が良ければ他のソフトでも事足りるのは事実だ 高望みだけどトークは映画の吹き替えを出来るレベルになって欲しい そのくらいの高い理想を持って開発者は頑張ってると思うよ
現状は所詮、駅の案内アナウンスに使えないこともない程度だと思う。 仕様が公開されてもUTAUやKontaktみたいにその辺の人がライブラリー作れるようなものじゃないだろうしな 1つの声質に対してボコーダーで変化を付ける感じ？
CVS ARIA CeVIOと共通する芯を感じる DTMerが歌モノ好きとは限らないから嫌いな人もいるでしょう いやDTM板の合成音声ソフトスレまで来てインストしか好まんは意味不明でしょ
合成音声然としてる音が好きとかなら人の声に近づけないで表現幅の可能性が広い方が好きって意味だと受け取ることはできる ■ このスレッドは過去ログ倉庫に格納されています
