【超解像】画像拡大ソフト総合スレ4【waifu2x】

2018/10/16(火) 17:11:24.76

画像を人工知能(Neural Network)を利用して拡大、あるいはノイズ除去するソフトウェアの話題を総合的に扱うスレです。
本来の用途は静止画が対象ですが動画のアプコン処理に関する話題もOKです。
ただし動画編集ソフトの使い方の部分の話は各ソフトのスレに行って下さい。

--主なソフト--
・waifu2x
本家Webサービス
http://waifu2x.udp.jp/

・waifu2x概要：二次元画像を拡大したいと思ったことはありませんか？ (waifu2x作者氏のブログ)
http://ultraist.hatenablog.com/entry/2015/05/17/183436

・waifu2xとその派生ソフト一覧
http://kourindrug.sa kura.ne.jp/waifu2x.html

・waifu2xのベンチマーク結果まとめ - Togetter
http://togetter.com/li/831437

・無料で二次元画像を人工知能が補完してハイクオリティで1.6倍/2倍に拡大できる「waifu2x」 (gigazinの記事)
http://gigazine.net/news/20150519-waifu2x/

・Otaku ワールドへようこそ！［212］嫁を拡大する人工知能／GrowHair (日刊デジタルクリエイターズの記事)
※従来の拡大手法とwaifu2x、SRCNNの違いについての丁寧な解説記事
http://blog.dgcr.com/mt/dgcr/archives/20150605140100.html

・NeuronDoubler
人工知能超解像プログラム NeuronDoubler
http://loggialogic.blogspot.jp/2012/06/neurondoubler.html

VIPQ2_EXTDAT: checked:vvvvv:1000:512:----: EXT was configured

2018/12/02(日) 08:20:39.26

あとエラーが出るならどういうエラーメッセージが出たか書いたほうが回答しやすいよ

2018/12/02(日) 09:56:51.35

>>115
それでした
デフォでこけるとか困る

2018/12/14(金) 16:28:46.95

>>112
トーンのグレー化とか面白い機能も付いてるのな
やっとモアレに悩まされなくなる新時代が来たわ

2018/12/14(金) 20:09:03.46

写真用モデルはまだかね？

2018/12/20(木) 00:51:29.60

CUDAドライバーがインストールされていない可能性があります　が出てたけど
>>45に助けられたわ　ドライバも更新しないとダメなんな

2018/12/31(月) 10:48:57.73

今日ツイッターでwaifuの事知って試してみてるけど、waifuかけてトリミングするのと、トリミングしてwaifuかけるのどっちが定番の使い方なのかな？

2018/12/31(月) 10:56:52.10

処理が軽さはwaifu2xが重いので、トリミング後で処理サイズが小さくなる後者
画質的には端の方はトリミングで切られる外側も加味した方が良いだろうから
わずかに前者に分があるんじゃないかなあ

2018/12/31(月) 10:59:18.96

>>122
ありがとうございます

2019/01/07(月) 22:56:34.50

出力画像を書き込めませんでした
出るんですけど何故？

2019/01/07(月) 23:07:50.15

>>124
UACとかあの辺でフォルダにアクセス権が無いとかかな
別のフォルダに移して処理すればいいと思う

2019/01/07(月) 23:38:22.95

>>125
保存先をデフォルトから変更したらできました！
ありがとうございます！

2019/01/14(月) 22:35:33.46

フェイクニュースが捗るなぁ
https://www.gizmodo.jp/2019/01/finally-a-neural-network-can-turn-a-bunch-of-sheep-into-geraffes.html

2019/01/16(水) 03:25:25.42

Release ver 1.2.0.2
https://github.com/lltcggie/waifu2x-caffe/releases/tag/1.2.0.2
CUnetモデルの拡大、ノイズ除去と拡大時に使用するモデルが間違っていたのを修正

2019/01/16(水) 04:25:22.04

なんじゃそら…
そんなことより写真用モデルの更新、はよはよ

2019/01/16(水) 09:23:35.66

CUnetで拡大した場合Y成分以外他のモデルより綺麗に拡大出来てなくて(元が4:4:4の画像を拡大しても出力画像が成分的に4:2:0のようになっているように見えた)不思議に思ってたんだけどこれが原因なのかな

2019/01/16(水) 16:56:59.75

変換モードでノイズ除去と拡大を選んだときはUpCUnet(ノイズ除去と拡大を同時に行うモデル)を使用するのが正しい動作だったけど今まではCUnet(ノイズ除去と拡大が個別に分かれているモデル)が誤って使われていた。
この修正の明確なメリットとしては処理時間の短縮と拡大倍率が2倍までのノイズ除去と拡大ならメモリ使用量が半減するというのがある。
今までより品質が上がるかどうかまでは分からない。

2019/01/16(水) 18:42:18.76

>>131
品質も上がったような気がする

2019/01/24(木) 22:51:49.82

今までdGPU非搭載のノートパソコンでちまちまとテストしていたのだが、dGPU搭載ノートパソコンが手に入ったので
cudnnを組み込んだうえで最新版のcunetモデルで実行したら、あまりの速さにびっくりした
画像さえきれいであれば実行時間なんてそれほど気にはしないほうなのだが、これだけ速いといろんな画像で試したくなった

やっぱりすごいな、これ
あとは実写版のcunetモデルが出さえすればパーフェクトなんだけど…
実写版はGPUのメモリー関連で苦労するようなことを作者氏が少し前に言っておられたが、
その後、進展はあったのだろうか？
金銭的なことがネックなのであれば1万円か2万円程度だったら寄付するけど、その程度ではまったく足らない？
それとも金とは関係ないことがネックになっているのだろうか？

2次元用モデルは水とかガラスのような透明感のある画像の、透明感がスポイルされてしまうのだけが気になる
そこさえ突破できれば、あとは何も問題ないと思うので

2019/01/25(金) 01:07:25.20

作者はここ20日ちょいで800kほど仮想通貨取引で儲けてるで。お金の問題では無さそう。
ひと段落つくか妙案が浮かぶか、とにかく納得の出来るものになるまでは完成品は公開しないんじゃ無いかな。
cuDNN2次元モデルも進捗報告から実際に公開されるまで結構紆余曲折あったみたいだし気長に待つのがいいんじゃない?
3次元画像なら今ならESRGANとかあるしPSNR拘らなきゃぱっと見の感覚ではwaifuより良さそう

2019/01/25(金) 12:06:04.77

別にwaifuじゃなくても良いんだが小説等、文字に特化したやつって無いの？

2019/01/25(金) 14:00:48.41

>>135
2次元イラストのYモデルとか

2019/01/25(金) 23:19:16.23

文字に特化って、OCRじゃあかんのか？
ディープラーニングの登場によってOCRも精度上がっとるぞ

2019/01/27(日) 20:36:38.99

文字画像を拡大させてからOCR使うと読み取り精度が上がる

2019/01/27(日) 20:59:18.59

文字というか、ビットマップのベクター化が
深層学習で既存の物よりもっと精度が高くなったらなあ

2019/01/28(月) 19:44:15.48

自分でつくればええやん

2019/01/29(火) 22:18:22.57

Linuxならどれが最適?

2019/01/29(火) 22:53:29.65

>>141
Linuxならそれこそ本家が使えるんじゃないの？知らんけど

2019/01/29(火) 23:20:09.36

髪の毛の一本一本とか毛穴とか自動で書き込んでディテール増やすソフトとかないの？

2019/01/29(火) 23:31:30.50

docker imageあるかなぁって思ったらいっぱいあるな
でもこれと言ったデファクトスタンダードは存在していないようだ
更新が一番最近のでも5か月前だし

2019/01/30(水) 12:38:08.49

AI Gigapixel使ってる人いるかな？

2019/02/01(金) 02:22:28.03

専用プロセサってどこも開発してないのか？

2019/02/01(金) 09:45:58.78

Anaconda3-2018.12-Windows-x86_64.exeをインストールしたフォルダに
waifu2x-chainer-GUI_1.2.2.zipを回答した中身をコピペして管理者権限でinstall.batを実行しても
「エラー waifu2x-chainerのインストールに失敗しました」となってしまう

https://pastebin.com/N8x4UjEp

ダイアログの一行目に「指定されたパスが見つかりません。」と出てくるから
おそらくpython自体が認識されてない状態だと思うんだけど何の工程ができてないんだろう

https://i.imgur.com/FYLNHVp.png
C:\Users\*>python
Python 3.7.1 (default, Dec 10 2018, 22:54:23) [MSC v.1915 64 bit (AMD64)] :: Anaconda, Inc. on win32
Type "help", "copyright", "credits" or "license" for more information.

2019/02/01(金) 18:29:56.50

>>147
Pythonの起動自体は成功してるみたいだけど、
> pip is configured with locations that require TLS/SSL, however the ssl module in Python is not available.
pipコマンドでSSLが使えてなくてChainerのインストールに失敗している模様
OpenSSLをインストールすれば解決出来るみたいだけどやり方がよくわからないので一度Anaconda、Python環境をアンインストールしてinstall.batを実行するのが確実かと

2019/02/01(金) 20:42:38.19

>>148
Anaconda入れなくても最初からinstall.batが全部やってくれたんですね…
検索で出てきたサイト宛てにしないで最初から質問すればよかったorz

geek uninstallerでpython（anaconda）消して環境変数からもanaconda関連は削除して再起動をかけたのですが
今度はinstall_python=yesになってしまうみたいです

install_log_2019020120141451.txt (145byte)
> Microsoft Windows [Version 10.0.17763.253]
>
> PowerShell Version : 5.1.17763.134
> install_python=yes
> エラー URLの取得に失敗しました

素人にとってこんなに難解なのか…と思いつつもchainerが細かい部分も一番綺麗に仕上がるみたいだから
絶対入れたいんだよなあ

2019/02/01(金) 20:52:01.31

>>149
ごめん
このスレのテンプレに書いてある情報はスレ建て直後のことで今はwaifu2x-caffeのCUnetモデルが一番高精度なんだ
無駄に煩わせてしまってすまない

2019/02/01(金) 23:47:03.12

>>150
とんでもない
素人のポカなのに親切に御教示くださりありがとうございますm()m

2019/02/02(土) 11:04:03.18

Intelの10nm世代CPUコア「Sunny Cove」のカギとなるAVX-512
https://pc.watch.impress.co.jp/docs/column/kaigai/1167662.html

CPUでも結構速くなるかもしれんね
今でもAVXに対応してるのはCPUの割には結構速いからな

2019/02/03(日) 00:43:26.26

サイト落ちてる？
http://waifu2x.udp.jp/index.ja.html

2019/02/23(土) 11:44:46.55

実写用モデル、まだぁ…

別件で、GeForce RTX20*0シリーズに搭載のTensor Coreを利用した画像高解像度化ソフトとかは出ないのかね？

2019/02/27(水) 04:20:09.84

文字消しってできないんですか？

2019/02/27(水) 11:54:40.59

画像にある文字や透かし文字をみたいなのを消す技術はあるらしい

2019/02/27(水) 15:38:19.83

DeepCreamPy
https://github.com/deeppomf/DeepCreamPy
なら、文字消しとモザ消しができるぞ。
これもディープラーニングの応用らしい。

2019/02/27(水) 21:00:03.87

>>157
Starめっちゃついててワロタ

2019/02/27(水) 22:31:44.38

クリームパイってスラングは...

2019/02/27(水) 22:37:14.98

>>159
グーグル先生で一発で出たわ
また余計な知識が一つ増えた
ありがとう

2019/02/27(水) 22:49:55.64

>>157
ありがとうございます
しかし私のやり方が悪いのかビキニの上にある文字を消すと
ビキニまで消えた感じになってしまいます・・・・
素っ裸よりかビキニのほうが良いんだよ・・・

2019/02/28(木) 01:11:59.43

>>157
すげー出来だな。ビビったわ

2019/02/28(木) 06:00:19.49

>>157
えっっっっっっっっろ

2019/03/01(金) 16:20:31.28

水に濡れたツルツルテカテカの布を学習させて
どんな水着でもツルツルテカテカにしちゃうソフト作って

2019/03/04(月) 20:04:24.39

cunet と upresnet10 の質の違いが今一わからん…

2019/03/04(月) 20:36:13.18

>>165
4倍拡大くらいすると画像によっては違いが出るみたい

CUnet
https://i.imgur.com/6xtAFrA.png

UpResNet10
https://i.imgur.com/XPgJvOt.png

2019/03/04(月) 20:45:50.55

拡大は×2でも輪郭とかディテール見たら1発だと思うけどなぁ
デノイズは分からない

2019/03/05(火) 09:50:34.41

waifu2x caffeの必須compute capabilityが3.0になって、geforce 5xx 系がサポート外になった
が、waifu2xのソースには今まで通りcuda の必須バージョンが7.5になってて、これソースからビルドしたらgeforce 5xxでも今まで通り動くのでは？
と思って確かめた。
結果、caffeをビルドするbatでCUDA_ARCH_BINと CUDA_ARCH_PTXあたりに20を指定したら動いたわ。
なおcunetはvram 1.2Gのgeforce 570じゃ足りなかった。
580のvram 3Gモデルなら足りるかも

2019/03/05(火) 10:50:09.14

5xx以前は、もう忘れられた存在

2019/03/09(土) 18:51:15.55

いつの頃だったか忘れたが少し話題に出た「RAISR」
https://deepage.net/ai_watson/2017/02/03/raisr.html
https://blog.capilano-fw.com/?p=282

その後の進展があったのかなかったのか、さっぱり情報がないのだけど、どうなんだろう？
Googleマップの航空写真がいつの頃からか、この技術を使っているっぽい感じが個人的にするのだけれど、
今試したところ、以前に比べwaifuでよく問題になっていた輪郭が解ける問題が、かなり改善されているようにも見えるのだが、
どこがどう改善されたのか詳しい情報が何もないのでよくわからん

2019/03/19(火) 22:41:46.73

CUNETってVRAMいくらなら動くの？
2Gじゃcudnn使っても足りなかったよ

2019/03/19(火) 22:55:11.75

と思ったら敢えてcudnn使わないようにしたらギリギリ動いた
あれーcudnnの方が断然省メモリじゃなかったのかよ

2019/03/19(火) 23:09:06.64

768ｘ1080の画像でCUDAだと1800MBくらい
cudnnありだと700MBくらいだったけど
処理時間はCUDAの方が2割くらい短かった

2019/03/19(火) 23:17:37.22

↑は(CUnet)(noise)(Level0)分割サイズ64バッチ1の結果で
(CUnet)(noise_scale)(Level0)(x2.0)ではcudnnの方が速かった

2019/03/20(水) 07:32:39.26

うちの環境じゃやっぱりcudnnの方がメモリを食うようにしか見えない。
Windows7, GTX670, CUDA10, cudnn7.5, waifu2x-caffe-1.2.0.2の環境で、
(CUnet)(noise_scale)(Level0)(x2.0)を実行すると、
強制終了した時のnvsmiでのメモリ使用量は2029MiB / 2048MiB。

2019/03/20(水) 07:36:50.62

あと、分割数は４まで下げても同じ。
画像サイズは約1600x1200

2019/03/20(水) 13:26:52.40

分割数増やせばいいじゃないか…

2019/03/20(水) 13:44:17.48

分割数増やした方が使用メモリ増えるんじゃないっけ？

2019/03/20(水) 14:32:44.85

分割サイズの事を画像をいくつの断片に分割して処理するかみたいに勘違いしてる人が多いけど、実際はピクセルの大きさだからね

2019/03/20(水) 14:55:01.96

ぶっちゃけcudnnの恩恵を感じない

2019/03/20(水) 16:17:49.77

>>179
mjd？
だったら日本語間違ってるだろ…

2019/03/20(水) 16:28:43.88

>>181
ここ読めばわかる
https://github.com/lltcggie/waifu2x-caffe#%E5%88%86%E5%89%B2%E3%82%B5%E3%82%A4%E3%82%BA

2019/03/20(水) 22:38:22.93

> 分割サイズ(crop_size)とは、この画像を分割する際の幅（ピクセル単位）の事です。

2019/03/20(水) 23:29:23.51

分割の増減でどうなるん？
差異があるからこの項目あるんでしょ？

2019/03/21(木) 19:42:51.16

画像のサイズは処理開始時にわかっているのだから、GPUのメモリー容量に応じて最適なサイズで処理するとかできないのかね？
以前、何度か処理中にPCの電源ごと落ちたことがあるが、正直心臓に悪い

2019/03/21(木) 21:08:04.43

分割サイズは
> * 必ずしも数値が大きければ大きいほど速くなるわけでは無い
> * 分割サイズが画像の縦横サイズの約数（あるいは割ったときに余りが少ない数）だと、無駄に演算する量が減って速くなる。 (この条件にあまり当てはまらない数値が最速になるケースもあるらしい？)
ので単純に分割数を増やしても処理速度はそこまで向上しないと思われる

>>185
電源落ちるのは電源容量が足りないかグラボ自体になんか問題あるんじゃない？
メモリ足りないサイズで処理してもソフトが落ちるだけでOSや電源ごととかならないかと

2019/03/22(金) 11:27:34.10

waifu2x caffe 8並列ぐらいしてみた時はGPUメモリ使い切った場合は完全にフリーズしちゃったな(変換も進んでない)
使い切らなきゃ問題は起きなかった。

2019/03/22(金) 21:08:17.08

>>185
メモリのせいかどうかは、

"C:\Program Files\NVIDIA Corporation\NVSMI\nvidia-smi.exe" -l

コマンドでメモリの使用量を監視してみ？
メモリを使い切ってないなら電力不足で落ちてると思われ

2019/03/23(土) 04:26:01.51

>>185
自分の場合GTX1070使ってて電源落ちが頻発して、GTX970に戻しても落ちたので電源を500W Goldから750W Goldに変えたら落ちなくなった。
イベントビューアを開いて電源が落ちた辺りで重大 Kernel-Power 41 っていうのがあったからこれがあなたの環境にもあったら電源の問題だと思う。

2019/03/23(土) 14:51:44.99

cunetで変換画質めっちゃ良くなったけど、瞳がまだ滲んだような変換になってしまうことが多いな
これが綺麗に変換できるようになったら最高なんだが

2019/03/25(月) 19:37:47.63

・フルHD化が難しい「スター・トレック」を自作のAIでフルHD＆4Kにアップコンバートした猛者が登場 - GIGAZINE
https://gigazine.net/news/20190325-star-trek-ds9-full-hd/

懐かしい～

2019/03/25(月) 19:48:15.57

A.I.Gigapixelのことを自作のAIって書いてるのがGIGAZINEらしいｗ

2019/03/25(月) 20:27:36.72

A.I.Gigapixel作った人っぽいよ

2019/03/25(月) 20:37:24.69

スター・トレックかあ、ニューヨークに行きたいなあ

2019/04/02(火) 15:39:29.91

DeepCreamPyだと
https://i.imgur.com/DzqdH4h.png
このレベルで文字消しができるんですか？
どうやるんでしょうか？

2019/04/02(火) 16:34:58.79

kwsk

2019/04/02(火) 17:18:31.41

>>195
アニメ絵じゃないと無理だわ

2019/04/02(火) 17:23:05.71

うん
DeepCreamPyはイラストでガチガチにトレーニングしてあるから実写は無理だと思う
別のソフト探したほうがいいんじゃない

2019/04/02(火) 17:34:11.03

>>195

こっちのほうが向いてるかな。Image Inpaintingってやつ。デモだけど試せる。
https://www.nvidia.com/en-us/research/ai-playground/

2019/04/02(火) 18:30:37.24

実写のモザ消しに試してみたら覆った範囲全部大陰唇みたいな判定で出力されてワロタ
2次画像は書き込んでる人とそうで無い人が分かって面白いなと思った

2019/04/07(日) 12:33:27.04

waifu2xの最新モデルのCUnetがIntel、AMD、NVIDIAのGPUで動く派生が公開されてた。
https://github.com/nihui/waifu2x-ncnn-vulkan

まだ開発が始まったばかりで不具合もあるし最適化されてないから速度もあんまり出ないけどこれからの改良次第でtanakamura版に変わるAMD派の新定番になるかもしれない。

2019/04/07(日) 16:01:05.24

ほぅ…

2019/04/07(日) 21:04:04.90

速度があんまり出ないって書いたけど勘違いだったかも
思ったよりずっと早い

https://twitter.com/nihui/status/1114820507663077376
https://pbs.twimg.com/media/D3ijNE2UwAAKeI2.png
https://twitter.com/5chan_nel (5ch newer account)

2019/04/07(日) 21:06:46.85

>>203
画像サイズによって速度の優劣が変わるんだな
なぜだろう？

2019/04/07(日) 21:10:54.26

>>204
多分caffeは起動に時間がかかるんだと思う。

2019/04/08(月) 05:19:47.57

ラデでも動くのは確認できたが
CUnetなのにボケボケなのはモデル間違えてるんかな

2019/04/08(月) 06:52:31.18

モデルを間違えてるというより推論っていうのかな？モデルを使って拡大する処理の部分に問題がある気がする
ちゃんとディープラーニングに詳しい人が見てくれないとはっきりとしたことは分からないけどさ

2019/04/08(月) 13:35:57.44

>>203
画像の表でtotal timeがミリ秒になってるけど秒だよね…？

2019/04/08(月) 15:58:06.63

>>201のwindows版をダウンロードしたんですが、exeをクリックするだけでは起動できないんですよね?
これからどうすればいいんでしょうか?

2019/04/08(月) 16:56:11.76

>>209

waifu2x.exe [input image] [output png] [noise=-1/0/1/2/3] [scale=1/2]

noise = noise level, large value means strong denoise effect, -1=no effect
scale = scale level, 1=no scale, 2=upscale 2x

2019/04/08(月) 20:30:43.74

>>203
GTX1070にしてはまだかなり遅いと思うな。
caffeならcudnn使用のcunetで5-7倍程度出ると思う。
GTX1080だとインプット150万画像/sec程度の速度でx2拡大処理出来てるので

2019/04/08(月) 20:32:28.18

書いた後でなんだが400x400の項目しか見てなかった。
4000x4000とかだとそれなりに速くなるんだな

2019/04/09(火) 08:11:36.54

>>210
ありがとうございます!
仕事から帰ってきてから試してみます。

2019/04/13(土) 23:51:37.79

Vulkan版ブロックサイズ指定できるようになって以前のだとエラー出て拡大できなかった画像も行けるようになってた
AMD派はVulkanかOpenCV使えば良さそうかな

2019/04/14(日) 07:36:14.69

Vulkan版なんだけど現時点では出力画像のコントラストがちょっと変わることがあるので注意ね
まだ試験運用に留めて本番運用に使用するのは控えたほうがいいかも

適当に説明すると
最初のリリースだとgtx20とvegaのGPUでfp16aの演算結果が正しくない問題があって>>206,207で言われてたように画質の悪い画像が出力されてた
なので現在のバージョンでは応急処置としてfp16aの演算をオフしてあって、明らかにおかしな画像が出力されるってことは無くなった
しかしfp16aをオフにすると演算精度が足りないみたいで画像のコントラストが変わってしまうという事が起きるように
TODOの中にこの問題の修正が入っているのでいつかは直ると思うがいつ直るかは不明