【超解像】画像拡大ソフト総合スレ4【waifu2x】

2018/10/16(火) 17:11:24.76

画像を人工知能(Neural Network)を利用して拡大、あるいはノイズ除去するソフトウェアの話題を総合的に扱うスレです。
本来の用途は静止画が対象ですが動画のアプコン処理に関する話題もOKです。
ただし動画編集ソフトの使い方の部分の話は各ソフトのスレに行って下さい。

--主なソフト--
・waifu2x
本家Webサービス
http://waifu2x.udp.jp/

・waifu2x概要：二次元画像を拡大したいと思ったことはありませんか？ (waifu2x作者氏のブログ)
http://ultraist.hatenablog.com/entry/2015/05/17/183436

・waifu2xとその派生ソフト一覧
http://kourindrug.sa kura.ne.jp/waifu2x.html

・waifu2xのベンチマーク結果まとめ - Togetter
http://togetter.com/li/831437

・無料で二次元画像を人工知能が補完してハイクオリティで1.6倍/2倍に拡大できる「waifu2x」 (gigazinの記事)
http://gigazine.net/news/20150519-waifu2x/

・Otaku ワールドへようこそ！［212］嫁を拡大する人工知能／GrowHair (日刊デジタルクリエイターズの記事)
※従来の拡大手法とwaifu2x、SRCNNの違いについての丁寧な解説記事
http://blog.dgcr.com/mt/dgcr/archives/20150605140100.html

・NeuronDoubler
人工知能超解像プログラム NeuronDoubler
http://loggialogic.blogspot.jp/2012/06/neurondoubler.html

VIPQ2_EXTDAT: checked:vvvvv:1000:512:----: EXT was configured

2018/11/07(水) 21:14:03.15

画像拡大ソフトってことでTwitterでA.I.Gigapixelが話題になってるけどここでは誰も触れてないのか

2018/11/08(木) 01:34:00.23

今は向こうのスレでちょっと話題になってるけど気になるなら自分で試してみれば?
俺は土日まではいいや

2018/11/08(木) 13:54:11.69

>>71
アレは以前に評価済み
金払うほどではない
waifuの最新版が写真用モデルを出せば、あっさり追い抜く

2018/11/08(木) 21:14:10.45

waifu2xは次の版もPSNR基準、つまり正確さ重視みたいだし
見た目の綺麗さを重視してそうなA.I.Gigapixelとは方向性が違うと思うよ
どっちが上というか、用途によって使い分けるのが吉かと

2018/11/08(木) 21:30:44.03

CaffeeのupResNetで遊んでたらグラボ(Titan Black)が逝ったかも・・・
Windowsの汎用ドライバー以外にすると映像出力されずにハングする
OSも死に体になってるからクリーンインストールで直ってくれるといいなぁ(駄目そう)

2018/11/09(金) 01:45:04.92

動画のエンコに使ってるから今まで2～300万枚程度はかけてると思うけどそういう話があると怖いなぁ…

2018/11/09(金) 20:50:16.88

電源の調子が悪くなったんじゃね?

75 (ﾜｯﾁｮｲW 2bf7-cOeP) · 2018/11/10(土) 15:47:56.87

金が無いから1060 GTXに載せ替えた

>>77
Caffeeで今まで通ってた設定が通らなくなる→どんどん通らなくなる
→フリーズ、画面ノイズが起動時に発生
→OS標準ドライバ(低解像度)でしか起動しなくなる

もともと900シリーズが出た頃に放出された中古品だし、エンコでしばいて稼働3年なので寿命やね

2018/11/12(月) 00:14:45.48

本家の動きが止まったままのようだが、何かマズいことでもあったのか？
みんな待ってるのに

2018/11/12(月) 07:24:37.51

>>79
前回upconv7モデルを発表したときにアーティファクトが出る問題が指摘されていたから今回の新しいモデルで新たな問題が起きないか時間をかけて入念にテストしてるんじゃないかな
それに互換性が失われる更新は安易にコロコロ出来ないから完成度を高めてからリリースしたいっていうのもあるだろうし

2018/11/13(火) 05:32:48.94

WEB版のwaifu2xのイラストモデルが更新されたようだ
写真用モデルはGPUメモリ対策が必要らしい

試してみたが斜め線が確かに改善されている！
完璧とまではいかないまでも、ここまで改善されれば実用上は充分かも
あとは写真用モデルを…
（イラスト用モデルはどうしても画像の透明感が犠牲になる）

2018/11/13(火) 09:26:15.72

遂に来た感じあるなー実装が楽しみ
あとResnet10にはphotoモデルなかったしこちらも更新されるってのはなかなか興味ある

2018/11/14(水) 13:45:54.10

新イラストモデル凄すぎて笑うしかない
resnetとかのトーン拡大の気持ち悪さがめちゃくちゃ自然になってるわ

2018/11/14(水) 14:22:42.25

お世話になっておいてその言い草は無いだろ…
どのモデル作者にも感謝しかないわ

2018/11/16(金) 02:15:01.14

本家の作者氏のTwitterによると、新しいバージョンのPSNRは40を超えたのは間違いないようだね
このパターンのPSNRの上下値は50あたりなのかな？
だとするとかなりいい線なのだろう

2018/11/16(金) 14:23:38.38

WEB版のノイズ除去って低と中が逆になってない？

2018/11/17(土) 01:26:05.93

>>70
https://i.imgur.com/eOnIAEO.png
何度も申し訳ございません
何度やってもsuccessful Installation.と表示されず
上の画像のところで止まっております

2018/11/17(土) 03:46:11.74

>>86
https://twitter.com/ultraistter/status/1062022156307980288
これではなくて？
https://twitter.com/5chan_nel (5ch newer account)

2018/11/17(土) 07:18:53.66

>>87
Anacondaのインストーラーが何の進捗ダイアログも出さないので処理が止まっているように見えますが実際はちゃんとインストール処理をしているのでウィンドウを閉じずに放置してください

2018/11/17(土) 09:04:04.48

>>89
failed to start pythonってでるのでアナコンダのインストールが失敗してるみたいなんです

2018/11/17(土) 15:02:24.69

>>90
v1.2.2でinstall.batの処理を修正したりインストールログを出力するようにしたのでお手数ですがもう一度試してみてください
あとWindowsのバージョンによってはAnacondaをインストールしたあと再起動しないとPythonのPathが環境変数に登録されなくて起動できないかもしれないです

2018/11/17(土) 19:11:23.64

>>88
これかも
前試した画像では加工後のファイルサイズもノイズの残り具合も
なし＞中＞低　だったんだけど、それよりノイズの多い画像で試したら
なし＞低＞中　になるみたいなので
お騒がせしました

2018/11/18(日) 23:47:04.59

本家cunetモデルもう入ってるんだ。早くcaffeに来ないかなー

2018/11/20(火) 19:43:23.46

色を指定してやると勝手に彩色してくれるツール

完全自動ではないのだけど、
同人誌の世界がもしかしたら変わるかもしれない

https://style2paints.github.io/

2018/11/22(木) 19:54:59.81

https://github.com/lltcggie/waifu2x-caffe/issues/132#issuecomment-440987151
個人的に改変しているwaifu2x-caffeなんてあるのか

2018/11/22(木) 21:23:18.07

waifu2xの作者様じゃん。
コミットしてないなら自分用に書いてるだろうし配布する気はないと思うよ。

2018/11/24(土) 02:27:27.35

waifu2x caffe1.2.0
cunet使用時に拡大/ノイズ除去/両方のどれを選んでも分割サイズが大き過ぎる可能性がありますとエラー落ちします。
CUDA/cuDnnのみで発生するようでCPUで変換した場合は正常に変換できました。
1.9xからの更新、1.2.0のフルの両方で発生してます。
申し訳無いですがお願いします。

2018/11/24(土) 02:30:42.41

えっと一応cudnn64_7.dllは入れており、前の1.9.2では正常にcudnn使用で変換出来てました。

2018/11/24(土) 19:39:41.57

waifu2x-caffe ver 1.2.0のCUnetでCPU使って変換しようとすると落ちる人自分以外にいる？
多分CUDA環境が無いと落ちるとかだと思うんだけど、他にいればまた報告しにいく

2018/11/24(土) 20:08:55.78

いややっぱり自分の環境ではどうやっても動かないことには変わりないから報告してくるわ

2018/11/24(土) 21:05:43.47

>>100
普通に変換出来たけど　分割サイズの調整とかしてる？

2018/11/24(土) 21:16:47.21

>>101
https://github.com/lltcggie/waifu2x-caffe/issues/132#issuecomment-441309327
分割サイズは4の倍数じゃないと駄目らしいから試してみたけどいくつにしても駄目やね

**97-98** (ﾜｯﾁｮｲW 7f53-qDc6) · 2018/11/25(日) 11:38:36.19

CU netモデルcuDNNのバージョンを7.4.1に更新すると動きました。
cuDNNのバージョンチェックでは7.3より新しくして下さいといったエラーメッセージが出たためチェック部分の更新がされていなかったためと思われます。

2018/11/25(日) 11:46:33.61

CUnet、結果が違うのでアレだけど GTX-1070 8GB cuDNN で
分割サイズ 48、バッチサイズ 17
が試した中では一番速かった。

2018/11/25(日) 13:29:49.03

CUnetモデル作者公称値ではupRGBの2.3倍ぐらいの重さだそうだけど5倍以上重く感じる。
caffeのバージョンが古い場合遅いそうですが更新入ってますか?
コミットのタイトルには有りませんでしたが、自分はコード見てわかりません･･･
https://twitter.com/ultraistter/status/1062676633436381184
https://twitter.com/5chan_nel (5ch newer account)

2018/11/25(日) 13:54:01.03

>>105
その辺の話もこのissueでやってるよ

本家の凄い新モデル「CUNET」がリリースされました #132
https://github.com/lltcggie/waifu2x-caffe/issues/132

2018/11/25(日) 14:58:22.76

ああ本当だありがとうございます。
分割数があまり大きく出来ないなどが問題なのかなぁ

2018/11/27(火) 07:22:53.65

CUnet(cuDNN)で変換中によく落ちてたけど仮想メモリサイズを固定値からシステム管理に戻したら落ちなくなった
メモリ8G&GTX1060 6G

**105** (ﾜﾝﾄﾝｷﾝ MM9f-qDc6) · 2018/11/28(水) 09:14:52.71

経験上分割数よりプロセス数増やした方が早かったので
分割数60,バッチサイズ3のものを4プロセスで実行していたのですが
>>106で分割数が少ないとより遅くなる可能性があるという話があったので
分割数256,バッチサイズ5のシングルプロセスとするとおおよそ>>106のような結果になりました。
意外だったのはCPU/GPU使用率やCPU/GPUメモリに余裕がある状態でもプロセス数を増やすと遅くなったり(今まで遅くなるモデルはなかったと思う)
分割数は220-256辺りがベストでそれより多くても少なくても遅くなったりした事です。
windows7 CUDA10,cuDNN7.4.1 ,5960X,GTX1080(8GB)

2018/11/29(木) 16:45:21.79

写真用モデルの更新は、まだ時間がかかるのだろうか？

99 (ﾜｯﾁｮｲ 1a6c-3wM6) · 2018/11/30(金) 19:39:03.49

CUnetで変換するとクラッシュしていた件ですがnagadomi氏のおかげで解決しました
https://github.com/lltcggie/waifu2x-caffe/issues/133#issuecomment-443085837

2018/12/01(土) 16:56:01.31

CLIP STUDIO PAINTのJPEGノイズ除去が話題になってた
線画の自動着色もあるみたいで、それも学習なんだろうな

2018/12/01(土) 18:23:28.76

waifu2x-caffe ver 1.2.0.1
https://github.com/lltcggie/waifu2x-caffe/releases/tag/1.2.0.1
cuDNNが使用できない環境でCUnetモデルを動作させるとクラッシュするバグを修正
GUIでCUnetモデルを使うときに分割サイズが4の倍数でない時にエラーを出すようにした

2018/12/01(土) 23:40:14.55

caffeで2次元イラスト (Yモデル)だとエラーが出るんですけど何故？

2018/12/02(日) 08:19:25.78

>>114
思いつくのは、Yモデルだとノイズ除去レベル1～3のモデルしか公開されてないから0を選んで変換しようとするとエラーになるってやつかな
他の変換モードでエラーが出るなら原因は分からない

2018/12/02(日) 08:20:39.26

あとエラーが出るならどういうエラーメッセージが出たか書いたほうが回答しやすいよ

2018/12/02(日) 09:56:51.35

>>115
それでした
デフォでこけるとか困る

2018/12/14(金) 16:28:46.95

>>112
トーンのグレー化とか面白い機能も付いてるのな
やっとモアレに悩まされなくなる新時代が来たわ

2018/12/14(金) 20:09:03.46

写真用モデルはまだかね？

2018/12/20(木) 00:51:29.60

CUDAドライバーがインストールされていない可能性があります　が出てたけど
>>45に助けられたわ　ドライバも更新しないとダメなんな

2018/12/31(月) 10:48:57.73

今日ツイッターでwaifuの事知って試してみてるけど、waifuかけてトリミングするのと、トリミングしてwaifuかけるのどっちが定番の使い方なのかな？

2018/12/31(月) 10:56:52.10

処理が軽さはwaifu2xが重いので、トリミング後で処理サイズが小さくなる後者
画質的には端の方はトリミングで切られる外側も加味した方が良いだろうから
わずかに前者に分があるんじゃないかなあ

2018/12/31(月) 10:59:18.96

>>122
ありがとうございます

2019/01/07(月) 22:56:34.50

出力画像を書き込めませんでした
出るんですけど何故？

2019/01/07(月) 23:07:50.15

>>124
UACとかあの辺でフォルダにアクセス権が無いとかかな
別のフォルダに移して処理すればいいと思う

2019/01/07(月) 23:38:22.95

>>125
保存先をデフォルトから変更したらできました！
ありがとうございます！

2019/01/14(月) 22:35:33.46

フェイクニュースが捗るなぁ
https://www.gizmodo.jp/2019/01/finally-a-neural-network-can-turn-a-bunch-of-sheep-into-geraffes.html

2019/01/16(水) 03:25:25.42

Release ver 1.2.0.2
https://github.com/lltcggie/waifu2x-caffe/releases/tag/1.2.0.2
CUnetモデルの拡大、ノイズ除去と拡大時に使用するモデルが間違っていたのを修正

2019/01/16(水) 04:25:22.04

なんじゃそら…
そんなことより写真用モデルの更新、はよはよ

2019/01/16(水) 09:23:35.66

CUnetで拡大した場合Y成分以外他のモデルより綺麗に拡大出来てなくて(元が4:4:4の画像を拡大しても出力画像が成分的に4:2:0のようになっているように見えた)不思議に思ってたんだけどこれが原因なのかな

2019/01/16(水) 16:56:59.75

変換モードでノイズ除去と拡大を選んだときはUpCUnet(ノイズ除去と拡大を同時に行うモデル)を使用するのが正しい動作だったけど今まではCUnet(ノイズ除去と拡大が個別に分かれているモデル)が誤って使われていた。
この修正の明確なメリットとしては処理時間の短縮と拡大倍率が2倍までのノイズ除去と拡大ならメモリ使用量が半減するというのがある。
今までより品質が上がるかどうかまでは分からない。

2019/01/16(水) 18:42:18.76

>>131
品質も上がったような気がする

2019/01/24(木) 22:51:49.82

今までdGPU非搭載のノートパソコンでちまちまとテストしていたのだが、dGPU搭載ノートパソコンが手に入ったので
cudnnを組み込んだうえで最新版のcunetモデルで実行したら、あまりの速さにびっくりした
画像さえきれいであれば実行時間なんてそれほど気にはしないほうなのだが、これだけ速いといろんな画像で試したくなった

やっぱりすごいな、これ
あとは実写版のcunetモデルが出さえすればパーフェクトなんだけど…
実写版はGPUのメモリー関連で苦労するようなことを作者氏が少し前に言っておられたが、
その後、進展はあったのだろうか？
金銭的なことがネックなのであれば1万円か2万円程度だったら寄付するけど、その程度ではまったく足らない？
それとも金とは関係ないことがネックになっているのだろうか？

2次元用モデルは水とかガラスのような透明感のある画像の、透明感がスポイルされてしまうのだけが気になる
そこさえ突破できれば、あとは何も問題ないと思うので

2019/01/25(金) 01:07:25.20

作者はここ20日ちょいで800kほど仮想通貨取引で儲けてるで。お金の問題では無さそう。
ひと段落つくか妙案が浮かぶか、とにかく納得の出来るものになるまでは完成品は公開しないんじゃ無いかな。
cuDNN2次元モデルも進捗報告から実際に公開されるまで結構紆余曲折あったみたいだし気長に待つのがいいんじゃない?
3次元画像なら今ならESRGANとかあるしPSNR拘らなきゃぱっと見の感覚ではwaifuより良さそう

2019/01/25(金) 12:06:04.77

別にwaifuじゃなくても良いんだが小説等、文字に特化したやつって無いの？

2019/01/25(金) 14:00:48.41

>>135
2次元イラストのYモデルとか

2019/01/25(金) 23:19:16.23

文字に特化って、OCRじゃあかんのか？
ディープラーニングの登場によってOCRも精度上がっとるぞ

2019/01/27(日) 20:36:38.99

文字画像を拡大させてからOCR使うと読み取り精度が上がる

2019/01/27(日) 20:59:18.59

文字というか、ビットマップのベクター化が
深層学習で既存の物よりもっと精度が高くなったらなあ

2019/01/28(月) 19:44:15.48

自分でつくればええやん

2019/01/29(火) 22:18:22.57

Linuxならどれが最適?

2019/01/29(火) 22:53:29.65

>>141
Linuxならそれこそ本家が使えるんじゃないの？知らんけど

2019/01/29(火) 23:20:09.36

髪の毛の一本一本とか毛穴とか自動で書き込んでディテール増やすソフトとかないの？

2019/01/29(火) 23:31:30.50

docker imageあるかなぁって思ったらいっぱいあるな
でもこれと言ったデファクトスタンダードは存在していないようだ
更新が一番最近のでも5か月前だし

2019/01/30(水) 12:38:08.49

AI Gigapixel使ってる人いるかな？

2019/02/01(金) 02:22:28.03

専用プロセサってどこも開発してないのか？

2019/02/01(金) 09:45:58.78

Anaconda3-2018.12-Windows-x86_64.exeをインストールしたフォルダに
waifu2x-chainer-GUI_1.2.2.zipを回答した中身をコピペして管理者権限でinstall.batを実行しても
「エラー waifu2x-chainerのインストールに失敗しました」となってしまう

https://pastebin.com/N8x4UjEp

ダイアログの一行目に「指定されたパスが見つかりません。」と出てくるから
おそらくpython自体が認識されてない状態だと思うんだけど何の工程ができてないんだろう

https://i.imgur.com/FYLNHVp.png
C:\Users\*>python
Python 3.7.1 (default, Dec 10 2018, 22:54:23) [MSC v.1915 64 bit (AMD64)] :: Anaconda, Inc. on win32
Type "help", "copyright", "credits" or "license" for more information.

2019/02/01(金) 18:29:56.50

>>147
Pythonの起動自体は成功してるみたいだけど、
> pip is configured with locations that require TLS/SSL, however the ssl module in Python is not available.
pipコマンドでSSLが使えてなくてChainerのインストールに失敗している模様
OpenSSLをインストールすれば解決出来るみたいだけどやり方がよくわからないので一度Anaconda、Python環境をアンインストールしてinstall.batを実行するのが確実かと

2019/02/01(金) 20:42:38.19

>>148
Anaconda入れなくても最初からinstall.batが全部やってくれたんですね…
検索で出てきたサイト宛てにしないで最初から質問すればよかったorz

geek uninstallerでpython（anaconda）消して環境変数からもanaconda関連は削除して再起動をかけたのですが
今度はinstall_python=yesになってしまうみたいです

install_log_2019020120141451.txt (145byte)
> Microsoft Windows [Version 10.0.17763.253]
>
> PowerShell Version : 5.1.17763.134
> install_python=yes
> エラー URLの取得に失敗しました

素人にとってこんなに難解なのか…と思いつつもchainerが細かい部分も一番綺麗に仕上がるみたいだから
絶対入れたいんだよなあ

2019/02/01(金) 20:52:01.31

>>149
ごめん
このスレのテンプレに書いてある情報はスレ建て直後のことで今はwaifu2x-caffeのCUnetモデルが一番高精度なんだ
無駄に煩わせてしまってすまない

2019/02/01(金) 23:47:03.12

>>150
とんでもない
素人のポカなのに親切に御教示くださりありがとうございますm()m

2019/02/02(土) 11:04:03.18

Intelの10nm世代CPUコア「Sunny Cove」のカギとなるAVX-512
https://pc.watch.impress.co.jp/docs/column/kaigai/1167662.html

CPUでも結構速くなるかもしれんね
今でもAVXに対応してるのはCPUの割には結構速いからな

2019/02/03(日) 00:43:26.26

サイト落ちてる？
http://waifu2x.udp.jp/index.ja.html

2019/02/23(土) 11:44:46.55

実写用モデル、まだぁ…

別件で、GeForce RTX20*0シリーズに搭載のTensor Coreを利用した画像高解像度化ソフトとかは出ないのかね？

2019/02/27(水) 04:20:09.84

文字消しってできないんですか？

2019/02/27(水) 11:54:40.59

画像にある文字や透かし文字をみたいなのを消す技術はあるらしい

2019/02/27(水) 15:38:19.83

DeepCreamPy
https://github.com/deeppomf/DeepCreamPy
なら、文字消しとモザ消しができるぞ。
これもディープラーニングの応用らしい。

2019/02/27(水) 21:00:03.87

>>157
Starめっちゃついててワロタ

2019/02/27(水) 22:31:44.38

クリームパイってスラングは...

2019/02/27(水) 22:37:14.98

>>159
グーグル先生で一発で出たわ
また余計な知識が一つ増えた
ありがとう

2019/02/27(水) 22:49:55.64

>>157
ありがとうございます
しかし私のやり方が悪いのかビキニの上にある文字を消すと
ビキニまで消えた感じになってしまいます・・・・
素っ裸よりかビキニのほうが良いんだよ・・・

2019/02/28(木) 01:11:59.43

>>157
すげー出来だな。ビビったわ

2019/02/28(木) 06:00:19.49

>>157
えっっっっっっっっろ

2019/03/01(金) 16:20:31.28

水に濡れたツルツルテカテカの布を学習させて
どんな水着でもツルツルテカテカにしちゃうソフト作って

2019/03/04(月) 20:04:24.39

cunet と upresnet10 の質の違いが今一わからん…

2019/03/04(月) 20:36:13.18

>>165
4倍拡大くらいすると画像によっては違いが出るみたい

CUnet
https://i.imgur.com/6xtAFrA.png

UpResNet10
https://i.imgur.com/XPgJvOt.png

2019/03/04(月) 20:45:50.55

拡大は×2でも輪郭とかディテール見たら1発だと思うけどなぁ
デノイズは分からない

2019/03/05(火) 09:50:34.41

waifu2x caffeの必須compute capabilityが3.0になって、geforce 5xx 系がサポート外になった
が、waifu2xのソースには今まで通りcuda の必須バージョンが7.5になってて、これソースからビルドしたらgeforce 5xxでも今まで通り動くのでは？
と思って確かめた。
結果、caffeをビルドするbatでCUDA_ARCH_BINと CUDA_ARCH_PTXあたりに20を指定したら動いたわ。
なおcunetはvram 1.2Gのgeforce 570じゃ足りなかった。
580のvram 3Gモデルなら足りるかも

2019/03/05(火) 10:50:09.14

5xx以前は、もう忘れられた存在

2019/03/09(土) 18:51:15.55

いつの頃だったか忘れたが少し話題に出た「RAISR」
https://deepage.net/ai_watson/2017/02/03/raisr.html
https://blog.capilano-fw.com/?p=282

その後の進展があったのかなかったのか、さっぱり情報がないのだけど、どうなんだろう？
Googleマップの航空写真がいつの頃からか、この技術を使っているっぽい感じが個人的にするのだけれど、
今試したところ、以前に比べwaifuでよく問題になっていた輪郭が解ける問題が、かなり改善されているようにも見えるのだが、
どこがどう改善されたのか詳しい情報が何もないのでよくわからん