Fiddler　2chプロクシ専用　Part１ [転載禁止]©2ch.net

**名無しさん＠お腹いっぱい。** · 2015/03/26(木) 23:24:16.96

htmltodatByFiddler
　要.NET Framework (webスクレイピング)
　ttp://mukiyu.g.ribbon.to/　【v1.05 　 v2.02 (v2系は差分取得対応)】
　ttp://jbbs.shitaraba.net/bbs/read.cgi/computer/1929/1038409548/
（要参照 ttp://anago.2ch.net/test/read.cgi/software/1426589898/763
　ttp://www.telerik.com/download/fiddler

**名無しさん＠お腹いっぱい。** · 2015/12/12(土) 01:10:26.20

なんか今pink見たらまた2がおかしくなってるけど、
>>260で対応してるのか？
まさかその後じゃねだろうな

まあ、一応試してみる

**名無しさん＠お腹いっぱい。** · 2015/12/12(土) 01:17:58.18

直った

なんかJaneXeno＋htmltodatByFiddler 2.09だと
スレ開くときに重くなったのだが気のせいか？
俺だけ？

**名無しさん＠お腹いっぱい。** · 2015/12/12(土) 01:31:33.53

ん、俺の環境では別に重くなった感じはしないな

**名無しさん＠お腹いっぱい。** · 2015/12/12(土) 01:59:27.23

>>263
マジで？
Pink板のスレ開いてみて、若干重くなるわ

あと、また仕様変わった？
なんか書き込んだ後にまたスレ壊れる
試してみてくれ↓

【ふわわ】川鍋朱里ちゃん Part3【しゅり】
http://potato.2ch.net/test/read.cgi/geinoj/1435941763/

**名無しさん＠お腹いっぱい。** · 2015/12/12(土) 02:00:48.59

う～ん、2ch自体がぶっ壊れてるんだろうか、仕様変更したんだろうか

しかし、こんだけ変更多いとhtmltodatの作者さんも大変だろうな

**名無しさん＠お腹いっぱい。** · 2015/12/12(土) 02:05:39.32

エロゲー板で何個かスレ開いたけど普通だな

**名無しさん＠お腹いっぱい。** · 2015/12/12(土) 02:07:07.45

>>266
そうか、ありがとう

一回、>>264のスレに書き込んでみて書き込み直後の読み込みでログ壊れるから

**名無しさん＠お腹いっぱい。** · 2015/12/12(土) 02:12:17.55

直りやがった
2ch側が仕様変更してる最中かなんかだったのかも

**名無しさん＠お腹いっぱい。** · 2015/12/12(土) 07:04:20.24

自分でいじれるのも利点だね

**名無しさん＠お腹いっぱい。** · 2015/12/17(木) 23:33:13.81

また壊れるぞ

**名無しさん＠お腹いっぱい。** · 2015/12/18(金) 00:27:04.72

また仕様変更したのか

**名無しさん＠お腹いっぱい。** · 2015/12/18(金) 01:03:00.70

あーやっぱり壊れるんだ

**名無しさん＠お腹いっぱい。** · 2015/12/18(金) 01:13:17.09

更新来てたぞ

2015/12/22(火) 02:23:22.66

バグ対版 htmltodatByFiddler 2.11 が出たお。

**名無しさん＠お腹いっぱい。** · 2015/12/23(水) 08:53:38.17

pロxy伝説

2015/12/27(日) 02:59:01.38

バグ対版 htmltodatByFiddler 2.12 が出てたお。

**名無しさん＠お腹いっぱい。** · 2015/12/27(日) 06:51:34.21

ここすぐ落ちるネ

**名無しさん＠お腹いっぱい。** · 2016/01/04(月) 05:09:04.89

助かった。ギコナビが復活した

2016/01/04(月) 10:10:13.26

Fiddler 4.6.2.0 Up!!

アップデートチェックだと、4.6.1.5のままだったので、インストーラよりアプデート実施。
自動生成のCustomRules.jsが12/31付けだったので、念の為ソースを再移植したは。

**名無しさん＠お腹いっぱい。** · 2016/01/04(月) 17:56:13.29

>>279
Fiddlerが使うHTTPSの証明書とツールバー周りの変更があったようだな
What’s New in Fiddler 4.6.2
http://textslashplain.com/2015/12/30/whats-new-in-fiddler-4-6-2/

2016/01/04(月) 18:29:03.75

>>280
JScriptエディタ等のAdd-onツールもアプデされてたから、一緒に更新したは。

VisualStudio2015 Update1インスト済みだから、.NET Framework 4.6.1含め
全て最新の環境だは。

**名無しさん＠お腹いっぱい。** · 2016/01/06(水) 08:35:17.76

>>279-280
アップデートチェックからでも 4.6.2.0 が入るようになっていた。
CustomRules.js の変更はユーザエージェントの文字列が最新バージョンに更新されているだけ。
ユーザエージェント偽装をして実験や試験などする人でなければ影響ない。

2016/01/06(水) 10:13:35.04

>>282
自分の環境（Win7&IE11）のUAが無いから、何時も追加してる。
そんで、UA偽装の設定を、UA一覧から選択出来る様にしてるよ。

2016/01/12(火) 02:42:59.29

新read.cgiバグ対策版 htmltodatByFiddler 2.13 が出たお。

**Fiddler2chExtension** ◆7nuuPIs6jA · 2016/01/16(土) 17:42:28.65

1ヶ月以上過ぎてしまったけど
apitodatByFiddlerさんのV2.00（>>248）を反映させたFiddler2chExtension2.0.0.0をアップしました。
浪人ID PASSを入れられるようにはしたのですが、アカウント持っていないので未検証です。

ダウンロードはこちら
http://www1.axfc.net/u/3601946.zip

詳しくはwikiのFiddler Extensionを利用してHTML2DAT / APIモードを切り替えたいを見てください。

**名無しさん＠お腹いっぱい。** · 2016/01/16(土) 20:37:57.55

>>285
おつかれさまです
win7 64bit Fidder v4.6.2.0
で問題なく動作しております
なお当方も浪人は未検証

**名無しさん＠お腹いっぱい。** · 2016/01/20(水) 03:47:26.62

Fiddlerアンインストールしたのにブラウザで

[Fiddler] DNS Lookup for "＊＊＊＊.net" failed. System.Net.Sockets.SocketException 要求した名前は有効ですが、要求された種類のデータは見つかりませんでした。

って出てくるんだが？

**名無しさん＠お腹いっぱい。** · 2016/01/20(水) 04:21:42.64

レジストリ/ファイル/フォルダ/ブラウザの設定などはチェックした？

**名無しさん＠お腹いっぱい。** · 2016/01/20(水) 04:56:40.39

2chApiProxyのせいだった

**名無しさん＠お腹いっぱい。** · 2016/03/07(月) 09:52:29.33

age

**名無しさん＠お腹いっぱい。** · 2016/03/15(火) 02:06:39.17

なんかまた既得スレ取得するとスレ壊れないか？

**名無しさん＠お腹いっぱい。** · 2016/03/15(火) 02:13:05.30

最新版入れてるけど正常だぞ

**名無しさん＠お腹いっぱい。** · 2016/03/15(火) 17:33:28.24

>>291
以前のバージョンで取得したスレだと変換の仕方が多少違うのでサイズが違ってしまって壊れることがある。
これは仕方がない。素直に再取得。

**名無しさん＠お腹いっぱい。** · 2016/03/26(土) 04:47:58.72

>>293
>>291でないけど今日急になったぞ
もちろんFiddlerもルールもしばらく変更無しで

ともあれ再取得で直ったみたいだthx

**名無しさん＠お腹いっぱい。** · 2016/03/26(土) 10:48:24.93

…と思ったけどダメだった
新レスが来る度にずれる
スレを切り替える度に前回正常だった場所からになる

板は半角二次元、まあPINK全部だろうけど
ブラウザで開いても不審な場所はないような…

**名無しさん＠お腹いっぱい。** · 2016/03/26(土) 13:15:18.38

nasu鯖、mercury鯖に移転したんだな

>>295
最終レス末尾に広告枠が追加されたようだ
バナー広告削除の前後何れかに以下を追加で

oBody = oBody.replace(/<\/div><\/div><\/div><div><div class="js--ad--bottom"[\s\S]*$/,"</div></div>\n");

**名無しさん＠お腹いっぱい。** · 2016/03/26(土) 14:49:20.88

>>295
もう一つ
ブラウザで見るとレス番0があるスレ
どうやらこれはあぼーん(あは～ん・うふ～ん)されたレスはhtml上では省略表示されてることを示してるようだ
dat化する時あぼーんレスの補完が必要になる……気分が乗らないので誰かに任せる
とりあえずレス番0を除去だけ

oBody = oBody.replace(/<div class="post" id="0"[\s\S]+?(?=<div class="post")/,"");

51行目の｢後ろの不要な部分をカット｣より前に追記すること

**名無しさん＠お腹いっぱい。** · 2016/03/26(土) 21:32:10.36

>>296
外出してたのと不具合があったのを調べてたのでレス遅れた
でもおかげでFiddlerの使い方が少しわかったぞ！
inspectorのrawを見ればどうなったか見えるのか

oBody = oBody.replace(/<\/div><\/div><\/div><div><div class="js--ad--bottom"[\s\S]*$/,"</div></div>");
これなら大丈夫だった(末尾の\n削除)、でもこれで大丈夫になった

>>297
なんか厄介な仕様だなあ

2016/03/29(火) 02:52:12.40

バグ対版 htmltodatByFiddler 2.14 が出たお。

**名無しさん＠お腹いっぱい。** · 2016/03/29(火) 23:24:30.17

>>299
㌧

**名無しさん＠お腹いっぱい。** · 2016/04/03(日) 11:06:26.91

乙です！

**名無しさん＠お腹いっぱい。** · 2016/04/29(金) 07:28:05.27

fiddler最新のv4.6.2.3にしたら、毎回起動時に
telerik.com/UpdateCheck.aspxへ繋ぎにいくんだけど何とかならないのかな？
もちろんアプデのチェックははずしてるし
レジストリHKEY_CURRENT_USER\Software\Microsoft\Fiddler2をいじっても効果がなかった

**名無しさん＠お腹いっぱい。** · 2016/04/29(金) 10:25:53.88

>>302
ほんとこれ
ネットつながってないとエラー吐いてうるさい
古いバージョンに戻したわ

**名無しさん＠お腹いっぱい。** · 2016/04/29(金) 10:28:47.34

>>302
その URL に繋ぎにいくのを止めるフィルタを書けばいいんじゃね?
ログに出てるってことは通常経路で通信していると見ていいっぽいから OnBeforeRequest で握り潰せばいいと思う。

ただこの手のソフトの更新チェックは入れておいた方がいいとは思うけどな。

**名無しさん＠お腹いっぱい。** · 2016/04/29(金) 21:27:43.36

>>303
うちだけかと思ったら皆さんそうでしたかw

>>304
戻り値も見てるようなのでそれだとうまくいかないかな
結局別OSのv4.6.2.2を上書きしたら止まりました

**名無しさん＠お腹いっぱい。** · 2016/06/17(金) 03:31:20.94

JaneXenoが更新されたぞ

【専ブラ】 Janeがまさかの更新ｷﾀｰ
http://hitomi.2ch.net/test/read.cgi/poverty/1466045082/

1 ：番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲ a64c-TmMJ)：2016/06/16(木) 11:44:42.41 ID:XkbItdUd0
JaneXeno
http://janexeno.client.jp/

319 名前：koreawatcher ◆XenoM10nSg [sage] 投稿日：2016/06/15(水) 20:33:18.55 ID:1pfwoAuz
Xeno160615 試作品
http://janexeno.client.jp/janexenobeta.htm
・スレ取得関連のロジックをXeno151212以前の状態に戻した。
　浪人の認証も以前の状態に戻ったためOpenSSLがなくても認証可能。

**名無しさん＠お腹いっぱい。** · 2016/07/08(金) 21:42:59.04

もしかして公式からダウンロード出来るのって.NET4版のみ？

**Vote STAY!!©2ch.net** · 2016/07/09(土) 08:40:26.07

7/6付けの v4.6.2.29442 にしてみたが、特に変わらず。

**名無しさん＠お腹いっぱい。** · 2016/07/09(土) 09:34:08.30

>>307
6月17日の 2.6.2.26757 で統一されたみたいだ
Introduced single installer for .NET framework 2 and .NET framework 4

**名無しさん＠お腹いっぱい。** · 2017/01/07(土) 12:21:41.78

テスト

**名無しさん＠お腹いっぱい。** · 2017/02/24(金) 15:21:28.58

たまに再起動しないとあかんのね
ブラウザが異常にもっさりしたり繋がらなくなるのはこいつのせいだった

**名無しさん＠お腹いっぱい。** · 2017/02/24(金) 23:08:18.80

>>311
それが専ブラなのかWebブラウザなのかは分からんが俺はなったことないな
もっとも常駐しっぱなしはあまりないからかもだが
ただ起動中はほとんどメモリを解放してくれないからそれが原因の可能性もある

とりあえず起動時は｢/noversioncheck /quiet｣のコマンドオプション付けてる
前者は最近のバージョンでの起動時の強制更新チェックするのを防いでる
後者は起動時のスプラッシュやウィンドウ表示をカットする最少化起動みたいなもの
ウィンドウ等が表示されない分若干メモリを抑えて起動できるな

**名無しさん＠お腹いっぱい。** · 2017/02/25(土) 06:24:52.74

通信ログを貯めっ放しだと、メモリ喰いまくるからな。
特定の通信以外のログを表示しないようにスクリプトを改造するか、
定期的にログを消去しないと。

**名無しさん＠お腹いっぱい。** · 2017/03/07(火) 14:41:56.32

サーバーの調子がおかしいのかなんか重いなぁ…と思ってたらFiddlerがCPUを滅茶苦茶食っててプチフリーズ発生(´・ω・`)こんなの初めて

**名無しさん＠お腹いっぱい。** · 2017/03/07(火) 14:48:11.36

>>314 たまにあるよ
常駐チェッカー画面に貼り付けておくのもありかも

**名無しさん＠お腹いっぱい。** · 2017/03/07(火) 14:51:24.20

>>315
そうなんですか！初めてだったのでオロオロしてここ来てみた(´・ω・`)
常駐チェッカーというのを探してみます！
ありがとうございまさいた

**名無しさん＠お腹いっぱい。** · 2017/03/07(火) 15:05:24.74

なんか再読み込みが発生しまくってるから2chのread.cgiの仕様が変わったのかも？

**名無しさん＠お腹いっぱい。** · 2017/03/07(火) 16:34:00.97

bbspink

**名無しさん＠お腹いっぱい。** · 2017/03/07(火) 16:46:08.91

>>318
pinkのスレ読めないな
Fiddlerがビジーになってタイムアウトする

**名無しさん＠お腹いっぱい。** · 2017/03/07(火) 17:51:53.86

うちの Fiddler はどうもなってないぞ。CPU 食うこともない。
v4.6.20171.7553
ログは 2,000 程度溜まってる。

念の為に pink を見てみたら確かに止まるな。CPU も1コア占有する。phobe も mercury も同じ。
スレの内容自体が最後まで読めてるのは Fiddler で確認できてるから、pink 側で送信終了を知らせて来ないんだろうな。
何度かこの状態になったことはあるけどここ当分はなかったな。

ちと様子見やね。

**名無しさん＠お腹いっぱい。** · 2017/03/07(火) 17:53:37.70

pink でもスレ一覧は更新した上で見られるから read.cgi でなにかやらかしてるんじゃないかな。

**名無しさん＠お腹いっぱい。** · 2017/03/07(火) 19:52:44.30

しばらく平和だったから油断してたわ

**名無しさん＠お腹いっぱい。** · 2017/03/07(火) 20:28:15.35

イライラするっちゃ

**名無しさん＠お腹いっぱい。** · 2017/03/07(火) 21:15:41.23

pinkで実験したのち2chに本格導入すると思って準備した方がいいだろうね
個人的に以前から使ってる2ch向け改造したWebAbornが機能してるから、肝心の部分はそれほど変わってなさそうに思える

**名無しさん＠お腹いっぱい。** · 2017/03/07(火) 23:02:42.78

自分用には一応できた
ザックリとしたヒントを言えば
div中心の構造から以前のようにdl、dt、dd、span、さらにsectionを使うようになった
class名が一部変更
広告関係はレス1とレス2の間のみ

**名無しさん＠お腹いっぱい。** · 2017/03/08(水) 00:28:51.03

神はまだ気づいておらぬのか！のんびり待ってみるとしよう

**名無しさん＠お腹いっぱい。** · 2017/03/08(水) 02:13:43.32

>>326
2.15来てるよ

**名無しさん＠お腹いっぱい。** · 2017/03/08(水) 02:29:28.67

>>327
マジやん。
さっそく入れたわ。あなたと作者に多謝。

**名無しさん＠お腹いっぱい。** · 2017/03/08(水) 09:57:04.56

音もなくなおかげか時間のせいかレスないな
無事読み込めたわ感謝

**名無しさん＠お腹いっぱい。** · 2017/03/08(水) 10:33:05.55

ニュー速Fだけログが壊れる
2が2つになってその後のレス番がずれてる

**名無しさん＠お腹いっぱい。** · 2017/03/08(水) 14:04:04.18

ありがてぇ

**名無しさん＠お腹いっぱい。** · 2017/03/08(水) 15:02:05.98

>>330
理由がわかったわ
beIDの処理が抜けてるね
あと大きな影響ないけどageレス時の名前にfontタグが使われてる

**名無しさん＠お腹いっぱい。** · 2017/03/08(水) 16:39:41.20

>>327
ホントだ！来てるうううう

神さま、そして教えてくれた327さんありがとう

**名無しさん＠お腹いっぱい。** · 2017/03/08(水) 23:20:56.52

2.16来ましたよー！
ありがとうございましたー

**名無しさん＠お腹いっぱい。** · 2017/03/08(水) 23:45:57.57

うほ
対応はやい

**名無しさん＠お腹いっぱい。** · 2017/03/09(木) 01:21:13.38

さんきゅう
Fも読めたよ

**名無しさん＠お腹いっぱい。** · 2017/03/09(木) 16:44:22.94

ありがたい

**名無しさん＠お腹いっぱい。** · 2017/03/09(木) 23:35:24.73

上部メニューのGeoEdgeって所を消すにはどうしたらいいのでしょうか？

**名無しさん＠お腹いっぱい。** · 2017/03/10(金) 05:38:57.34

v2.16に併せて、Fiddlerもv4.6.20171.9220（2017/2/8付）にアップしたし、
これで万全だな。

**名無しさん＠お腹いっぱい。** · 2017/03/10(金) 09:51:58.42

まぁしばらくはこれでいいとして、一体2chのゴタゴタは何時まで続くのかと・・・

**名無しさん＠お腹いっぱい。** · 2017/03/10(金) 09:57:09.46

>>340
>一体2chのゴタゴタは何時まで続くのかと・・・
2chのゴタゴタって何のこと？

**名無しさん＠お腹いっぱい。** · 2017/03/10(金) 10:27:49.15

>>341 そもそも、串かまさなければ使えない状況の発端とか、マージする事で起きるレス番吹っ飛びとか

**名無しさん＠お腹いっぱい。** · 2017/03/12(日) 01:42:35.48

v2.17出てたは。

**名無しさん＠お腹いっぱい。** · 2017/03/13(月) 18:14:16.99

ありがとおおおお
うまく開けないスレがあったのが直りました

**名無しさん＠お腹いっぱい。** · 2017/03/13(月) 18:26:48.39

と思ったのに、、、やっぱ駄目だ
また何か変更があったのかも

**名無しさん＠お腹いっぱい。** · 2017/03/13(月) 18:42:46.25

どこの板？

**名無しさん＠お腹いっぱい。** · 2017/03/13(月) 19:02:34.80

pink板だったんだけど、、、何か気のせいだったみたい
さっきは再読み込みしてもキチンと開けないのがいくつかあったんだけど
異常終了後、再起動したら開けるようになりました
お騒がせしました

**名無しさん＠お腹いっぱい。** · 2017/03/25(土) 22:43:12.96

fiddlerで常にcaptureしないようにする方法はないですか？

**名無しさん＠お腹いっぱい。** · 2017/03/26(日) 05:55:45.13

>>348
Tools - Telerik Fiddler Options - Connections - Monitor all connections には普通チェックが入ってるから外す、あたりかな。

**名無しさん＠お腹いっぱい。** · 2017/03/26(日) 06:25:35.19

OnBeforeRequest関数の頭で

　oSession["ui-hide"] = "true";

ぶち込むのもあるよ。

**名無しさん＠お腹いっぱい。** · 2017/03/26(日) 14:09:10.29

httpスキームカットに対応した2.18出てるよ

**名無しさん＠お腹いっぱい。** · 2017/03/27(月) 20:28:04.16

>>349
それ外しとかないとうっかりWindows Updateかかると大変な負荷になるんだよな…ほとんどフリーズ

**名無しさん＠お腹いっぱい。** · 2017/04/14(金) 09:28:28.79

俺だけかな？今日起動(Win10)したらCustomRules.jsファイルが消えてしまってて焦った

**名無しさん＠お腹いっぱい。** · 2017/04/14(金) 10:03:35.53

>>353
こちらでは特に問題はなさげ。
ここ最近でのイベントというと Creators Update 配信開始くらいかな。関係ないと思うんだけど。

**名無しさん＠お腹いっぱい。** · 2017/04/14(金) 10:20:44.74

>>354
ウチのだけだったみたですね。。。また起こるかもしれないのでファイルをバックアップしとこうと思う
情報ありがとうございました(-ω-)/

**名無しさん＠お腹いっぱい。** · 2017/04/23(日) 00:34:04.78

2.20来たぞ

**名無しさん＠お腹いっぱい。** · 2017/04/23(日) 13:34:20.07

2.21来てる

**名無しさん＠お腹いっぱい。** · 2017/04/23(日) 13:37:00.82

読めるようになったわ

**名無しさん＠お腹いっぱい。** · 2017/04/23(日) 13:40:14.51

>>357
完走してないスレだとゴミが残ってたようだな乙

**名無しさん＠お腹いっぱい。** · 2017/04/23(日) 14:26:53.00

ちょ、朝から更新したばっかなのにもう次が来たのかｗ
いつもありがとー

Fiddler 2chプロクシ専用 Part１ [転載禁止]©2ch.net

Fiddler　2chプロクシ専用　Part１ [転載禁止]©2ch.net