Fiddler　2chプロクシ専用　Part１ [転載禁止]©2ch.net

**名無しさん＠お腹いっぱい。** · 2015/03/26(木) 23:24:16.96

htmltodatByFiddler
　要.NET Framework (webスクレイピング)
　ttp://mukiyu.g.ribbon.to/　【v1.05 　 v2.02 (v2系は差分取得対応)】
　ttp://jbbs.shitaraba.net/bbs/read.cgi/computer/1929/1038409548/
（要参照 ttp://anago.2ch.net/test/read.cgi/software/1426589898/763
　ttp://www.telerik.com/download/fiddler

**名無しさん＠お腹いっぱい。** · 2015/03/26(木) 23:25:16.44

net、BBSPINKとも読み書き可能
HTML取ってくるからNET以外のSCとかも串刺したまま読み書きできる

1、http://www.telerik.com/download/fiddlerからFillderをダウンロードしてインストール
　　Win7ならFiddler4だな（Netframeのバージョンはコントロールパネルの”プログラムと機能”見れば分かる）

2、http://mukiyu.g.ribbon.to/から”htmltodatByFiddler2”をダウンロード解凍

3、htmltodatByFiddlerのreadme.txt読んで、ソースをコピペ

4、Xenoのプロキシ設定を127.0．0.1：8888に設定

以上、設定完了

＊Fildderの設定で、オプションの Act as system proxy on startup のチェック外さないと
　　2chブラウザ以外もプロキシ通るようになっちゃうからそれだけ外せばおｋ

＊俺もだが、プログラミング知らんとコピペする場所が分かりづらいかもな
　　OnBeforeRequestの方は、228行目と229行目の間にそのままコピペだな（Fiddlerのバージョンが4.4.9.9、htmltodatByFiddler2.00の場合）
　　OnBeforeResponseの方は、296行目にそのままコピペ（Fiddlerのバージョンが4.4.9.9、htmltodatByFiddler2.00の場合）
OnBeforeRequestの方から貼っていかないとOnBeforeResponseの行数がずれるから注意な。

行列はメモ帳の表示→ステータスバーで出る(書式→右端で折り返すはオフで）

**名無しさん＠お腹いっぱい。** · 2015/03/26(木) 23:25:53.72

↑（>>2で分からない奴はこれ）
（コピペする場所の行数は、htmltodatのバージョンとFiddlerのバージョンで変わってしまうから注意な。）

■全バージョン共通の貼り方■
まずは、メモ帳の編集→検索でOnBeforeRequestとOnBeforeResponseを検索。
見つけたらその下の" ｝"を探す。これがいっぱいあって分かりづらい。(最後の”｝”はstaticと同じ文字列にある）
＊行列はメモ帳の表示→ステータスバーで出る(書式→右端で折り返すはオフで）

検索すると↓のようにひっかかる

　　static function OnBeforeRequest(oSession: Session) {
　　　　文字列
　　　}
　　　　文字列
　　　}
　　　　←←←■ここの行にhtmltodatByFiddlerについてるOnBeforeRequest.txtのソースをコピペ。■
　　}　←これが最後の”｝”(上のstatic functionの"sの文字"と同じ列にある” ｝”）
　　//
　　//
　　//

　　static function OnBeforeResponse(oSession: Session) {
　　　　文字列 {
　　　}
　　　　←←←■ここの行にhtmltodatByFiddlerについてるOnBeforeResponse.txtのソースをコピペ。■
　　}　←これが最後の”｝”(上のstatic functionの"sの文字"と同じ列にある” ｝”）
/*
　 //

**名無しさん＠お腹いっぱい。** · 2015/03/27(金) 01:39:48.86

あのスレでfiddlerの話題出すとアレルギー出ちゃう人がいるから
個人的にはもうこっちでいいよねって感覚

**名無しさん＠お腹いっぱい。** · 2015/03/27(金) 01:43:21.48

Fiddlerスレなかったんだから、わざわざ2chプロクシ専用なんてつけなくてもいいと思うんだがな
こういうとこがスレ立てたやつの陰湿さが透けて見える

**名無しさん＠お腹いっぱい。** · 2015/03/27(金) 01:45:38.85

話題提供あげ
あのスレの>>33対策
本来は串でやる部分じゃないけど

//過去ログURLをread.cgiに変換
oBody = oBody.replace(/:\/\/(.+?\.2ch.net)\/(.+?)\/kako\/\d+\/\d+\/(\d+)\.html/g,"://$1/test/read.cgi/$2/$3/");

【BE: Lv=10,xxTP】(1+0：8) **転載ダメ©2ch.net** · 2015/03/27(金) 01:48:45.98

>>5
あと、Fiddlerじゃなくて、htmltodatByFiddlerだよな。

**名無しさん＠お腹いっぱい。** · 2015/03/27(金) 01:58:30.53

あと、あそこはソフトウェア板じゃない住民が多くいるから、ああいう感じになるんだと思うわ
あのスレはこの板でも異質だから、個別スレ作るの自体はいいと思うんだがこれだからね

【BE: Lv=10,xxTP】(2+0：8) **転載ダメ©2ch.net** · 2015/03/27(金) 02:51:44.30

ところで、
Fiddler上で、APIモードを使ってみたいっていう需要あるのかなぁ？
俺環では、HTMLモード以外にAPIモード対応のCustomRules.js作って動かしてるんだけどさ。

**名無しさん＠お腹いっぱい。** · 2015/03/27(金) 05:00:55.99

>>9
面白そうなので下さい

【BE: Lv=10,xxTP】(3+0：8) **転載ダメ©2ch.net** · 2015/03/27(金) 05:58:09.54

>>10
串wikiのhtmltodatByFiddlerに、参考ソースうｐした方がいい？
それと、HTMLモードで使ってるCustomRules.jsとは別のCustomRules.jsを作る必要があるけど。

**名無しさん＠お腹いっぱい。** · 2015/03/27(金) 06:33:17.21

>>11
ああ、それがいいかもね

【BE: Lv=10,xxTP】(1+0：8) **転載ダメ©2ch.net** · 2015/03/27(金) 06:59:30.00

>>12
じゃあ、今日の夜位にうｐするは。
場所は、串wikiの「Fiddler+CustomRule」の「Tips」節ね。

**名無しさん＠お腹いっぱい。** · 2015/03/27(金) 07:17:29.40

>>13
おｋ、サンクス

**名無しさん＠お腹いっぱい。** · 2015/03/27(金) 08:40:10.43

>>5
わざわざ>>2-3貼るとか1スレ目にPart1って入れてるとことかちょっと頭おかしい

**名無しさん＠お腹いっぱい。** · 2015/03/27(金) 08:46:38.70

本家とマージするつもりならUIメニューで選べるようにしてくれると助かる。
↓みたいにグローバルで変数追記すれば関数内で分岐できる

class Handlers {
RulesString("2ch Proxy Mode", true)
RulesStringValue(0,"html2dat", "html2dat", true)
RulesStringValue(1,"API", "API")
public static var s2chProxy: String =null ;
}

【BE: Lv=10,xxTP】(2+0：8) **転載ダメ©2ch.net** · 2015/03/27(金) 09:51:24.78

>>16
すまんが、htmltodatByFiddler方式と同じで、「自分でコピペして修正してね」って感じです。
なんで、HTMLとAPIを共存させたい場合は、更に自分でカスタマイズして下さい。

【BE: Lv=10,xxTP】(1+0：8) **転載ダメ©2ch.net** · 2015/03/27(金) 21:01:34.09

串wikiに、apitodatByFiddlerの例をうｐしておいたは。

**名無しさん＠お腹いっぱい。** · 2015/03/27(金) 22:17:43.59

乙
後で試させていただきます

**名無しさん＠お腹いっぱい。** · 2015/03/27(金) 23:29:58.43

>>18さんへ
横からですがありがとうございます(^-^)

**名無しさん＠お腹いっぱい。** · 2015/03/27(金) 23:35:51.31

>>18
試してみた
特に問題なく動いてるよありがとう

**名無しさん＠お腹いっぱい。** · 2015/03/28(土) 00:07:21.46

>>18
神乙

**名無しさん＠お腹いっぱい。** · 2015/03/28(土) 00:41:32.99

>>16
ということで、なんとかUIメニューから選べるようにしてくれ
そうすると非常に助かる

**名無しさん＠お腹いっぱい。** · 2015/03/28(土) 01:45:37.09

自分でやればいい
甘やかすと>>1みたいなのが湧くし
何か出るたびに要望ばかり言ってると出す人がいなくなるよ

**名無しさん＠お腹いっぱい。** · 2015/03/28(土) 01:57:38.37

隔離成功したか
最初から人なんて居ない

**名無しさん＠お腹いっぱい。** · 2015/03/28(土) 06:30:13.21

スレタイとは関係なくなってしまいますが
Fiddlerに詳しい方がいらっしゃるようなのでお尋ねしたいのですが
あるセッションの本体をSaveResponceBody()でテキストファイルに出力したら日本語部分が文字化けしてしまう場合どう対処すれば良いのでしょうか

**名無しさん＠お腹いっぱい。** · 2015/03/28(土) 08:58:04.14

http://anago.2ch.net/test/read.cgi/software/1427212881/60,193,216
,60 名前：名無しさん＠お腹いっぱい。[sage] 投稿日：2015/03/25(水) 13:28:35.74 ID:rLnd9GAM0 [1/2]
>>39
ここに手順を書いてもすぐに流れちゃうから別のところに書いた
また、情報が分散しててわかりにくいのでまとめた

【過去ログ取得方法】

　GetLogに変わる新・過去ログ取得(htmltodat、htmltodat-convert.wsf)方法
　http://pastebin.com/0QDr9S8v

　なお、prmデータをコピーする場合はRAW Paste Dataの方（行番号なし）から

193 名前：名無しさん＠お腹いっぱい。[sage] 投稿日：2015/03/26(木) 18:12:12.29 ID:j5JDHPP50 [1/2]
過去ログ取得時に一瞬立ち上がるhtmltodat.exeを非表示（最小化？）で見えないようにすることはできませんか？

216 名前：名無しさん＠お腹いっぱい。[sage] 投稿日：2015/03/26(木) 23:55:18.20 ID:/2KsTf+I0 [4/4]
>>201-202
ご要望の過去ログ取得スクリプト暫定0.1版です
この中にも書いていますが、絶対DOWNLOADで落とさないでください
必ずRAW表示してコピペでファイル作成しないと実行できません
　
http://pastebin.com/3EZzrsxY

**名無しさん＠お腹いっぱい。** · 2015/03/28(土) 09:06:57.57

>>26
文字コードの変換なら.NET標準で
System.Text.Encoding関数がある

**名無しさん＠お腹いっぱい。** · 2015/03/28(土) 11:26:01.43

.netでプラグイン作れるみたいなんだよな
javascriptを知らないから移植できないけど
できたらdllコピーするだけで使えるようになるんじゃないのかな

【BE: Lv=10,xxTP】(1+0：8) **転載ダメ©2ch.net** · 2015/03/28(土) 19:49:20.62

apitodatByFiddlerでの浪人による過去ログ取得方法です。
CustomRules.jsを以下の様に修正。

【1】浪人ログイン用のID・パスワード定義
以下の2つの変数を追加。

static var RoninID = "ユーザID";
static var RoninPW = "パスワード";

【2】認証用URLへのキーワード設定
Authenticate()関数内の以下の部分を修正

修正前：
　var data = String.Format("ID=&PW=&KY={0}&CT={1}&HB={2}", AppKey, ct, hb);

修正後：
　if (!RoninID || !RoninPW)
　　var data = String.Format("ID=&PW=&KY={0}&CT={1}&HB={2}", AppKey, ct, hb);
　else
　　var data = String.Format("ID={0}&PW={1}&KY={2}&CT={3}&HB={4}", RoninID, RoninPW, AppKey, ct, hb);

なお、当方は浪人を持ってないので、未検証です。あしからず(^^;

**名無しさん＠お腹いっぱい。** · 2015/03/29(日) 01:45:14.57

>>28
レスどうもありがとうございます
エンコード色々弄ってみます

**名無しさん＠お腹いっぱい。** · 2015/03/29(日) 05:09:59.25

常時起動でKeep: 100 sessionsにしてても
タスクマネージャーで見るとメモリ70～150MBくらい使ってるんだけどこんなもん？
100もいらないってかずっと保持してる必要もないんで5分で消えるとか設定できないかな

**名無しさん＠お腹いっぱい。** · 2015/03/29(日) 07:28:44.00

メモリ消費はほとんどワーキングセットだからempty.exeあたりで開放

**名無しさん＠お腹いっぱい。** · 2015/03/29(日) 22:07:58.61

http://d.hatena.ne.jp/touhousintyaku/20110204/1296805441
http://cdn-ak.f.st-hatena.com/images/fotolife/t/touhousintyaku/20110204/20110204155556.png
に載ってる「Keep only the most recent # sessions.」の項目って無くなっちゃったのかな
4.4.9.9使ってるけど項目がない
http://www.dotup.org/uploda/www.dotup.org240044.png

**名無しさん＠お腹いっぱい。** · 2015/03/29(日) 22:11:25.21

http://d.hatena.ne.jp/touhousintyaku/20110204/1296805441
http://f.st-hatena.com/images/fotolife/t/touhousintyaku/20110204/20110204155556.png
> また、セッションリストに大量のセッションがあるのもメモリを圧迫する原因なので、
> しきい値を超えた場合古いセッションを破棄するように設定します。
> 「Keep only the most recent # sessions.」にチェックを入れます。
> この場合最新200件のセッションのみ保持されます。

この「Keep only the most recent # sessions.」ってなくなっちゃったのかな
4.4.9.9使ってるけど項目がない
http://www.dotup.org/uploda/www.dotup.org240044.png

**名無しさん＠お腹いっぱい。** · 2015/03/29(日) 22:13:28.09

専ブラで書き込み反映されてなくて再度書いたら二重書き込みになってしまったすまん

32 · 2015/03/30(月) 05:25:29.89

>>34
http://www.dotup.org/uploda/www.dotup.org240044.png
この画像の左上のAny Processの横にKeep: All sessionsってのがあると思う
これをKeep: 100 sessionsにすれば最新100セッションのみ保持になる

**名無しさん＠お腹いっぱい。** · 2015/03/30(月) 08:27:25.03

>>37
おおありがとうここに移ってたのか気付かなかった
サンクス

**名無しさん＠お腹いっぱい。** · 2015/03/30(月) 19:50:26.92

xenoにfiddler4.4.9.9とhtmltodatByFiddler2.02をあてて使っています。
.netの板は正常に読み書き出来ています。

ですがbbspinkの板を読み込もうとすると、
HTTP/1.1 502 Fiddler - Connection Failedになり失敗します。
>2にはbbspinkも読み書き可能とあるし、設定を間違えているのでしょうか？

fiddlerのセッションリストののcachingには、
「no-cache,must-revalidate」と表示されます。
同じ様な症状出てる人いますか？

【BE: Lv=10,xxTP】(1+0：8) **転載ダメ©2ch.net** · 2015/03/30(月) 19:58:53.08

>>39
502だからpink鯖の問題だろ。

**名無しさん＠お腹いっぱい。** · 2015/03/31(火) 14:26:27.90

>>40
ブラウザや2chmateでは通常通りpinkの板も見れているので
Fiddler側の問題かと思ったのですが鯖側の問題ですか
何か対応手段など無いでしょうか？

**名無しさん＠お腹いっぱい。** · 2015/03/31(火) 17:00:13.11

うちでは少なくともnasuは問題なく表示されてる
fiddler2.4.9.9+htmltodatByFiddler1.03+chaika1.7.3

**名無しさん＠お腹いっぱい。** · 2015/03/31(火) 17:21:28.10

xeno150312　fiddler4.4.9.9　htmltodatByFiddler2.02　win7 32bit

pinkの板を上から順に開いたがPINKheadline以外は特に問題なく開ける
一応適当にスレも開いたけど読み書き問題なし
昨日はHTTP/1.1 502 Fiddler - Connection Failedが結構出てた気がする
（pinkに限らず2ch全体でなったけど）

今も全く開けなくて一度もpinkに繋がらないってことであればCustomRules.jsが何かおかしいのかね
もしくは何日か前に鯖移動してたのをXenoが追尾出来てないとか？違うか

**名無しさん＠お腹いっぱい。** · 2015/03/31(火) 20:13:05.62

>43
同じ環境で
http://prokusi.wiki.fc2.com/wiki/Fiddler%2BCustomRuleを参考に、
CustomRules.jsを一度削除しリセットしてから、OnBeforeRequestとOnBeforeResponseを追加したけど
状況変わらずbbspinkのみ読み書きできません。
他の人は正常に読み書き出来ているという事は、おま環ですかね…

Fiddler 2chプロクシ専用 Part１ [転載禁止]©2ch.net

Fiddler　2chプロクシ専用　Part１ [転載禁止]©2ch.net