Fiddler 2chプロクシ専用 Part１ [転載禁止]©2ch.net
■ このスレッドは過去ログ倉庫に格納されています
htmltodatByFiddler
要.NET Framework (webスクレイピング)
ttp://mukiyu.g.ribbon.to/ 【v1.05 v2.02 (v2系は差分取得対応)】
ttp://jbbs.shitaraba.net/bbs/read.cgi/computer/1929/1038409548/
（要参照 ttp://anago.2ch.net/test/read.cgi/software/1426589898/763
ttp://www.telerik.com/download/fiddler >>537
通常のBrowserで使い物にならないほど醜いUIだからこそ
2ch専用ブラウザが使われてきた。
汎用ブラウザでもアプリのようなUIを実現する技術もある。
そういう努力をせずに、専用ブラウザ頼みにしているのが悪い。
例えばログイン制にすればよく見るスレッドの登録、ここまで読んだ機能など
専用ブラウザの基本機能は汎用ブラウザでも実現できる。
いつまでもIP address単位でアクセス管理をする20年以上前の発想から
抜け出せずにいる。 >>537
あと広告なくても掲示板は利益出るよ
掲示板のデータはひろゆき時代から外部の企業に売られてるしさらに
IP addressのように個人を特定しうるまで紐づけられてる可能性高い。
広告なし専用ブラウザでの利用が大半だった時代にも
ひろゆきは億単位の年収得ていたのはそういう仕組み >>544
主語無いから意味が分からん
>>545
ひろゆきの時代はね
今は違うしそもそもの騒動の理由分かってる？ >>538
読みもしないスレッドを読み込むと解釈するほうがバカ。
定期チェックしてるスレッドは専用ブラウザのタブで残っているしそれの
新着レスを一括でチェックするだけ。
専用ブラウザのごく一般的な使い方だろう
API公開していれさえいれば最小限の負荷で差分だけ送信できる。 >>547
>API公開していれさえいれば最小限の負荷で差分だけ送信できる
それはお前の都合だ
この人思い込みだけで何も知らん人だな >>546
それは失礼、どの部分の主語なのかわからない。
UIが悪く、ログイン制なしは時代遅れっていうのは
ひろゆき時代、JIM時代で共通の話だよ
あと今の運営が掲示板データを売っていないという根拠は？
純正専用ブラウザでGoogle絡みのライブラリが入ってるんだから
個人情報と紐づけられてるのはほぼ確実
Googleは広告屋だから必ずやってる >>546
あなたのいう「騒動」とはなにかがわからない。 >>543
xenoだと
「全てのタブの新着チェック」だとタブの数ぶんread.cgi叩くけど
「全てのタブの更新チェック」だと板ごとのsubject.txtを読むだけだ
とりあえずそちらで運用してみてはどうだろう
自分もxenoで数十タブ開いてて日に最低一度は全タブ更新チェック使って
たまに実況もするけどGoneはまだ食らったことない xenoって公式だったっけ？
あとread.cgi叩いてスクレイピングするのは規約違反だけどなｗ
だからそういうのを５ちゃんねるは塞いでるんだろ
それでも叩き続けると今度はお手紙が来るんじゃないかなｗ このスレにいるからって開き直らないといけないわけじゃないだろ
現状知りつつも隙間で静かに生きてこうとしている人間からしたら、ID:fR1Ds25G0みたいな馬鹿と同類に見られたくない >>551
「全タブの更新チェック」使ったことなかったから試してみたけど
なぜか反映されるのが遅いね。
新着レスあるのに見た目の変化がない。
「「全タブの新着チェック」の代替にはならない感じ。
上側の板名ダブルクリックして新着カラムでソートして
新着あるスレッドだけ読んでいく方法なら反映も早そうだった。
ただし多くの板をみている場合、面倒な作業になる。 >>552
アホだな
Fiddlerで2ch使ってる人の多くはスクレイピングはhtmlアクセスで
合法だからこそFiddler使ってきた意識の高い人たち。
スクレイピングは汎用ブラウザと同じ方法でアクセスするから法律に抵触しない
htmlアクセスを防ぎたいなら通常ブラウザからのアクセスを禁止すればいい
規約作った奴は確実に馬鹿だ
お手紙がくるとかいってるのは汎用ブラウザの広告ブロッカー使ったら
手紙がくるといってるレベルのバカ発言だぞ スクレイピングが法律に抵触しないからセーフなら
サービス側が広告掲示するのも非許可専ブラに対抗措置を執るのもセーフなんだしどうもこうもないっしょ >>552
>あとread.cgi叩いてスクレイピングするのは規約違反だけどなｗ
山下は似たようなこと言ってるけど
その根拠は何もないのよ
5ch運営はアナウンスしてないから
山下にしたってスクレイピングで禁止してるのは専ブラの開発だし
そもそもread.cgiで作成されたhtmlページは公開されてるもので
個人的にどう整形して見ようが文句言われる筋合いはないわな >>556
「高い人たち」っていかにもその人数を把握してなきゃ返ってこない答えですね
あらあらもしや元締めの方でしたか？
そりゃ騒がれると困りますものねｗ >>559
>「高い人たち」っていかにもその人数を把握してなきゃ返ってこない答えですね
意味不明 >>555
自分は使っていて「反映が遅い」と感じたことはないけど
見た目の変化がないスレを見ようとしたことがないからかもしれない。
サーバ側の処理の都合で、datに書き込まれたレス数と
subject.txt上のレス数がタイミングによって食い違うことがあるのかもしれない。
でも手軽な代替案として悪くはないと思うけどね。
「新着（更新）チェックの精度」と「Goneのリスク」を比較した場合。 >>542
串の方でずらすとブラウザの方でタイムアウトと判断されるんじゃないか fiddlerのユーザーエージェントをデフォルトedgeやfirefoxにする方法はありませんか
起動時にdisabledになっているのでワッチョイの後半も（disabled）に対応した文字列になってしまいます
fiddlerでの接続は圧倒的に少数派なので知識ある人が辿ればレスが紐付けされそう（変な書き込みはしてませんが、web上半永久的に残る者なので気を付けたいです）
心配なので今は起動時に手動でUAを変更しています htmltodatByFiddlerの中に書き込みUA変えるにはここ弄ってねって書いてあるとこがあったでしょ >>565
ありがとうございます。DLし直して確認します >>564
カスタムルールの頭ら辺に、UA一覧定義があるだろ。
デフォルトにしたいUAの文字列の最後に", true"を追記すればいい。
RulesStringValue(11,"IE 10 (Win8)", "Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.2; WOW64; Trident/6.0)", true)
みたいに。
これをやれば、htmltodatByFiddlerを直す必要はない。 >>567
無事にデフォルト指定できました
ありがとうございます >>568
あと、dat読み込みと書込みを共通化したいなら、htmltodatByFiddlerで追加した
oSession.oRequest["USER-AGENT"] = "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko";
を
oSession.oRequest["USER-AGENT"] = sUA;
にすれば、両方ともFiddlerのUAメニューで変更出来るよ。 >>569
ありがとうございます。現状読み込みは拘っていませんが必要になったときには変更してみます 普段ブラウザで見てるので、たまにしかfiddlerを起動しないんだけど、
久しぶりに立ち上げるとバージョンチェックするかと聞かれるのを消す方法無い？ すいません、質問させてください。
Fiddlerをieとサーバ間のプロキシとして使用しようとしているのですが、
①Fiddlerが対応できるCipherSuiteの追加方法、
②Fiddlerとサーバ間で作成した共通鍵をFiddlerがキャッシュとして保持してる場合、その在り方
この２点もしご存知でしたら教えてください…
また見当違いの事を言ってたらご指摘していただけるとありがたいです。 >>574
その環境でFiddlerを使用したい目的がわからないが
HTTPSの設定はオプションにある
たぶんやりたいこととFiddlerの機能は異なると思う >>575
オプション見直してみます。
そうですよね…レスありがとうございます。 >>574
デフォはシステム依存なのでXPはTLS1.1以降は対応できない
なのでプラグインで例えばOpenSSLなど外部ライブラリを利用するものを自作することになる
残念ながらFiddlerで使える汎用的なSSLプラグインは見当たらないけど
以前調べた時のサイトを参考までに
http://www.bouncycastle.org/csharp/
Fiddlerで公開されているCertMakerの元になったものと思われる
Fiddler用ではないのでsrcを改造することになるだろう
https://github.com/vcsjones/FiddlerCertGen
これはシステムにあるライブラリ依存でデフォを少し機能拡張したものかと
Fiddlerプラグイン作成の参考にはなるだろう >>577
やはり追加するとなるとプラグイン等が必要になるのですね。
教えていただいたサイト見てみて、考えてみます。
レスありがとうございます。 最近、Ubuntu18.04LTS（Linux）使い始めたのだが、FiddlerってLinux版もあるのな
誰かFiddler Linux版のプロクシー作ってくれないか？
そのまま、htmltodatコピーしてもだめだった Linx版って、JScript(.NET)対応してるの？ >>580
monoとかいうソフトのが.net関係らしい
どっかの会社が.netのLinux対応版を作ってたのをMicrosoftが買収したらしい >>580
ちなみにLinux版は拡張子が.jsじゃくて.csになってる >>582
何のためにUbuntuを入れたんだよ・・・
拡張子の通り中身はC#
SampleRules.csを見て自分で直せばいい
ただし直せたとしてもLinux版はベータなのでどこまで動くかはわからない
もしくは最初からLinux対応のproxyを探すか
自分で解決する気がないならWindowsを使ったほうがいい >>583
やっぱそのままhtmltodatの内容コピペしてもだめなの？
ほとんどCustomRules.jsとCustomRules.csの中身ほとんど一緒だから
そのまま行けるかと思ったけど
WineでJaneXeno起動して、Fiddler通すまでは確実に出来る
ただ、CustomRules.csをFiddlerが読み込まないから2chスレが読み込めない
2chのスレ一覧はJaneXenoで読み込める
C#使えるなら直してくれよ 一応、htmltodatの作者様にもお願いしといたのだが、Linux版作ってくれるってよ
これでLinuxでもJaneXeno＋Fiddler＋htmltodatbyFiddlerで動くぞ 他人に頼らなきゃ何もできないようなやつですらUbuntu使う時代なのか 新鯖移転したらHTTP/1.1 502 Fiddler - DNS Lookup Failedて出るようになったんだけどもう無理なのか？ >>588
DNS LookupだからFiddler関係ないだろ 俺はUbuntuのUIは合わなかったのでMint使ってる なんJ見れねえなあと思ったら過去ログ倉庫死んでんのか… みんな書き込めてるの？
「不正なPROXYを検出しました」と出て実況以外どこも書き込めなくなってもた。。。 >>593
とりあえずhtmltodatByFiddlerのUserAgentの欄を最新ブラウザに合わせとけ >>594-596
みんなありがとー
今からちょっと試してみます
ちょっと時間がかかるかもしれませんが後で報告にくるね 教えてもらったところの変更とクッキーの削除もしてみましたが
うちのはダメでした、おま環(Win10,JaneStyle)ってヤツなのかも・・・
仕方ない…今は諦めよう！もし書き込めるようになったらまた来ます(´・ω・`)/ありがとうございました >>598
書込み用のUser-Agentは結局何にしたの？ うちでも駄目だったな
ニュー速だけだと思ってたがここも書き込めなくなってる
めんどくせー はあ？これで行けるだろ
//読み込み時のUAを変更したい場合は以下を変更
oSession.oRequest["Accept-Encoding"] = "gzip";
oSession.oRequest["User-Agent"] = "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:60.0) Gecko/20100101 Firefox/60.0";
}
//書き込み（bbs.cgi）についての処理は以下で
if (oSession.url.match(/bbs.cgi$/)) {
//5chへの書き込みリクエストを2chへの書き込みリクエストに変換
//oSession.url = oSession.url.replace(/\.5ch\.(net)/,".2ch.$1");
//書き込み時のUAを変更したい場合は以下を変更
oSession.oRequest["User-Agent"] = "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:60.0) Gecko/20100101 Firefox/60.0";
}
//ここまで 一々ブラウザ起動して書き込みだけしてるけどめんどくさいわ >>593です
>>599-600,603
UAは教えてもらったモノや調べて新しそうなものを片っ端等から試したり
SimpleCookiePermission.txtというファイルを作るというのもやってみましたがうちの環境ではダメでした＞＜
うちの場合バイナリを変更する必要があったみたい
みんな助けてくれてありがとうございました せっかくのFiddlerなんだからUIのInspectorsにRequestとResponseのログ残ってるだろ
それを（差支えない範囲で）貼れば状況解明に役立つかもしれないのに ちなみに書けてるうちではこんな感じ。Acceptヘッダはちょっと弄ってる
POST http://egg.5ch.net/test/bbs.cgi HTTP/1.0
Connection: close
Content-Type: application/x-www-form-urlencoded
Content-Length: 457
Cache-control: no-cache
Pragma: no-cache
Host: egg.5ch.net
Accept: text/html
Referer: http://egg.5ch.net/software/
User-Agent: Monazilla/1.00 (JaneXeno/170110)
Cookie: （略）
submit=（略）
HTTP/1.1 200 OK
Date: Tue, 19 Jun 2018 14:51:58 GMT
Content-Type: text/html; charset=Shift_JIS
Connection: close
x-Resnum: 607
Set-Cookie: （略）
Vary: Accept-Encoding
Server: cloudflare
CF-RAY: 42d6d118975e6eed-NRT
（以下略） こういうことらしい
794 名前：名無しさん＠お腹いっぱい。[sage] 投稿日：2018/06/16(土) 12:54:04.00 ID:AucSE6lv0
Acceptヘッダが"text/html, */*"だと5ch側で弾くようになったっぽい >>609
それは自分も別スレで見て試してみたんだけど弾かれなかったんだよな
で>>608のAcceptヘッダを試してみたけどこれも弾かれない
まあ正解が何かはまだわからないけど、Acceptヘッダは
oSession.oRequest["Accept"] = "text/html";
こんな感じで弄れる（もちろんOnBeforeRequestな） Jane Style3.75だけど、バイナリ書き換えで書き込めた >>610
スゲェー！Fiddlerスレらしくこっちに挑戦したら呆気なくイケた
また一つお利口さんになってしまったthx! Xenoだから何も変えずにずっと書き込みできてる
困ってる奴はこれを機にXenoに変えるのもありだぞ このスレの人は>>610のやり方で対策するのが良いね Accept: text/html
User-Agent: Monazilla/1.00 (JaneXeno/170110)
次はこれで弾かれるんだろうなw >>617
もうUser-Agentは変えるのが基本だろ >>617
それはとっくに弾かれてるぞ
>>619
>>617のUser-Agentじゃ弾かれるぞ
UAを>>603に変えればおｋ てか、最新のhtmltodatならUA変わってるんじゃないの？ >>621
最新って2.26だよな
//読み込み時のUAを変更したい場合は以下を変更
oSession.oRequest["Accept-Encoding"] = "gzip";
oSession.oRequest["User-Agent"] = "Mozilla/6.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko";
}
//書き込み（bbs.cgi）についての処理は以下で
if (oSession.url.match(/bbs.cgi$/)) {
//5chへの書き込みリクエストを2chへの書き込みリクエストに変換
//oSession.url = oSession.url.replace(/\.5ch\.(net)/,".2ch.$1");
//書き込み時のUAを変更したい場合は以下を変更
//oSession.oRequest["User-Agent"] = "Monazilla/1.00 JaneStyle/3.84 Windows/6.3.9600";
}
//ここまで
たしか"Mozilla/6.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko"は弾かれてたはず
書き込みUAも一般ブラウザのものに変えといた方がいい
JaneStyle/3.84は古いバージョンだし山下に金が入るのも癪だし
あとプログラミングを少しでも齧ったことがある人なら常識だけど、「//」を削除してなくてUA変更が反映されてない人もいそう ちなみにIE11のUAはWindows7の64bitだと"Mozilla/5.0 (Windows NT 6.1; Win64; x64; Trident/7.0; rv:11.0) like Gecko"
そもそもMozilla/6.0なんて吐くブラウザなんてあるの？って話 >>622
>>610のAcceptヘッダ変更も、書き込み時のif文内に追加する必要がある。 >>625
それだと、書込み以外の通信まで書き換わるから止めた方がいい。 結局どうやっても書けなかったからもう最新版に差し替えたわ
最初からこうするべきだった >>627の修正版htmltodatByFiddlerをうｐしてほしいな
初心者がまどわないように 最近のFiddlerのCustomRules.jsは、JScript.NET以外にC#も
使える様になったんだね。
Linux版はC#しか使えないみたいなので、C#版もあるといいよね。 作者の負担軽減のためにC#版で統一っていう展開もありそうだな >>635
作者の掲示板を見ると、既に出来てるみたいよ。
ただ、旧2chの古いread.cgiが無くなってて、一部動作検証出来ないみたいね。 >>636
出来てるじゃん
誰かはよ、Linux上でWine＋Fiddler＋htmltodatByFiddlerで出来るかやってみてくれ >>637
その前に、作者にC#版を公開して貰える様に交渉しないと。 >>639
正式版と間違えてテスト版をアップしてしまいました。すみませんが破棄してください。
今から正式版アップしなおします。 とりあえず俺用C#版OnBeforeRequest.cs.txtの変更点
コメントで※が付いてるのが変更点
//読み込み時のUAを変更したい場合は以下を変更 ※Chrome偽装だとVersionUPでUAが頻繁に変わってズレるのでIE11UAで固定化
oSession.oRequest["User-Agent"] = "Mozilla/5.0 (Windows NT 6.1; Win64; x64; Trident/7.0; rv:11.0) like Gecko";
}
//書き込み（bbs.cgi）についての処理は以下で
if (oSession.url.ismatch(@"bbs.cgi$")) {
//5chへの書き込みリクエストを2chへの書き込みリクエストに変換
//oSession.url = oSession.url.replace(@".5ch\.(net)/,".2ch.$1");
//書き込み時のUAを変更したい場合は以下を変更 ※読み込み時とUAを同じにする
oSession.oRequest["User-Agent"] = "Mozilla/5.0 (Windows NT 6.1; Win64; x64; Trident/7.0; rv:11.0) like Gecko";
oSession.oRequest["Accept"] = "text/html";
//UAに汎用ブラウザのものを指定する場合「ブラウザ変ですよん」のエラーになることがあるがこの一行で回避できるようだ
//※俺のIE11のAccept-Languageが"ja-JP"なので
oSession.oRequest["Accept-Language"] = "ja-JP"; }
//ここまで >>641
もっと完全を期するなら
if (oSession.oRequest.headers.ExistsAndContains("Accept", "text/html, */*")) {
oSession.oRequest["Accept"] = "text/html";
oSession.oRequest["Accept-Language"] = "ja-JP";
}
にすると、規制対象のJane系以外は何も変更しないで済む。 ■ このスレッドは過去ログ倉庫に格納されています
