Fiddler 2chプロクシ専用 Part1 [転載禁止]©2ch.net

1名無しさん@お腹いっぱい。2015/03/26(木) 23:24:16.96ID:YucLrJ+j0
htmltodatByFiddler
 要.NET Framework (webスクレイピング)
 ttp://mukiyu.g.ribbon.to/ 【v1.05   v2.02 (v2系は差分取得対応)】
 ttp://jbbs.shitaraba.net/bbs/read.cgi/computer/1929/1038409548/
(要参照 ttp://anago.2ch.net/test/read.cgi/software/1426589898/763
 ttp://www.telerik.com/download/fiddler

552名無しさん@お腹いっぱい。2018/03/10(土) 02:26:46.91ID:d7BtX4RE0
xenoって公式だったっけ?
あとread.cgi叩いてスクレイピングするのは規約違反だけどなw
だからそういうのを5ちゃんねるは塞いでるんだろ
それでも叩き続けると今度はお手紙が来るんじゃないかなw

553名無しさん@お腹いっぱい。2018/03/10(土) 02:38:57.29ID:NX3I62xR0
ここ何のスレだと思ってるんだよ

554名無しさん@お腹いっぱい。2018/03/10(土) 02:45:23.48ID:AnMTWwzR0
このスレにいるからって開き直らないといけないわけじゃないだろ
現状知りつつも隙間で静かに生きてこうとしている人間からしたら、ID:fR1Ds25G0みたいな馬鹿と同類に見られたくない

555名無しさん@お腹いっぱい。2018/03/10(土) 07:49:45.95ID:4PiwBrr60
>>551
「全タブの更新チェック」使ったことなかったから試してみたけど
なぜか反映されるのが遅いね。
新着レスあるのに見た目の変化がない。
「「全タブの新着チェック」の代替にはならない感じ。

上側の板名ダブルクリックして新着カラムでソートして
新着あるスレッドだけ読んでいく方法なら反映も早そうだった。
ただし多くの板をみている場合、面倒な作業になる。

556名無しさん@お腹いっぱい。2018/03/10(土) 08:01:17.85ID:4PiwBrr60
>>552
アホだな
Fiddlerで2ch使ってる人の多くはスクレイピングはhtmlアクセスで
合法だからこそFiddler使ってきた意識の高い人たち。
スクレイピングは汎用ブラウザと同じ方法でアクセスするから法律に抵触しない

htmlアクセスを防ぎたいなら通常ブラウザからのアクセスを禁止すればいい
規約作った奴は確実に馬鹿だ

お手紙がくるとかいってるのは汎用ブラウザの広告ブロッカー使ったら
手紙がくるといってるレベルのバカ発言だぞ

557名無しさん@お腹いっぱい。2018/03/10(土) 09:38:38.96ID:1rrKSmpn0
スクレイピングが法律に抵触しないからセーフなら
サービス側が広告掲示するのも非許可専ブラに対抗措置を執るのもセーフなんだしどうもこうもないっしょ

558名無しさん@お腹いっぱい。2018/03/10(土) 10:26:55.80ID:kj/rTcpl0
>>552
>あとread.cgi叩いてスクレイピングするのは規約違反だけどなw
山下は似たようなこと言ってるけど
その根拠は何もないのよ
5ch運営はアナウンスしてないから
山下にしたってスクレイピングで禁止してるのは専ブラの開発だし
そもそもread.cgiで作成されたhtmlページは公開されてるもので
個人的にどう整形して見ようが文句言われる筋合いはないわな

559名無しさん@お腹いっぱい。2018/03/10(土) 12:28:10.86ID:GJMjRg050
>>556
「高い人たち」っていかにもその人数を把握してなきゃ返ってこない答えですね
あらあらもしや元締めの方でしたか?
そりゃ騒がれると困りますものねw

560名無しさん@お腹いっぱい。2018/03/10(土) 12:50:40.94ID:kj/rTcpl0
>>559
>「高い人たち」っていかにもその人数を把握してなきゃ返ってこない答えですね
意味不明

561名無しさん@お腹いっぱい。2018/03/10(土) 22:50:04.13ID:qOSw28K70
半日もしたら制限なくなるけどめんどくさいな

5625512018/03/10(土) 23:16:28.75ID:wF1+CoTc0
>>555
自分は使っていて「反映が遅い」と感じたことはないけど
見た目の変化がないスレを見ようとしたことがないからかもしれない。
サーバ側の処理の都合で、datに書き込まれたレス数と
subject.txt上のレス数がタイミングによって食い違うことがあるのかもしれない。

でも手軽な代替案として悪くはないと思うけどね。
「新着(更新)チェックの精度」と「Goneのリスク」を比較した場合。

563名無しさん@お腹いっぱい。2018/03/11(日) 12:40:08.40ID:Y13t0ReS0
>>542
串の方でずらすとブラウザの方でタイムアウトと判断されるんじゃないか

564名無しさん@お腹いっぱい。2018/04/12(木) 11:52:59.31ID:0Bifuisu0
fiddlerのユーザーエージェントをデフォルトedgeやfirefoxにする方法はありませんか
起動時にdisabledになっているのでワッチョイの後半も(disabled)に対応した文字列になってしまいます
fiddlerでの接続は圧倒的に少数派なので知識ある人が辿ればレスが紐付けされそう(変な書き込みはしてませんが、web上半永久的に残る者なので気を付けたいです)
心配なので今は起動時に手動でUAを変更しています

565名無しさん@お腹いっぱい。2018/04/12(木) 13:39:46.25ID:hsxPaoVQ0
htmltodatByFiddlerの中に書き込みUA変えるにはここ弄ってねって書いてあるとこがあったでしょ

566名無しさん@お腹いっぱい。2018/04/12(木) 13:45:58.93ID:0Bifuisu0
>>565
ありがとうございます。DLし直して確認します

567名無しさん@お腹いっぱい。2018/04/12(木) 19:25:39.96ID:Jkh9YBQc0
>>564
カスタムルールの頭ら辺に、UA一覧定義があるだろ。
デフォルトにしたいUAの文字列の最後に", true"を追記すればいい。

RulesStringValue(11,"IE 10 (Win8)", "Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.2; WOW64; Trident/6.0)", true)

みたいに。
これをやれば、htmltodatByFiddlerを直す必要はない。

568名無しさん@お腹いっぱい。2018/04/12(木) 19:36:17.20ID:0Bifuisu0
>>567
無事にデフォルト指定できました
ありがとうございます

569名無しさん@お腹いっぱい。2018/04/12(木) 19:45:13.41ID:Jkh9YBQc0
>>568
あと、dat読み込みと書込みを共通化したいなら、htmltodatByFiddlerで追加した

oSession.oRequest["USER-AGENT"] = "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko";



oSession.oRequest["USER-AGENT"] = sUA;

にすれば、両方ともFiddlerのUAメニューで変更出来るよ。

570名無しさん@お腹いっぱい。2018/04/14(土) 15:11:01.22ID:F0tuqR1/0
>>569
ありがとうございます。現状読み込みは拘っていませんが必要になったときには変更してみます

571名無しさん@お腹いっぱい。2018/04/18(水) 00:49:40.35ID:hS65b0Qg0
普段ブラウザで見てるので、たまにしかfiddlerを起動しないんだけど、
久しぶりに立ち上げるとバージョンチェックするかと聞かれるのを消す方法無い?

572名無しさん@お腹いっぱい。2018/04/18(水) 15:15:57.28ID:C99Ma7c30
>>571
Fiddlerに設定項目あったはず

573名無しさん@お腹いっぱい。2018/05/13(日) 23:49:00.79ID:+wyhL9ms0
ごね初めて来たわ
これか

574名無しさん@お腹いっぱい。2018/05/24(木) 21:20:55.32ID:rk4diJlv0
すいません、質問させてください。
Fiddlerをieとサーバ間のプロキシとして使用しようとしているのですが、
@Fiddlerが対応できるCipherSuiteの追加方法、
AFiddlerとサーバ間で作成した共通鍵をFiddlerがキャッシュとして保持してる場合、その在り方

この2点もしご存知でしたら教えてください…
また見当違いの事を言ってたらご指摘していただけるとありがたいです。

575名無しさん@お腹いっぱい。2018/05/24(木) 23:50:34.58ID:YpVWv3A10
>>574
その環境でFiddlerを使用したい目的がわからないが
HTTPSの設定はオプションにある
たぶんやりたいこととFiddlerの機能は異なると思う

576名無しさん@お腹いっぱい。2018/05/25(金) 00:22:22.81ID:ax69WFLs0
>>575
オプション見直してみます。
そうですよね…レスありがとうございます。

577名無しさん@お腹いっぱい。2018/05/25(金) 00:40:22.82ID:nTgFxK0g0
>>574
デフォはシステム依存なのでXPはTLS1.1以降は対応できない
なのでプラグインで例えばOpenSSLなど外部ライブラリを利用するものを自作することになる
残念ながらFiddlerで使える汎用的なSSLプラグインは見当たらないけど

以前調べた時のサイトを参考までに
http://www.bouncycastle.org/csharp/
Fiddlerで公開されているCertMakerの元になったものと思われる
Fiddler用ではないのでsrcを改造することになるだろう
https://github.com/vcsjones/FiddlerCertGen
これはシステムにあるライブラリ依存でデフォを少し機能拡張したものかと
Fiddlerプラグイン作成の参考にはなるだろう

578名無しさん@お腹いっぱい。2018/05/25(金) 21:10:13.95ID:TwEHIEKJ0
>>577
やはり追加するとなるとプラグイン等が必要になるのですね。
教えていただいたサイト見てみて、考えてみます。
レスありがとうございます。

579名無しさん@お腹いっぱい。2018/06/02(土) 07:39:20.14ID:Ggf72fwd0
最近、Ubuntu18.04LTS(Linux)使い始めたのだが、FiddlerってLinux版もあるのな
誰かFiddler Linux版のプロクシー作ってくれないか?

そのまま、htmltodatコピーしてもだめだった

580名無しさん@お腹いっぱい。2018/06/02(土) 11:51:07.03ID:oAyjRdp80
Linx版って、JScript(.NET)対応してるの?

581名無しさん@お腹いっぱい。2018/06/02(土) 13:33:53.01ID:Ggf72fwd0
>>580
monoとかいうソフトのが.net関係らしい
どっかの会社が.netのLinux対応版を作ってたのをMicrosoftが買収したらしい

582名無しさん@お腹いっぱい。2018/06/02(土) 13:34:30.24ID:Ggf72fwd0
>>580
ちなみにLinux版は拡張子が.jsじゃくて.csになってる

583名無しさん@お腹いっぱい。2018/06/03(日) 01:29:31.76ID:/Mab58CZ0
>>582
何のためにUbuntuを入れたんだよ・・・
拡張子の通り中身はC#
SampleRules.csを見て自分で直せばいい
ただし直せたとしてもLinux版はベータなのでどこまで動くかはわからない

もしくは最初からLinux対応のproxyを探すか
自分で解決する気がないならWindowsを使ったほうがいい

584名無しさん@お腹いっぱい。2018/06/03(日) 21:36:19.91ID:aUpk8YKX0
>>583
やっぱそのままhtmltodatの内容コピペしてもだめなの?

ほとんどCustomRules.jsとCustomRules.csの中身ほとんど一緒だから
そのまま行けるかと思ったけど

WineでJaneXeno起動して、Fiddler通すまでは確実に出来る
ただ、CustomRules.csをFiddlerが読み込まないから2chスレが読み込めない
2chのスレ一覧はJaneXenoで読み込める

C#使えるなら直してくれよ

585名無しさん@お腹いっぱい。2018/06/03(日) 21:47:37.27ID:aUpk8YKX0
一応、htmltodatの作者様にもお願いしといたのだが、Linux版作ってくれるってよ
これでLinuxでもJaneXeno+Fiddler+htmltodatbyFiddlerで動くぞ

586名無しさん@お腹いっぱい。2018/06/03(日) 23:09:23.01ID:T0LNYi4q0
他人に頼らなきゃ何もできないようなやつですらUbuntu使う時代なのか

587名無しさん@お腹いっぱい。2018/06/04(月) 10:59:58.75ID:k+zzvkoq0
Ubuntuが普及してるってのは良い傾向

588名無しさん@お腹いっぱい。2018/06/06(水) 23:25:56.25ID:s0JdfABp0
新鯖移転したらHTTP/1.1 502 Fiddler - DNS Lookup Failedて出るようになったんだけどもう無理なのか?

589名無しさん@お腹いっぱい。2018/06/07(木) 06:51:19.45ID:BjMGwmtf0
>>588
DNS LookupだからFiddler関係ないだろ

590名無しさん@お腹いっぱい。2018/06/07(木) 09:46:27.67ID:7uFOwIm20
俺はUbuntuのUIは合わなかったのでMint使ってる

591名無しさん@お腹いっぱい。2018/06/07(木) 10:56:44.70ID:hEYxZriE0
俺はLubuntuだな
軽い

592名無しさん@お腹いっぱい。2018/06/10(日) 14:08:03.27ID:0cSYtKVV0
なんJ見れねえなあと思ったら過去ログ倉庫死んでんのか…

593名無しさん@お腹いっぱい。2018/06/17(日) 14:11:19.15ID:DW0KlMSn0
みんな書き込めてるの?
「不正なPROXYを検出しました」と出て実況以外どこも書き込めなくなってもた。。。

594名無しさん@お腹いっぱい。2018/06/17(日) 14:26:19.04ID:0yJRDKfa0
余裕

595名無しさん@お腹いっぱい。2018/06/17(日) 14:30:19.62ID:0yJRDKfa0
>>593
とりあえずhtmltodatByFiddlerのUserAgentの欄を最新ブラウザに合わせとけ

596名無しさん@お腹いっぱい。2018/06/17(日) 14:50:32.40ID:Gn0Umqjc0
>>593
Cookieも消して更新しないとな。

597名無しさん@お腹いっぱい。2018/06/17(日) 15:36:47.12ID:DW0KlMSn0
>>594-596
みんなありがとー
今からちょっと試してみます
ちょっと時間がかかるかもしれませんが後で報告にくるね

598名無しさん@お腹いっぱい。2018/06/17(日) 16:27:20.44ID:DW0KlMSn0
教えてもらったところの変更とクッキーの削除もしてみましたが
うちのはダメでした、おま環(Win10,JaneStyle)ってヤツなのかも・・・
仕方ない…今は諦めよう!もし書き込めるようになったらまた来ます(´・ω・`)/ありがとうございました

599名無しさん@お腹いっぱい。2018/06/17(日) 17:52:53.50ID:Gn0Umqjc0
>>598
書込み用のUser-Agentは結局何にしたの?

600名無しさん@お腹いっぱい。2018/06/17(日) 18:06:56.17ID:SueOklnz0

601名無しさん@お腹いっぱい。2018/06/17(日) 19:26:56.34ID:ILdPckjx0
うちでも駄目だったな
ニュー速だけだと思ってたがここも書き込めなくなってる
めんどくせー

602名無しさん@お腹いっぱい。2018/06/17(日) 20:11:30.88ID:/SodvTSa0
てst

新着レスの表示
レスを投稿する