Fiddler　2chプロクシ専用　Part１ [転載禁止]©2ch.net

**名無しさん＠お腹いっぱい。** · 2015/03/26(木) 23:24:16.96

htmltodatByFiddler
　要.NET Framework (webスクレイピング)
　ttp://mukiyu.g.ribbon.to/　【v1.05 　 v2.02 (v2系は差分取得対応)】
　ttp://jbbs.shitaraba.net/bbs/read.cgi/computer/1929/1038409548/
（要参照 ttp://anago.2ch.net/test/read.cgi/software/1426589898/763
　ttp://www.telerik.com/download/fiddler

**名無しさん＠お腹いっぱい。** · 2018/12/02(日) 14:03:51.00

Fiddler2はC#無理か？

**名無しさん＠お腹いっぱい。** · 2018/12/02(日) 14:39:50.14

>>685
自分の環境でもそうなるからコメントアウトしたままだな
コメントアウトしないと「文字 '$' は予期されていません」って言われるわ（´・ω・｀）

**名無しさん＠お腹いっぱい。** · 2018/12/02(日) 14:58:40.32

説明不足だったので追記。
↓こうすればコメント外してもいける。（「(net)」の後ろの「/」を「"」（半角ダブルクォーテーション）に書き換え）

oSession.url = oSession.url.replace(@".5ch\.(net)",".2ch.$1");

**名無しさん＠お腹いっぱい。** · 2018/12/02(日) 16:40:17.45

使ってたfiddler v4.5.1.2ではC#版を使えないようだったのでv5.0.20182.28034にアップデート後、Customize RulesでhtmltodatByFiddler(C#版)を導入すると
「コンパイラが必要とする型 'System.Runtime.CompilerServices.ExtensionAttribute' が見つからないため、新しい拡張メソッドを定義できません。System.Core.dll への参照は指定されていますか?」
というエラーが出たので以下を追加してみたら使えるようになったので、同じエラーが出た人用に参考までに

**名無しさん＠お腹いっぱい。** · 2018/12/02(日) 16:41:43.83

using System.IO;

namespace System.Runtime.CompilerServices {
// 拡張メソッドをコンパイルするのに必要となるExtensionAttributeの宣言
[AttributeUsage(AttributeTargets.Assembly | AttributeTargets.Class | AttributeTargets.Method)]
public sealed class ExtensionAttribute : Attribute {}
}

namespace MyExtensions {
// 拡張メソッドを含むクラス
public static class StringExtensions {
public static void WriteTo(this string str, TextWriter writer)
{
writer.Write(str);
}
}
}

namespace Test {
// 拡張メソッドを使用するコード
using MyExtensions;

class MainClass {
static void Main()
{
"Hello, world!\n".WriteTo(Console.Out);
}
}
}
//ここまで追加

**名無しさん＠お腹いっぱい。** · 2018/12/02(日) 20:38:47.27

>>688
これでいけたわ
ありがとー

**名無しさん＠お腹いっぱい。** · 2018/12/03(月) 08:03:54.48

C版移行するしかないのか…

**名無しさん＠お腹いっぱい。** · 2018/12/03(月) 14:00:34.87

コピペする箇所が２つ増えるだけやぞ
それも数行、さっさと移行しよう
fiddlerのバージョン上げる作業の方がめんどいくらい

**名無しさん＠お腹いっぱい。** · 2018/12/03(月) 18:56:21.04

駄目だった
俺もこれ

> もC#版入れたけど，何度も302で飛ばされた挙句dat落ちになるね

**名無しさん＠お腹いっぱい。** · 2018/12/03(月) 19:53:27.41

>>694
自分の環境向けに直し忘れてるんじゃないかな？例えばこれ
//2chへの読み込みリクエストを5chへの読み込みリクエストに変換 5ch対応の板一覧を使っていれば多分不要
//oSession.url = oSession.url.replace(@".2ch\.(net)",".5ch.$1");

**名無しさん＠お腹いっぱい。** · 2018/12/04(火) 02:01:03.44

ありがとー！完全復活

**名無しさん＠お腹いっぱい。** · 2018/12/04(火) 02:12:54.42

完全復活と思ったのに
上手くログを取得できない時があってresult 416が出てた＞＜

**名無しさん＠お腹いっぱい。** · 2018/12/04(火) 19:44:37.52

今までviewでjscript版使ってたんだが差分取得がずっと上手くいってなかった
今回のトラブルをきっかけにC#版に乗り換えたらその不具合も消えたんだけど何が良くなかったんだろう

**名無しさん＠お腹いっぱい。** · 2018/12/04(火) 19:49:08.01

>>695
うん、それだった
あrがとう

無事移行完了

**名無しさん＠お腹いっぱい。** · 2018/12/05(水) 01:30:44.94

したらばとここでいけるようになったわ
大感謝

**名無しさん＠お腹いっぱい。** · 2018/12/05(水) 03:12:46.43

>>689
GJ
ありがとう

**名無しさん＠お腹いっぱい。** · 2018/12/05(水) 08:01:26.08

なんか途中で間違って編集してバグったからcsファイル削除して
一からやり直したら上手く導入できたわ

C#最高！

**名無しさん＠お腹いっぱい。** · 2018/12/11(火) 21:06:58.10

これならもう外に食べに行くよなｗｗｗ

**名無しさん＠お腹いっぱい。** · 2018/12/19(水) 15:34:35.48

jane xeno + fiddler + htmltodat(C#)
使ってるんだけど、302出まくって
まともにスレ表示されないぞ

xenoで動いてる奴いる？

**名無しさん＠お腹いっぱい。** · 2018/12/19(水) 18:34:28.26

>>704
> jane xeno + fiddler + htmltodat(C#)
全く同じだけど
問題無く動いてるよ

**704** · 2018/12/19(水) 22:16:21.87

>>705
うちは、
JaneXeno 170110

Fiddler
v5.0.20181.13826 for .NET 4.6.1
Built: 2018年3月12日

で説明通りに書き換えたのですが、302エラー連発です。
XenoのバージョンとFiddlerのバージョン教えてください。
出来れば、CustomRules.csうｐお願いします。

**名無しさん＠お腹いっぱい。** · 2018/12/19(水) 22:44:18.73

>>706
わからんけど可能性が高いのは>>695

**名無しさん＠お腹いっぱい。** · 2018/12/20(木) 11:31:07.98

>>706
JaneXeno 170110

v5.0.20182.28034 for .NET 4.6.1
Built: 2018年6月27日

https://dotup.org/uploda/dotup.org1722456.zip.html

**名無しさん＠お腹いっぱい。** · 2018/12/22(土) 01:10:07.44

>>707
いや、違うっぽい

>>708
ありがとう
やっぱ、それと全く同じだわ
それでも302で見れません

Fiddlerが最新じゃないからかな
まあ、後でFiddler更新してみます

**名無しさん＠お腹いっぱい。** · 2018/12/26(水) 03:35:14.59

どっかのアホのLinux使いのせいで本体更新とC#移行を余儀なくされたわ
余計なこと言いやがってアホが！

**名無しさん＠お腹いっぱい。** · 2018/12/26(水) 10:59:40.11

>>710
何それ？

**名無しさん＠お腹いっぱい。** · 2018/12/26(水) 12:15:50.15

これまでのJSを修正して使っても問題ないけどな
C#版は抽出生成を行なうように変更したようだからネイティブアプリ版での様々なサイト用を移植しやすくなったんじゃないか？

**名無しさん＠お腹いっぱい。** · 2019/01/20(日) 04:53:57.82

fiddlerがここ最近毎日一回、起動時に更新チェックするようになってしまった
うっとうしいので再インスコしたが直ってなさそう
設定が見つからなかったんだけど対処法ありますか？

**名無しさん＠お腹いっぱい。** · 2019/01/20(日) 21:38:12.87

http://toki.5ch.net/test/read.cgi/utu/1235037797/
http://toro.5ch.net/test/read.cgi/utu/1303907977/
http://toro.5ch.net/test/read.cgi/utu/1360587077/
http://peace.5ch.net/test/read.cgi/utu/1392139978/
http://peace.5ch.net/test/read.cgi/utu/1428006895/
http://echo.5ch.net/test/read.cgi/utu/1449288300/

上のスレdat変換してくれないんだけど理由わかるかな
htmlでは表示出来てるんだけど

**名無しさん＠お腹いっぱい。** · 2019/01/20(日) 23:59:12.25

>>713
Optionsの一番最初に「Notify me for update on startup」てまんまの項目あるけど
以前「設定しても効いてない」って報告あったな
起動オプションで何とかなると思うこのスレを「更新チェック」で検索

**名無しさん＠お腹いっぱい。** · 2019/01/21(月) 00:24:56.60

>>714
それは専ブラ側の問題かも
XenoとかのJane系だと、その板があった昔の鯖（tokiとかtoroとか）ではなく
現在の鯖（mevius）を見に行って「そんなスレないです」て返されることがある
Xenoの場合だと、正しい対処法は知らないけど経験的には
該当板のスレをすべて閉じてから専ブラを再起動すれば元の鯖のURLで
アクセスできるようになると思う

**名無しさん＠お腹いっぱい。** · 2019/01/22(火) 21:48:00.17

>>716
ありがとう
どうにも上手くいかなかったのでhtmltodat使って原始的にdat保存してみたよ
こっちも便利だね助かる

**名無しさん＠お腹いっぱい。** · 2019/01/27(日) 13:44:02.01

>>715
情報ありがとう
何日か検証したが自分の環境では/noversioncheckは無意味だったが
/quietをつけたら更新チェックされなくなった

**名無しさん＠お腹いっぱい。** · 2019/06/22(土) 04:37:51.48

アップデートしろしろ言うの止められないもんかな
毎度邪魔で仕方ない

**名無しさん＠お腹いっぱい。** · 2019/06/22(土) 05:05:51.78

>>719
ver5.0.20182.28034を使ってるけど起動オプション｢/noversioncheck /quiet｣で俺は問題ないな

**名無しさん＠お腹いっぱい。** · 2019/06/22(土) 06:14:30.51

>>720
ありがとうできたわ
スレ内でも過去に話題になってたんだな
ちゃんと検索すべきだったすまぬ

しかしquietオプションは存在消えるから驚くな
あれ、ショートカットダブルクリックしてるのに全然起動しないと数分悩んだ（´・ω・｀）

**名無しさん＠お腹いっぱい。** · 2019/08/25(日) 12:50:01.95

実況系のスレを開くとHTTP/1.1 410 Gone
と表示されて開けないんだが俺だけかな

**名無しさん＠お腹いっぱい。** · 2019/08/25(日) 21:23:15.84

問題無し

**722** · 2019/08/25(日) 21:59:05.94

正確に言うと実況headlineとなんJヘッドラインとなんでも実況Jが開けない
スレ一覧は更新できる
実況headlineとなんJヘッドラインはHTTP/1.1302 Found
なんでも実況JがHTTP/1.1 410 Goneとエラーを吐く症状です

**名無しさん＠お腹いっぱい。** · 2019/08/25(日) 22:47:12.53

今確認したら駄目でした

**名無しさん＠お腹いっぱい。** · 2019/08/26(月) 02:45:21.08

なんかそこらへんの板だけ末尾に「/」が入ってないとエラー吐くみたいね
応急処置だけど「oSession.url = v.g(1) + "/test/read.cgi/" + v.g(2) + "/" + v.g(3)」の後に「 + "/"」を追加して
リクエスト用のURL末尾に「/」が付加されるようにすればとりあえず読みこめる

**名無しさん＠お腹いっぱい。** · 2019/08/27(火) 20:51:21.92

>>726
ありがとうございました
超助かります

**名無しさん＠お腹いっぱい。** · 2019/08/28(水) 02:19:08.66

>>726
thx
410でスレ開けないってそういうわけだったのか

**名無しさん＠お腹いっぱい。** · 2019/08/30(金) 04:35:56.62

>>726
助かった

**名無しさん＠お腹いっぱい。** · 2019/10/11(金) 14:17:15.30

代々木

**名無しさん＠お腹いっぱい。** · 2020/01/11(土) 00:22:33.18

egg.5ch.net
が410出るようになったな

**名無しさん＠お腹いっぱい。** · 2020/01/11(土) 02:52:23.57

見れねーと思ってここ来たらここも見れなくて草
どうも一般的なブラウザ以外のUAだと410になるみたい
とりあえず「読み込み時のUAを変更したい場合は以下を変更」の下のoSession.oRequest["User-Agent"]......の前のコメントアウトを外す(//を消す)と読み込める

**名無しさん＠お腹いっぱい。** · 2020/01/11(土) 05:10:56.81

>>732
さんきゅうー
俺も困ってて今ここ来た

**名無しさん＠お腹いっぱい。** · 2020/01/11(土) 05:57:42.99

>>732
ありがとう

**名無しさん＠お腹いっぱい。** · 2020/01/11(土) 13:36:19.59

>>732
ありがとう！

**名無しさん＠お腹いっぱい。** · 2020/01/12(日) 09:39:23.21

うちはコメントアウトを外してもダメだったけどそのコメントアウトを外した状態のまま
FiddlerのUAをDefaultからChromeにしたらいけた

**名無しさん＠お腹いっぱい。** · 2020/01/12(日) 20:14:13.50

>>732
サンキュー！
読めるようになったわ

**名無しさん＠お腹いっぱい。** · 2020/01/26(日) 09:15:42.73

Xenoでは過去ログを取得できるものの、Styleではできない場合、どんな原因が考えられるでしょうか
両方共に Proxyを使用する 127.0.0.1 8888の設定はしています
Styleの方は、Fiddler側のログがHots:Tunnel to URL:鯖名.5ch.net:443 Body:0になっています

**名無しさん＠お腹いっぱい。** · 2020/01/26(日) 15:44:51.84

API対応版のJaneStyleじゃ、Fiddlerはスルーするだけで無駄。
浪人買ってJaneStyleに設定すれば過去ログも読めるようになるよ。

**名無しさん＠お腹いっぱい。** · 2020/01/26(日) 17:53:34.72

なるほど、色々と無知だったようです
ご教示ありがとうございました

**名無しさん＠お腹いっぱい。** · 2020/02/07(金) 20:35:36.25

ribbon.toが見事にに死んどるな

**名無しさん＠お腹いっぱい。** · 2020/03/22(日) 01:02:46.40

imgタグのURLパラメータを全て削除したいんだけど
customルールにどう書けばいいですか？

**名無しさん＠お腹いっぱい。** · 2020/05/02(土) 21:30:50.29

昨日からbeにも浪人にもログインできん
IEからならログインできるけど

**名無しさん＠お腹いっぱい。** · 2020/05/02(土) 21:39:05.57

2chnetのボード取得できなくしたみたいな
5chに直したら治ったけど

**名無しさん＠お腹いっぱい。** · 2020/05/09(土) 08:49:49.87

ニュース速報+板などで過去ログのHTMLが公開されていない（「Gone.」とのみ表示される）ようで
これとか他のプロクシとかで過去ログを取得できなくなってる
スマホ用のitestなら見れる

**名無しさん＠お腹いっぱい。** · 2020/05/12(火) 15:35:04.77

https://forest.watch.impress.co.jp/docs/news/1251760.html
https://www.telerik.com/fiddler-everywhere
クロスプラットフォーム版がリリースされたな
従来版は今後クラシックと呼ばれ引き続き利用かつ併用できるというが

**名無しさん＠お腹いっぱい。** · 2020/05/19(火) 13:25:30.84

>>745だけどIPがブロックされていただけだったようでネット再接続してIP変えたら直った

**名無しさん＠お腹いっぱい。** · 2020/06/08(月) 20:04:43.15

ここは動きすらないな…

**名無しさん＠お腹いっぱい。** · 2020/06/08(月) 20:13:11.94

301で弾かれる

**名無しさん＠お腹いっぱい。** · 2020/06/08(月) 20:40:50.12

スレ一覧取得読み込み書き込みをhttpsで処理するってことかな

**名無しさん＠お腹いっぱい。** · 2020/06/08(月) 20:45:57.10

多分

**名無しさん＠お腹いっぱい。** · 2020/06/09(火) 01:01:15.21

何もしてないのに直ったようだ

**名無しさん＠お腹いっぱい。** · 2020/06/09(火) 01:05:16.20

ねらーにhttpsは早かったようだ

**名無しさん＠お腹いっぱい。** · 2020/06/09(火) 06:08:07.64

5ch運営には、だろ…

**名無しさん＠お腹いっぱい。** · 2020/06/09(火) 06:55:16.04

読んでると一旦戻しただけでまた修正する気みたいだな…
場合によってはfiddler捨てることになるのか

**名無しさん＠お腹いっぱい。** · 2020/06/09(火) 07:10:22.35

htmltodatByFiddlerの方は昨日更新してくれてるけど

**名無しさん＠お腹いっぱい。** · 2020/06/09(火) 07:14:49.41

昨夜寝る前はなかったから言われなきゃ気づかないままだったかもしれない
奥ゆかしすぎる

**名無しさん＠お腹いっぱい。** · 2020/06/09(火) 09:00:57.72

ありがとー
修正完了！

**名無しさん＠お腹いっぱい。** · 2020/07/01(水) 00:46:49.26

何の報告もないけど
もしかして俺んとこだけなのか・・・
読み込みは出来るけど、書き込みが出来なくなってもた＞＜

**名無しさん＠お腹いっぱい。** · 2020/07/01(水) 00:55:56.99

別になんの問題もない

**名無しさん＠お腹いっぱい。** · 2020/07/01(水) 01:12:44.28

>>760
ありがとう！
じゃあやっぱ俺んとこだけみたいだな・・・夕方ぐらいから突然書けなくなってて
「送られてきたデータが壊れています」だと
しばらく様子見てみます

**名無しさん＠お腹いっぱい。** · 2020/07/01(水) 11:09:40.81

解決しました
UAの変更が必要でした

**名無しさん＠お腹いっぱい。** · 2020/08/15(土) 07:12:08.30

FiddlerでUA変更してたんだけどそれができなくなった？
書き込めなくなった

Decrypt HTTPS trafficのチェックをオフにしたら書き込めたけど
これだとUA変更できないはず
なにか情報ない？

**名無しさん＠お腹いっぱい。** · 2020/08/15(土) 07:13:17.03

エラー内容は、ERROR: 当分お断りしております。
UAが古いとかいういつものやつじゃない

**名無しさん＠お腹いっぱい。** · 2020/08/15(土) 21:35:45.51

ふふ

**名無しさん＠お腹いっぱい。** · 2020/08/16(日) 12:12:22.44

マジで書き込めなくなってるな

**名無しさん＠お腹いっぱい。** · 2020/09/05(土) 19:23:19.79

CustomRules.csの書き込み処理if (oSession.url.ismatch(@"bbs.cgi$")) {に
oSession.oRequest["Referer"] = "";を追加したいんだけど

例えばこのスレに書き込む時
スレURLを取得http://egg.5ch.net/test/read.cgi/software/1427379856/
これを
Session.oRequest["Referer"] = "http://egg.5ch.net/test/read.cgi/software/1427379856/";;
として追加…が上手くできない
もう脳みそパーンしそう、誰か教えてください…

**名無しさん＠お腹いっぱい。** · 2020/09/06(日) 20:36:48.46

POSTリクエストのURIから正規化で鯖、板、スレ№を取得。
取得した値でRefererヘッダ用のURIを生成して、POSTリクエストのヘッダに設定。
簡単だろ。

**名無しさん＠お腹いっぱい。** · 2020/09/06(日) 22:08:25.28

POSTリクエストのURIには、鯖はあるけど板、スレNoはないから困ってるのかなと思った。
鯖、スレNoはPOSTリクエストのBody部分にあるので、そこから抜き出せばいいと思う。
（bbs=software&key=1427379856 みたいな形式になってる）
Body部分を参照するには
oSession.GetRequestBodyAsString()
が使えるようだ。

**名無しさん＠お腹いっぱい。** · 2020/09/06(日) 22:12:51.49

ちょっと間違えた
>>769
×鯖、スレNoはPOSTリクエストのBody部分にあるので
○板、スレNoはPOSTリクエストのBody部分にあるので

**768** · 2020/09/07(月) 06:48:51.15

POSTリクエストのURIに板、スレ№入ってなかったか。スマソ
確かにPOSTリクエストのBODY部に板、スレ№が入ってるね。

**名無しさん＠お腹いっぱい。** · 2020/10/08(木) 17:06:38.03

ここは仕様変更時以外はほんとに無風になるな
新規がほとんど入ってきてないのもあるんだろうけど…

**名無しさん＠お腹いっぱい。** · 2021/01/13(水) 19:55:38.56

これもう誰も使っていないの？ずっと書けなくなってて
PINKに至っては読む事すらできない

**名無しさん＠お腹いっぱい。** · 2021/01/13(水) 20:15:16.74

pinkの画像板なら全部削除された
普通の5chや画像板以外のpinkなら書けるよ

**名無しさん＠お腹いっぱい。** · 2021/01/13(水) 20:49:53.91

>>774
情報ありがとうございます！
どうやらおま環のようです
janestyleとfiddlerの組み合わせなんだけど
「お断り」と出てどこにも書き込めなくなってる・・・

**名無しさん＠お腹いっぱい。** · 2021/01/17(日) 15:24:35.17

いまもjane xonoとで使ってるけど問題ないなぁ

**名無しさん＠お腹いっぱい。** · 2021/01/18(月) 05:16:52.74

7777777

**名無しさん＠お腹いっぱい。** · 2021/02/23(火) 01:33:28.68

ウェズリースナイプが↓

**名無しさん＠お腹いっぱい。** · 2021/02/23(火) 01:33:36.26

誤爆

**名無しさん＠お腹いっぱい。** · 2021/02/24(水) 10:10:35.98

平和だな

**名無しさん＠お腹いっぱい。** · 2021/04/07(水) 08:42:33.21

もう1年近く更新ないんだな
なんという安定感だろう

**名無しさん＠お腹いっぱい。** · 2021/05/01(土) 08:57:56.69

サイト消えてないか

**名無しさん＠お腹いっぱい。** · 2021/05/01(土) 12:07:24.19

もうここ俺しかいないのか…悲しいわ

**名無しさん＠お腹いっぱい。** · 2021/05/01(土) 22:56:22.00

ホントだ、google cacheに残ってるのは4/27だね

**名無しさん＠お腹いっぱい。** · 2021/05/02(日) 16:07:57.05

最後のverは3.03かな

Fiddler 2chプロクシ専用 Part１ [転載禁止]©2ch.net

Fiddler　2chプロクシ専用　Part１ [転載禁止]©2ch.net