Fiddler　2chプロクシ専用　Part１ [転載禁止]©2ch.net

**名無しさん＠お腹いっぱい。** · 2015/03/26(木) 23:24:16.96

htmltodatByFiddler
　要.NET Framework (webスクレイピング)
　ttp://mukiyu.g.ribbon.to/　【v1.05 　 v2.02 (v2系は差分取得対応)】
　ttp://jbbs.shitaraba.net/bbs/read.cgi/computer/1929/1038409548/
（要参照 ttp://anago.2ch.net/test/read.cgi/software/1426589898/763
　ttp://www.telerik.com/download/fiddler

**名無しさん＠お腹いっぱい。** · 2018/06/21(木) 04:49:54.27

>>621
最新って2.26だよな

//読み込み時のUAを変更したい場合は以下を変更
oSession.oRequest["Accept-Encoding"] = "gzip";
oSession.oRequest["User-Agent"] = "Mozilla/6.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko";
}

//書き込み（bbs.cgi）についての処理は以下で
if (oSession.url.match(/bbs.cgi$/)) {
//5chへの書き込みリクエストを2chへの書き込みリクエストに変換
//oSession.url = oSession.url.replace(/\.5ch\.(net)/,".2ch.$1");

//書き込み時のUAを変更したい場合は以下を変更
//oSession.oRequest["User-Agent"] = "Monazilla/1.00 JaneStyle/3.84 Windows/6.3.9600";
}
//ここまで

たしか"Mozilla/6.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko"は弾かれてたはず
書き込みUAも一般ブラウザのものに変えといた方がいい
JaneStyle/3.84は古いバージョンだし山下に金が入るのも癪だし

あとプログラミングを少しでも齧ったことがある人なら常識だけど、「//」を削除してなくてUA変更が反映されてない人もいそう

**名無しさん＠お腹いっぱい。** · 2018/06/21(木) 05:13:40.07

ちなみにIE11のUAはWindows7の64bitだと"Mozilla/5.0 (Windows NT 6.1; Win64; x64; Trident/7.0; rv:11.0) like Gecko"

そもそもMozilla/6.0なんて吐くブラウザなんてあるの？って話

**名無しさん＠お腹いっぱい。** · 2018/06/21(木) 05:39:26.63

>>622
>>610のAcceptヘッダ変更も、書き込み時のif文内に追加する必要がある。

**名無しさん＠お腹いっぱい。** · 2018/06/21(木) 12:02:12.16

https://dotup.org/uploda/dotup.org1564251.jpg

こうすればいいよ

**名無しさん＠お腹いっぱい。** · 2018/06/21(木) 12:39:38.68

>>625
それだと、書込み以外の通信まで書き換わるから止めた方がいい。

**名無しさん＠お腹いっぱい。** · 2018/06/21(木) 13:33:01.38

https://dotup.org/uploda/dotup.org1564280.jpg

直した

**名無しさん＠お腹いっぱい。** · 2018/06/21(木) 22:00:04.58

>>627
GJ!!

**名無しさん＠お腹いっぱい。** · 2018/06/22(金) 01:04:11.12

てす

**名無しさん＠お腹いっぱい。** · 2018/06/22(金) 01:04:40.42

結局どうやっても書けなかったからもう最新版に差し替えたわ
最初からこうするべきだった

**名無しさん＠お腹いっぱい。** · 2018/06/22(金) 03:07:49.18

駄目だったのか！バージョンによるのかな？

**名無しさん＠お腹いっぱい。** · 2018/06/22(金) 22:46:55.86

仕方ないけど人多いすぐにと見れなくなるな

**名無しさん＠お腹いっぱい。** · 2018/06/23(土) 09:00:47.94

>>627の修正版htmltodatByFiddlerをうｐしてほしいな
初心者がまどわないように

**名無しさん＠お腹いっぱい。** · 2018/06/23(土) 09:49:30.03

最近のFiddlerのCustomRules.jsは、JScript.NET以外にC#も
使える様になったんだね。
Linux版はC#しか使えないみたいなので、C#版もあるといいよね。

**名無しさん＠お腹いっぱい。** · 2018/06/23(土) 09:55:18.67

作者の負担軽減のためにC#版で統一っていう展開もありそうだな

**名無しさん＠お腹いっぱい。** · 2018/06/23(土) 11:21:48.24

>>635
作者の掲示板を見ると、既に出来てるみたいよ。
ただ、旧2chの古いread.cgiが無くなってて、一部動作検証出来ないみたいね。

**名無しさん＠お腹いっぱい。** · 2018/06/23(土) 15:07:34.87

>>636
出来てるじゃん
誰かはよ、Linux上でWine＋Fiddler＋htmltodatByFiddlerで出来るかやってみてくれ

**名無しさん＠お腹いっぱい。** · 2018/06/23(土) 15:33:55.04

>>637
その前に、作者にC#版を公開して貰える様に交渉しないと。

**名無しさん＠お腹いっぱい。** · 2018/06/24(日) 19:29:28.47

C#版(v3.00)が正式公開されたね。

**名無しさん＠お腹いっぱい。** · 2018/06/24(日) 19:51:47.19

>>639
正式版と間違えてテスト版をアップしてしまいました。すみませんが破棄してください。
今から正式版アップしなおします。

**名無しさん＠お腹いっぱい。** · 2018/06/24(日) 21:08:41.45

とりあえず俺用C#版OnBeforeRequest.cs.txtの変更点
コメントで※が付いてるのが変更点

//読み込み時のUAを変更したい場合は以下を変更 ※Chrome偽装だとVersionUPでUAが頻繁に変わってズレるのでIE11UAで固定化
oSession.oRequest["User-Agent"] = "Mozilla/5.0 (Windows NT 6.1; Win64; x64; Trident/7.0; rv:11.0) like Gecko";
}

//書き込み（bbs.cgi）についての処理は以下で
if (oSession.url.ismatch(@"bbs.cgi$")) {
//5chへの書き込みリクエストを2chへの書き込みリクエストに変換
//oSession.url = oSession.url.replace(@".5ch\.(net)/,".2ch.$1");

//書き込み時のUAを変更したい場合は以下を変更 ※読み込み時とUAを同じにする
oSession.oRequest["User-Agent"] = "Mozilla/5.0 (Windows NT 6.1; Win64; x64; Trident/7.0; rv:11.0) like Gecko";
oSession.oRequest["Accept"] = "text/html";
//UAに汎用ブラウザのものを指定する場合「ブラウザ変ですよん」のエラーになることがあるがこの一行で回避できるようだ
//※俺のIE11のAccept-Languageが"ja-JP"なので
oSession.oRequest["Accept-Language"] = "ja-JP"; }
//ここまで

**名無しさん＠お腹いっぱい。** · 2018/06/24(日) 21:40:18.71

>>641
もっと完全を期するなら

if (oSession.oRequest.headers.ExistsAndContains("Accept", "text/html, */*")) {
oSession.oRequest["Accept"] = "text/html";
oSession.oRequest["Accept-Language"] = "ja-JP";
}

にすると、規制対象のJane系以外は何も変更しないで済む。

**名無しさん＠お腹いっぱい。** · 2018/06/25(月) 03:34:18.70

>>627
書き込めるようになったわ
㌧クス

**名無しさん＠お腹いっぱい。** · 2018/06/25(月) 09:24:23.69

Firefoxもよくアップデートくるけどメジャーバージョンアップ以外(セキュリティ関連のアプデ)ではUAの変更なしだから
Chrome偽装よりは最新UAに合わせるのがだいぶ楽だよな

**名無しさん＠お腹いっぱい。** · 2018/07/12(木) 21:16:37.15

ニュー速が見れなくなった

**名無しさん＠お腹いっぱい。** · 2018/07/12(木) 22:35:07.36

>>645
見れるよ

**名無しさん＠お腹いっぱい。** · 2018/07/13(金) 02:31:52.88

>>646
まじで？ブラウザでも見れないからそれが原因だと思った
mateでは見れるんだけどなー

**名無しさん＠お腹いっぱい。** · 2018/07/13(金) 04:54:27.32

なんかegg.5ch.netが急に見れなくなったわ

**名無しさん＠お腹いっぱい。** · 2018/07/19(木) 10:24:33.16

goneエラーが頻発するようになった
クソ運営が規制強めやがったか

**名無しさん＠お腹いっぱい。** · 2018/07/19(木) 13:56:27.94

こっちは何も変わらんなー

**名無しさん＠お腹いっぱい。** · 2018/07/19(木) 14:07:50.30

サーバーによって違うのかもしれないな
ちなみに芸スポ

**名無しさん＠お腹いっぱい。** · 2018/07/19(木) 14:14:09.76

このgoneはブラウザでも起きてる

**名無しさん＠お腹いっぱい。** · 2018/07/19(木) 14:15:03.68

2chmateでは起きないからapiだと取得できるとかになったのかね

**名無しさん＠お腹いっぱい。** · 2018/07/19(木) 14:21:17.24

芸スポ開いてもgoneとか出てないのでうちでは大丈夫みたい

**名無しさん＠お腹いっぱい。** · 2018/07/19(木) 14:25:37.57

ニュー速は？
http://hayabusa9.2ch.net/news/

**名無しさん＠お腹いっぱい。** · 2018/07/19(木) 14:33:16.41

大丈夫です
環境はwin10にjanestyle

**名無しさん＠お腹いっぱい。** · 2018/07/19(木) 14:34:38.95

まじか。俺もjanestyleなのになぁ
ちなみにブラウザでは？
一覧は読み込めるけどスレを開くとgoneになる

**名無しさん＠お腹いっぱい。** · 2018/07/19(木) 14:41:42.25

ブラウザの通信にはfiddlerを通さないようにしてた気がするので開けるけど…それがどこの設定だったかは忘れちゃった

**名無しさん＠お腹いっぱい。** · 2018/07/19(木) 14:46:05.35

fiddlerの有無に関係なくgoneになるので特定ユーザーだけぽいなあ

**名無しさん＠お腹いっぱい。** · 2018/07/19(木) 16:25:08.85

>>653
端からHTML環境だけだよ
API専ブラは関係ない

**名無しさん＠お腹いっぱい。** · 2018/07/19(木) 17:29:42.38

一括更新するとダメだね
実況用のオートリロードとかだとセーフ

**名無しさん＠お腹いっぱい。** · 2018/09/27(木) 04:47:35.43

てすと

**名無しさん＠お腹いっぱい。** · 2018/10/30(火) 22:16:32.83

ほ

**名無しさん＠お腹いっぱい。** · 2018/10/31(水) 17:45:20.57

も

**名無しさん＠お腹いっぱい。** · 2018/11/01(木) 00:26:51.77

ｱ

**名無しさん＠お腹いっぱい。** · 2018/11/02(金) 12:52:15.90

DCLXVI

**名無しさん＠お腹いっぱい。** · 2018/12/01(土) 15:18:04.15

xeno＋apitodatByFiddlerつかってるけど
スレが破損と判断されるようになった・・・

**名無しさん＠お腹いっぱい。** · 2018/12/01(土) 15:27:09.12

>>667
俺もそうなった
あと番号がズレて増えてる

**名無しさん＠お腹いっぱい。** · 2018/12/01(土) 16:00:41.84

Viewだが俺も

**名無しさん＠お腹いっぱい。** · 2018/12/01(土) 16:43:06.15

styleは今んとこ大丈夫かな・・・さっきこのスレを開いたときは破損になってたから怪しいけど

**名無しさん＠お腹いっぱい。** · 2018/12/01(土) 16:45:17.50

と思ったらstyleもダメだ・・・破損になってまう＞＜

**名無しさん＠お腹いっぱい。** · 2018/12/01(土) 17:11:50.89

かちゅで使ってるけど一定の間隔？で[ここ壊れてます]になるな
他ではどう？

**名無しさん＠お腹いっぱい。** · 2018/12/01(土) 17:47:00.54

XENOだけど
どのスレ開いてもスレ番201から216までが壊れるわ

**名無しさん＠お腹いっぱい。** · 2018/12/01(土) 17:47:48.09

スレ番じゃねぇ
レス番だｗ

**名無しさん＠お腹いっぱい。** · 2018/12/01(土) 17:53:18.48

<div><div id="horizontalbanners*99"～

で広告が5つぐらい挟まってるな

**名無しさん＠お腹いっぱい。** · 2018/12/01(土) 17:55:36.70

read.cgiのverが上がってるね
またどこか弄ったんだろう

**名無しさん＠お腹いっぱい。** · 2018/12/01(土) 18:00:03.50

515まであるところ見たら
673さんの報告の所が壊れてた
あと417～432も壊れてた

**名無しさん＠お腹いっぱい。** · 2018/12/01(土) 20:04:32.40

>>675以外にAAとレスポップアップ用のclassも入ってるんだな、と言ってもこれについては以前のverからあったようだが
あと少し前からpinkにも広告がレス間に追加されてる

**名無しさん＠お腹いっぱい。** · 2018/12/01(土) 22:56:11.08

いつの間にか直ってた

**名無しさん＠お腹いっぱい。** · 2018/12/02(日) 00:15:04.83

アンカーがずれまくるな

**名無しさん＠お腹いっぱい。** · 2018/12/02(日) 03:58:30.19

201-216
417-432
632-647
848-863

この4範囲が壊れるな
レス番号ずれてアンカーが役立たずになる

**名無しさん＠お腹いっぱい。** · 2018/12/02(日) 04:14:24.53

C#版だと問題ない（もともと対応済み）みたいだけど、導入しようとしても
janeに「(;ﾟДﾟ)datｼﾞｬﾅｲ…」って言われて取得できん（´・ω・｀）

**名無しさん＠お腹いっぱい。** · 2018/12/02(日) 04:45:10.35

俺もC#版入れたけど，何度も302で飛ばされた挙句dat落ちになるね
JScript版に戻した

**名無しさん＠お腹いっぱい。** · 2018/12/02(日) 04:58:37.93

＞　・メソッド
＞　　public static void OnBeforeResponse(Session oSession)
＞　　の最後（次の public static ～に直近の } の上）に OnBeforeResponse.cs.txt を挿入

readmeにはこう書いてあるけど、OnBeforeResponse.cs.txtを挿入する場所を
「// This function executes just before Fiddler returns an error that it has 」のある行の
１つ上の「}」の上にしたらC#でも行けた

一応、他に俺はいつも「//2chへの読み込みリクエストを～」と
「//5chへの書き込みリクエストを～」の下のコメントアウトを外して使ってるけど、
関係あるのかな？分からん（´・ω・｀）

**名無しさん＠お腹いっぱい。** · 2018/12/02(日) 13:23:33.49

xenoでC#版に移行したけど
//5chへの書き込みリクエストを2chへの書き込みリクエストに変換
//oSession.url = oSession.url.replace(@".5ch\.(net)/,".2ch.$1");
のコメント外すとエラー出てダメだったけど読み込みは問題なくなった

**名無しさん＠お腹いっぱい。** · 2018/12/02(日) 14:03:51.00

Fiddler2はC#無理か？

**名無しさん＠お腹いっぱい。** · 2018/12/02(日) 14:39:50.14

>>685
自分の環境でもそうなるからコメントアウトしたままだな
コメントアウトしないと「文字 '$' は予期されていません」って言われるわ（´・ω・｀）

**名無しさん＠お腹いっぱい。** · 2018/12/02(日) 14:58:40.32

説明不足だったので追記。
↓こうすればコメント外してもいける。（「(net)」の後ろの「/」を「"」（半角ダブルクォーテーション）に書き換え）

oSession.url = oSession.url.replace(@".5ch\.(net)",".2ch.$1");

**名無しさん＠お腹いっぱい。** · 2018/12/02(日) 16:40:17.45

使ってたfiddler v4.5.1.2ではC#版を使えないようだったのでv5.0.20182.28034にアップデート後、Customize RulesでhtmltodatByFiddler(C#版)を導入すると
「コンパイラが必要とする型 'System.Runtime.CompilerServices.ExtensionAttribute' が見つからないため、新しい拡張メソッドを定義できません。System.Core.dll への参照は指定されていますか?」
というエラーが出たので以下を追加してみたら使えるようになったので、同じエラーが出た人用に参考までに

**名無しさん＠お腹いっぱい。** · 2018/12/02(日) 16:41:43.83

using System.IO;

namespace System.Runtime.CompilerServices {
// 拡張メソッドをコンパイルするのに必要となるExtensionAttributeの宣言
[AttributeUsage(AttributeTargets.Assembly | AttributeTargets.Class | AttributeTargets.Method)]
public sealed class ExtensionAttribute : Attribute {}
}

namespace MyExtensions {
// 拡張メソッドを含むクラス
public static class StringExtensions {
public static void WriteTo(this string str, TextWriter writer)
{
writer.Write(str);
}
}
}

namespace Test {
// 拡張メソッドを使用するコード
using MyExtensions;

class MainClass {
static void Main()
{
"Hello, world!\n".WriteTo(Console.Out);
}
}
}
//ここまで追加

**名無しさん＠お腹いっぱい。** · 2018/12/02(日) 20:38:47.27

>>688
これでいけたわ
ありがとー

**名無しさん＠お腹いっぱい。** · 2018/12/03(月) 08:03:54.48

C版移行するしかないのか…

**名無しさん＠お腹いっぱい。** · 2018/12/03(月) 14:00:34.87

コピペする箇所が２つ増えるだけやぞ
それも数行、さっさと移行しよう
fiddlerのバージョン上げる作業の方がめんどいくらい

**名無しさん＠お腹いっぱい。** · 2018/12/03(月) 18:56:21.04

駄目だった
俺もこれ

> もC#版入れたけど，何度も302で飛ばされた挙句dat落ちになるね

**名無しさん＠お腹いっぱい。** · 2018/12/03(月) 19:53:27.41

>>694
自分の環境向けに直し忘れてるんじゃないかな？例えばこれ
//2chへの読み込みリクエストを5chへの読み込みリクエストに変換 5ch対応の板一覧を使っていれば多分不要
//oSession.url = oSession.url.replace(@".2ch\.(net)",".5ch.$1");

**名無しさん＠お腹いっぱい。** · 2018/12/04(火) 02:01:03.44

ありがとー！完全復活

**名無しさん＠お腹いっぱい。** · 2018/12/04(火) 02:12:54.42

完全復活と思ったのに
上手くログを取得できない時があってresult 416が出てた＞＜

**名無しさん＠お腹いっぱい。** · 2018/12/04(火) 19:44:37.52

今までviewでjscript版使ってたんだが差分取得がずっと上手くいってなかった
今回のトラブルをきっかけにC#版に乗り換えたらその不具合も消えたんだけど何が良くなかったんだろう

**名無しさん＠お腹いっぱい。** · 2018/12/04(火) 19:49:08.01

>>695
うん、それだった
あrがとう

無事移行完了

**名無しさん＠お腹いっぱい。** · 2018/12/05(水) 01:30:44.94

したらばとここでいけるようになったわ
大感謝

**名無しさん＠お腹いっぱい。** · 2018/12/05(水) 03:12:46.43

>>689
GJ
ありがとう

**名無しさん＠お腹いっぱい。** · 2018/12/05(水) 08:01:26.08

なんか途中で間違って編集してバグったからcsファイル削除して
一からやり直したら上手く導入できたわ

C#最高！

**名無しさん＠お腹いっぱい。** · 2018/12/11(火) 21:06:58.10

これならもう外に食べに行くよなｗｗｗ

**名無しさん＠お腹いっぱい。** · 2018/12/19(水) 15:34:35.48

jane xeno + fiddler + htmltodat(C#)
使ってるんだけど、302出まくって
まともにスレ表示されないぞ

xenoで動いてる奴いる？

**名無しさん＠お腹いっぱい。** · 2018/12/19(水) 18:34:28.26

>>704
> jane xeno + fiddler + htmltodat(C#)
全く同じだけど
問題無く動いてるよ

**704** · 2018/12/19(水) 22:16:21.87

>>705
うちは、
JaneXeno 170110

Fiddler
v5.0.20181.13826 for .NET 4.6.1
Built: 2018年3月12日

で説明通りに書き換えたのですが、302エラー連発です。
XenoのバージョンとFiddlerのバージョン教えてください。
出来れば、CustomRules.csうｐお願いします。

**名無しさん＠お腹いっぱい。** · 2018/12/19(水) 22:44:18.73

>>706
わからんけど可能性が高いのは>>695

**名無しさん＠お腹いっぱい。** · 2018/12/20(木) 11:31:07.98

>>706
JaneXeno 170110

v5.0.20182.28034 for .NET 4.6.1
Built: 2018年6月27日

https://dotup.org/uploda/dotup.org1722456.zip.html

**名無しさん＠お腹いっぱい。** · 2018/12/22(土) 01:10:07.44

>>707
いや、違うっぽい

>>708
ありがとう
やっぱ、それと全く同じだわ
それでも302で見れません

Fiddlerが最新じゃないからかな
まあ、後でFiddler更新してみます

**名無しさん＠お腹いっぱい。** · 2018/12/26(水) 03:35:14.59

どっかのアホのLinux使いのせいで本体更新とC#移行を余儀なくされたわ
余計なこと言いやがってアホが！

**名無しさん＠お腹いっぱい。** · 2018/12/26(水) 10:59:40.11

>>710
何それ？

**名無しさん＠お腹いっぱい。** · 2018/12/26(水) 12:15:50.15

これまでのJSを修正して使っても問題ないけどな
C#版は抽出生成を行なうように変更したようだからネイティブアプリ版での様々なサイト用を移植しやすくなったんじゃないか？

**名無しさん＠お腹いっぱい。** · 2019/01/20(日) 04:53:57.82

fiddlerがここ最近毎日一回、起動時に更新チェックするようになってしまった
うっとうしいので再インスコしたが直ってなさそう
設定が見つからなかったんだけど対処法ありますか？

**名無しさん＠お腹いっぱい。** · 2019/01/20(日) 21:38:12.87

http://toki.5ch.net/test/read.cgi/utu/1235037797/
http://toro.5ch.net/test/read.cgi/utu/1303907977/
http://toro.5ch.net/test/read.cgi/utu/1360587077/
http://peace.5ch.net/test/read.cgi/utu/1392139978/
http://peace.5ch.net/test/read.cgi/utu/1428006895/
http://echo.5ch.net/test/read.cgi/utu/1449288300/

上のスレdat変換してくれないんだけど理由わかるかな
htmlでは表示出来てるんだけど

**名無しさん＠お腹いっぱい。** · 2019/01/20(日) 23:59:12.25

>>713
Optionsの一番最初に「Notify me for update on startup」てまんまの項目あるけど
以前「設定しても効いてない」って報告あったな
起動オプションで何とかなると思うこのスレを「更新チェック」で検索

**名無しさん＠お腹いっぱい。** · 2019/01/21(月) 00:24:56.60

>>714
それは専ブラ側の問題かも
XenoとかのJane系だと、その板があった昔の鯖（tokiとかtoroとか）ではなく
現在の鯖（mevius）を見に行って「そんなスレないです」て返されることがある
Xenoの場合だと、正しい対処法は知らないけど経験的には
該当板のスレをすべて閉じてから専ブラを再起動すれば元の鯖のURLで
アクセスできるようになると思う

**名無しさん＠お腹いっぱい。** · 2019/01/22(火) 21:48:00.17

>>716
ありがとう
どうにも上手くいかなかったのでhtmltodat使って原始的にdat保存してみたよ
こっちも便利だね助かる

**名無しさん＠お腹いっぱい。** · 2019/01/27(日) 13:44:02.01

>>715
情報ありがとう
何日か検証したが自分の環境では/noversioncheckは無意味だったが
/quietをつけたら更新チェックされなくなった

**名無しさん＠お腹いっぱい。** · 2019/06/22(土) 04:37:51.48

アップデートしろしろ言うの止められないもんかな
毎度邪魔で仕方ない

**名無しさん＠お腹いっぱい。** · 2019/06/22(土) 05:05:51.78

>>719
ver5.0.20182.28034を使ってるけど起動オプション｢/noversioncheck /quiet｣で俺は問題ないな

**名無しさん＠お腹いっぱい。** · 2019/06/22(土) 06:14:30.51

>>720
ありがとうできたわ
スレ内でも過去に話題になってたんだな
ちゃんと検索すべきだったすまぬ

しかしquietオプションは存在消えるから驚くな
あれ、ショートカットダブルクリックしてるのに全然起動しないと数分悩んだ（´・ω・｀）

Fiddler 2chプロクシ専用 Part１ [転載禁止]©2ch.net

Fiddler　2chプロクシ専用　Part１ [転載禁止]©2ch.net