Fiddler 2chプロクシ専用 Part１ [転載禁止]©2ch.net
■ このスレッドは過去ログ倉庫に格納されています
htmltodatByFiddler
要.NET Framework (webスクレイピング)
ttp://mukiyu.g.ribbon.to/ 【v1.05 v2.02 (v2系は差分取得対応)】
ttp://jbbs.shitaraba.net/bbs/read.cgi/computer/1929/1038409548/
（要参照 ttp://anago.2ch.net/test/read.cgi/software/1426589898/763
ttp://www.telerik.com/download/fiddler >>639
正式版と間違えてテスト版をアップしてしまいました。すみませんが破棄してください。
今から正式版アップしなおします。 とりあえず俺用C#版OnBeforeRequest.cs.txtの変更点
コメントで※が付いてるのが変更点
//読み込み時のUAを変更したい場合は以下を変更 ※Chrome偽装だとVersionUPでUAが頻繁に変わってズレるのでIE11UAで固定化
oSession.oRequest["User-Agent"] = "Mozilla/5.0 (Windows NT 6.1; Win64; x64; Trident/7.0; rv:11.0) like Gecko";
}
//書き込み（bbs.cgi）についての処理は以下で
if (oSession.url.ismatch(@"bbs.cgi$")) {
//5chへの書き込みリクエストを2chへの書き込みリクエストに変換
//oSession.url = oSession.url.replace(@".5ch\.(net)/,".2ch.$1");
//書き込み時のUAを変更したい場合は以下を変更 ※読み込み時とUAを同じにする
oSession.oRequest["User-Agent"] = "Mozilla/5.0 (Windows NT 6.1; Win64; x64; Trident/7.0; rv:11.0) like Gecko";
oSession.oRequest["Accept"] = "text/html";
//UAに汎用ブラウザのものを指定する場合「ブラウザ変ですよん」のエラーになることがあるがこの一行で回避できるようだ
//※俺のIE11のAccept-Languageが"ja-JP"なので
oSession.oRequest["Accept-Language"] = "ja-JP"; }
//ここまで >>641
もっと完全を期するなら
if (oSession.oRequest.headers.ExistsAndContains("Accept", "text/html, */*")) {
oSession.oRequest["Accept"] = "text/html";
oSession.oRequest["Accept-Language"] = "ja-JP";
}
にすると、規制対象のJane系以外は何も変更しないで済む。 Firefoxもよくアップデートくるけどメジャーバージョンアップ以外(セキュリティ関連のアプデ)ではUAの変更なしだから
Chrome偽装よりは最新UAに合わせるのがだいぶ楽だよな >>646
まじで？ブラウザでも見れないからそれが原因だと思った
mateでは見れるんだけどなー なんかegg.5ch.netが急に見れなくなったわ goneエラーが頻発するようになった
クソ運営が規制強めやがったか サーバーによって違うのかもしれないな
ちなみに芸スポ 2chmateでは起きないからapiだと取得できるとかになったのかね 芸スポ開いてもgoneとか出てないのでうちでは大丈夫みたい まじか。俺もjanestyleなのになぁ
ちなみにブラウザでは？
一覧は読み込めるけどスレを開くとgoneになる ブラウザの通信にはfiddlerを通さないようにしてた気がするので開けるけど…それがどこの設定だったかは忘れちゃった fiddlerの有無に関係なくgoneになるので特定ユーザーだけぽいなあ >>653
端からHTML環境だけだよ
API専ブラは関係ない 一括更新するとダメだね
実況用のオートリロードとかだとセーフ xeno＋apitodatByFiddlerつかってるけど
スレが破損と判断されるようになった・・・ >>667
俺もそうなった
あと番号がズレて増えてる styleは今んとこ大丈夫かな・・・さっきこのスレを開いたときは破損になってたから怪しいけど と思ったらstyleもダメだ・・・破損になってまう＞＜ かちゅで使ってるけど一定の間隔？で[ここ壊れてます]になるな
他ではどう？ XENOだけど
どのスレ開いてもスレ番201から216までが壊れるわ <div><div id="horizontalbanners*99"～
<!-- Insert user GDPR consent string here for GDPR compliant inventory -->
で広告が5つぐらい挟まってるな read.cgiのverが上がってるね
またどこか弄ったんだろう 515まであるところ見たら
673さんの報告の所が壊れてた
あと417～432も壊れてた >>675以外にAAとレスポップアップ用のclassも入ってるんだな、と言ってもこれについては以前のverからあったようだが
あと少し前からpinkにも広告がレス間に追加されてる 201-216
417-432
632-647
848-863
この4範囲が壊れるな
レス番号ずれてアンカーが役立たずになる C#版だと問題ない（もともと対応済み）みたいだけど、導入しようとしても
janeに「(;ﾟДﾟ)datｼﾞｬﾅｲ…」って言われて取得できん（´・ω・｀） 俺もC#版入れたけど，何度も302で飛ばされた挙句dat落ちになるね
JScript版に戻した ＞ ・メソッド
＞ public static void OnBeforeResponse(Session oSession)
＞ の最後（次の public static ～ に直近の } の上）に OnBeforeResponse.cs.txt を挿入
readmeにはこう書いてあるけど、OnBeforeResponse.cs.txtを挿入する場所を
「// This function executes just before Fiddler returns an error that it has 」のある行の
１つ上の「}」の上にしたらC#でも行けた
一応、他に俺はいつも「//2chへの読み込みリクエストを～」と
「//5chへの書き込みリクエストを～」の下のコメントアウトを外して使ってるけど、
関係あるのかな？分からん（´・ω・｀） xenoでC#版に移行したけど
//5chへの書き込みリクエストを2chへの書き込みリクエストに変換
//oSession.url = oSession.url.replace(@".5ch\.(net)/,".2ch.$1");
のコメント外すとエラー出てダメだったけど読み込みは問題なくなった >>685
自分の環境でもそうなるからコメントアウトしたままだな
コメントアウトしないと「文字 '$' は予期されていません」って言われるわ（´・ω・｀） 説明不足だったので追記。
↓こうすればコメント外してもいける。（「(net)」の後ろの「/」を「"」（半角ダブルクォーテーション）に書き換え）
oSession.url = oSession.url.replace(@".5ch\.(net)",".2ch.$1"); 使ってたfiddler v4.5.1.2ではC#版を使えないようだったのでv5.0.20182.28034にアップデート後、Customize RulesでhtmltodatByFiddler(C#版)を導入すると
「コンパイラが必要とする型 'System.Runtime.CompilerServices.ExtensionAttribute' が見つからないため、新しい拡張メソッドを定義できません。System.Core.dll への参照は指定されていますか?」
というエラーが出たので以下を追加してみたら使えるようになったので、同じエラーが出た人用に参考までに using System.IO;
namespace System.Runtime.CompilerServices {
// 拡張メソッドをコンパイルするのに必要となるExtensionAttributeの宣言
[AttributeUsage(AttributeTargets.Assembly | AttributeTargets.Class | AttributeTargets.Method)]
public sealed class ExtensionAttribute : Attribute {}
}
namespace MyExtensions {
// 拡張メソッドを含むクラス
public static class StringExtensions {
public static void WriteTo(this string str, TextWriter writer)
{
writer.Write(str);
}
}
}
namespace Test {
// 拡張メソッドを使用するコード
using MyExtensions;
class MainClass {
static void Main()
{
"Hello, world!\n".WriteTo(Console.Out);
}
}
}
//ここまで追加 コピペする箇所が２つ増えるだけやぞ
それも数行、さっさと移行しよう
fiddlerのバージョン上げる作業の方がめんどいくらい 駄目だった
俺もこれ
> もC#版入れたけど，何度も302で飛ばされた挙句dat落ちになるね >>694
自分の環境向けに直し忘れてるんじゃないかな？例えばこれ
//2chへの読み込みリクエストを5chへの読み込みリクエストに変換 5ch対応の板一覧を使っていれば多分不要
//oSession.url = oSession.url.replace(@".2ch\.(net)",".5ch.$1"); 完全復活と思ったのに
上手くログを取得できない時があってresult 416が出てた＞＜ 今までviewでjscript版使ってたんだが差分取得がずっと上手くいってなかった
今回のトラブルをきっかけにC#版に乗り換えたらその不具合も消えたんだけど何が良くなかったんだろう >>695
うん、それだった
あrがとう
無事移行完了 なんか途中で間違って編集してバグったからcsファイル削除して
一からやり直したら上手く導入できたわ
C#最高！ jane xeno + fiddler + htmltodat(C#)
使ってるんだけど、302出まくって
まともにスレ表示されないぞ
xenoで動いてる奴いる？ >>704
> jane xeno + fiddler + htmltodat(C#)
全く同じだけど
問題無く動いてるよ >>705
うちは、
JaneXeno 170110
Fiddler
v5.0.20181.13826 for .NET 4.6.1
Built: 2018年3月12日
で説明通りに書き換えたのですが、302エラー連発です。
XenoのバージョンとFiddlerのバージョン教えてください。
出来れば、CustomRules.csうｐお願いします。 >>706
わからんけど可能性が高いのは>>695 >>706
JaneXeno 170110
v5.0.20182.28034 for .NET 4.6.1
Built: 2018年6月27日
https://dotup.org/uploda/dotup.org1722456.zip.html >>707
いや、違うっぽい
>>708
ありがとう
やっぱ、それと全く同じだわ
それでも302で見れません
Fiddlerが最新じゃないからかな
まあ、後でFiddler更新してみます どっかのアホのLinux使いのせいで本体更新とC#移行を余儀なくされたわ
余計なこと言いやがってアホが！ これまでのJSを修正して使っても問題ないけどな
C#版は抽出生成を行なうように変更したようだからネイティブアプリ版での様々なサイト用を移植しやすくなったんじゃないか？ fiddlerがここ最近毎日一回、起動時に更新チェックするようになってしまった
うっとうしいので再インスコしたが直ってなさそう
設定が見つからなかったんだけど対処法ありますか？ >>713
Optionsの一番最初に「Notify me for update on startup」てまんまの項目あるけど
以前「設定しても効いてない」って報告あったな
起動オプションで何とかなると思う このスレを「更新チェック」で検索 >>714
それは専ブラ側の問題かも
XenoとかのJane系だと、その板があった昔の鯖（tokiとかtoroとか）ではなく
現在の鯖（mevius）を見に行って「そんなスレないです」て返されることがある
Xenoの場合だと、正しい対処法は知らないけど経験的には
該当板のスレをすべて閉じてから専ブラを再起動すれば元の鯖のURLで
アクセスできるようになると思う >>716
ありがとう
どうにも上手くいかなかったのでhtmltodat使って原始的にdat保存してみたよ
こっちも便利だね助かる >>715
情報ありがとう
何日か検証したが自分の環境では/noversioncheckは無意味だったが
/quietをつけたら更新チェックされなくなった アップデートしろしろ言うの止められないもんかな
毎度邪魔で仕方ない >>719
ver5.0.20182.28034を使ってるけど起動オプション｢/noversioncheck /quiet｣で俺は問題ないな >>720
ありがとうできたわ
スレ内でも過去に話題になってたんだな
ちゃんと検索すべきだったすまぬ
しかしquietオプションは存在消えるから驚くな
あれ、ショートカットダブルクリックしてるのに全然起動しないと数分悩んだ（´・ω・｀） 実況系のスレを開くとHTTP/1.1 410 Gone
と表示されて開けないんだが俺だけかな 正確に言うと実況headlineとなんJヘッドラインとなんでも実況Jが開けない
スレ一覧は更新できる
実況headlineとなんJヘッドラインはHTTP/1.1302 Found
なんでも実況JがHTTP/1.1 410 Goneとエラーを吐く症状です なんかそこらへんの板だけ末尾に「/」が入ってないとエラー吐くみたいね
応急処置だけど「oSession.url = v.g(1) + "/test/read.cgi/" + v.g(2) + "/" + v.g(3)」の後に「 + "/"」を追加して
リクエスト用のURL末尾に「/」が付加されるようにすればとりあえず読みこめる >>726
thx
410でスレ開けないってそういうわけだったのか egg.5ch.net
が410出るようになったな 見れねーと思ってここ来たらここも見れなくて草
どうも一般的なブラウザ以外のUAだと410になるみたい
とりあえず「読み込み時のUAを変更したい場合は以下を変更」の下のoSession.oRequest["User-Agent"]......の前のコメントアウトを外す(//を消す)と読み込める うちはコメントアウトを外してもダメだったけどそのコメントアウトを外した状態のまま
FiddlerのUAをDefaultからChromeにしたらいけた Xenoでは過去ログを取得できるものの、Styleではできない場合、どんな原因が考えられるでしょうか
両方共に Proxyを使用する 127.0.0.1 8888の設定はしています
Styleの方は、Fiddler側のログがHots:Tunnel to URL:鯖名.5ch.net:443 Body:0になっています ■ このスレッドは過去ログ倉庫に格納されています
