X

Fiddler　2chプロクシ専用　Part１ [転載禁止]©2ch.net

■ このスレッドは過去ログ倉庫に格納されています
0001名無しさん＠お腹いっぱい。
垢版 |
2015/03/26(木) 23:24:16.96ID:YucLrJ+j0
htmltodatByFiddler
　要.NET Framework (webスクレイピング)
　ttp://mukiyu.g.ribbon.to/　【v1.05 　 v2.02 (v2系は差分取得対応)】
　ttp://jbbs.shitaraba.net/bbs/read.cgi/computer/1929/1038409548/
（要参照 ttp://anago.2ch.net/test/read.cgi/software/1426589898/763
　ttp://www.telerik.com/download/fiddler
0598名無しさん＠お腹いっぱい。
垢版 |
2018/06/17(日) 16:27:20.44ID:DW0KlMSn0
教えてもらったところの変更とクッキーの削除もしてみましたが
うちのはダメでした、おま環(Win10,JaneStyle)ってヤツなのかも・・・
仕方ない…今は諦めよう！もし書き込めるようになったらまた来ます(´・ω・`)/ありがとうございました
0601名無しさん＠お腹いっぱい。
垢版 |
2018/06/17(日) 19:26:56.34ID:ILdPckjx0
うちでも駄目だったな
ニュー速だけだと思ってたがここも書き込めなくなってる
めんどくせー
0602名無しさん＠お腹いっぱい。
垢版 |
2018/06/17(日) 20:11:30.88ID:/SodvTSa0
てｓｔ
0603名無しさん＠お腹いっぱい。
垢版 |
2018/06/18(月) 11:31:10.10ID:KO5DpN1Z0
はあ？これで行けるだろ

//読み込み時のUAを変更したい場合は以下を変更
oSession.oRequest["Accept-Encoding"] = "gzip";
oSession.oRequest["User-Agent"] = "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:60.0) Gecko/20100101 Firefox/60.0";
}

//書き込み（bbs.cgi）についての処理は以下で
if (oSession.url.match(/bbs.cgi$/)) {
//5chへの書き込みリクエストを2chへの書き込みリクエストに変換
//oSession.url = oSession.url.replace(/\.5ch\.(net)/,".2ch.$1");

//書き込み時のUAを変更したい場合は以下を変更
oSession.oRequest["User-Agent"] = "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:60.0) Gecko/20100101 Firefox/60.0";
}
//ここまで
0606名無しさん＠お腹いっぱい。
垢版 |
2018/06/19(火) 18:56:35.52ID:xYcWe27P0
>>593です
>>599-600,603
UAは教えてもらったモノや調べて新しそうなものを片っ端等から試したり
SimpleCookiePermission.txtというファイルを作るというのもやってみましたがうちの環境ではダメでした＞＜
うちの場合バイナリを変更する必要があったみたい
みんな助けてくれてありがとうございました
0607551
垢版 |
2018/06/19(火) 23:51:58.64ID:O+85sgS60
せっかくのFiddlerなんだからUIのInspectorsにRequestとResponseのログ残ってるだろ
それを（差支えない範囲で）貼れば状況解明に役立つかもしれないのに
0608名無しさん＠お腹いっぱい。
垢版 |
2018/06/20(水) 00:11:27.85ID:l9TiPaVt0
ちなみに書けてるうちではこんな感じ。Acceptヘッダはちょっと弄ってる

POST http://egg.5ch.net/test/bbs.cgi HTTP/1.0
Connection: close
Content-Type: application/x-www-form-urlencoded
Content-Length: 457
Cache-control: no-cache
Pragma: no-cache
Host: egg.5ch.net
Accept: text/html
Referer: http://egg.5ch.net/software/
User-Agent: Monazilla/1.00 (JaneXeno/170110)
Cookie: （略）

submit=（略）

HTTP/1.1 200 OK
Date: Tue, 19 Jun 2018 14:51:58 GMT
Content-Type: text/html; charset=Shift_JIS
Connection: close
x-Resnum: 607
Set-Cookie: （略）
Vary: Accept-Encoding
Server: cloudflare
CF-RAY: 42d6d118975e6eed-NRT
（以下略）
0609名無しさん＠お腹いっぱい。
垢版 |
2018/06/20(水) 00:15:45.26ID:pac5oDZG0
こういうことらしい

794 名前：名無しさん＠お腹いっぱい。[sage] 投稿日：2018/06/16(土) 12:54:04.00 ID:AucSE6lv0
Acceptヘッダが"text/html, */*"だと5ch側で弾くようになったっぽい
0610名無しさん＠お腹いっぱい。
垢版 |
2018/06/20(水) 00:29:52.06ID:l9TiPaVt0
>>609
それは自分も別スレで見て試してみたんだけど弾かれなかったんだよな
で>>608のAcceptヘッダを試してみたけどこれも弾かれない

まあ正解が何かはまだわからないけど、Acceptヘッダは

oSession.oRequest["Accept"] = "text/html";

こんな感じで弄れる（もちろんOnBeforeRequestな）
0614名無しさん＠お腹いっぱい。
垢版 |
2018/06/20(水) 02:03:09.44ID:8sgZuQBy0
てｓｔ
0615名無しさん＠お腹いっぱい。
垢版 |
2018/06/20(水) 02:04:08.47ID:8sgZuQBy0
Xenoだから何も変えずにずっと書き込みできてる
困ってる奴はこれを機にXenoに変えるのもありだぞ
0617名無しさん＠お腹いっぱい。
垢版 |
2018/06/20(水) 16:21:24.72ID:v5x2ukX30
Accept: text/html
User-Agent: Monazilla/1.00 (JaneXeno/170110)

次はこれで弾かれるんだろうなw
0620名無しさん＠お腹いっぱい。
垢版 |
2018/06/21(木) 02:40:16.14ID:yQjefoE90
>>617
それはとっくに弾かれてるぞ

>>619
>>617のUser-Agentじゃ弾かれるぞ
UAを>>603に変えればおｋ
0621名無しさん＠お腹いっぱい。
垢版 |
2018/06/21(木) 02:41:05.54ID:yQjefoE90
てか、最新のhtmltodatならUA変わってるんじゃないの？
0622名無しさん＠お腹いっぱい。
垢版 |
2018/06/21(木) 04:49:54.27ID:aBeVR4yq0
>>621
最新って2.26だよな

//読み込み時のUAを変更したい場合は以下を変更
oSession.oRequest["Accept-Encoding"] = "gzip";
oSession.oRequest["User-Agent"] = "Mozilla/6.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko";
}

//書き込み（bbs.cgi）についての処理は以下で
if (oSession.url.match(/bbs.cgi$/)) {
//5chへの書き込みリクエストを2chへの書き込みリクエストに変換
//oSession.url = oSession.url.replace(/\.5ch\.(net)/,".2ch.$1");

//書き込み時のUAを変更したい場合は以下を変更
//oSession.oRequest["User-Agent"] = "Monazilla/1.00 JaneStyle/3.84 Windows/6.3.9600";
}
//ここまで


たしか"Mozilla/6.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko"は弾かれてたはず
書き込みUAも一般ブラウザのものに変えといた方がいい
JaneStyle/3.84は古いバージョンだし山下に金が入るのも癪だし

あとプログラミングを少しでも齧ったことがある人なら常識だけど、「//」を削除してなくてUA変更が反映されてない人もいそう
0623名無しさん＠お腹いっぱい。
垢版 |
2018/06/21(木) 05:13:40.07ID:aBeVR4yq0
ちなみにIE11のUAはWindows7の64bitだと"Mozilla/5.0 (Windows NT 6.1; Win64; x64; Trident/7.0; rv:11.0) like Gecko"

そもそもMozilla/6.0なんて吐くブラウザなんてあるの？って話
0634名無しさん＠お腹いっぱい。
垢版 |
2018/06/23(土) 09:49:30.03ID:XtRtb1Cu0
最近のFiddlerのCustomRules.jsは、JScript.NET以外にC#も
使える様になったんだね。
Linux版はC#しか使えないみたいなので、C#版もあるといいよね。
0636名無しさん＠お腹いっぱい。
垢版 |
2018/06/23(土) 11:21:48.24ID:XtRtb1Cu0
>>635
作者の掲示板を見ると、既に出来てるみたいよ。
ただ、旧2chの古いread.cgiが無くなってて、一部動作検証出来ないみたいね。
0637名無しさん＠お腹いっぱい。
垢版 |
2018/06/23(土) 15:07:34.87ID:v4NgEUYO0
>>636
出来てるじゃん
誰かはよ、Linux上でWine＋Fiddler＋htmltodatByFiddlerで出来るかやってみてくれ
0640名無しさん＠お腹いっぱい。
垢版 |
2018/06/24(日) 19:51:47.19ID:WHrkVrQr0
>>639
正式版と間違えてテスト版をアップしてしまいました。すみませんが破棄してください。
今から正式版アップしなおします。
0641名無しさん＠お腹いっぱい。
垢版 |
2018/06/24(日) 21:08:41.45ID:ABx9xf/+0
とりあえず俺用C#版OnBeforeRequest.cs.txtの変更点
コメントで※が付いてるのが変更点

//読み込み時のUAを変更したい場合は以下を変更 ※Chrome偽装だとVersionUPでUAが頻繁に変わってズレるのでIE11UAで固定化
oSession.oRequest["User-Agent"] = "Mozilla/5.0 (Windows NT 6.1; Win64; x64; Trident/7.0; rv:11.0) like Gecko";
}

//書き込み（bbs.cgi）についての処理は以下で
if (oSession.url.ismatch(@"bbs.cgi$")) {
//5chへの書き込みリクエストを2chへの書き込みリクエストに変換
//oSession.url = oSession.url.replace(@".5ch\.(net)/,".2ch.$1");

//書き込み時のUAを変更したい場合は以下を変更 ※読み込み時とUAを同じにする
oSession.oRequest["User-Agent"] = "Mozilla/5.0 (Windows NT 6.1; Win64; x64; Trident/7.0; rv:11.0) like Gecko";
oSession.oRequest["Accept"] = "text/html";
//UAに汎用ブラウザのものを指定する場合「ブラウザ変ですよん」のエラーになることがあるがこの一行で回避できるようだ
//※俺のIE11のAccept-Languageが"ja-JP"なので
oSession.oRequest["Accept-Language"] = "ja-JP"; }
//ここまで
0642名無しさん＠お腹いっぱい。
垢版 |
2018/06/24(日) 21:40:18.71ID:RL1oNTqC0
>>641
もっと完全を期するなら

if (oSession.oRequest.headers.ExistsAndContains("Accept", "text/html, */*")) {
oSession.oRequest["Accept"] = "text/html";
oSession.oRequest["Accept-Language"] = "ja-JP";
}

にすると、規制対象のJane系以外は何も変更しないで済む。
0644名無しさん＠お腹いっぱい。
垢版 |
2018/06/25(月) 09:24:23.69ID:YOMbZbds0
Firefoxもよくアップデートくるけどメジャーバージョンアップ以外(セキュリティ関連のアプデ)ではUAの変更なしだから
Chrome偽装よりは最新UAに合わせるのがだいぶ楽だよな
0646名無しさん＠お腹いっぱい。
垢版 |
2018/07/12(木) 22:35:07.36ID:hPU1mLny0
>>645
見れるよ
0649名無しさん＠お腹いっぱい。
垢版 |
2018/07/19(木) 10:24:33.16ID:qdI2fsBM0
goneエラーが頻発するようになった
クソ運営が規制強めやがったか
0650名無しさん＠お腹いっぱい。
垢版 |
2018/07/19(木) 13:56:27.94ID:7E3c8O880
こっちは何も変わらんなー
0657名無しさん＠お腹いっぱい。
垢版 |
2018/07/19(木) 14:34:38.95ID:kcV3DYeK0
まじか。俺もjanestyleなのになぁ
ちなみにブラウザでは？
一覧は読み込めるけどスレを開くとgoneになる
0658名無しさん＠お腹いっぱい。
垢版 |
2018/07/19(木) 14:41:42.25ID:7E3c8O880
ブラウザの通信にはfiddlerを通さないようにしてた気がするので開けるけど…それがどこの設定だったかは忘れちゃった
0662名無しさん＠お腹いっぱい。
垢版 |
2018/09/27(木) 04:47:35.43ID:p+8hMS6T0
てすと
0668名無しさん＠お腹いっぱい。
垢版 |
2018/12/01(土) 15:27:09.12ID:7rDZjt+v0
>>667
俺もそうなった
あと番号がズレて増えてる
0670名無しさん＠お腹いっぱい。
垢版 |
2018/12/01(土) 16:43:06.15ID:Tgn7muiZ0
styleは今んとこ大丈夫かな・・・さっきこのスレを開いたときは破損になってたから怪しいけど
0673名無しさん＠お腹いっぱい。
垢版 |
2018/12/01(土) 17:47:00.54ID:AsHm+Hgm0
XENOだけど
どのスレ開いてもスレ番201から216までが壊れるわ
0675名無しさん＠お腹いっぱい。
垢版 |
2018/12/01(土) 17:53:18.48ID:43s6JBSt0
<div><div id="horizontalbanners*99"～
<!-- Insert user GDPR consent string here for GDPR compliant inventory -->
で広告が5つぐらい挟まってるな
0677名無しさん＠お腹いっぱい。
垢版 |
2018/12/01(土) 18:00:03.50ID:7rDZjt+v0
515まであるところ見たら
673さんの報告の所が壊れてた
あと417～432も壊れてた
0678名無しさん＠お腹いっぱい。
垢版 |
2018/12/01(土) 20:04:32.40ID:mUkO0d1h0
>>675以外にAAとレスポップアップ用のclassも入ってるんだな、と言ってもこれについては以前のverからあったようだが
あと少し前からpinkにも広告がレス間に追加されてる
0680名無しさん＠お腹いっぱい。
垢版 |
2018/12/02(日) 00:15:04.83ID:dIU1V9t90
アンカーがずれまくるな
0682名無しさん＠お腹いっぱい。
垢版 |
2018/12/02(日) 04:14:24.53ID:TapPir8h0
C#版だと問題ない（もともと対応済み）みたいだけど、導入しようとしても
janeに「(;ﾟДﾟ)datｼﾞｬﾅｲ…」って言われて取得できん（´・ω・｀）
0684名無しさん＠お腹いっぱい。
垢版 |
2018/12/02(日) 04:58:37.93ID:TapPir8h0
＞　・メソッド
＞　　public static void OnBeforeResponse(Session oSession)
＞　　の最後（次の public static ～ に直近の } の上）に OnBeforeResponse.cs.txt を挿入

readmeにはこう書いてあるけど、OnBeforeResponse.cs.txtを挿入する場所を
「// This function executes just before Fiddler returns an error that it has 」のある行の
１つ上の「}」の上にしたらC#でも行けた

一応、他に俺はいつも「//2chへの読み込みリクエストを～」と
「//5chへの書き込みリクエストを～」の下のコメントアウトを外して使ってるけど、
関係あるのかな？分からん（´・ω・｀）
0685名無しさん＠お腹いっぱい。
垢版 |
2018/12/02(日) 13:23:33.49ID:dDjMAYXn0
xenoでC#版に移行したけど
//5chへの書き込みリクエストを2chへの書き込みリクエストに変換
//oSession.url = oSession.url.replace(@".5ch\.(net)/,".2ch.$1");
のコメント外すとエラー出てダメだったけど読み込みは問題なくなった
0687名無しさん＠お腹いっぱい。
垢版 |
2018/12/02(日) 14:39:50.14ID:TapPir8h0
>>685
自分の環境でもそうなるからコメントアウトしたままだな
コメントアウトしないと「文字 '$' は予期されていません」って言われるわ（´・ω・｀）
0688名無しさん＠お腹いっぱい。
垢版 |
2018/12/02(日) 14:58:40.32ID:TapPir8h0
説明不足だったので追記。
↓こうすればコメント外してもいける。（「(net)」の後ろの「/」を「"」（半角ダブルクォーテーション）に書き換え）

oSession.url = oSession.url.replace(@".5ch\.(net)",".2ch.$1");
0689名無しさん＠お腹いっぱい。
垢版 |
2018/12/02(日) 16:40:17.45ID:Ar2zR2nW0
使ってたfiddler v4.5.1.2ではC#版を使えないようだったのでv5.0.20182.28034にアップデート後、Customize RulesでhtmltodatByFiddler(C#版)を導入すると
「コンパイラが必要とする型 'System.Runtime.CompilerServices.ExtensionAttribute' が見つからないため、新しい拡張メソッドを定義できません。System.Core.dll への参照は指定されていますか?」
というエラーが出たので以下を追加してみたら使えるようになったので、同じエラーが出た人用に参考までに
0690名無しさん＠お腹いっぱい。
垢版 |
2018/12/02(日) 16:41:43.83ID:Ar2zR2nW0
using System.IO;

namespace System.Runtime.CompilerServices {
// 拡張メソッドをコンパイルするのに必要となるExtensionAttributeの宣言
[AttributeUsage(AttributeTargets.Assembly | AttributeTargets.Class | AttributeTargets.Method)]
public sealed class ExtensionAttribute : Attribute {}
}

namespace MyExtensions {
// 拡張メソッドを含むクラス
public static class StringExtensions {
public static void WriteTo(this string str, TextWriter writer)
{
writer.Write(str);
}
}
}

namespace Test {
// 拡張メソッドを使用するコード
using MyExtensions;

class MainClass {
static void Main()
{
"Hello, world!\n".WriteTo(Console.Out);
}
}
}
//ここまで追加
0693名無しさん＠お腹いっぱい。
垢版 |
2018/12/03(月) 14:00:34.87ID:MyobQRau0
コピペする箇所が２つ増えるだけやぞ
それも数行、さっさと移行しよう
fiddlerのバージョン上げる作業の方がめんどいくらい
0695名無しさん＠お腹いっぱい。
垢版 |
2018/12/03(月) 19:53:27.41ID:JE4SPOS60
>>694
自分の環境向けに直し忘れてるんじゃないかな？例えばこれ
//2chへの読み込みリクエストを5chへの読み込みリクエストに変換 5ch対応の板一覧を使っていれば多分不要
//oSession.url = oSession.url.replace(@".2ch\.(net)",".5ch.$1");
■ このスレッドは過去ログ倉庫に格納されています
ニューススポーツなんでも実況