X



Fiddler 2chプロクシ専用 Part1 [転載禁止]©2ch.net
■ このスレッドは過去ログ倉庫に格納されています
0001名無しさん@お腹いっぱい。垢版2015/03/26(木) 23:24:16.96ID:YucLrJ+j0
htmltodatByFiddler
 要.NET Framework (webスクレイピング)
 ttp://mukiyu.g.ribbon.to/ 【v1.05   v2.02 (v2系は差分取得対応)】
 ttp://jbbs.shitaraba.net/bbs/read.cgi/computer/1929/1038409548/
(要参照 ttp://anago.2ch.net/test/read.cgi/software/1426589898/763
 ttp://www.telerik.com/download/fiddler
0454名無しさん@お腹いっぱい。垢版2017/10/02(月) 20:50:16.19ID:A/wZwohm0
5chに書き換えると 読めるようになるけど書き込めない
2chのままだと読めないけど書き込める

なんだよこれ・・・
0455名無しさん@お腹いっぱい。垢版2017/10/02(月) 20:53:33.45ID:A/wZwohm0
oh・・・
ReplaceStr.txtのせいで更に訳わからんことにw

5ちゃんねるに書き換えると 読めるようになるけど書き込めない
2ちゃんねるのままだと読めないけど書き込める
0456名無しさん@お腹いっぱい。垢版2017/10/02(月) 20:54:47.78ID:AQ/UQeDr0
jane style だけど読み書き問題ないが
過去ログみれない
更新待つしかないのかな
5chに手打ちで直しても取得失敗する
0457名無しさん@お腹いっぱい。垢版2017/10/02(月) 21:01:07.10ID:qgMCqJqe0
>>455
すまんね
ReplaceStr.txtは
2ch.net【TAB】5ch.net
のほうがましかもしれない
0458名無しさん@お腹いっぱい。垢版2017/10/02(月) 22:12:32.42ID:99kje5rc0
Chaika+FoxAge2ch+Feddler(2ch -> 5ch書き換え)+htmltodatByFiddlerでとりあえず使えている。
あとは旧URL開くときに手動で2chを5chに直したりhttpsのs抜いてから登録しなおす手間があるくらい。
読み込みも書き込みもできてる。
0462名無しさん@お腹いっぱい。垢版2017/10/02(月) 23:17:12.45ID:qgMCqJqe0
5ch対応暫定版きたね
いつも迅速な対応ありがとうございます
ただ残念ながら、これで書き込みはできなかったけど

htmltodatByFiddler 2.24(8k byte)

[更新履歴]
2.24 (2017/10/02)
 ・5ch.net への暫定対応
0463名無しさん@お腹いっぱい。垢版2017/10/03(火) 00:01:20.75ID:b05WAaz90
htmltodatByFiddlerは読み込みだけで書き込みはタッチしてなかったんじゃなかったっけな
pinkには書けるんだけどなあXenoでも
0465名無しさん@お腹いっぱい。垢版2017/10/03(火) 00:16:54.65ID:lCe2gZ1n0
ひゃほおおおJane Styleでも読み書きできるようになりましたー
//2chへの読み込みリクエストを5chへの読み込みリクエストに変換
ここのコメントを解除したらいけました
ありがとうございました
0466名無しさん@お腹いっぱい。垢版2017/10/03(火) 01:36:35.14ID:Zy1SxpYB0
XenoでhtmltodatByFiddler v2.24試したが読み込みは可能だけど書き込みはできなかった。
Xeno folderのcookie.txtを削除してみても変わらず。
Xeno+htmltodatByFiddler2.24で書き込みもできている人いる?
下のエラーメッセージがでるだけ。

現在、荒らし対策でクッキーを設定していないと書きこみできないようにしています。
(cookieを設定するとこの画面はでなくなります。)
この画面が繰り返し出る場合はcookieを削除してみてください。
0468名無しさん@お腹いっぱい。垢版2017/10/03(火) 05:13:13.59ID:N6gpdMZ20
>>462で読み込めるようになったけど、Xenoだと書き込めないぞ
あと、お気に入りに入れたリンクが全部機能しなくなってるな
URL変わったからだろうけど
0473名無しさん@お腹いっぱい。垢版2017/10/03(火) 09:11:15.09ID:CHtiya9K0
Xeno+htmltodatByFiddler v2.24
ボード一覧を2ch.netに戻したら読み書きOKになった
dat落ちしたスレの過去ログも取得出来た
0477名無しさん@お腹いっぱい。垢版2017/10/03(火) 10:24:49.77ID:YDKuDk4S0
駄目だ
ボード2chに戻すと302になってしまう
他の変更点が引っかかってんだろうけどもうどこ直したかごちゃごちゃ弄りすぎた
0479名無しさん@お腹いっぱい。垢版2017/10/03(火) 10:38:58.60ID:kuAxdq8f0
>>478
そっちか…読み込み問題ないからそこは弄ってなかったわ
ついでに5chに変換したfavorite.datも2chに戻して、やっと読み書きお気に入りリンク全部落ち着いて以前の状況に戻った
0480名無しさん@お腹いっぱい。垢版2017/10/03(火) 13:25:03.28ID:4EAlXvWl0
>>478
すげえ、ほんとだ
出来たわ、thx
0483名無しさん@お腹いっぱい。垢版2017/10/03(火) 16:00:01.90ID:ixUoZ1HI0
Fiddler2chExtensionとJaneStyle旧Ver の組み合わせだけど
暫定更新の2.24だと機能しないので、2.23のファイル内の2chを5chに置換
過去ログ用のurl置換のために、Replacestr.txt で .2ch【TAB】.5ch で書き込み過去ログ両立できるようになった。
置換する際に、2ch.net や 2ch だと、書き込み時にクッキー削除の警告が出てしまい無理だった。
ボード一覧取得はhttp://menu.5ch.net/bbsmenu.html
0485名無しさん@お腹いっぱい。垢版2017/10/03(火) 21:19:21.88ID:NBoX/r460
コメントアウトしてるのは書き込みをFiddlerで偽装するかか
読み込みをFiddlerで偽装するか選べるようになってるからかなぁ

何にしても素早い更新ありがとうございます
0488名無しさん@お腹いっぱい。垢版2017/10/05(木) 02:05:23.60ID:I3RxYMo30
>>478やった後に過去ログ読みたいなら追加でjane2ch.iniにこれ追加が一番手軽な気がするわ

[BBSMENU]
2chServers=.2ch.net,.5ch.net,.bbspink.com
0491名無しさん@お腹いっぱい。垢版2017/10/09(月) 01:20:19.74ID:W1IKiMnQ0
>>490
Options=>Connection tab
"Act as sytem proxy on startup" はdisableになってる?
Fiddler listens on port: は指定されてる?

これらの指定しておけば指定ポート以外、つまり専用ブラウザ以外の通信は
スルーしてくれると思ったけどな
動作も早くなる
0492名無しさん@お腹いっぱい。垢版2017/10/09(月) 02:55:01.79ID:xcZhWsYA0
>>491 ありがとう。でもそうじゃなくて、
起動時にfiddler自身が”50.56.19.116”へ通信してるんですよ
50.56.19.116はfiddlerのサーバーなんですがなんか気持ち悪くて
今使ってる古い4.17.2017は通信なんてしないんですがね
0494名無しさん@お腹いっぱい。垢版2017/10/09(月) 03:31:12.16ID:W1IKiMnQ0
>>492
Fiddlerのserverとわかってるなら気持ち悪くないだろうし
ただupdate checkしてるだけじゃないの?

Options => General tabの
Notify me for updates on startup
あたり変えたら変わらない?
0496名無しさん@お腹いっぱい。垢版2017/10/09(月) 08:39:27.28ID:0l3xVUQG0
>>490
ver4.6.20171.9220だけど更新チェックだよ、起動時のログに書いてあると思う
そのログをマウスオーバーでツールチップにコマンドが記述されてる(スペル間違ってるけど)
ショートカットに/noversioncheckを追記すればいい
0497名無しさん@お腹いっぱい。垢版2017/10/09(月) 13:55:06.21ID:xcZhWsYA0
ver4.6.20173.38786最新版です
-noversioncheckはwww.fiddler2.com/UpdateCheck.aspxへの接続ですよね
それとは別に50.56.19.116、52.216.225.152へ繋ぎにいってますね
0498名無しさん@お腹いっぱい。垢版2017/10/09(月) 19:20:39.86ID:xcZhWsYA0
52.216.225.152もtelerik.comぽいので安全そうですが
結局止め方がわからなかったので
ver4.6.20171.26113をアーカイブで取ってきて使うことにしました
0499名無しさん@お腹いっぱい。垢版2017/10/10(火) 17:32:45.80ID:cGjTSOVZ0
恐ろしいくらい今更だが

>>448
>あとXenoのReplaceStr.txtの最後の行に
>2ch【TAB】5ch
>を入れておけば前スレとかのリンクがそのまま使えるようになるね

を行ったままの人、スレの文章の“2ch”が全部“5ch”になっているから気を付けてくれorz

ID:qgMCqJqe0氏が>>457で変えた方が良いと書き込んだのを無視してそのままにしたせいで大変な目にあった。
自業自得だな(苦笑)

ReplaceStr.txtの働きを十分理解してなかった自分への戒めついでに恥さらししておく(笑)
0500名無しさん@お腹いっぱい。垢版2017/10/10(火) 18:01:21.28ID:Fkp0cDvP0
Xenoで5ch.netのcookieを許可する方法

設定ファイルSimpleCookiePermission.txtをJane2ch.exeと同じフォルダに作成し、
クッキーを許可したいドメイン名を一行ごとに書く。外部板についても同様。
ドメイン名は後方一致。

例)5chと外部板のcookieを許可
-----------------
5ch.net
blogban.net
jbbs.livedoor.jp
-----------------

いずれ2ch.netへの書き込みが出来なくなった時用メモ
0502名無しさん@お腹いっぱい。垢版2017/10/10(火) 19:02:20.61ID:Z6BNeZ7d0
>>499
参考までに今は以下の記述にしてる
これでURLだけに限定できて、変換していることもわかるので

・ReplaceStr.txt
<rx2>http://([-a-zA-Z0-9]++).2ch.net/【TAB】<font color=gray>[S] </font>http://$1.5ch.net/【TAB】msg


>>500
この設定をしておくと、最新のhtmltodatByFiddlerをそのまま適用すればよくなる
(コメントアウトを外す必要がなくなる)
完全に5chに移行した場合、このコメントアウトを外したことが原因で書き込みできなくなるかもしれないので注意(?)
0503名無しさん@お腹いっぱい。垢版2017/10/12(木) 21:37:51.70ID:OHXIEllv0
JaneXeno150312 + Fiddler + htmltodatByFiddler 2.24
今日あたりから新着チェックをするとログが取れずに
ログ破損の赤いマークがよくでるようになった。

「全タブの新着チェック」やるとすぐにログ破損になる。
5chの仕様変更で差分でログとれなくなったのかなぁ

>>502
htmltodatByFiddler 2.24の
コメントアウト解除は5ch.netからの読み込みのために必ず必要だったよ

>>500は書き込みに関連したワザ。やっておくと2ch.netの
ドメインがなくなっても書き込みができる。
0504名無しさん@お腹いっぱい。垢版2017/10/13(金) 00:14:00.42ID:kyW0o5pW0
>>503
当面これでしのげるということらしい

//スレのタイトルを取得

このコメントを検索
その下の一行を

var title = oBody.match(/<title.*?>(.*?)\n?<\/title>/mi);

var title = oBody.match(/<title.*?>(.*?)\s*?<\/title>/mi);

に書き換える。
0505名無しさん@お腹いっぱい。垢版2017/10/14(土) 01:20:20.74ID:9SbdkwM70
>>504
ありがとう、ログ破損めったに出なくなった。

また仕様変更あるたびにログの読み込み直ししないと
いけないと思うとめんどうだな
みんなはやくopen2chとかに移住して欲しいわ
0506名無しさん@お腹いっぱい。垢版2017/10/14(土) 08:10:11.51ID:3d31OduK0
自分もログ取れなくなった
view+fiddleの方はどんな設定でやってる?
あらためて確認したいので頼みます
0507名無しさん@お腹いっぱい。垢版2017/10/14(土) 20:55:14.15ID:XrmR8h3D0
http://leia.2ch.net/poverty/

が読み込めなくなったぞ
最新版htmltodat入れてる
0508名無しさん@お腹いっぱい。垢版2017/10/14(土) 21:01:54.55ID:62wz+k370
それがどうしたの?
0509507垢版2017/10/16(月) 19:30:15.86ID:uW64Z/gn0
直ったわ
IP関係かな?
0516名無しさん@お腹いっぱい。垢版2018/02/13(火) 19:10:03.07ID:04TfZh460
☆ 私たち日本人の、日本国憲法を改正しましょう。現在、
衆議員と参議院の両院で、改憲議員が3分の2を超えております。
『憲法改正国民投票法』、でググってみてください。国会の発議は
すでに可能です。平和は勝ち取るものです。お願い致します。☆☆
0524名無しさん@お腹いっぱい。垢版2018/02/27(火) 11:22:21.08ID:I6eR2siM0
5chの一部板壊れた?更新できなくなったからwebブラウザでスレを開いても
白地の背景に「Gone.」としか表示されない
0529名無しさん@お腹いっぱい。垢版2018/02/28(水) 08:59:35.37ID:KX+vP+Ip0
単にread.cgiのリロード過多で規制かけてるだけだよ
過多と言っても普通に使ってるだけで過多と判断されちゃうわけだけど
別に串だから規制されてるわけじゃない
0531名無しさん@お腹いっぱい。垢版2018/03/03(土) 22:58:44.37ID:lOkqT7Mi0
>>530
俺が作ったやつだけど、随分前にDropboxから消したんでスマソ。
もし消していなかったとしても、バグが有ったのとJaneStyleの設定が古いままなので
今じゃ直さないと使えない。
また、他の人よりFiddler用の外部DLLとして提供されているヤツも基本一緒ね。
0533名無しさん@お腹いっぱい。垢版2018/03/09(金) 12:05:48.54ID:fR1Ds25G0
Gone規制は非公式専用ブラウザの締め出し目的もありそう。

API使わずFiddlerでがんばってきたけどGone多発する仕様に
なったしもう限界だな
10スレッドくらい同時に更新チェックかけただけでもGone規制に入ってしまう
0535名無しさん@お腹いっぱい。垢版2018/03/09(金) 15:51:10.66ID:fR1Ds25G0
>>534
専用ブラウザで10スレッドはかなり少ないだろう
実況もオートリロードも使ってない

サーバへの負担減らしたければ
広告なしでもAPI使えるようにすればいいだけの話
0537名無しさん@お腹いっぱい。垢版2018/03/09(金) 16:06:07.94ID:VUM6MueJ0
>>535
>広告なしでもAPI使えるようにすればいいだけの話
何で自分の都合のいい方向で考えちゃうんだよ?
広告見せるためのAPIだし
広告無しにしたら意味ないでしょ運営的には

サーバにはアクセスすりゃ誰だって負荷かけてることになる訳だし
10スレッド同時にリロードすれば1スレッドの場合の10倍負荷がかかるのも事実だけど
こういうのはこれまでも皆普通にやってきたことだし
問題にされるような規模でもない筈

特定のターゲットがいるんじゃね?
アタック仕掛けてくる人とかscとか
0538名無しさん@お腹いっぱい。垢版2018/03/09(金) 17:09:42.78ID:xcPIr/A10
読みもしないスレッドを複数読み込むって馬鹿じゃね?
それとも同時に複数スレッドを読めるとか特異効能者か?

要するに目的があってクローリングしてるんだろ
それを潰しに来てるんだからそりゃもっともな対応だわ
0539名無しさん@お腹いっぱい。垢版2018/03/09(金) 17:24:40.57ID:Zz3LtCQz0
まぁといっても、このスレは
・広告は悪、ゆえに、広告を消すのは正義
という趣旨のスレだからね

愚行であるのは確かだが、同じ穴の狢である自覚は持たないとね
0541名無しさん@お腹いっぱい。垢版2018/03/09(金) 17:33:16.80ID:VUM6MueJ0
>>538
>読みもしないスレッドを複数読み込むって馬鹿じゃね?
読むからリロードするんだろ?
リロードして新着の有無確認して読み進めるのは普通の行為だわな
一個一個やってたら手間過ぎる
0543名無しさん@お腹いっぱい。垢版2018/03/09(金) 20:38:35.90ID:fR1Ds25G0
>>536
同時更新とかいたのはJaneXenoのすべてのタブを更新機能だけど
これじゃなくても同じ板のスレッドを1個ずつすばやく読み込みすると
Goneになるはずだよ
手動ですばやく1個ずつチェックしても規制
0544名無しさん@お腹いっぱい。垢版2018/03/09(金) 20:47:48.32ID:fR1Ds25G0
>>537
通常のBrowserで使い物にならないほど醜いUIだからこそ
2ch専用ブラウザが使われてきた。
汎用ブラウザでもアプリのようなUIを実現する技術もある。
そういう努力をせずに、専用ブラウザ頼みにしているのが悪い。

例えばログイン制にすればよく見るスレッドの登録、ここまで読んだ機能など
専用ブラウザの基本機能は汎用ブラウザでも実現できる。
いつまでもIP address単位でアクセス管理をする20年以上前の発想から
抜け出せずにいる。
0545名無しさん@お腹いっぱい。垢版2018/03/09(金) 20:51:22.16ID:fR1Ds25G0
>>537
あと広告なくても掲示板は利益出るよ
掲示板のデータはひろゆき時代から外部の企業に売られてるしさらに
IP addressのように個人を特定しうるまで紐づけられてる可能性高い。

広告なし専用ブラウザでの利用が大半だった時代にも
ひろゆきは億単位の年収得ていたのはそういう仕組み
0547名無しさん@お腹いっぱい。垢版2018/03/09(金) 20:55:14.80ID:fR1Ds25G0
>>538
読みもしないスレッドを読み込むと解釈するほうがバカ。
定期チェックしてるスレッドは専用ブラウザのタブで残っているしそれの
新着レスを一括でチェックするだけ。
専用ブラウザのごく一般的な使い方だろう
API公開していれさえいれば最小限の負荷で差分だけ送信できる。
0548名無しさん@お腹いっぱい。垢版2018/03/09(金) 21:15:27.06ID:VUM6MueJ0
>>547
>API公開していれさえいれば最小限の負荷で差分だけ送信できる
それはお前の都合だ
この人思い込みだけで何も知らん人だな
0549名無しさん@お腹いっぱい。垢版2018/03/09(金) 21:26:36.80ID:fR1Ds25G0
>>546
それは失礼、どの部分の主語なのかわからない。
UIが悪く、ログイン制なしは時代遅れっていうのは
ひろゆき時代、JIM時代で共通の話だよ

あと今の運営が掲示板データを売っていないという根拠は?
純正専用ブラウザでGoogle絡みのライブラリが入ってるんだから
個人情報と紐づけられてるのはほぼ確実
Googleは広告屋だから必ずやってる
0551名無しさん@お腹いっぱい。垢版2018/03/09(金) 21:52:56.85ID:OW5YZfWb0
>>543
xenoだと
「全てのタブの新着チェック」だとタブの数ぶんread.cgi叩くけど
「全てのタブの更新チェック」だと板ごとのsubject.txtを読むだけだ
とりあえずそちらで運用してみてはどうだろう

自分もxenoで数十タブ開いてて日に最低一度は全タブ更新チェック使って
たまに実況もするけどGoneはまだ食らったことない
■ このスレッドは過去ログ倉庫に格納されています

ニューススポーツなんでも実況