お勧めダウンロード(丸ごと取り込み)ソフト3
■ このスレッドは過去ログ倉庫に格納されています
手作業でリネーム
取り込む先のフォルダの名前を指定する
好きなのを選べ 波乗野朗使ってるんですが、スタイルシートに対応していないのか、最近のWEBサイトを取り込むとガタガタに崩れてしまいます。
フリーできちんと崩れず閲覧できる巡回ソフトがあれば教えてください。
Bulk Image Downloader
これまでFree版を使用していたんだけど、有料onlyになったのかな?
CODEを入力しないと、起動しなくなった。FireFOXのアドオンもダメ。。。
便利だったのに、な。
http://antibody-software.com/web/index.php?option=com_content&task=view&id=33&Itemid=30 ブログの画像だけを取り込むソフトないですか?
web image hunterを使ってみましたが広告の画像まで取り込んで管理がししにくいのと
どっからきたかわからない変な画像まで取り込んでしまってうまくいきません
よろしくお願いします VIPダウンろーだ
ttp://vdlspt.bob.buttobi.net/vipdownloda/
2chとGazouBBSの一部専用 Javaアプレット製 >405
画像フィルタ使えばいいじゃん。
ブログの画像のURL見て、"http://xxx.com/images/xxx.jpg"とかだったら、
URL(含まれる)ってとこに"http://xxx.com/images"を追加する。
>>405
追記。あと、広告なら大抵gifだからgifは外すとか、
わけわからん小さいサイズの画像取らないためにサイズを特定のサイズ以上にするとか。
web image hunterは検出力高いから、フィルタは必須。 javascript追跡に対応してるソフトってありますか? imgboard.cgiのページをブラウザで閲覧してるとき、アドレスバーの表記は変化しません。
gethtmlwのproxymode2を使っていると、ページごとに異なるファイルとして保存されていたと思うのですが、
ver8.0.0ではできなくなっています。
prohibit.lwsに*psvで指定してもできないのですが、どうすればできるようになるのでしょうか? > imgboard.cgiのページをブラウザで閲覧してるとき、アドレスバーの表記は変化しません。
ページをPOSTメソッドで取得しているんだな。
設定の「POSTmethodも保存する」をチェック。
これで無理なら諦める。 imagefap一括DLしたくして↓のページでやったんだけど
ttp://pictadicts.blog38.fc2.com/blog-entry-2242.html
ちゃんと展開してDLしてくれません。
他にお勧めの方法か解決策ってないでしょうか。 >>411
>設定の「POSTmethodも保存する」をチェック。
この設定で希望どおりの動作になりました。ありがとうございます
prohibit.lwsに*psvで指定してあって、ページが実際に違うのに保存してくれないってことは、
「拡張子がcgiの単なるHTML」という扱いではないようですね まとめサイト(blog)の広告部分を取り除いて保存してくれるソフトないもんかな
紙copiで保存して余計な部分を(ry
→サイズの大きなページで紙copiがザ・ワールド
BullzipやPrimoでPDFにして余計な部(ry
→サイズの大きな(ryで一般保護法ナントカ
mhtで保存しておいて余計な部分を手動で削除する方法
→mht編集ソフトが上手く読み込んでくれないサイトがある&サイズの大きな(ry
Wordにコピー&ペーストして(ry
→レイアウトが原形を留めてくれない
Proxomitronで広告をフィルタリング
→フィルタ設定した次の日に大量の広告アドレスが入れ替わってて萎えた
とりあえず普通に取り込みソフトで保存してそのまま表示してみるテスト
→オンライン状態になるとiframeの広告ページに保存フォルダをrefererにしてうわなにをするやめr >>414
広告アドレスはアカウントID指定しないで、ワイルドカード指定してる?
広告消しだったら、置換ソフト(複数ファイル一括処理タイプでワイルドカード使用)で取り除くとか、
ダウンローダでCompleteGetterっていうのにDL後ファイルバナー広告削除機能ついてる。 巡集使ってみたいのですがページが消えていてどこ探してもみつかりません。
どなたかDLできるサイト教えてください。もしくはUPお願いできませんか? 消えてねえよ、ここで更新チェックしとけ
ソフトアンテナ > Windows > WWW > ダウンロード > 巡集
http://www.softantenna.com/lib/2305/index.html DL数が強制的に1になる前のGetHTMLW(ver 7.11.6かな?)を、ProxomitronでUAを Pockey-GetHTMLから変更してrobot.txtを無視して使うのが一番快適だな。
それでも弾かれるならIrvine系でリンク解析して纏めてDLすればおっけーね。
ところで、今ベクターで公開しているGetHTMLWのDL数を好きなように変えられるバイナリ改変の手法ってあるのかしら。 巡集更新されてるな
ver 1.7.2 (2009/08/30)
* 通信エラーで途中で止まるバグを修正。
* 追加ダウンロードで除外されたファイルもダウンロード可能に。
* 許可URLと除外URLの細かい動作不良を修正。
しかし、作者が株で大損した的なこと書いて
すぐサイト閉鎖したんだっけか
なんかあったのかと当時心配になってたな >>418
そのリンク先のベクターが一時的に消えてたんだよ。 ついに巡集のURLフィルタの除外指定が想定どおりになったぞ
以前は許可でパスしてると除外をスルーされていたからな
おかげでため込んだ設定ファイルを一部書き直すことになったが 巡集素晴らしいソフトだけど、
辿らなかったURLが多いと古いほうからどんどん消えちゃうのがちょっと残念
それからダウンロードURLやURLフィルタに登録できる文字数がもっと増えたり
ダイアログの大きさを拡縮できると俺だけ幸せ >>401
>巡集って例えば今日ダウンロードしたページを
>明日ダウンロードしたら上書きされてしまいますよね?
>そうしないように(日付ごとにページを分けるように)する方法って無いでしょうか?
俺も似たような悩みなんだが、これを、自動的にやってくれる機能を持ったソフトは無いか。
更に、予め指定したページを、週2日位で自動巡回・自動取得してくれると良い。
日付ごとにページを自動的に分けてくれるという意味では、
Beeが希望に近いのだが(>>401氏はお試しあれ)、
俺の場合、狙っているページが、ユーザー名とパスワードを入力しないといかんページなのだ。
Beeだと、なんだか、設定が上手くいかん。
一方、波乗野郎だと、ユーザー名とパスワードなどの設定とか、
定期的な自動取得とかは出来ても、
いちいちフォルダに手を加えるとかしないと、上書きされてしまう様なのだ。
良いソフトは無いかしら。 >>425に追記
「URLは一定だけど中身が変わるファイルの、自動的な定期保存」が希望といっても良い。 401、426に同じく。
425がお勧めしてくれているBeeはシェアなのでまだ試していないけど、フリーならScriptBrowserKはどうだろうか。
需要が少ないのか情報が古いものしか見つからず、ようやく辿り着いたのだが…。今簡単な設定だけして使ってみているが、なんか広告まで更新拾ってちょっと鬱陶しいがスクリプトなどでなんとかなるようなならないような…。
がんばって弄れば更新時にメールもできみたいだ…。私にはまだできぬが…。 Offline Explorer Ver4の日本語化をやり始めたんだけど
気が向いたらランゲージファイル公開するわ Ver5が出てるのは知ってるんだけど自分が使ってるのが4だったからってだけ
半分近くローカライズしちゃったもんだからVer5への対応はやるかどうか不明 それを落とそうとしたら、avast がトロイ発見したのだけど・・・
感染先は Bee.exe で実行ファイル >>432
誤検知だから大丈夫
うちはAviraだけど、beeServer_start.exe ってのも誤検知した。 巡集のソート機能にはバグがあるのかな?
ver1.58あたりまでだと全ての行がソートされるけど
1.59以降は行が多いと途中までの行しか並び替えてくれない
誤検知なのか。 トンクス
でも、特定ディレクトリに入れて、そのディレクトリだけスルーさせる設定にした。
あとで使ってみよう。 正露丸の方がいい!正露丸は必需品これ絶対ね!基地外漏りたぽ全部寄越せや やっぱり再三出てる話題だったか
ゲーム攻略系のwikiを丸ごとローカル保存ってのは無理っぽいね
頻繁に参照するんでどうにかしたいんだけど… wikiでもそれぞれページが01.htmlみたいになってるタイプは保存できて当然
index.php?%xx%xx%xxみたいなタイプはソフトによって解釈が違うから問題が出る
ちなみに俺が使ってるソフトはローカルに保存することは問題なく出来る
でも保存したデータを取り込みソフトから開く時にエラー出してくれる
ファイルを直接開いてもいいけど拡張子がないからダブルクリックなどが使えなくて不便 webexでもweboxでも駄目だったサイトがgethtmlwで全部ダウンロードできた。
でもIEで見るとページによっては表示がただの文字列になっちゃうんだけど、どうすればいいの? ソース見てCSSとか足らないファイル無いか確かめて見れ WebAuto は秀逸なんだけど、シェアウェアなうえに開発終了っぽいのが残念。
今までオートパイロットで WebAuto 以上のものにあったことが無い 忍者ブログがちゃんと取り込めるお勧めってある?
表に見える画像が「HyperText 転送プロトコル (HTTP)」ってなっててよくわからんが
取り込んだHTML起動させても画像出ないんだ。
とりあえず、巡集とWeBoXは使ったけどだめだったorz 他の所で聞いてみましたが、反応がなかったので。
javascriptも崩れないで綺麗に取り込めるページ取り込みソフトはありませんか?
webox/紙copiでは、いまいち上手に取り込めませんでした。
何かご存知でしたら、教えてください。 gethtmlwでのことなのですけれども
以前まで順調に落とせてたサイトを
今やってみようとするとrobots.txtだけしか落ちこなくなってしまいました
ProxomitronでUser-Agentをいじってみたんですけどrobots.txtだけしか落ちてきませんでした
どうやったら良いんでしょうか?
対象サイトはup.pandoravote.netっていうアップロダサイトです なんかいろいろ調べてたんですが
robots.txtに User-agent: * Disallow: / って書いてあるので
これを読んだgethtmlwが拒否されてると認識してしまう
のでrobots.txtだけ落ちてきて取得終了となる
でもって手持ちのgethtmlwのver7.10.1で試したところ巡回取得ができた
robots.txtに従って巡回するしないとゆう機能は
gethtmlw.verを読むと7.11.0からのようだ
で いいのかなぁ。。。 Proxomitron を使っているのなら、User-Agent を書き換えるよりも
いっそ robots.txt へのアクセスを遮断する方が根本的解決に繋がるだろうね。
どっちみち User-Agent の書き換えは推奨するけど。
デフォルトの User-Agent "Pockey-GetHTML" でググると分かるけど、
以前実装のマズさからいろんなサイトから総スカンを食った過去があるので。 robots.txtについては「0:robots.txt」を設定することで読まない設定が可能だから楽ちんだね >>450
もともと盲点は見えないから突かれても問題ない twitterのプロフ検索サイトや
WinnyやShareのハッシュサイトの
情報を丸ごとってのもできるの? wgetでサイトまるごと採ろうとしてるけど
画像データの途中でwgetが止まるというか
HTTPのレスポンスがない・・・
どうすれば・・・ scrapbook+の最新版でwikipediaを階層保存しようとするとたまにエラーが出て保存できないのですが設定で回避できますか? wgetのGUI版があったので貼っとく
VisualWget - A download manager (GUI) based on Wget for Windows
http://khomsanph.net/visualwget/
moe.imouto.org終了のお知らせか・・・ >>443の書き込み見てWebAutoを使ってみたけど
サーバーにアップされた時間で落とせるぽいな
他のツールでも可能ぽい説明があるソフトは何故か
設定してもうちの環境じゃダウンロードした時間になるから助かった 巡集の1.7.1A→1.7.2のバージョンアップで、
URLフィルタの許可URLよりも除外URLの方が優先されるようになって、
ダウンロードできなくなったサイトがあるんだけど、
何かいい方法ってある? 何度か話題に出ているけどやっぱりwikiをそっくりダウンロードするのは難しいんだね ローカルに保存したwikiを
txtで開いてしこしこしながら勉強しろよっていう
ググルさんの優しさ 更新頻度と64bit対応を考えると、WinHTTrackしか選択肢がないよう
Firefoxのアドオンのほうが幸せになれるのかもしれんな
GetHTMLwの作者はどうなったのですが
最近、更新がないようですが
あげ 今まで、pagedown使ってたけど、巡集に乗り換えたけどいいね。
pagedownで完全に取り込めなかった、ページも取り込めたし。
ブログなんか保存する場合だと、いらないものは拒否するフィルターより
いる物を追加してくフィルターの方がはるかに便利だね。
他にこうゆうフィルター使えるソフトってないからもっと増えてほしい。 最近「〜けど〜けど」「〜ので〜ので」「〜だから〜だから」みたくたった1文の構成すら出来ない奴が増えたな i.aspの付いているaspで生成されている(?)携帯サイト
(具体的にいうと魔法のiらんどですが)を丸ごと保存できるソフトは
ありますか?
既存のソフトを試してみたのですが、a対応しているものはなかなか
ないみたいで・・・。 魔法のiらんどなら巡集でフィルタ設定して取ってる
目的サイトのコンテンツによってはフィルタ設定多少変わってくるけど 情報をありがとうございます。
巡集を使わせていただきました。
ダウンロードそのものはできていて、保存されたファイルをテキストファイル
などで開くと中身はhtmlのソースがちゃんと書かれていることはわかるの
ですが、拡張子がhtmlでないためなのかブラウザで正しく表示されません。
自分で一括リネームすればよいのかもしれませんが、そうすると今度はリンクの
相互関係も全部書き換えないとならなくなります。巡集でaspのファイルを
ダウンロードする際にもう少しよいやり方は可能でしょうか?
あと、取得する階層を0とか1とか2に設定しても、なぜか次から次へと
ダウンロードするファイルが増えてきて、いつまでたっても終わらなくなります。
教えて君ですみませんが、どうしてこうなるのか誰がご存知な方がいれば
教えていただけないでしょうか? 自分の場合Firefox、Opera辺りならD&Dすれば
普通にhtmlの状態で見られるんでトップページをブックマークしてる
それ以外やったことないしあまり詳しくもないからちょっとわからない
ダウンロードファイルがどんどん増えてくのはフィルタ設定がちゃんとできてないからだと思う
ゲストブック、iらんど大賞みたいな他のiらんどサイトへのリンクがある箇所は
除外していかないといつまで経っても終わらない ローカルの特定の拡張子の扱いはブラウザ依存じゃないのかな 返答が遅くなってしまい申し訳ありません。
余計なファイルがダウンロードされてしまって終わらないという問題は、
フィルタの設定をきっちりと行うと解決されました。
aspファイルの表示についてですが、いろいろ試してみたもののどうも
うまくいかないので、ファイルを一括でリネームして、中身のリンクを
書いてある部分についても一括で置換、という方向でやってみようと
思います。ありがとうございました。 頻繁にファイルを直接選択してブラウザで見たいというのでなければ
スタートページだけhtmlに拡張子を変えたコピーを作ればいい >>473
その方法だと、スタートページは正しく表示されるのですが、
そこからリンクしているそれぞれのページを見に行くときに、
結局同じ問題が生じて正しく表示されなくなってしまうみたいです。 それって、content-typeやらがwebサーバー経由で見た場合はhtmlで返ってくるけど
ローカルで開くと拡張子の都合でhtmlとして見られないという話だよね
ローカルにwebサーバー立てて.aspをhtmlとして返す設定ファイル置いて見るとか、
ブラウザ側でhtmlとして扱うような設定するとか
Firefoxなら気にしないでよかった気もする
>>475
Firefoxを使ってみたのですが、確かにこれだとaspでも正しく表示する
ことができますね。
Internet Explorerの設定によって表示する方法はいろいろ調べたのですが、
要するに具体的にどの設定をいじれば表示できるのかということを説明
してあるサイトなどがあまりなくてどうも要領がわからなかったです。
サーバーをたてる件については、IIS(?)というのをインストールすると
ローカルでも見れるようになる、ということなので途中まではやってみたの
ですが、思ったよりいろいろと設定が面倒なので、だったらファイル名と
中身を置換してしまえばよいのではないか、と思いました。
当面は、これを見る必要があるときだけFirefoxを使って(といっても
ダウンロードしたのはもしものときのバックアップ用で、サイトそのものは
存在するので当面はそれを普通に見ればよいのですが)、他の設定などで
Internet Explorerでも見れるようにする方法についてはもう一度少しずつ
試してみたいと思います。ありがとうございました。 winhttrackを使ってるんだけど、途中でトラブルがあって止まってしまった
途中から再開するんだけど、レジュームモードだと
もう一度最初から取り込みなおすっていうか更新された情報の取り込みまで
やってしまうんだけど、これまでやった場所は更新させないで
取り込む方法ってある? >>476
俺はIE詳しくないから検索の手助けになりそうな情報だけ
ドキュメントをどう解釈させるかはMIMEという設定がある
ネット上のwebサーバーはブラウザではこう解釈してほしいんだ、というのを返してくれてる
aspなりphpなりcgiのようにURLが.htmlじゃなくても、htmlとして扱ってくださいねという情報ね
だからフォルダのオプションの関連付けか何かで、拡張子ごとのMIMEの設定を指定してやればいいと思う。
.aspファイルはhtmlとして開いてね、というような指定
「関連付け MIME」なんかでググったらでてこないかな
ローカルでwebサーバー立てれば見れると書いたのは、webサーバーがやっていることを手元でやるということね。
でも、よくわかっていない人間に気軽にそんなことをさせるべきではないか。
誤った設定でwebサーバーを立てれば、全世界に情報が公開されかねないからね。
CompleteGetterのRFunc:1とかRFunc:2って何ですか? フレーム付のページを一括で保存できるソフトってありますか? ttp://liargame.jp/index.html
このサイトみたいに、読み込んでから表示するタイプはなかなか
サイト保存が出来なくて困ってるんだけどどうすれば良いかな?
そういう場合はXaxonのネットレコーダーしかないな。
http://www.nhk.or.jp/artbs/photo/009.html
上みたいに、画像をクリックすると浮かび上がって出るタイプを
そのままの状態で保存したいんだけど無理?
保存しても、こうならないで、ただの白い画面に写真って状態で表示される できるよ
よく使われてるjava scriptだろ フォーラム系を保存したいのですが
良いソフトありますか? >>488
winhttrackみたいなミラーソフトでは、無理だったのだけれど
どうすれば、保存できるようになるの? 決定的なソフトは現れないかねえ
新しいソフトですら現れていないわけだが 龍馬伝の公式ホームページを保存しようとしてるんだけれど、TOPページから
してとりこめない。
どんなソフトを使えば取り込めますか? 巡集でURLに「0902」を含むファイルだけなぜか拾ってくれないんですが、同じような症状の人いますか?
いろいろ設定を変えてみたけれど駄目でした。 winhttrackというサイトミラーソフトを使用しています。
http://www.httrack.com/ これです。
こちらのソフトは短時間の使用では全く問題ないのですが、
ページ数のあるサイトでサイトミラーに長く時間が掛かってしまう
場合トラブルが発生します。
Winhttrackでサイトのミラー(コピー)に、1日以上時間を必要とするサイトの場合や、
そのようなサイトを複数(多重起動して、2つ以上)コピーしている際にトラブルが発生します。
まず、インターネットに接続できなくなり、次第にパソコンの動きが重くなっていきます。
また、上記のようなサイトの取り込みに時間の掛かるサイトのコピーを行っている最中にパソコンを長時間放置(長時間といっても3時間以上)すると、
トラブルが起きやすくなります。長く放置し続けると、最終的には3分以上操作を行わない場合、モニタの電源が切られる設定にしておりますが、
その状態からタッチパッドをクリック、叩いても反応しなくなります。
以上のような事が発生した場合、CHKDSKが必要な状態となります。このようなサイトのコピーを行っていても、始めてから10時間ほどでは問題ありませんが1日以上経過した場合、このような症状が現れます。
原因や、長時間サイトコピーを行ってもその状態とならぬような対策はありませんでしょうか?
>>495
ですが、パソコンを使用しているときには、そういった状態になりにくく
使用せず放置すると、CHKDSKが必要な状態になりやすくなります
なぜなんでしょうか? 巡集のように絶対パスを相対パスに(http://〜index.htmlをindex.htmlに)してくれる機能ってGetHTMLにもある?
それか、同等の機能を持ったソフトとか…。
携帯サイトを取り込みたいんだけど、いちいち手動でリンク書き換えるのが大変で。
巡集だと上手く取り込めなくて…たぶん自分のやり方が悪いんだと思うんだけど。
調べてもGetHTMLを詳しく解説してるサイトとか見つけれなくて、色々試行錯誤してるんだけど、まだ使いこなせてない…。 ■ このスレッドは過去ログ倉庫に格納されています