--%--%--%--%--%--%--%--%--%--%--%--%--%--%--%--%--%--%--%--%--%--%--%--%
	wwgetall
	   WWWサーバのファイルをすべて取得する！
	   by Yoshioka Tsuneo
		email:tsuneo-y@is.aist-nara.ac.jp
		      QWF00133@nifty.ne.jp
--%--%--%--%--%--%--%--%--%--%--%--%--%--%--%--%--%--%--%--%--%--%--%--%

◎はじめに
  このプログラムは指定ページからリンクされているページを取得する
プログラムです。どうぞ御利用ください。

◎特徴
  このプログラムは以下のような特徴を持っています。
  1) Perlの正規表現で取得範囲を指定できる。
  2) MD5を用いて全く同じページは取得しないようにする。
  3) ページ中の絶対リンクは相対リンクに書き換えることができる。

◎インストールに必要なプログラム
  1) Perl5
  2) md5 コマンド(なくても動作はします)

◎インストール
  1) wwgetall,wwget,tcp_client.plをパスの通った適当なディレクトリに入れる。
  2) 代理サーバを利用する場合は環境変数http_proxyに設定する。

◎オプション
   すでに取得してあるファイルは取得しなおしません。最初からやりなおす場合は一度すべての取得ファイルをけしてください。

usage: wwgetall [-m<match_url>] [-d<write_dir>] [-t<time_limit>] [-s<size_limit] [-e<permited_extension>] <http://hostname/path>

-m<match_url>
	match_urlにマッチするURLを取ってきます。match_urlはperlの正規表現
	を使います。
	(例)wwgetall -mhttp://.*.osaka-u.ac.jp/ http://www.osaka-u.ac.jp/
	のようにすると、阪大の全ホストの全ファイルをとってこれます(おひ)
	
-d<write_dir>
	とってきたファイルの置く場所を~/html/からwrite_dirにかえます。
	(例)wwgetall -d/tmp/ http://www.osaka-u.ac.jp/
	とすると、/tmp/にとってきたファイルを起きます。ホームディレクトリの
	容量がない人はこうする方がいいでしょう。
	
-t<time_limit>
	time_limit秒以内にファイルを取ってこれなければ、そのファイルを取ってくる
	ことをあきらめます。

-s<size_limit>
	size_limit[kb]以上のファイルの場合、size_limitまででちょんぎります。
	
-e<permitted_extension>
	とってくるファイルの拡張子を正規表現で指定します。
	デフォルトでは、-eになっています。
	すべてのファイルをとってくる場合は、-eとだけします。

■使用例
wwgetall -d/tmp -e http://www.sup.ee.es.osaka-u.ac.jp/
	www.sup.ee.es.osaka-u.ac.jpのホストのファイルすべて(htmlファイル以外も)
	を/tmpに置きます。

■仕組み(?)
とりあえず、指定されたURLをスタートURLとし、そのファイルにかかれている
<a href=..>などのURLを捜し出します。見つけた場合は、相対パスに書き換え、
そのファイルをまだ取ってきてなければ、スタートURLにマッチするかしらべ、
マッチした場合は、そのURLのファイルをとってきます。
これを繰り返していきます。
なお、深さ優先探索でしらべていってます。
実行中に表示される(level??)は深さを表します。

■制限
対応タグは今のところ、
<a href=...>
<img src=...>
です。
デフォルトhtmlファイルはindex.htmlと仮定しています。

■バグ
いろいろあるでしょう(^^;
きがついたら言って下さい。

■注意
このプログラムは次々と、ファイルをとってくる、という性質上
ネットワークに負担をかける可能性があります。
ネットワークが混んでいるときは、つかわないようにしたほうがいいと思います。

■そのほか
コピー、改造、再配布、ソースの一部利用
など自由にしてください。(Public Domain Softwareと同様)
バグ、文句、感想などはどしどしどうぞ、

なお、このプログラム(とサポートプログラム)は、perl5で書かれていますので、
機種依存はあまりしないはずです。

■history
1996/3/?? 家でつくってちょっとつかう。
1996/5/?? 学校にもってくる
1996/5/17 このファイルを作る。画像ファイルに対応する。
1996/5/22 デフォルトですべての拡張子のファイルをとってくるようにする。
1996/7/1	インストール方法を書き加える。
1996/8/9	画像ファイルは指定された正規表現にマッチしなくても取ってくるようにする。
			ラベル(index.html#labelなど)を適切に扱うようにした。
1998/6/9  2.00  バージョン番号がつく

◎第一次配布先
  現在、最新版を以下のところから取得できます。
	http://infonet.aist-nara.ac.jp/~tsuneo-y/soft/wwgetall/

◎作者連絡先
  吉岡 恒夫
  Email:tsuneo-y@is.aist-nara.ac.jp (1999/3月まで)
        QWF00133@nifty.ne.jp
