クローラの変更点

追加された行はこの色です。
削除された行はこの色です。
クローラへ行く。
-[[Wikipedia - クローラ:http://ja.wikipedia.org/wiki/%e3%82%af%e3%83%ad%e3%83%bc%e3%83%a9]]

-[[携帯サイトとクローラ:http://labs.unoh.net/2007/09/post_104.html]]
-[[ロボ避けとアクセス制限のための覚え書き:http://wiki.livedoor.jp/aissle/d/%A5%ED%A5%DC%A5%C3%A5%C8%A1%CAGoogle%A1%A6Yahoo%21%A1%A6Microsoft%A1%CB]]

-[[Wikipedia - ユーザエージェント:http://ja.wikipedia.org/wiki/%e3%83%a6%e3%83%bc%e3%82%b6%e3%83%bc%e3%82%a8%e3%83%bc%e3%82%b8%e3%82%a7%e3%83%b3%e3%83%88]]

-[[ロボットはもうたくさん！:http://putih.xrea.jp/robots/]]

* モバイル用クローラ [#r1fcee0f]
-[[ケータイキャリア・クローラIPアドレス:http://ke-tai.org/index.php?%A5%B1%A1%BC%A5%BF%A5%A4%A5%AD%A5%E3%A5%EA%A5%A2%A1%A6%A5%AF%A5%ED%A1%BC%A5%E9IP%A5%A2%A5%C9%A5%EC%A5%B9]]
-[[モバイルSEO robots.txtでのクローラの許可:http://72.14.235.104/search?q=cache:E-1bZKrvQlwJ:ameblo.jp/pitame/entry-10057312972.html+DoCoMo+%E3%82%AF%E3%83%AD%E3%83%BC%E3%83%A9%E3%83%BC&hl=ja&ct=clnk&cd=4&gl=jp&lr=lang_ja&client=firefox-a]]

-[[Google モバイル検索についてのウェブマスター向け情報:http://googlejapan.blogspot.com/2008/05/google.html]]
-[[モバイル版Yahoo!検索の検索エンジン用ロボットについて:http://help.yahoo.co.jp/help/jp/search/indexing/indexing-27.html]]

* Apacheの設定 [#r5a4ce4f]
-[[Apache モジュール mod_access:http://httpd.apache.org/docs/2.0/ja/mod/mod_access.html]]
-[[Webサーバーで検索ロボット拒否:http://bakuretsu.atso-net.jp/bakuretsu/freebsd/apache-deny-robot.html]]
-[[User-Agentで制限をかける:http://blaque.cocolog-nifty.com/blog/2006/05/apache_useragen_fc12.html]]
クローラ の変更点

クローラの変更点
