ユーザーエージェント ia_archiver
アクセスログをチェックしていたらこんなものが見つかりました。
209.237.238.172 - - [08/Mar/2005:10:51:25 +0900] "GET /robots.txt HTTP/1.0" 404 204 "-" "ia_archiver"
ユーザーエージェントのia_archiverてなにかなと思って調べたら次の記述が見つかりました。
209.237.238.172 - - [08/Mar/2005:10:51:25 +0900] "GET /robots.txt HTTP/1.0" 404 204 "-" "ia_archiver"
ユーザーエージェントのia_archiverてなにかなと思って調べたら次の記述が見つかりました。
「ia_archiver」さんがいらっしゃいました。
・Internet Archive: Wayback Machine
http://www.archive.org/web/web.php
ここのサイトの方らしい。
古いWEBコンテンツも大事にとっておいてくれるらしい。
別に悪さはしないけど、昔のやつをほじくられるのも恥ずかしいので、はじいておこう。
幸いrobots.txtは読んでいるので、以下を追加。
User-Agent: ia_archiver
Disallow: /
コンピュータ系blog: ia_archiver (robot)
なるほど
Comments