たった１行でサイトマップを検索サイト4社のクローラに教える方法 / 俺様メモ

Google,Yahoo!,Microsoft,Ask,サイトマップの共通仕様

Google，Yahoo!，MSNの検索サイト大手3社がサイトマップを標準仕様に採用すると去年の11月に発表して、Ask.comも今年の4月に参加表明。

Ask.com、Sitemapsをサポート--検索4社でウェブインデックス作成機能の共通化へ
　ウェブサイトの運営者はこれまで、大手検索エンジンにインデックス化してもらいたい情報を提供する際、ウェブアドレスやロケーション情報を個々の検索エンジンに通知する必要があった。しかし、このたび、検索エンジンの大手4社が手を組んだことにより、サイト運営者は一箇所にアクセスするだけで、一括して複数の検索エンジンにウェブページの情報を送ることができるようになる。Google、Yahoo、Microsoftは2006年11月に、共通のプロトコルを用いることを既に発表しており、このおかげでサイト運営者は一括して自分のウェブページを検索エンジンに手動でフィードしたり、自分のサイトがクロールされたかどうかを確認したりすることができるようになると述べていた。今回、Ask.comもSitemapsのautodiscoveryをサポートすることなったため、サイト運営者は、自分のサイトが検索エンジンに含まれるようにするための作業時間を短縮できるようになる。
筆者など : 文：Elinor Mills（CNET News.com）翻訳校正：編集部
URL : http://japan.cnet.com/news/media/story/0,2000056023,20346944,00.htm

これで、Google、Yahoo!、Microsoft、Askの各社の検索エンジンのクローラー4社が sitemapのオートディスカバリ(自動検知)に対応し、ウェブインデックス作成機能が共通化された。これは検索エンジン業界標準といってもよいだろう。
ということで、今回の注目点はSitemaps Autodiscovery。

最近Googleマスターツールでsitemapとして登録するror.xmlがエラーになる。
http://www.rorweb.com/rormap.htmでチェックしてもどこが悪い訳でないと思うが、

XML タグが指定されていません必須タグが指定されていません。追加してから、再送信してください。

・・・訳わからないので、とりあえずror.xmlを登録から外して4社共通になったSitemaps Autodiscoveryを試そう。（単純）そのsitemapを自サイト用にチューンしたほうが賢いっつー事だな。

Sitemaps Autodiscovery 対応する方法

sitemaps.orgが一部日本語になってたりして（一部日本語訳されていない部分が残っていたりしてまだ不完全）、ちと驚いた暢気な俺様ｗ

ここで、Sitemaps Autodiscovery情報を探すと「検索エンジンのクローラに通知」に説明がある。

robots.txt ファイルにサイトマップの場所を明示する。

俺様訳含む（笑）

Sitemapファイルを作成し、それをあなたのウェブサーバに置きこのプロトコルをサポートするサーチエンジンを知らせる必要があります。
robots.txt ファイルにサイトマップの場所を記述し検索エンジンのクローラに通知する方法
robots.txt ファイルを使ってサイトマップの場所を明示することができます。そのためには、次の行を追加する

Sitemap: <sitemap_location（ファイルの場所）>
<sitemap_location（ファイルの場所）> は、http://www.example.com/sitemap.xml のようなサイトマップへの完全な URL でなければならない。
この指定はユーザエージェントの指定とは無関係で，ファイルの中のどこに書いても問題なし。
もしサイトマップのインデックスファイルを使用しているのであれば，そのインデックスファイルの場所だけあればよく，インデックスファイル中に記載されているそれぞれ個々のサイトマップを羅列する必要はない。

※このニュースを受けてsitemap.xmlの記述も変更してみた。
　→　sitemap.xml作成テンプレート例

ちなみにGoogleSitemapにサイトが更新されたときに、自動で通知する事も可能。Pingを利用したプラグインもある。もちろん装備してまっせｗ

さて、たった1行足しただけの成果はあったのか？

Googleの場合はこちらから見に来いとｗ働きかけをしていた訳で、さすがに不定期に良く来ていたけれど、Yahoo! と MSNは全くの受け身だったといえる。そういえば、どちらもサイトの登録もしていないし（笑）。
しかしながら、1行足しておよそ14日経過の現在は4社いずれの検索エンジンでも俺様のサイトはサクッとインデックスされている。

実際、Yahoo!のクローラが来たのは早かった。
それまで見たこともなかったaskらしいクローラも確認した。偶然なのか必然なのか真のところは不明であるがSitemaps Autodiscovery の仕様に従ってクロールしていることはわかる。

これで、rorファイルはまた放置されるのである（笑）

俺様メモ