ホームトピック一覧ページが検索エンジンにインデックスされない訳

ページが検索エンジンにインデックスされない訳

  3ヶ月ほど待っても、ウェブページが検索結果に出て来ない(上位にランクされないのではなく、ドメイン名を指定して検索しても、あなたのページが出て来ない)場合、サイトの構成が、検索エンジンのロボットにクロールされるのを妨げている事が考えられます。

  今日、頻繁に問題を引き起こしているのが、ダイナミック(動的)ページです。ダイナミックページを表示するのに用いられる「?」が含まれたURL(ダイナミックURL)の組み合わせが無限に有り、それを一つ一つクロールするとロボットはそのサイトから抜けられなくなってしまいます。(これをDynamic Spider Trapsと言います。)これを回避するために、検索エンジンのロボットはダイナミックURLをクロールするのを避けるので、ダイナミックページはインデックスされずらいのです。又、同一のURLから別のページが作り出される場合も、特定のパターンのページはインデックスされても、他のパターンのページがインデックスされない事が有ります。例えばUser Agentの言語の設定に合わせて日本語又は英語ページを作り出す場合、日本語のページはインデックスされても、英語のページがインデックスされない事が有ります。

  対策としては、

  1. サーバーにて「?」が含まれていないURL(スタティックURL)でも、ダイナミックページが回覧できる様に設定する、又は、同一のURLで複数のページが作り出される場合は、それぞれのページに別々のスタティックURLを割り振る(方法は、使用しているサーバーソフトの説明書を参照)
  2. スタティックURLで表示されるページに、ダイナミックURLを使用したリンクを載せる
  3. 申請が通るかは分かりませんが、Open Directory Project  又は、Yahoo!カテゴリ 2004年7月号 で取り上げたYahoo!の検索エンジンでは有りません)へ、ダイナミックURLを申請する

事が有効です。

  その他、インデックスされない原因として以下の事が考えられます。

  1. クッキーを有効にしていないとサイトの回覧が出来ない
    検索エンジンのロボットはクッキーを受け付けないので、この場合あなたのサイトはクロールされません。
  2. Robots.txtやmetaタグによりクロールを拒否している
    たまに、Robots.txtやmetaタグを書き間違えて、クロールされたいのにクロールされない設定になっている場合が有ります。
  3. 検索エンジンのロボットが理解できないリンクを使用している
    JavaScript等を使ったリンクは、ロボットが理解できず、リンク先のページをクロールできない場合が有ります。サイトマップ等を使って、普通のリンクで全てのページへのパスを網羅させます。
  4. ログインが必要
    回覧にログインが必要なページはクロールされません。
  5. 悪質な方法を取ったため、検索エンジンから追放された
    速やかに悪質な方法(2003年11月号参照 )をやめて、再度インデックスされるのを待って下さい。

© 2004年10月