サイト職人スタッフブログ

自社ホームページを立ち上げた後、新たなページを追加してもそれらがすぐに検索に反映されなくて悩んだといった経験はありませんか？検索結果に表示するには、クローラーと呼ばれるプログラムにホームページの存在を認識してもらう必要があります。

クローラーについて学ぶことは、Webサイト作りを見直すきっかけとなり、SEO対策としても非常に有効です、今回は、クローラーとはどのようなものなのか、検索エンジンに自社ホームページを認識させるにはどうすれば良いのかについてわかりやすく解説していきます。

クローラーとは？

クローラーとは、インターネット上のさまざまコンテンツを検索エンジンのデータベースに格納するデータ取集型の巡回プログラムのことです。Googleなどの検索エンジンサービスを提供している会社が管理・運営しており、インターネット上を這うように情報を収集することからクローラーと呼ばれています。

そして、クローラーが情報を収集することを、クローリングといいます。クローラーは、クローリングすることでWebサイトの検索結果を作り上げています。そのため、クローラーに自社のホームページが認識されない限りは、検索結果に表示されることはありません。

クローラーの仕組み

大部分のクローラーは、既存のデータベース内にあるホームページからリンクをたどり、巡回していきます。クローラーは、ホームページを解析し、検索アルゴリズムが扱いやすいデータへと変換して、データベースへの登録を行います。

解析によってリンクを見つけると、そこにアクセスしてページ内情報を収集・解析して登録作業を行います。解析・登録といった、一連の作業が繰り返されることで、膨大な情報が収集された検索エンジンの仕組みができています。

どんなものをクローリングしている？

インターネット上にあるものなら、どのようなものでもクローリングの対象となりますが、実際にはどのような情報が収集されているのでしょうか。クローラーのサーバーとの通信手段というのは、HTTP/HTTPSプロトコルと呼ばれる通信方式で、HTTP/HTTPSで取得可能な情報であれば、すべてクローリングできます。

例えば、下記のファイルは、クローリング対象となります。

• テキストファイル
• JavaScriptファイル
• PDF
• CSSファイル
• 画像
• Flash

クローリングの最適化を図りましょう

ホームページのアクセスを少しでも増やしたいと思うのなら、クローリングの最適化を図る必要があります。一般的に、クローリングの最適化に関する行為は、クローラビリティと呼ばれており、SEO対策でも非常に重要視されています。

クローラビリティに関する対策を行えば、クローラーのクロール頻度が高くなり、検索結果に情報が表示されやすくなります。次に、クローラビリティとして有効な具体的な最適化の方法についてご説明します。

Googleに向けてサイトマップを送付する

Googleに向けてサイトマップを送付すれば、既存のコンテンツが更新されたことを、意図的に伝えることができます。そのため、Googleサーチコンソールから、クローリングの申請をするようにしましょう。

ただし、悪質な理由で日付を変更する、または更新してもいないに偽装するという行為は、ペナルティの対象となる可能性があるため十分に注意してください。

パンくずリストの設置

パンくずリストとは、ホームページの位置情報を伝えるためのリストのことです。パンくずリストがあれば、クローラーがリンクを利用して巡回しやすくなるため、クローラビリティの向上が期待できます。

テキストリンクの設置

クローラーは、あくまでもロボットなので画像がどのような内容なのかということを認識できません。そのため、画像リンクよりもテキストリンクを設置した方が認識されやすくなります。

画像リンクを設置する場合は、altに対してテキスト情報を入力するなどの工夫をしましょう。

自社ホームページ内で関連するページへのリンク設定

ホームページ内で関連する情報がある場合は、関連するページとして積極的に紹介しましょう。内部リンクでつながったページは、重要なコンテンツと判断される傾向にあるため、クローリングしやすい環境を整備していくことが大切です。

ディレクトリ構造の見直し、改善

クローラーは、ディレクトリ構造の浅い階層ほど上位表示しやすい傾向にあります。そのため、深くても3階層までの構造で完結するように改善していきましょう。

不要なページの削除

内容が重複している、または内容が古いページが多く見つかると感じているのなら、不要なページの削除を行いましょう。特に内容が重複するものは、どちらか一方だけを残して、ホームページ上から消しましょう。

まとめ

ホームページの情報は、クロールされることで、検索結果に表示されます。Googleはクローラーを使って、ホームページを評価し検索順位を決定していることを忘れずにホームページの制作、運用を行っていきましょう。