この記事は、最後の更新が【2016年10月19日】のため、記事の内容が古くなっている可能性があります。
最新の記事や関連記事をお探しの方は「サイト内検索」をしてみてください。
目次
クロール状況の把握は大事！
WEBサイトのGoogleインデックス状況を把握できるウェブマスターツール【Googleインデックス】にもクロールについて書きましたが、WEBサイトの管理者は自社のWEBサイトのクロール状況を把握しておくことが必要です。
クロール エラー
「クロール エラー」ではクロールの際に検出されたエラー（サイトのエラー、WEbページのエラー）が把握できます。サーバーとの接続状況なども確認できます。
エラーが検出されたら出来るだけ対応して改善しましょう。
クロールの統計情報
Googlebot（検索エンジンのロボット）の自社WEBサイトに対する活動状況が把握できます。
１日にクロールされる回数が多ければ、Googlebotが頻繁にWEBサイトへ来ていることを意味します。評価の低いWEBサイトはGooglebotの訪問頻度も少なくなるので、クロールされる回数が多いことはWEBサイトへの評価が高いと考えられます。
特に更新頻度が高いWEBサイト（定期的にコンテンツが増えている）はGoogleの評価も高いので、クロールされる回数も増えるはずです。
例えるなら
会社の掲示板をイメージしてみてください。定期的に情報が更新されていれば、最新情報を確認するためにあなたも見に行く回数が増えますよね。もちろん情報の質も大事です。定期的に情報が更新されても情報自体が必要ないものであれば見に行かなくなるでしょう。
Fetch as Google
「Fetch as Google」ではGoogleが自社のWEBサイトをどのように見ているのかが確認できます。確認するためには「インデックス送信」が必要になるので、クロール申請にもなります。
Fetch as Google ツールを使用すると、Google と同じようにページを見ることができます。このツールは、検索結果でのページのパフォーマンスが低いという問題のトラブルシューティングに特に便利です。たとえば、コンテンツの表示にリッチメディア ファイルを使用していて、Fetch as Google ツールが返すページにそのコンテンツが含まれないときは、そのファイルを Google が確実にクロールできていないと考えられます。ページの取得方法は、Google の標準ウェブ クローラかモバイル クローラ（モバイル コンテンツを公開している場合）のいずれかの形式から選択できます。／引用元：Fetch as Google – ウェブマスター ツール ヘルプ
方法は簡単です。確認したいWEBページURLを入れて取得ボタンを押します。その後「インデックスに送信」をクリックすれば完了です。
robots.txt テスター
「robots.txt テスター」は自社ののWEBサイト内で GoogleがどのURL（WEBページ）にアクセスできて、どのURLにアクセスできないかをテストするためのツールです。
特定のWEBページに対してクロールして欲しくない旨を伝えるための「robots.txtファイル」を使う場合に使うツールです。
robots.txt ファイルは、サイトの特定のページに対して Googlebot などのウェブ クローラ ソフトウェアがクロールを行わないよう指定するテキスト ファイルです。robots.txt でブロックされたページは、Google 検索の検索結果に表示されません。／引用元：robots.txt ファイルについて学ぶ – ウェブマスター ツール ヘルプ
参考記事
サイトマップ
もう説明はいらないですよね？WEBサイトの構造をGoogleに送ることが出来ます。「sitemap.xml」の追加をすることによりGooglebotはよりあなたのWEBサイトの構造を理解しやすくなります。
WEBサイトの公開時やリニューアル時には必ずサイトマップをGoogleに送りましょう。この情報を元にクロールがされやすくなります。
サイトマップは、検出が難しいサイトのページの情報を Google に提供する手段です。XML サイトマップ（通常は「サイトマップ」と呼ばれます）は、簡単に言うと、ウェブサイト上にあるページのリストのことです。サイトマップを作成して送信すると、Google の通常のクロール処理では検出できない可能性のある URL を含むサイト上のすべてのページを Google に知らせることができます。／引用元：サイトマップとは – ウェブマスター ツール ヘルプ
URL パラメータ
「URL パラメータ」を使う機会は通常はありません。重複コンテンツがあった場合に使うものですので使うことがない方が健全です。
参考記事：URL パラメータ – ウェブマスター ツール ヘルプ
