WEBマスターの手帳 > WEB担当者 > これから始めるウェブマスターツール > WEBサイトのクロール状況を把握して改善するウェブマスターツール【クロール】

これから始めるウェブマスターツール

2014年7月30日

WEBサイトのクロール状況を把握して改善するウェブマスターツール【クロール】

Twitter 1 Facebook Google+ はてブ Pocket チャットワーク Eight Feedly

スポンサードリンク

クロール状況の把握は大事!

WEBサイトのGoogleインデックス状況を把握できるウェブマスターツール【Googleインデックス】にもクロールについて書きましたが、WEBサイトの管理者は自社のWEBサイトのクロール状況を把握しておくことが必要です。

クロール エラー

「クロール エラー」ではクロールの際に検出されたエラー(サイトのエラー、WEbページのエラー)が把握できます。サーバーとの接続状況なども確認できます。
クローラ エラー

エラーが検出されたら出来るだけ対応して改善しましょう。

クロールの統計情報

Googlebot(検索エンジンのロボット)の自社WEBサイトに対する活動状況が把握できます。

クロールの統計情報

1日にクロールされる回数が多ければ、Googlebotが頻繁にWEBサイトへ来ていることを意味します。評価の低いWEBサイトはGooglebotの訪問頻度も少なくなるので、クロールされる回数が多いことはWEBサイトへの評価が高いと考えられます。

特に更新頻度が高いWEBサイト(定期的にコンテンツが増えている)はGoogleの評価も高いので、クロールされる回数も増えるはずです。

例えるなら

会社の掲示板をイメージしてみてください。定期的に情報が更新されていれば、最新情報を確認するためにあなたも見に行く回数が増えますよね。もちろん情報の質も大事です。定期的に情報が更新されても情報自体が必要ないものであれば見に行かなくなるでしょう。

Fetch as Google

「Fetch as Google」ではGoogleが自社のWEBサイトをどのように見ているのかが確認できます。確認するためには「インデックス送信」が必要になるので、クロール申請にもなります。

Fetch as Googleで確認

Fetch as Google ツールを使用すると、Google と同じようにページを見ることができます。このツールは、検索結果でのページのパフォーマンスが低いという問題のトラブルシューティングに特に便利です。たとえば、コンテンツの表示にリッチメディア ファイルを使用していて、Fetch as Google ツールが返すページにそのコンテンツが含まれないときは、そのファイルを Google が確実にクロールできていないと考えられます。ページの取得方法は、Google の標準ウェブ クローラかモバイル クローラ(モバイル コンテンツを公開している場合)のいずれかの形式から選択できます。/引用元:Fetch as Google – ウェブマスター ツール ヘルプ

方法は簡単です。確認したいWEBページURLを入れて取得ボタンを押します。その後「インデックスに送信」をクリックすれば完了です。
Fetch as Google

robots.txt テスター

「robots.txt テスター」は自社ののWEBサイト内で GoogleがどのURL(WEBページ)にアクセスできて、どのURLにアクセスできないかをテストするためのツールです。

robots.txt テスター

特定のWEBページに対してクロールして欲しくない旨を伝えるための「robots.txtファイル」を使う場合に使うツールです。

robots.txt ファイルは、サイトの特定のページに対して Googlebot などのウェブ クローラ ソフトウェアがクロールを行わないよう指定するテキスト ファイルです。robots.txt でブロックされたページは、Google 検索の検索結果に表示されません。/引用元:robots.txt ファイルについて学ぶ – ウェブマスター ツール ヘルプ

参考記事

サイトマップ

もう説明はいらないですよね?WEBサイトの構造をGoogleに送ることが出来ます。「sitemap.xml」の追加をすることによりGooglebotはよりあなたのWEBサイトの構造を理解しやすくなります。
サイトマップ

WEBサイトの公開時やリニューアル時には必ずサイトマップをGoogleに送りましょう。この情報を元にクロールがされやすくなります。

サイトマップは、検出が難しいサイトのページの情報を Google に提供する手段です。XML サイトマップ(通常は「サイトマップ」と呼ばれます)は、簡単に言うと、ウェブサイト上にあるページのリストのことです。サイトマップを作成して送信すると、Google の通常のクロール処理では検出できない可能性のある URL を含むサイト上のすべてのページを Google に知らせることができます。/引用元:サイトマップとは – ウェブマスター ツール ヘルプ

URL パラメータ

「URL パラメータ」を使う機会は通常はありません。重複コンテンツがあった場合に使うものですので使うことがない方が健全です。
URL パラメータ

参考記事:URL パラメータ – ウェブマスター ツール ヘルプ

【シリーズ】これから始めるウェブマスターツール

  1. WEBサイト管理者必見!これから始めるウェブマスターツール【ウェブマスターツールの魅力】
  2. WEBサイト管理者必見!これから始めるウェブマスターツール【WEBサイトを登録しよう】
  3. WEBサイト管理者必見!これから始めるウェブマスターツール【検索のデザイン】
  4. SEOに有益な情報が得られるウェブマスターツール【検索トラフィック】
  5. WEBサイトのGoogleインデックス状況を把握できるウェブマスターツール【Googleインデックス】
  6. WEBサイトのクロール状況を把握して改善するウェブマスターツール【クロール】
  7. ウェブマスターツールで著者統計を確認しよう【様々な機能】

この記事が良いと思ったらシェアしてください

Pocket

御社のターゲット像を明確にする!ペルソナ作成シート

ペルソナ作成シート

WEBマーケティングで重要なのが「相手は誰?」というターゲット像を明確にすることです。

そこでWEBサイトを訪問する人は誰?企業ブログを訪問する人は誰?SNSで繋がりたい人は誰?これらターゲット像を明確にするための「ペルソナ作成シート」を【無料】で配布しています。

WEBマスターの手帳をフォローして最新情報をゲットしよう!

この記事に「いいね」と思ったらフォローしてね!


この記事を読んだ方におすすめの記事

この記事を書いた人

遠藤 聡
中小企業のWEB担当者&ソーシャルメディア担当者としてWEBサイトの管理運用から企業ブログ、Facebookページ、Twitter、YouTubeチャンネルの管理運用(企画&実施)を行なっております。 具体的なサービス内容はサービス詳細ページをご覧ください。

コメント

  • ソーシャルメディア活用チェックシートのダウンロード
  • ペルソナ作成シートのダウンロード
  • @webmaster_note
  • Instagram

最新記事一覧

あなたにオススメの記事

ピックアップ記事一覧

カテゴリー

人気記事ランキング

  • 本日
  • 週間
  • 月間
  • 殿堂

本日の人気記事

週間の人気記事

月間の人気記事

殿堂の人気記事