巡回のしくみと、取れないとき

8.1 巡回とは#

巡回は、登録した監視サイトのページを、決まった範囲で自動で開き、タイトル・見出し・本文・価格・商品・申し込みのボタン・採用情報を読み取って保存するしくみです。保存した内容を、前回の内容と比べて、変わったところを変更として記録します。サイトモニタリング・サイト更新履歴・日次メールに出る変更は、すべて、この巡回で見つけたものです（第6章・第7章）。

できること

• 登録した監視サイトを、毎日、自動で巡回する
• 見つけた変更を、種類・重要度つきで、新しい順に記録する（第7章）
• 巡回できなかったサイトと、その原因を、画面に出す（巡回できないとき）
• ページの数が多いサイトも、数日で全ページを見て回る（1回に見るページ）

何を読み取るか#

1ページごとに、次の内容を読み取ります。

タイトル・見出し

ページのタイトルと、見出し（大見出し・中見出し・小見出し）

本文

ページの本文。メニュー・ヘッダー・フッター・サイドバーなど、どのページにも出る部分は、できるだけ除きます

価格

「円」「¥」「税込」「月額」などの、金額の表現

商品・サービス

見出しや、構造化データから読み取った、商品・サービスの名前

申し込みのボタン

「お問い合わせ」「無料相談」「資料請求」「予約する」などの、申し込みにつながる文言

採用情報

採用ページへのリンクと、募集職種（ページに、職種の情報が埋め込まれているとき）

保存した内容は、変わった日だけ残ります#

巡回のたびに、ページの内容を、そのまま全部、積み重ねるのではありません。前回から内容が変わったときだけ、そのときの内容を保存します。変わっていない日は、前回の内容が、そのまま続いています（サイト詳細の「比較」も、この保存した内容を見比べます。第7章）。

8.2 毎日の巡回の流れ#

巡回は、毎日、日本時間のその日のうちに、監視サイトを順番に進めます。

• 1サイトずつ、順番に進めます。複数のサイトを、同時に並べて進めることもあります。何時に始まり、何時に終わるかは、決まっていません（登録しているサイトの数や、各サイトのページの数で変わります）。
• サイトを登録すると、まだ巡回していないサイトの巡回が、すぐ始まります（登録のときに、「初回クロールの順番に入れました」と出ます）。同時に進められるサイトの数には限りがあり、同じ相手のサイトは重ならないので、混んでいるときは、順番を待ちます。最初の結果が出るまでの時間は、サイトのページの数で変わります。
• 巡回に失敗したサイトは、その日のうちに、最大2回まで試します（ほかのサイトを先に済ませてから）。
• 日本時間の24時までに、順番が回ってこなかったサイトは、その日は、巡回していません。サイトの側の問題ではなく、翌日、あらためて巡回します。
• 日次メールは、毎朝9時30分に、前日の分を届けます。前日のうちに巡回できなかったサイトは、メールに「巡回できませんでした」と書かれます（第10章）。
• 巡回が成功すると、サイトの状態は監視中になり、前回の失敗の原因は消えます。次回の予定は、翌日です。

起きること

• 一時停止しているサイト（停止中）は、巡回しません。再開すると、巡回の順番に戻ります（第5章）。
• サイトの監視URLを変えると、保存したデータを消して、初回の巡回からやり直します（第5章）。

8.3 見る範囲#

巡回は、登録した監視URLの範囲だけを見ます。

• パス配下だけ: https://example.com/service/ と登録すると、/service/ と、その下のページだけを見ます。サイトのほかの場所は、見ません。サイト全体を見たいときは、https://example.com/ のように、入口のURLを登録します。
• 同じホスト名だけ: 登録したURLと、ホスト名（www. の有無を含む）が違うページは、見ません。外部のサイトや、サブドメインの違うページも、対象外です。www.example.com と example.com は、別のものとして扱います。
• ファイルは見ない: 画像（jpg・png・gif・svg・webp）・PDF・zip・動画・音声・CSS・JavaScript・XMLなど、ページではないファイルは、対象外です。
• サイトマップ: サイトの sitemap.xml（と、まとめ用のサイトマップ）があれば、そこから、見るページを探します。なくても、トップページからリンクをたどります。
• リンクの飾り: URLのあとの広告用の印（utm で始まるものなど）や、# 以降は、同じページとして扱います。

登録のしかた#

「競合サイトを追加」のダイアログ（上の画像）で、1説明のとおり、登録したURLのパス配下を見ます。2監視URLに、見たい範囲の入口のURLを入れて、3登録して初回クロールを押します。登録の手順と、監視サイトの数の上限は、第5章で説明します。

8.4 1回に見るページと、見る順番#

相手のサイトに負担をかけないよう、巡回は、ページとページの間に待ち時間を置きます。そのため、1回の巡回で見られるページの数には、上限があります。

数字・上限

• 1回の巡回で見るページ: 1サイトにつき、最大500ページ
• ページとページの間の待ち時間: 1〜3秒（相手のサイトが、robots.txtで、もっと長い待ち時間を求めているときは、それに従います。待つのは、最大10秒まで）
• 1サイトの巡回の時間の上限: 60分（超えたら、そこまでのページで終えます）

上限に達したとき#

ページの数が、上限（500ページ）に達したサイトは、監視サイト一覧の、サイト名の下に、注意が出ます（上の画像の1）。その回は、上限を超えた分のページを見ていません。 変更を見逃さないために、巡回は、次の順番で、ページを選んでいます。

1. トップページ
2. 一覧・入口のページ（新しいページへのリンクは、一覧から見つかるため、先に見ます）。URLの下に3つ以上のページがぶら下がっているページ、または、news・blog・column・category・products など、一覧らしい名前のページです。上限の25%の枠まで
3. 新しく見つけたページ（まだ記録にないページ）。上限の半分の枠まで
4. 30日以内に変わったページ（変わったばかりのページは、また変わりやすいため）
5. そのほか: 最後に見た日が古いページから

上限に達した日の翌日は、前日に見られなかったページから見ます。そのため、ページの数が上限を超えるサイトでも、数日で、すべてのページを見て回ります。

8.5 取れないこと・取りにくいこと#

JavaScriptで表示される内容#

巡回は、ページのHTMLを取得して読むだけです。ブラウザのように、ページの中のプログラム（JavaScript）を動かしません。そのため、ブラウザで開いたあとに、プログラムが表示する内容は、読み取れないことがあります。

• 例: 一覧や価格を、開いたあとに読み込んで表示するサイト、予約や検索の結果を、画面の中で組み立てるサイト。
• 起きること: ページの枠（見出しやメニュー）だけが取れて、中身が取れません。内容が変わっても、変更として出ません。
• 対策は、ありません。見たいページのHTMLに、内容が入っているかが決め手です。ブラウザで、「ページのソースを表示」して確かめられます。

ボット対策で断られる#

サイトによっては、自動のアクセスを止める仕組み（ボット対策）が入っていて、巡回を断られます。大手の企業のサイトでも、1ページも取れないものがあります。断られたサイトは、監視サイト一覧の状態に、1赤い巡回できませんの印と、2「サイトが巡回を断りました（HTTP 403）」のような原因、3説明が出ます。

• 巡回は、運営者の名前と連絡先を添えた名前で、相手のサイトにアクセスします。ブラウザのふりは、しません。
• 相手のサイトの設定のため、こちらでは直せません。時間をおいても直らないことがあります。
• そのようなサイトは、別のサイトの登録に差し替えるか、サイトの変更を、ブラウザで直接確かめます。

robots.txtを守ります#

相手のサイトの robots.txt（巡回してよい範囲の取り決め）を、巡回のたびに1回読みます。

• 巡回しない場所（Disallow）に当たるページは、見ません。
• 待ち時間（Crawl-delay）が書いてあれば、それに従います（最大10秒まで）。
• Allow や、* を使う細かい書き方は、読み取りません。
• robots.txt で、登録した範囲がすべて除かれているサイトは、ページを1つも取れません（巡回できませんになります）。

そのほか#

• ログインが必要なページは、取れません（HTTP 401。ログイン不要で見られるページのURLを登録します）。
• 削除・移動されたページは、取れません（HTTP 404。URLを確かめます）。
• 本文に、毎日変わる表示（日付など）が入っているページは、そのたびに、本文の変更として出ることがあります。月別アーカイブの件数だけの変化や、並び順だけの変化のような、意味のない変化は、除いています（第7章）。

8.6 巡回のようすを見る#

巡回のようすは、「設定（クライアント）」の監視サイトのタブで見ます。1巡回できていないサイトがあるときは、上に、赤い案内が出ます。2最終クロールは、最後に巡回した日時、3状態は、巡回のようすです。

監視中

巡回できています。毎日、順番に巡回します

巡回中

いま、巡回しているところです

停止中

一時停止しています。巡回しません（第5章）

巡回できません

直近の巡回で、ページを取れませんでした。原因が、状態の欄に出ます

起きること

• 状態が巡回できませんになるのは、直近の巡回で、ページを1つも取れなかったとき、または、取れたページが、すべてエラーの応答だったときです。
• 一部のページだけ取れなかったときは、状態は監視中のままです。 取れたページの変更は、記録されます。取れなかったページの変更は、そのページが取れるようになるまで、出ません。
• 巡回できないサイトは、翌日、あらためて巡回します。成功すると、自動で監視中に戻ります。
• 次回の巡回の予定と、最後の巡回の日時は、サイト詳細でも読めます（下の画像。第7章）。

1サイトの状態（ここでは巡回できません）と、2最終クロールと次回予定の日時です。原因は、監視サイト一覧の状態の欄で読めます。

巡回できないときの原因#

状態の欄に出る原因と、できることは、次のとおりです。

8.7 うまくいかないとき#

うまくいかないとき

• サイトを登録したのに、変更が出ない: 初回の巡回の順番を待っているか、変更がまだありません。サイトの状態と最終クロールを確かめます。最終クロールが「未実行」なら、まだ初回の巡回が終わっていません。
• 巡回できませんのサイトがある: 状態の欄の原因を読み、上の表のとおりにします。HTTP 403のときは、こちらでは直せません。
• サイトの内容は変わったのに、変更が出ない: ページの内容が、JavaScriptで表示されていないか、確かめます。ページの数が多いサイトは、各ページを数日に1回ずつ見るため、数日たってから出ることがあります。
• 変更を見つけた日が、実際に変わった日より遅い: 巡回は、変更を見つけた日を記録します。ページの数が多いサイトは、数日遅れることがあります。
• 「見るページが上限に達しました」と出る: ページの数が500を超えています。数日で全ページを見て回りますが、見つけるのが遅れることがあります。監視する範囲（URLのパス）を、見たい部分に絞ると、改善することがあります（URLを変えると、保存したデータは消えます。第5章）。
• サイトの状態が巡回中のまま変わらない: 巡回に、時間がかかっています（1サイトの時間の上限は60分です）。しばらく待っても変わらないときは、お問い合わせください。