１．クローラーとボット、ロボットの違いまとめ
・クローラーはインターネットから欲しいデータを自動で収集してくれるプログラム
・クローラーとスクレイピングとスパイダーはほぼ同じと考えて問題ない
・ボットやロボットは「自動で動くプログラムの総称」なのでやや広い概念
２．クローラーとは何か？
クローラーとはインターネットから欲しいデータを自動で収集してくれるプログラムです。
クローラー以外にもスクレイピングやスパイダー、ボット、ロボットなど、様々な呼ばれ方がありますが、現在はクローラーと呼ぶ事が一般的です。
３．スクレイピングとは何か？
厳密な定義はありませんが、２つの意味で使われます。
１）クローラーと同じ意味で使われるケース
つまり、インターネットから欲しいデータを自動で収集してくれるプログラムです。
２）クローラーとスクレイピングを区別するケース
・クローラーはインターネットからページを自動取得するプログラム
・スクレイピングはクローラーが集めたWebページから必要な情報を抜き出すプログラム
後者は技術者同士の会話で使われる事が多いです。「私はクローラー部分を作るので君はスクレイピングを担当して欲しい」など。文脈に応じて判断しましょう。
４．スパイダーとは何か？
主に「検索エンジンが動かしているクローラー」を指しました。現在はあまり使われなくなりました。
インターネットのアドレスはwwwで始まる事が多いのですが、これはworld wide webの頭文字、直訳すれば世界規模の蜘蛛の巣です。インターネットが「蜘蛛の巣のように、一部が切れても全体には影響がでないくらい耐久性の高いネットワーク」を目指していたのでworld wide webと呼ばれていました。YahooやGoogle等の検索エンジンは、その大きな蜘蛛の巣を自由自在に歩き回ってデータを収集するプログラムを動かしており、これらのプログラムはスパイダーと呼ばれていました。
４．ボットとは何か？
インターネット上で動く自動化されたプログラムの総称です。Googleが動かしているスパイダーに「GoogleBot」と言う名前がついている事もあり、「ウチのサイトにグーグルのボットが来た」と言う表現をする事があります。ただし、ボットは自動化されたプログラムの総称なので、自動チャット応答システムを「チャットボット」と表現する事もあります。クローラーをボットと呼ぶのは問題ありませんが、ボットは必ずしもクローラーではありません。
５．ロボットとは何か？
クローラー、スパイダー、ボットをわかりやすくした表現。
技術者ではない方にイメージしやすいように「ロボットを動かしてインターネットの沢山のホームページからデータを自動収集しています。」と説明をする事があります。ロボットと言ってもプログラムなので目に見える実態はありませんが、わかりやすさ優先の時は使われる用語です。