クローラーとはインターネットから欲しいデータを自動で取得してくれるプログラムです。
例えば、
・自社商品がオンラインショップでいくらで販売されているか小売価格の推移を調べたい
・ある商品のヤフオクでの最安値を調べたい、
・あるマンションの相場を知りたい
・ネット上に掲載されているチラシからお買い得情報を知りたい
・自社商品のSNS上での評判を集めたい
・人工知能の学習用に画像データを大量に集めたい
などなど、ネット上で手に入るあるゆるデータが対象なので要望も様々なケースがあります。
クローラーがなくても、手でインターネットからデータ取得する事は可能ですが、数が多かったり毎日、毎週、毎月定期的にデータを収集しないといけない場合は中々面倒です。
また、データを収集する対象サイトが最初からわかっているとは限らず、どこからデータを集めるべきか及び継続的な見直しが必要になるケースがあります。