爬虫产品和服务

系统特点：

• 分布式爬虫

  支持爬虫分布在不同地点的不同机房协同抓取目标网站数据

• 可伸缩性

  支持动态扩展和增加新的爬虫PC加入原有爬虫群，可扩展爬虫系统至数百台PC爬虫群的数量开展大规模并行抓取，提高效率

• 爬虫系统性能

  爬虫服务器可根据单PC爬虫的性能调整抓取任务和线索的数量

• 新鲜性更新

  爬虫系统支持7*24不间断重复抓取目标网站最近更新后的数据，包括微博、论坛等。

• 软件系统可扩展性

  爬虫引擎独立于其他数据清洗、数据分析和展示模块，其本身仅提供抓取目 标网站原始数据的功能，通过数据库可与外部系统或模块无缝集成。