wind-bell风铃虫轻量级爬虫工具是如何运行的

运行原理

运行流程

从资源调度器中获取一个下载任务

网页下载器根据下载任务信息从互联网上下载网页内容

从下载网页内容中提取出所有符合要求的链接

将提取出的链接放入链接池供调度器调度

内容解析器解析下载网页内容，根据配置从中提取出数据信息

信息输出器输出内容解析器解析出来的数据

在正常情况下，风铃虫会一直循环进行上述步骤，一直到任务完全完成。

#任务完成条件

在一般情况下，只要风铃虫满足以下 任意一种情况就会停止实例的运行，并在停止运行后将状态改变的消息通过爬虫状态监听器 发送出去。

风铃虫停止接口被调用

风铃虫开启拦截检测功能后，连续检测到拦截标志出现，且连续出现的次数达到阀域值

风铃虫连续一段时间未接受到信息的任务调度命令，且持续时间达到阀域值

wind-bell风铃虫轻量级爬虫工具下载地址：https://www.56yx.cn/qita/145537.html