WebMagic（Java爬虫框架）
v0.7.2大小：729 KB更新：2026-02-19
类别：其它源码系统：JAVA
分类分类
大小：729 KB更新：2026-02-19
类别：其它源码系统：JAVA
webmagic采用完全模块化的设计，功能覆盖整个爬虫的生命周期(链接提取、页面下载、内容抽取、持久化)，支持多线程抓取，分布式抓取，并支持自动重试、自定义UA/cookie等功能。
1、完全模块化的设计，强大的可扩展性。
2、核心简单但是涵盖爬虫的全部流程，灵活而强大，也是学习爬虫入门的好材料。
3、提供丰富的抽取页面API。
4、无配置，但是可通过POJO+注解形式实现一个爬虫。
5、支持多线程。
6、支持分布式。
7、支持爬取js动态渲染的页面。
8、无框架依赖，可以灵活的嵌入到项目中去。
同类推荐：站长常用源码
JimuReport 积木报表其它源码2.84 MBv1.7.42024-04-18
下载smart-doc接口文档生成工具其它源码2.67 MBv3.0.32024-04-17
下载HertzBeat 赫兹跳动其它源码88.23 MBv1.4.42024-01-24
下载JGroups群组通讯工具包其它源码2.65MBv5.2.92022-11-03
下载Ember.js其它源码1.60MBv4.0.02021-12-01
下载Guns后台管理系统其它源码12.4 MB v6.12021-10-18
下载zrlog个人博客程序其它源码10.68 MBv2.2.12021-10-09
下载Netty（Java 网络服务框架）v4.1.53其它源码22.4 MB2020-10-20
下载WebMagic（Java爬虫框架）其它源码729 KBv0.7.22020-08-13
下载透明白色花环HTML5特效其它源码65.9 KB2019-11-15
下载OrientDB(基于Java的文档数据库)其它源码51.3 MBv3.0.13 社区版2019-01-03
下载JeeWx 捷微微信管家平台其它源码16.88 MBv4.12018-11-13
下载
