Gecco 1.1.2 发布，易用的轻量化爬虫

最新推荐文章于 2026-07-21 22:24:49 发布
最新推荐文章于 2026-07-21 22:24:49 发布 · 214 阅读 · 0
Gecco1.1.2版本已发布，主要更新包括：支持未指定URL匹配的通用抓取、默认使用UniqueSpiderScheduler避免重复请求、增强tabletr解析能力、新增@Ajax请求支持HTML解析等功能，并修复了若干已知问题。

Gecco 1.1.2 发布了。该版本主要做了如下修改：

    1.@Gecco不填写matchUrl时，支持匹配所有格式url的通用抓取

    2.默认使用UniqueSpiderScheduler队列管理避免重复HttpRequest的抓取

    3.修改table tr列表不能解析的问题

 

    4.增加@Ajax请求支持Html格式内容解析

 

    5.更新fastjson,jsoup,cglib最新版本
    6.jsonp判断方式修改
    7.@Html支持outer
    8.修改jd的demo
    9.相同matchUrl 给出警告
    10.修改UniqueSpiderScheduler判断唯一性的bug(尽快更新) 

标签
#gecco #爬虫 #java
xtuhcy
关注
Java 通过gecco快速搭建一个爬虫框架
LianJc的博客
11-22 1854
Java gecco 爬虫Demo Gecco是一款用java语言开发的轻量化的易用的网络爬虫框架。 官网：http://www.geccocrawler.com/ 1.导入依赖 <dependency> <groupId>com.geccocrawler</groupId> <artifactId>g...
GECCO(易用的轻量化的网络爬虫)
chenmaya8367的博客
01-05 764
GECCO(易用的轻量化的网络爬虫) ####初衷 现在开发应用已经离不开爬虫，网络信息浩如烟海，对互联网的信息加以利用是如今所有应用程序都必须要掌握的技术。了解过现在的一些爬虫软件，python语言编写的爬虫框架scrapy得到了较为广泛的应用。gecco的设计和架构受到了scrapy一些...
Gecco爬虫框架：10分钟快速上手的轻量化网络爬虫实战指南
gitblog_00720的博客
04-12 492
Gecco是一款易用的轻量化网络爬虫框架，专为新手和普通用户设计，能够帮助你快速实现网页数据抓取。本文将带你在10分钟内掌握Gecco的核心功能和使用方法，让你轻松开启网络数据采集之旅。 ## 🚀 为什么选择Gecco？ Gecco作为一款轻量级爬虫框架，具有以下显著优势： - **简单易用**：通过注解驱动开发，无需复杂配置即可快速上手 - **轻量化设计**：核心包体积小，资源占用低，
gecco 1.1.0稳定版发布，易用的轻量化爬虫
xtuhcy的专栏
04-26 534
gecco 1.1.0稳定版发布了。 1.1.0版本主要做了如下修改： 1.优化代理设置，运行时计算代理下载成功率，自动发现无效代理，支持运行时添加代理 2.HttpClientDownloader支持类似12306网站非信任ssl证书 3.JsonBean支持嵌套解析 4.修复部分网站302无法跳转的bug 5.优化debug日志输出gecco是一款易用的轻量化网络爬虫。十分的容易上手
一个易用的轻量级的网络爬虫(Easy to use lightweight web crawler)
dotedy的博客
01-02 1126
GECCO(易用的轻量化的网络爬虫) 初衷 现在开发应用已经离不开爬虫，网络信息浩如烟海，对互联网的信息加以利用是如今所有应用程序都必须要掌握的技术。了解过现在的一些爬虫软件，python语言编写的爬虫框架scrapy得到了较为广泛的应用。gecco的设计和架构受到了scrapy一些启发，结合java语言的特点，形成了如下软件框架。易用是gecco框架首要目标，只要有一些java开
九款开源爬虫工具
热门推荐
点点的博客
03-25 1万+
一、Gecco github地址：https://github.com/xtuhcy/gecco Gecco是一款用java语言开发的轻量化的易用的网络爬虫。整合了jsoup、httpclient、fastjson、spring、htmlunit、redission等框架，只需要配置一些jquery风格的选择器就能很快的写出一个爬虫。Gecco框架有优秀的可扩展性，框架基于开闭原则进行设计，对修改...
gecco 1.0.9 发布，易用的轻量化爬虫
xtuhcy的专栏
04-13 530
gecco 1.0.9 发布了。1.0.9版本主要做了如下修改：1、@Image注解增加图片自动下载到本地的方法@Image(download=”d:/gecco/jd/img”) 2、GeccoEngine改为线程方式，通过start()支持非阻塞方式运行 3、支持debug模式，GeccoEngine.debug(true) 4、简化spring项目启动Gecco的方式，详细请查看(域名备
把玩爬虫框架Gecco
baixieyun4655的博客
01-21 301
如果你现在接到一个任务，获取某某行业下的分类。 作为一个非该领域专家，没有深厚的运营经验功底，要提供一套摆的上台面且让人信服的行业分类，恐怕不那么简单。 找不到专家没有关系，我们可以爬虫。把那些专家的心血抽丝剥茧爬出来再统计即可。 确定好思路，我和即将要说的爬虫框架Gecco打了一天的交道。 Gecco简介 Gecco是一款用java语言开发的轻量化的易用的网络爬虫。Gecco整合了js...
java Gecco的爬虫框架的使用
weixin_36723038的博客
09-30 526
Gecco是一款用java语言开发的轻量化的易用的网络爬虫。 主要特征： 简单易用，使用jquery的selector风格抽取元素 支持页面中的异步ajax请求 支持页面中的javascript变量抽取 利用Redis实现分布式抓取,参考gecco-redis 支持下载时UserAgent随机选取 支持下载代理服务器随机选取 支持结合Spring开发业务逻辑,参考gecco-spring 支持htmlunit扩展,参考gecco-htmlunit 支持插件扩展机制 GeccoEngine基本配置项 loop
网络爬虫学习
BraveHeart
06-20 276
参考链接：https://blog.csdn.net/wsmrzx/article/category/7922762
gecco爬虫初见与综述
No_oneelse的博客
09-29 536
2021SC@SDUSC Gecco是一款用java语言开发的轻量化的易用的网络爬虫。作为国内大佬研发的java网络爬虫，Gecco整合了jsoup、httpclient、fastjson、spring、htmlunit、redission等优秀框架，我们使用者只需要配置一些jquery风格的选择器就能很快的写出一个爬虫。同时这个Gecco框架有优秀的可扩展性，框架基于开闭原则进行设计，对修改关闭、对扩展开放。 以上是gecco爬虫官网的介绍，作为一个java爬虫，它 简单易用，使用jquery风
优秀的开源Java爬虫项目
测试
04-16 3104
1、Gecco github地址：xtuhcy/gecco Gecco是一款用java语言开发的轻量化的易用的网络爬虫。整合了jsoup、httpclient、fastjson、spring、htmlunit、redission等框架，只需要配置一些jquery风格的选择器就能很快的写出一个爬虫。Gecco框架有优秀的可扩展性，框架基于开闭原则进行设计，对修改关闭、...
开源爬虫项目
建伟博客
07-04 1855
1、安装依赖包 yum install ncurses-devel yum -y install gcc yum -y install gcc-c++ yum install make 2、下载 直接在git上面下载 https://github.com/abishekvashok/cmatrix/releases https://pan.baidu.com/s/1htoyu...
java爬虫gecco的稳定性测试
chenmaya8367的博客
03-28 246
#java爬虫gecco的稳定性测试 最近对开源的java爬虫Gecco做了一个稳定性测试，测试环境：一台爬虫+web应用服务器，一台mongodb服务器。服务器配置很low，两台都是阿里云最低端的主机，1核+512内存。 ##单线程测试场景 爬虫采用单线程，测试时间3×24小时，测试期间系统...
java开源爬虫gecco 发布1.0.8版本
xtuhcy的专栏
03-30 215
gecco 1.0.8 发布了。 1.0.8版本主要做了如下修改： GeccoEngine增加loop方法，支持不循环抓取。gecco默认将改为采用不循环抓取2.支持移动端的UserAgent，通过GeccoEngine.mobile(true)设置3.支持配置初始化地址，自动扫描classpath根目录下的starts.json文件4.HttpResponse增加释放raw的方法5....
Google 爬虫管理：抓取预算、404 与重定向
最新发布
2601_96198161的博客
07-21 840
自定义 404 页面不是给 Google 看的——是给用户看的。导航回到首页的按钮搜索框，让用户可以自己找想要的内容热门产品推荐或最近文章列表，引导用户继续浏览不要让用户困在一个死胡同里。一个好的 404 页面能把"迷路"变成"重新找到方向"，降低跳出率。从 SEO 角度看，自定义 404 页面本身不会影响排名。但如果你把一个有外链指向的旧页面直接返回 404，外链权重就流失了。页面情况处理方式原因有外链的旧页面301重定向到最相关的新页面保留外链权重，传递到新页面没有外链的旧页面。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值