Requests 之Max retries exceeded with url[Errno 10054]错误新解

限时加码!20+主流AI编程工具免费用 购周边加赠Coding Plan Lite,Claude Code、Cursor等即刻畅享,学习进阶更高效! 阅读详情

只要使用过requests模块,想必对Max retries exceeded with url[Errno 10054]错误都不会太陌生。
这是requests常见的一种错误,原因就是连接太多没有关闭导致socket超时。
一般的解读是urllib3的问题,因为requests是基于urllib3的,urllib3默认不支持长连接即keep-alive

解决方案一
requests.adapters.DEFAULT_RETRIES = 5  
解决方案二
s = requests.session()
s.keep_alive = False
新的情况

我的小爬虫其实只爬了一个页面就出现这个错误,而且并没有进行并发,也不会被封,而且几分钟前运行还正常。
经过排查发现,刚开了迅雷下载了很多文件,关了迅雷之后一切正常。
典型的多连接问题,当时出现错误的时候真的一脸蒙圈

Max retries exceeded with url 解决方案 目录问题解决方案keep alive 与close使用场景 问题解决方案 在上一篇问题解决中:python OSError: [Errno 24] Too many open files | HTTPConnectionPool(host=‘‘, port=80): Max retries e 有提到修改本地进程最大文件数来避免Max retries exceeded with url 报错,也谈到如果请求api端有请求数量限制,仍然是拉取不到结果的。这时我们就要限制我们请求的频率了。 下面有三个常见的方法 阅读详情

相关推荐

爬虫开发--常见问题解决方法

爬虫开发06--

nikeylee的博客 6112

解决Max retries exceeded with url的问题

解决Max retries exceeded with url的问题 requests.exceptions.ConnectionError: HTTPSConnectionPool(host='www.baidu.com', port=443): Max retries exceeded with url: (Caused by <class 'socket.gaierror'>: python脚本请求url,大量请求报错Max retries exceeded with url 解..

ctotalk 5万+

Python 中错误 ConnectionError: Max retries exceeded with url

在调用时指定正确且完整的 URL。不受 API 的速率限制。requests 模块能够验证站点的 SSL 证书。可以访问互联网。

迹忆客 4472

Max retries exceeded with url

Max retries exceeded with url error1:NewConnectionError(’<urllib3.connection.VerifiedHTTPSConnection object at 0x00000000038F2B00>: Failed to establish a new connection:[WinError 10060] 由于连接方在一段...

qq_42653540的博客 1万+

爬虫 | Python】解决‘Requests Max Retries Exceeded With Url‘报错的问题

爬虫 | Python】解决'Requests Max Retries Exceeded With Url'报错的问题, Max retries exceeded with url; Connection timed out;

InetGeek的博客 2万+

python requests已解决Max retries exceeded with URL问题

检查请求参数:我们需要仔细检查和调整请求参数,确保其正确性。特别是在设置请求头、请求体、超时时间等参数时,要确保其与实际需求相符。首先,确保你的网络连接正常。尝试使用其他设备或网络连接访问相同的URL。如果访问正常,则问题可能出在你的网络连接上。你可以通过修改Requests库的重试策略来增加重试次数。访问次数频繁,被禁止访问,解决方法:使用代理。http连接太多没有关闭导致的,解决方法。

weixin_45091564的博客 3508

Python 报错 Max retries exceeded with url 解决方案

默认的http connection是keep-alive的,在post请求中,header中有这样一个字段:Connection,我们将其置为’close’requests使用了urllib3库,默认的http connection是keep-alive的,requests设置False关闭。

清平乐的技术专栏 5362

Python requests报错解决办法:Max retries exceeded with url/Name or service not known

报错一:Max retries exceeded with url 原因:访问URL超过最大连接数,关闭长连接可解决,代码如下 import requests # 原代码 response = requests.post(url, data=data) # 修复后代码 # 方案一:设置headers关闭持久链接 headers = { 'Connection': 'close' }...

xuerba的博客 1万+

解决:requests.exceptions.ProxyError:HTTPSConnectionPool(host=‘xxx.com’,port=443):Max retries exceeded

背景 在使用之前的代码时,报错:requests.exceptions.ProxyError: HTTPSConnectionPool(host='www.xxxx.com', port=443): Max retries exceeded with url: / (Caused by ProxyError('Cannot connect to proxy.', timeout('_ssl.c:1108: The handshake operation timed out'))) ... ...

nings666的博客 1万+

Max retries exceeded with url: / (Caused by SSLError(SSLError(1, ‘[SSL: CERT报错

【代码】Max retries exceeded with url: / (Caused by SSLError(SSLError(1, ‘[SSL: CERT报错。

xiaoyang01234的博客 691

【Bug】python requests发起请求,报“Max retries exceeded with url

在本地机器上,高频率重复调用一个API接口,出现“Max retries exceeded with url”,拒绝连接的情况。 楼主讲一下,遇到这个bug的过程: 在服务器上开发了一个识别图像文字API接口,也部署好了,准备对接口进行测试, 楼主准备对本地文件夹中的2000多张图片进行测试,也就是说需要重复调用API接口2000多次。 请求接口50多次的时候,接口就不反馈信息了,报错,连接错误,无法连接,一开始以为是网络的问题,然后又重头开始调用直到调了300多次,报错,连接错误,无法连接,一直这么下去大

学无止境、积少成多、厚积薄发 2万+

python3 错误 Max retries exceeded with url 解决方法

在爬取时出现这种错误, ConnectionError: HTTPConnectionPool(host=‘xxx.xx.xxx.xxx’, port=xxxx): Max retries exceeded with url: /api/v1/login/ (Caused by NewConnectionError(’<urllib3.connection.HTTPConnection object at 0x7f7c98a867d0>: Failed to establish a new c

whatday的专栏 8万+

【解决】Python——Max retries exceeded with url: (Caused by NewConnectionError(‘<urllib3.connection

解决使用requests库请求时,时间长并报错的问题

爱喝星冰乐的博客 1万+

Requests报错:Max retries exceeded with url Failed to establish a new connection

在使用多线程去请求接口时会出现这个问题,请求接口的速率过快,导致请求链接没有释放。

yu17758501506的博客 1510

python出现Max retries exceeded with url——大量请求报错相关解决办法

报错Max retries exceeded with url 应该是请求过多 增加重连接次数requests.adapters.DEFAULT_RETRIES = 5 再关闭多余的链接 s = requests.session() s.keep_alive = False 好多了

垃圾堆 6669

使用requests爬取报错“Max retries exceeded with url“的解决方法

某次在写爬虫时,运行之后报错 requests.exceptions.ProxyError: HTTPSConnectionPool(host=‘xxx.xxx.xxx’, port=443): Max retries exceeded with url: xxxxxxx (Caused by ProxyError (‘Cannot connect to proxy.’, NewConnectionError(’<urllib3.connection.HTTPSConnection object at

Code皮皮虾的博客 2万+

已解决——HTTPConnectionPool(host=‘117.89.172.166‘, port=31265): Max retries exceeded with url: http://da

是网络编程中常见的问题之一,但通过正确的方法和步骤,我们可以快速解决此问题。希望本文的介绍和亲测有效的解决方案能帮助开发者高效地解决类似问题,提升项目开发的顺利度。如果有其他问题或疑问,欢迎留言讨论。通过确认目标服务器的状态、检查网络连接、检查配置、使用负载均衡和验证 IP 地址和端口等方法,开发者可以快速定位并解决此类连接问题。同时,通过采取预防措施,可以减少此类问题的发生,确保项目运行顺利。

猿鹏探码的博客 2288
上一篇: SQL SERVER还原数据库时"试图扩大物理文件时,MODIFY FILE 遇到操作系统错误 112(磁盘空间不足)"错误处理
下一篇: Python2 之汉字编码为unicode问题(即类似\xc3\xa4)
mighty13
博客等级 码龄23年 727粉丝 438原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值