意见箱
恒创运营部门将仔细参阅您的意见和建议,必要时将通过预留邮箱与您保持联络。感谢您的支持!
意见/建议
提交建议

Python中requests的timeout机制的设置是怎样的

来源:恒创科技 编辑:恒创科技编辑部
2023-12-25 20:44:59
在实际应用中,我们有时候会遇到“Python中requests的timeout机制的设置是怎样的”这样的问题,我们该怎样来处理呢?下文给大家介绍了解决方法,希望这篇“Python中requests的timeout机制的设置是怎样的”文章能帮助大家解决问题。


背景

最近在搞爬虫,很多小组件里面都使用了 Python 的 requests 库,很好用,很强大。


Python中requests的timeout机制的设置是怎样的

但最近发现很多任务总是莫名其妙的卡住,不报错,但是就是不继续执行。

排查了一圈,最后把问题锁定在 requests 的 timeout 机制上。

注:本文讨论的是 Python 的第三方模块 requests,并不是 Python 内建模块 urllib 中的 request 模块,请注意区分。

如何设置超时时间

requests 设置超时时间有两种方式。

一种是设置单一值作为 timeout,如下所示:

r = requests.get('https://github.com', timeout=5)

这时, timeout 值将会用作 connect 和 read 二者的共同的超时时间。

另一种是分别制定连接超时和读取超时的时间,如下所示:

r = requests.get('https://github.com', timeout=(3.05, 27))

这里前面的 3.05 表示连接超时时间,27 表示读取超时时间。

官方一般推荐大家把连接超时时间设置为比 3 的整数倍稍微大一点的时间,比如 3.05、6.05 这样,具体原因见 这里。


上面提到的两种超时时间,连接超时和读取超时,并不是都有默认超时时间。

连接超时的默认时间是 21s,而读取超时没有默认时间,换句话说,不会超时。

也就是说,如果一个请求,连接成功了,正在读取数据,但是此时服务器出现了什么问题,或者代理出现了什么问题,那么,这个请求就会一直卡住,不会报错,也不会继续。

天长地久。

避坑

所以,为了避免出现这样的情况,给你的 requests 加上超时时间吧,尤其是请求量巨大的时候。

常在河边走,哪有不湿鞋。

参考资料

Requests 官方文档

补:python requests timeout不起作用 卡死

在使用python 的requests进行数据请求时不设置timeout大部分时候,是会有超时异常的,超时时间大概是20多秒

但是有时候超时会不起作用需要自己制定超时时间,使用timeout=60

response = requests.get(url, headers=headers, proxies=proxies,timeout=60)

但是有时候设置此参数之后仍然会有几分钟甚至是十几分钟没有返回结果可以使用timeout=(50, 60)

timeout参数也可以传入一个包含两个简单浮点数的元组,用来分别设置请求超时时间和读取超时时间。

response = requests.get(url, headers=headers, proxies=proxies,timeout=(50, 60))

关于“Python中requests的timeout机制的设置是怎样的”就介绍到这了,如果大家觉得不错可以参考了解看看,如果想要了解更多,欢迎关注恒创科技,小编每天都会为大家更新不同的知识。
上一篇: concurrent模块是什么,如何实现多线程 下一篇: Numpy中的linspace方法有何用,简单使用是怎样的