博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
爬虫超时解决的方法
阅读量:4507 次
发布时间:2019-06-08

本文共 473 字,大约阅读时间需要 1 分钟。

做网络爬虫怕的就是超时,当恰恰出现最多的就是超时。那该怎么办呢!

1,HttpClient默认请求为3次,你能够改动成N次,建议依据实际情况改动

2。设置get方法请求超时为 5 秒

GetMethod getMethod=new GetMethod(url);     getMethod.getParams().setParameter(HttpMethodParams.SO_TIMEOUT,5000);

3。设置 Http 连接超时为5秒

HttpClient httpClient=new HttpClient();   httpClient.getHttpConnectionManager().getParams().setConnectionTimeout(5000);

4。将请求超时的链接储存在队列中,选择其它时间再次请求

5,代理IP地址请求重试

6,分时段请求链接

7,记录请求Log输出。解决坏死链接

待完好。续……

转载于:https://www.cnblogs.com/bhlsheji/p/5168021.html

你可能感兴趣的文章
《百面机器学习》—— 读后总结
查看>>
0-1背包
查看>>
UNITY3D在IOS开发下的反射机制限制
查看>>
敲代码的少年
查看>>
arcgis创建点图形和线图形
查看>>
Swiper.js的腾讯新闻演示
查看>>
uva 10405 - Longest Common Subsequence(最长公共子序列)
查看>>
跨库数据表的运算
查看>>
88svg子标签(示例)
查看>>
IOS学习笔记 O1
查看>>
埃及分数 ----- 迭代加深搜索
查看>>
377. Combination Sum IV
查看>>
416. Partition Equal Subset Sum
查看>>
C#使用反射得到属性然后创建xml文档
查看>>
Java重试机制
查看>>
u盘超级加密3000使用方法
查看>>
初识CoreText
查看>>
ADO.NET Entities Framework 的增删查改
查看>>
nlogn数据结构代码
查看>>
ORA-12519: TNS:no appropriate service handler found 解决
查看>>