时隔半年,工作数量爬虫再次运行

(2020-01-17 19:58)

之前做过拉钩数据爬取,但是没运行几个月,就似乎不能正常爬数据了,调试结果显示“您操作太频繁,请稍后再访问”,应该是被阻止了。偶然的使用nodejs爬了下数据,居然能爬到,就继续用go试了下,结果发现应该是cookie过期导致的,使用最新的cookie可以爬到。因为以前是写死的,肯定是过期了。那就在每次爬数据前重新获取cookie来防止过期好了。顺便修改请求客户端为beego httplib来简化代码。希望这次不会被拉黑。