^..^
+0 对爬虫的限制
不当家不知道柴米贵
以前用彪悍的服务器用习惯了,还真没有资源窘迫的时候
这个月还早,显然现有资源已经撑不到月底了
先把常用的600多K文件挪到了七牛的云存储上
结果一天就跑了2G的流量,这么算再跑5天就废了
得,偷懒不成,老老实实分析日志
搜索spider,每页50条,竟然有好多好多页的记录:
看来是被各家的爬虫给吃掉了。
解决方法
先用robots.txt屏蔽掉国外的蜘蛛:
User-Agent: AhrefsBot
Disallow: /
User-Ag
查看全文: http://www.udpwork.com/item/12264.html
以前用彪悍的服务器用习惯了,还真没有资源窘迫的时候
这个月还早,显然现有资源已经撑不到月底了
先把常用的600多K文件挪到了七牛的云存储上
结果一天就跑了2G的流量,这么算再跑5天就废了
得,偷懒不成,老老实实分析日志
搜索spider,每页50条,竟然有好多好多页的记录:
看来是被各家的爬虫给吃掉了。
解决方法
先用robots.txt屏蔽掉国外的蜘蛛:
User-Agent: AhrefsBot
Disallow: /
User-Ag
查看全文: http://www.udpwork.com/item/12264.html