怎么判断爬虫服务器的ip被网站封了

设置putty

打开putty，找到左边的SSH，选择Tunnels，然后在Source
port上填入你想要的端口号，然后Add一下，下面选择Dynamic即可。现在你机器的127001:端口号(例如：127001:9999，当然使用localhost替换127001也是可以的)就是代理服务器了。设置好后需要用putty登录到服务器，并保持登录状态。然后设置一下浏览器的代理服务器就可以了。

设置FireFox

工具–>选项–>高级–>网络，在SOCKS主机填入本机的IP以及刚才设置的代理端口号即可。

这样设置之后，浏览器打开网站显示的就是服务器的IP了,直接用你的浏览器访问网站，如果能不能打开对方的网站并且不用代理就能打开说明你的IP被网站封了。如果你的服务器在国外也可以用来访问国外的网站不会被屏蔽。如果想访问facebook这样的大网站还需要设置一下dns。使浏览器解析网站的时候用服务器的dns，在Firefox的地址栏输入
about:config
，找到networkproxysocks_remote_dns，双击改成true即可。该选项是使用远程代理服务器来解析DNS，避免DNS欺骗。

1‌使用正确的代理
‌如果站点检测到来自该IP地址的大量请求，很容易就会直接进行限制。但是如何避免通过同一个IP地址发送所有请求呢？这就需要代理IP出场了。代理IP可以充当用户客户端和尝试抓取的站点服务器之间的中介，并允许用户在发送请求时掩盖真实IP地址。
2 轮换IP地址
获得代理池不足以防止用户爬虫被阻止，还需要定期轮换IP地址以进一步降低概率。
大多数网站的运作都理解为每个互联网用户只能获得一个分配给他们的IP地址。这就是为什么当一堆请求来自同一个IP号码时，就会立刻被发现。然而，用户通过代理IP将请求伪装成数千个用户的数千个请求就显得比较正常。
3熟悉网站的反爬策略
大多数受欢迎的网站都有严格的反抓取规则。在用户尝试从任何网站提取数据之前，可以通过检查网站的机器人排除协议或robotstxt文件的方式先对网站的反爬策略进行一定的了解。

爬虫利用**突破频率限制，这样可以让爬虫程序高效抓取信息。基本上大量的爬虫都是有任务的，为了加快完成这些任务，使用**这是很有必要的。
本身爬虫程序一定要在合乎规范的范围中进行，不能够影响被访服务器的正常运行，更不能把爬取来的信息用作其他用途，这是首先需要去明确的一点，那么应该怎么保证爬虫程序的正常运行并且高效抓取数据呢？
1高效爬虫的系统
想要有一个能够高效抓取信息的爬虫程序，相关的系统配置一定要到位。比如说：需要高带宽的网络，如果网络水平太低，平均一个网页只有几百kb的速度，那么基本上就可以放弃 *** 作了；由于代理服务器的稳定性并不是很稳定的，所以一个完整的爬虫程序要有自己相应的容错机制，这样确保整个爬虫程序最后能够完整爬取下来；当然，想要正常爬取还需要一个好用的转化存储系统，这样才能确保程序爬取到的数据能够正常存储使用。
2**突破频率限制
一般来说，一个网站服务器检测是否为爬虫程序的一个很大的依据就是**，如果网站检测到同一个**在短时间之内频繁多次的向网站发出不同的>