• 欢迎使用千万蜘蛛池,网站外链优化,蜘蛛池引蜘蛛快速提高网站收录,收藏快捷键 CTRL + D

蜘蛛池出租购买(最新秒收蜘蛛池出租)


最近帮一位徒弟搭建了蜘蛛池、本身蜘蛛稳定在3万左右了,可是好景不长、没2天蜘蛛量突然急剧下降,徒弟过来找我,说服务器非常慢,一看原来是运行堵塞,于是开始研究起来,并且解决问题。

运行堵塞

我们在宝塔里,通过top指令,查看到占用CPU的是php,而php能让我想到的,肯定是有其他爬虫或是有人恶意访问我们的网站,频率非常高,从而使php不断工作,导致运行堵塞,通过查看网站日志,发现一些IP访问的频次非常的高,如下图:

日志

真正导致服务器慢的原因,是因为这些IP不断访问页面,而PHP要不断解析页面,从而使PHP占用了CPU,导致了运行堵塞,既然我们知道了原理,我们就开始想办法屏蔽这些爬虫:

1、从蜘蛛池的层面,因为目前用的是【某旋风】,我们直接禁止游客访问,如下图:

屏蔽游客访问

通过游客访问屏蔽,着实快了不少,因为就算这些IP访问,我们也不用PHP解析页面给他,就不会影响服务器方面的性能。而且这样做的好处是,并不影响蜘蛛访问。

2、从宝塔防火墙的层面屏蔽IP

Nginx防火墙

Nginx防火墙提供IP/URL/UA屏蔽,根据本人实战的结果来讲,不建议用IP屏蔽,因为IP屏蔽的话,他们不仅是C段不同,前面的也会不同,治标不治本。

通过日志,我们不难发现,他们的UA中基本就分为2类,一类带有Android,一类带有Dalvik,于是,我们把带有这两个字符串的UA屏蔽即可,如下图:

UA黑名单

通过对UA的屏蔽,终于,我们的宝塔变绿了,运行也不卡了:

恢复

蜘蛛池

蜘蛛池也基本开始恢复,前2天掉蜘蛛,是因为蜘蛛来到显示502,或是无法打开页面,导致蜘蛛无法循环,从而掉了蜘蛛,

本文链接:https://www.24zzc.com/news/169279819623041.html

相关文章推荐

    无相关信息