宝塔网站如何屏蔽蜘蛛,禁止一些蜘蛛爬行教程

序言:有一些网址不愿意做SEO,再加上很有可能配备不太好,各大搜索引擎蛛蛛的爬取反倒给网络服务器导致了工作压力。
计划方案1:首先你要拥有一个宝塔面板网络防火墙,直接从网络防火墙中找到:User-Agent过虑,随后加上下列标准具体内容:

(Baiduspider|baiduspider|sogou spider|sogou web|360spider|Bytespider|toutiao|Sosospider|YodaoBot|msnbot|Googlebot)
图片[1]-宝塔网站如何屏蔽蜘蛛,禁止一些蜘蛛爬行教程-奶花爱分享

方案二:在宝塔面板找到相应的网站点击设置点击配置文件添加以下代码

图片[2]-宝塔网站如何屏蔽蜘蛛,禁止一些蜘蛛爬行教程-奶花爱分享

Nginx内部标志UA的变量为$http_user_agent,想要屏蔽一个UA,找到其它UA关键词按上述设置即可

© 版权声明
THE END
喜欢就支持一下吧
点赞14 分享
评论 抢沙发

请登录后发表评论

    暂无评论内容