请选择 进入手机版 | 继续访问电脑版
查看: 73|回复: 7

大佬们,htaccess屏蔽爬虫,姿势怎么摆啊

[复制链接]

14

主题

71

帖子

164

积分

注册会员

Rank: 2

积分
164
发表于 2018-6-8 20:09:41 | 显示全部楼层 |阅读模式
小站被yandex直接爬挂了,写了robots,不过生效太慢,然后网上找了htaccess屏蔽代码,如下
RewriteCond %{HTTP_USER_AGENT} “Bingbot|MSNbot|Webdup|AcoonBot|AhrefsBot|Ezooms|EdisterBot|EC2LinkFinder|jikespider|Purebot|MJ12bot|WangIDSpider|WBSearchBot|Wotbox|xbfMozilla|Yottaa|YandexBot|Jorgee|SWEBot|spbot|TurnitinBot-Agent|mail.RU|curl|perl|Python|Wget|Xenu|ZmEu” [NC]
RewriteRule !(^robots\.txt$) http://en.wikipedia.org/wiki/Robots_exclusion_standard [R=403,L]
RewriteRule !(^robots\.txt$) http://en.wikipedia.org/wiki/Robots_exclusion_standard [R=403,L]   这段有点不理解,是只要这些爬虫就让他们访问 robots么,后面的网址是什么意思啊。懂的大佬指点下吧
回复

使用道具 举报

1

主题

14

帖子

33

积分

新手上路

Rank: 1

积分
33
发表于 2018-6-8 20:27:11 | 显示全部楼层
robots不起作用的,封ip段,来一次封一次。
回复

使用道具 举报

14

主题

71

帖子

164

积分

注册会员

Rank: 2

积分
164
 楼主| 发表于 2018-6-8 20:32:08 | 显示全部楼层

yanghao54 发表于 2018-6-8 20:27
robots不起作用的,封ip段,来一次封一次。

没IP库...这个htaccess可以么
回复

使用道具 举报

1

主题

14

帖子

33

积分

新手上路

Rank: 1

积分
33
发表于 2018-6-8 20:27:00 | 显示全部楼层
看日志呀,还要什么ip库,一个蜘蛛也就十几个ip段。
回复

使用道具 举报

14

主题

71

帖子

164

积分

注册会员

Rank: 2

积分
164
 楼主| 发表于 2018-6-8 20:34:14 | 显示全部楼层

yanghao54 发表于 2018-6-8 20:34
看日志呀,还要什么ip库,一个蜘蛛也就十几个ip段。

直接屏蔽所有垃圾爬虫不是最省事么
回复

使用道具 举报

22

主题

143

帖子

312

积分

中级会员

Rank: 3Rank: 3

积分
312
发表于 2018-6-8 20:43:21 | 显示全部楼层
yandex我是直接导向百度的
回复

使用道具 举报

14

主题

71

帖子

164

积分

注册会员

Rank: 2

积分
164
 楼主| 发表于 2018-6-8 20:34:00 | 显示全部楼层

Abbey 发表于 2018-6-8 20:56
yandex我是直接导向百度的

大佬怎么弄的啊  我被搞的死去活来

回复

使用道具 举报

0

主题

4

帖子

12

积分

新手上路

Rank: 1

积分
12
发表于 2018-6-8 20:56:26 | 显示全部楼层
封ip是最简单的办法  现在免费的东西越来越少
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋| 主机之家 |网站地图

返回顶部