WebMeUp BLEXBot是什么蜘蛛爬虫，对网站有害吗？对抓取有影响吗？该如何屏蔽？

通过网站蜘蛛抓取日志，你会发现很多陌生的蜘蛛爬虫，很多我们熟悉的，也需要渴望抓取信息的爬虫，我们当然欢迎，但是也有很多陌生的蜘蛛爬虫让我们会有所顾忌，今天我们就看看一个陌生的蜘蛛爬虫：BLEXBot。

Blexbot是WebMeUp的蜘蛛爬虫，Blexbot每天可以抓取上百亿个页面来收集反向链接数据，并将该数据提供给其链接索引。看到没，它就是一个抓取外链的蜘蛛爬虫，本身对网站没什么危害的，但是就怕量大呀，你待在网站里不走才会让人害怕。

如何屏蔽“BLEXBot”？

在robots中屏蔽网站的特定目录：

User-agent: BLEXBot

Disallow: /目录名/

Disallow: /目录名/

在robots中屏蔽整个网站：

User-agent: BLEXBot

Disallow: /

在robots中减缓爬行速度：

User-agent: BLEXBot

Crawl-delay: 10