mj12bot是什么蜘蛛？属于爬虫吗？需要怎么禁止？

mj12bot是类似于爱站、站长工具等平台为了分析站点的所有外链信息的爬虫，虽然有蜘蛛来爬取网站是好事，但是禁不住量大，而且这个属于外链抓取的蜘蛛，暂时已经没什么意义了，分析外链已经成为过去式了。

禁止抓取方式：

在robots.txt里面加入进行了

User-agent: MJ12bot

Disallow: /

就可以了。

👋 感谢您的观看！