mj12bot是类似于爱站、站长工具等平台为了分析站点的所有外链信息的爬虫,虽然有蜘蛛来爬取网站是好事,但是禁不住量大,而且这个属于外链抓取的蜘蛛,暂时已经没什么意义了,分析外链已经成为过去式了。

禁止抓取方式:
在robots.txt里面加入进行了
User-agent: MJ12bot
Disallow: /
就可以了。
mj12bot是类似于爱站、站长工具等平台为了分析站点的所有外链信息的爬虫,虽然有蜘蛛来爬取网站是好事,但是禁不住量大,而且这个属于外链抓取的蜘蛛,暂时已经没什么意义了,分析外链已经成为过去式了。
禁止抓取方式:
在robots.txt里面加入进行了
User-agent: MJ12bot
Disallow: /
就可以了。