分享学习记录
互联网技术知识

mj12bot是什么蜘蛛?属于爬虫吗?需要怎么禁止?

mj12bot是类似于爱站、站长工具等平台为了分析站点的所有外链信息的爬虫,虽然有蜘蛛来爬取网站是好事,但是禁不住量大,而且这个属于外链抓取的蜘蛛,暂时已经没什么意义了,分析外链已经成为过去式了。

禁止抓取方式:

在robots.txt里面加入进行了

User-agent: MJ12bot

Disallow: /

就可以了。

赞(0)
文章名称:《mj12bot是什么蜘蛛?属于爬虫吗?需要怎么禁止?》
文章链接:https://www.bailuze.com/10023.html
本站所有文章,如无特殊说明或标注,均为本站原创发布。任何在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。
本站专注于百度、搜狗、360、谷歌、bing等常见搜索引擎的优化,关键词排名的提高,诚意咨询邮箱526009505@qq.com
分享到