鹿泽鹿泽  2024-06-25 13:55:51 鹿泽笔记 |  隐藏边栏 |  2 

mj12bot是类似于爱站、站长工具等平台为了分析站点的所有外链信息的爬虫，虽然有蜘蛛来爬取网站是好事，但是禁不住量大，而且这个属于外链抓取的蜘蛛，暂时已经没什么意义了，分析外链已经成为过去式了。

mj12bot是什么蜘蛛？属于爬虫吗？需要怎么禁止？

禁止抓取方式：

在robots.txt里面加入进行了

User-agent: MJ12bot

Disallow: /

就可以了。

SEO优化
1、文章版权归作者所有，未经允许请勿转载。
2、本站所有文章，如无特殊说明或标注，均为本站原创发布。任何在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们邮箱：526009505@qq.com进行处理。
3、咨询请联系QQ：526009505

你可能也喜欢

热评文章

上一篇
下一篇