meta robots、robots.txt如何学习使用？

meta robots 以及 robots.txt 的工作分别是阻止 Google 检索、索引页面。在这个时间，仅仅有 SEO 排名/流量高是没有用的，流量必须对企业有价值、能够创造转换，所以用户体验相对重要，如果有特定页面会伤害用户体验（UX），可以通过这些方式去阻止该页面出现在 Google 搜索结果中。

robots.txt可以阻止搜索引擎检索资料，如果使用了robots.txt来阻挡搜索引擎，那么搜索引擎将会略过所阻挡的页面，不去做检索。
但meta robots就不同了，它在索引层面阻止搜索引擎索引页面，但Google还是有爬网站资料的。

学习使用 Robots.txt

基本上，大多数的情况我们都不会使用 robots.txt 来阻止搜索引擎检索我们网站，除非确定这个页面对 SEO 有负面影响，若有单个页面不希望出现在搜索引擎中，我建议使用 Meta Robots 来控制索引就好，网站的资料还是一样让 Google 去检索。

使用 robots.txt 文档很简单，只要建立一个档名为 robots 的 txt 文档，并且上传到根目录就好，并且在这个文档内写上希望 Google 别抓取的页面路径。

基本上在 robots.txt 文档内只要填好这些信息：

User-agent：填入搜索引擎蜘蛛的值（* 号代表全部）
Disallow：填入希望搜索引擎别检索的页面路径
Allow：若禁止检索的页面路径里面又有特定路径希望搜索引擎检索，则填入

学习使用Meta Robots

要用 meta robots 只要直接把它加在 head 底下，必须要在“不希望被索引的页面底下”，加入这个标签至head里。

所以如果有六个页面不希望被索引？没错这六页都要手动去加入 meta robots。

meta robots 的标签是长这样：

<head>

<meta name=”robots” content=”noindex , nofollow“>

</head>

基本上这个标签有 noindex 以及 nofollow 两个值：

index vs noindex

当不希望搜索引擎索引此页面，就填上 noindex，若希望正常索引便填上 index

follow vs nofollow

至于follow这个值是指，若希望搜索引擎在检索此页面时，不进一步的去检索该页面所连出去的链接，就填上 nofollow 的值。这个功能通常会用在论坛上，是为了防止有人在页面上乱贴链接来意图增加 SEO 反向链接及排名，使用 nofollow 的话搜索引擎的检索会在该页面停止，不继续往其它链接前进，可以防止乱贴链接的事情发生。

两个值的功用完全不同，我来举几个范例完全清楚如何使用。

1、 < meta name=”robots” content=”noindex , nofollow”>

这个做法便是告诉搜索引擎，不要索引我的网站，并且在检索资料时该页面的相关链接也不要去检索。

2、 < meta name=”robots” content=”index , nofollow”>

检索资料时该页面的相关链接不要检索。

3、 < meta name=”robots” content=”noindex , follow”>

不要索引我的页面，但页面上所有的链接请正常检索（最常用之使用方式）

4、 < meta name=”robots” content=”index , follow”>

这个做法就没有任何意义，加上这段标签跟没加的道理是一样的，等于搜索引擎将正常索引及检索。

做 SEO，何时会用robots.txt阻止Google检索？

对于检索（Crawl）优化的工作上，网站 Google 必须要看得懂、并且资料也抓得到。有些动态的网页结构对网络爬虫的检索来说是有问题的，Google 根本检索不到资料。Google 的网络蜘蛛基本上已经是市场上效能最好的，但相对来说像是Bing、百度，它们的效能就未必像 Google 这样优秀，所以我们要随时关注搜索引擎的检索状况。一般是无需进行robots.txt限制的，除非是大站点或者是必须要禁止的网站除外，否则都没有太大的意义。

👋 感谢您的观看！

版权声明 1、文章版权归作者所有，未经允许请勿转载。
2、本站所有文章，如无特殊说明或标注，均为本站原创发布。任何在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们邮箱：526009505@qq.com进行处理。
3、咨询请联系QQ：526009505

THE END