术语 · 术语

Meta Robots

Meta robots 指令告诉搜索爬虫如何索引或展示某个具体页面。

Meta robots 是页面级搜索指令，可以放在 HTML meta 标签里，也可以通过 X-Robots-Tag HTTP header 发送。它适合处理可访问但不应被索引或需要控制 snippet 的页面。

为什么重要

它帮助团队维护发布边界。预览页、重复工具页、临时页面或不该进入搜索结果的文件，都需要明确处理。

和相邻概念的区别

Robots.txt 在爬虫请求页面前控制访问；meta robots 在爬虫能读取页面后才生效。Noindex 是 meta robots 中的一种常见指令。

示例

<meta name="robots" content="noindex,follow" />
<meta name="robots" content="max-snippet:160" />

团队如何使用

团队用它处理 noindex、nofollow、snippet 限制、文件索引控制和审阅页面状态。

常见误解

如果 robots.txt 已阻止爬虫访问页面，爬虫可能看不到 meta robots 指令。