术语 · 术语

爬取

抓取是搜索系统请求页面、读取内容、发现链接并继续探索网站的过程。

爬取让搜索系统知道网页存在。爬虫从已知 URL、内部链接、sitemap 或历史记录出发，请求页面、解析链接，并可能稍后再次抓取。

为什么重要

如果重要页面从未被爬取，它成为搜索结果或 AI 搜索支持来源的机会会很弱。爬取也是诊断发布路径是否断裂的第一步。

和相邻概念的区别

可爬取性是条件，爬取是动作，索引是后续存储和组织。排名又是另一个阶段。

示例

Glossary index
  -> /glossary/crawling/
       -> /glossary/crawlability/
       -> /glossary/indexing/

团队如何使用

团队通过清晰内部链接、有效 sitemap、稳定 URL、干净 redirect 和成功响应来支持爬取。

常见误解

被爬取不代表被索引、排名或引用。搜索系统仍会评估质量、重复、canonical 和页面指令。