术语 A-Z
浏览这个字母下的术语定义，再通过主题标签和相关路径进入相邻概念。
用字母索引快速定位术语，再通过标签找到相邻概念。
1 个术语
Robots.txt 是网站根目录下用于给爬虫提供访问规则的文本文件。