三个文件解决不同问题
robots.txt声明爬取规则;允许访问不等于平台一定抓取或索引。
sitemap.xml列出希望搜索发现的规范公开 URL,并提供更新线索。
llms.txt用简洁 Markdown 提供站点说明与高价值页面导航,属于辅助文件。
推荐的最小结构
# 示例产品
> 一句话说明产品是什么、服务谁,以及唯一官方网站。
更新日期:2026-08-04。
## 产品事实
- [关于](https://example.com/about): 品牌、主体和联系方式。
- [产品](https://example.com/product): 能力、适用条件和边界。
## 方法与证据
- [方法](https://example.com/methodology): 数据来源、评分和限制。
- [FAQ](https://example.com/faq): 常见问题和不承诺事项。链接描述应说明目标页面提供什么事实,而不是堆砌关键词。只列公开、稳定、canonical 且允许索引的 URL。
llms-full.txt 不应成为内容镜像垃圾场
完整文件可以汇总经过维护的产品事实、方法和 FAQ,但需要控制更新时间、来源和隐私边界。不要放用户上传文档、后台内容、密钥、未经授权案例或页面上不存在的营销结论。
发布前校验
/llms.txt返回 200 和text/plain。- 所有绝对 URL 可访问并指向规范地址。
- 品牌名称、官网、联系方式与可见页面一致。
- 不存在“保证收录、保证引用、官方排名信号”等虚假声明。
- 更新产品或页面后,同步更新日期与失效链接。
何时不需要优先做 llms.txt
如果网站仍被 robots 拦截、首页是 CSR 空壳、核心页面返回错误、品牌事实互相冲突或没有公开来源,应先修复这些基础。llms.txt 无法绕过访问、解析、索引和信任链问题。