llms.txt 是 AI SEO 里最容易被误解的文件之一。
有些团队把它当成进入 AI Overviews 的钥匙。也有人因为 Google 不要求它,就完全忽略。两种看法都错过了中间的实用价值。
更准确的判断是:
llms.txt 不是 Google 排名捷径,但可以作为 AI agent 可读的精选资源地图。
Google 怎么说
Google 的 AI optimization guide 表示,网站不需要创建新的机器可读文件、AI 文本文件、标记或 Markdown,才能出现在生成式 AI 搜索中。
这很重要。如果目标是 Google Search 可见性,基础仍然是:
- 页面可抓取
- 内容可索引
- 信息有帮助且可靠
- 站点结构清楚
- 技术 SEO 信号正确
- 内部链接强
在投入 llms.txt 前,应该先用 Fennec SEO 技术审计 检查这些基础。
llms.txt 真正适合做什么
在 AI agent、代码助手或外部工具需要快速理解站点资源时,llms.txt 可能有用。
它可以指向:
- 产品文档
- API 参考
- 价格和套餐页
- 重要指南
- Changelog
- 支持文档
- canonical 资源列表
对 Fennec SEO 来说,有用的 llms.txt 可以突出:
这对 agent 和人类都可能有帮助,但不能替代一个内部链接良好的网站。
llms.txt vs robots.txt
不要混淆这两个文件。
| 文件 | 主要作用 | 是否控制 crawler 访问 |
|---|---|---|
| robots.txt | 给 crawler 访问指令 | 是 |
| sitemap.xml | 列出 URL 便于发现 | 否 |
| llms.txt | 给 AI reader 或 agent 精选资源 | 否 |
如果要允许或禁止 crawler,用 robots.txt 和 crawler-specific 规则。如果要提供精选资源地图,可以用 llms.txt。
最大 SEO 风险
风险不在于 llms.txt 本身伤害你,而在于它分散团队注意力。
不要用它掩盖这些问题:
- canonical 错误
- 页面被阻止
- title 缺失
- 内容薄
- 内部链接断裂
- JavaScript 渲染内容对 crawler 不可见
- 来源过期
先跑 Bot Simulator 和 Technical SEO Audit。
合理的 llms.txt 结构
保持简短、精选。
# Fennec SEO
Fennec SEO is a mobile-first SEO audit tool, Chrome extension, and technical SEO workflow platform.
## Core products
- Web audit tool: https://fennecseo.app/audit/
- Chrome extension: https://fennecseo.app/extension/
- GSC management: https://fennecseo.app/gsc-management/
- Bot simulator: https://fennecseo.app/bot-simulator/
## Technical SEO resources
- Technical SEO: https://fennecseo.app/technical-seo/
- Schema markup: https://fennecseo.app/schema-markup/
- Core Web Vitals: https://fennecseo.app/core-web-vitals/
不要塞进所有 URL。过大的 llms.txt 只是另一个噪音 sitemap。
维护规则
如果发布 llms.txt,就把它当成真实资产维护:
- 只链接 canonical URL
- 移除退役页面
- 描述保持事实性
- 重要版本发布后更新产品页
- 放关键文档,不放每篇博客
- 不放私有或 gated URL
同时,公开页面本身也要讲清楚这些内容。agent 不应该必须依赖 llms.txt 才能理解站点。
什么时候值得用
适合发布 llms.txt 的情况:
- 网站有文档或工具
- AI agent 可能使用产品
- 需要干净资源地图
- 团队能维护文件
- 技术 SEO 基础已经可靠
不建议做的情况:
- 网站只有少量页面
- 期待排名提升
- 文件很容易过期
- 核心页面还不可抓取
总结
llms.txt 不是新的 robots.txt,也不是 Google AI Overview 的捷径。
把它当成给 AI agent 和技术用户的精选资源地图即可。SEO 的主要精力仍然应该放在可抓取、可索引、内容质量、内部链接和页面体验上。
这些才是长期有效的工作。