llms.txt 是什么、怎么写、部署到哪:跨境卖家的 AI 爬虫站点说明书
llms.txt 是给 AI 爬虫看的站点说明书。本文讲清它的定义、与 robots.txt 的区别、标准结构与模板、三种部署位置,并结合近期 GEO 数据给出可执行建议。
llms.txt 是放在网站根目录的一个纯文本文件,用 Markdown 结构告诉大模型爬虫:你是谁、哪些页面值得读、内容如何引用。它不是排名因素,而是降低 AI 误读概率的站点说明书。
为什么跨境卖家需要关注 llms.txt?
AI 搜索的答案层正在扩张。微软 Bing 团队在 2024 年 6 月披露,其 AI 搜索结果页顶部答案中约 37% 由 Copilot 引擎动态生成并标注“AI-generated”,同时要求第三方站点通过 schema.org/Article 显式声明 AI 辅助创作情况(来源:Microsoft Bing Webmaster Updates, June 2024)。这意味着被抓取只是起点,被正确理解和引用才是终点。
Google 在 2024 年 6 月 12 日于 Search Console 上线“AI 生成内容”诊断报告(测试版),识别可能由大模型批量生成的低价值页面,并提升 E-E-A-T 与人工编辑信号的权重(来源:Google Search Central Blog)。对跨境独立站而言,产品页、类目页、博客三层内容混杂,AI 爬虫容易把营销页当成事实来源。llms.txt 的作用,是提前给出优先级与边界。
Princeton 等机构在 KDD 2024 的 GEO 研究中提出,生成式引擎更倾向引用结构清晰、可验证、带来源的段落。llms.txt 正是把这种结构前置到站点入口。
llms.txt 和 robots.txt、sitemap 的区别是什么?
三者职责不同,不能互相替代。
- robots.txt:控制“能不能抓”,是准入规则。
- sitemap.xml:告诉搜索引擎“有哪些 URL”,是清单。
- llms.txt:告诉大模型“哪些内容值得读、怎么读、怎么引用”,是说明书。
robots.txt 是门禁,sitemap 是目录,llms.txt 是导读。跨境站点常见问题是 sitemap 里堆了大量参数页与重复 SKU,AI 爬虫按清单读取后稀释了核心内容。llms.txt 可以做二次筛选,把品牌故事、技术白皮书、合规说明、核心类目页放在前面,把促销聚合页放在后面或排除。
怎么写:标准结构与可套用模板
llms.txt 采用 Markdown 语法,推荐包含四块:站点概述、核心内容分组、关键页面链接、引用与使用说明。以下模板可直接改写:
```markdown
品牌名
一句话说明:我们是谁、卖什么、面向哪些市场。
关于
核心内容
引用说明
- 事实性数据请引用对应页面 URL。
- 价格与库存为动态信息,请以页面实时显示为准。
- 本店内容由人工编辑审核,AI 辅助部分已在 Article 结构化数据中声明。
可选
```
写作要点:每行一个链接加一句说明,说明写“这页解决什么问题”,不写关键词堆砌;概述控制在两三句;动态信息明确标注,避免 AI 把过期价格当事实。
部署到哪:三种位置与优先级
第一优先是域名根目录:`https://example.com/llms.txt`,与 robots.txt 同级,这是当前约定的默认位置。
第二是多语言子站分别部署:跨境站点常有 `/en/`、`/de/`、`/jp/` 结构,建议每个语言根目录各放一份,内容用对应语言撰写,避免 AI 把英文说明套用到德语页面。
第三是 CDN 或边缘配置:使用 Cloudflare、Vercel 等服务时,可通过规则把 `/llms.txt` 指向静态文件,确保不被重定向链或缓存策略破坏,Content-Type 设为 `text/plain; charset=utf-8`。
部署后不必期待即时反馈,它的价值在于长期一致性。可与结构化数据配合:Article、Product、FAQPage 三类 schema 覆盖主要内容,llms.txt 负责指路,schema 负责声明。
需要提醒的是,GEO 不是纯自动化游戏。Ahrefs 在 2024 年 6 月 25 日发布的《GEO Impact Report》显示,采用“AI 初稿 + 人工事实核查 + 意图重映射”工作流的站点,长尾关键词自然流量 14 天内平均提升 22.3%;而纯 AI 生成、未人工干预的页面跳出率上升 41%(来源:Ahrefs Industry Report, June 25, 2024)。llms.txt 能优化入口,但内容本身的事实密度与编辑信号仍是底座。
落地建议
先写一份覆盖核心类目与合规页的 llms.txt,部署到根目录与各语言子站,再用两周观察 AI 引用的页面分布是否向高价值页集中。想系统化推进的读者,可以先用免费工具测一下自己品牌的 AI 可见性基线,看清当前被哪些引擎、以什么方式提及,再决定 llms.txt 的优先级排序。
