AI抓取说明文件怎么写：给大模型的网站导读清单

AI 抓取说明文件（文件名通常为 llms.txt）是放在网站根目录的一份纯文字文件，用简洁的条目告诉大模型：这个网站属于谁、主要讲什么、哪些页面最重要。写法很简单，一两个小时就能完成。

但要先说清楚：它是一个社区提出的约定，不是正式标准。目前各家 AI 平台是否读取、读取后怎么用，公开信息有限且不统一。所以它适合当作低成本的辅助手段，不要指望靠它单独带来提及。

这份文件解决什么问题

大模型读网页时，会遇到导航栏、弹窗、脚本、重复的页脚，真正有用的信息被夹在中间。AI 抓取说明文件相当于给它一份目录和摘要，让它不用逐页摸索就知道重点在哪。

对外贸网站来说，它还有一个附带好处：写这份文件的过程，会逼你想清楚“我们最想让 AI 知道的五件事是什么”，这本身就是很好的 GEO 梳理。

文件内容的推荐结构

1. 标题：公司英文全称。
2. 一句话概括：例如“位于浙江宁波的不锈钢球阀制造商，产品出口欧洲和中东，服务水处理和石化行业。”
3. 补充说明：两三句话写工厂规模、主要认证、起订量范围等关键事实。
4. 重要页面列表：按类别分组，每条是页面地址加一句说明。
5. 可选内容：次要页面，如新闻、招聘等。

重要页面该选哪些

页面	说明要写什么
关于我们	成立年份、工厂面积、员工规模、认证
产品分类页	每个分类包含哪些产品、适用行业
核心产品详情页	型号范围、材质、主要参数
常见问题页	起订量、交期、付款方式、样品政策
技术文章	选型指南等能回答买家问题的内容

写法上的好与差

• 差：“我们是一家专业的、领先的、值得信赖的阀门企业，为全球客户提供优质服务。”——没有任何可核实的信息。
• 好：“我们生产口径 15～300 毫米的不锈钢和碳钢球阀，持有欧盟压力设备认证，标准型号起订量 200 件。”——每一句都是 AI 可以直接引用的事实。

页面说明也一样，写“产品页”不如写“法兰球阀：口径 50～300 毫米，压力等级、材质和尺寸表”。

AI抓取说明文件本身未必被读取，但写它的过程能帮你把“最想让AI知道的事实”整理出来，这份清单在官网和第三方资料里都用得上。

比这份文件更重要的检查：AI爬虫能不能进来

很多外贸网站根本没被 AI 读到，原因不是缺少说明文件，而是爬虫被挡住了：

• 网站的爬虫访问规则里屏蔽了 AI 平台的爬虫（有些建站模板或安全插件默认如此）。
• 防火墙或防护服务把陌生爬虫当成攻击拦截。
• 主要内容靠脚本加载，爬虫拿到的是空页面。
• 服务器海外访问很慢，爬虫超时放弃。

建议让技术人员检查访问规则和防火墙日志，确认 ChatGPT、Perplexity、Claude、Gemini 等平台的爬虫可以正常访问。是否允许某些爬虫用于模型训练，可以按公司政策决定，但用于实时检索回答的爬虫一般建议放行。

放置和维护

• 文件放在网站根目录，用纯文本格式，确保在浏览器里可以直接打开。
• 产品线或重要页面有变化时同步更新。
• 多语种网站可以只写英文版，列出其他语种入口即可。

一份完整的示例结构

下面用中文说明一份典型文件的组织方式（实际文件用英文书写）：

1. 第一行：公司英文全称，作为标题。
2. 引用段：一句话介绍，写所在地、主营产品、主要市场。
3. 正文段：三到五句关键事实，例如成立年份、工厂面积、产线数量、认证、起订量和交期范围。
4. “产品”小节：列出五到十个核心产品或分类页面，每条后面用一句话说明规格范围。
5. “公司”小节：关于我们、工厂介绍、认证页面、联系页面。
6. “资料”小节：选型指南、常见问题等最能回答买家疑问的页面。
7. “可选”小节：新闻、案例等次要页面。

整份文件控制在一屏到两屏之内。它的价值在于“精选”，把网站所有页面都列进去，就失去了导读的意义。

写完后怎么检查

• 在浏览器里直接打开这个文件的地址，确认能正常显示、没有乱码。
• 逐个点开列出的链接，确认都能访问、没有跳转到错误页面。
• 让一个不了解公司的同事读一遍，看能否说出你们是做什么的。

和其他 GEO 工作的先后顺序

如果时间有限，建议按这个顺序做：

1. 确认 AI 爬虫能正常访问网站，这是前提。
2. 把官网关于我们、核心产品页改写成事实清楚、可直接摘取的内容。
3. 统一各平台的公司信息。
4. 添加结构化数据。
5. 最后写 AI 抓取说明文件，把前面整理好的事实和页面汇总进去。

放在最后的原因很简单：前面几步做完，这份文件几乎是“顺手整理”出来的；反过来先写文件，内容往往会随着后续调整而过时。

下一步

先用网站体检工具检查网站海外访问速度和基础抓取问题，再动手写这份文件。它和结构化数据一起，构成 GEO 技术层面的两项基础工作。如需代为检查爬虫访问设置，可以了解我们的GEO 优化服务。