网站技术检查清单：robots.txt 该放行哪些 AI 爬虫、结构化数据和 llms.txt 该怎么做

想让 ChatGPT、Perplexity、Claude 和 Google 的 AI 摘要读得到你的网站，技术上要先过三关：robots.txt 不能挡搜索用的爬虫（OAI-SearchBot、Claude-SearchBot、PerplexityBot、Googlebot、Bingbot），CDN 或防火墙不能在背后把它们拦下，网站的基本信息要用结构化数据写清楚。训练用的 GPTBot、ClaudeBot 要不要挡是另一个选择，各家都和搜索分开管理；Google-Extended 比较特别，它除了管 Gemini 的训练，也管 Gemini 应用程序作答时能不能拿你的内容当参考。llms.txt 可以做，但目前只能当辅助。

每个技术说法都附官方原文链接，我们在 2026 年 10 月 16 日逐一打开确认过；平台规则会变，动手前最好再点进去看一次。

AI 爬虫分三种，挡错一种就可能从 AI 搜索消失

各家 AI 公司都把爬虫分开：一种帮搜索功能建索引，一种收集训练模型用的内容，还有一种是用户提问时才临时去开网页。OpenAI 写得最直接：OAI-SearchBot 和 GPTBot 的设置互相独立，你可以放行 OAI-SearchBot 让网站出现在搜索结果，同时挡 GPTBot 表示内容不要拿去训练（OpenAI 爬虫说明）。下表照各家官方文件整理：

表里最容易误会的是 Google-Extended。很多文章把它归成「训练用」，只对了一半：Google 原文还包含 Gemini 应用程序和 Vertex AI 的 grounding，也就是作答当下从 Google 搜索索引拿内容给模型参考。AI 摘要和 AI 模式则属于搜索，Google 在〈AI 功能与你的网站〉写明控制方式是 Googlebot 的 robots.txt 规则。所以挡 Google-Extended 不会让你从 Google 搜索或 AI 摘要消失，却可能让 Gemini 回答时不拿你的内容当参考。

用户触发的那几只要另外看。ChatGPT-User 和 Perplexity-User，官方都说 robots.txt 可能不适用或一般会忽略，因为是用户自己要 AI 去开网页。Claude-User 则不同，Anthropic 说网站主可以用 robots.txt 控制它能不能存取。

放行搜索、拒绝训练的 robots.txt 可以这样写

robots.txt 放在网站根目录，也就是 https://你的网域/robots.txt，每个子网域各要一份。下面这段的意思是：GPTBot、ClaudeBot 不能拿内容去训练；Google-Extended 那一行除了拒绝 Gemini 训练，也可能让 Gemini 应用程序作答时不拿你的内容当参考；其他爬虫（包含 OAI-SearchBot、Claude-SearchBot、PerplexityBot、Googlebot、Bingbot）照「User-agent: *」那一组全部放行。把 example.com 换成你的网域，一行一行复制：

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

User-agent: *
Allow: /

Sitemap: https://www.example.com/sitemap.xml

前三行连在一起是同一组规则。Google 的 robots.txt 规格写明，可以重复写多行 User-agent，让同一组规则套用到好几只爬虫（Google robots.txt 规格）。如果什么都不想挡，删掉前四行就好；希望 Gemini 回答时能参考你的网站，就只删 Google-Extended 那一行。你原本在「User-agent: *」底下的规则，例如挡后台路径的 Disallow，照样留著。

最常见的错，是为了保险另外写一组 User-agent: Googlebot 加 Allow。同一份规格也写明，一只爬虫只会遵守名字最符合它的那一组，其他组全部忽略，而且指定名称的组和「*」那组不会合并。结果是你在「*」底下挡掉的后台路径，对 Googlebot 反而全部打开。要嘛不写，要写就把「*」底下的规则一起抄过去。

改完之后，各家需要一点时间才读到新版本：OpenAI 说搜索结果大约要 24 小时才会反映 robots.txt 的变更，Perplexity 说最多可能要 24 小时。

CDN 和防火墙可能在 robots.txt 之外先挡掉 AI 爬虫

robots.txt 写对了还不够。Google 在〈AI 功能与你的网站〉列的基本功里，第一项就是确认 robots.txt「以及任何 CDN 或主机架构」都允许抓取。OpenAI 也在 ChatGPT 搜索的说明里要求网站主确认主机或 CDN 允许 OpenAI 公布的 searchbot IP（OpenAI 说明中心）；Perplexity 则直接给了 Cloudflare 和 AWS WAF 的放行设置步骤。

用 Cloudflare 的网站要特别看一下。Cloudflare 把 AI 流量分成三类各自设置：Search 是建索引、之后拿来回答问题；Agent 是代替用户即时行动，例如聊天机器人去抓网页；Training 是拿内容训练或微调模型（Cloudflare 文件）。2026 年 9 月 15 日起有两个改变（Cloudflare 官方博客）：第一，在 Training 选 Block 或「只在有广告的页面封锁」，现在也会套用到同时做搜索和训练的两用爬虫，Cloudflare 点名 Applebot、Bingbot、Googlebot，也就是搜索会一起被挡；想挡训练又保住搜索，要改选 Disallow AI Training。第二，新网域加入时会依你有没有靠广告赚钱给两套建议设置，选了有广告那套，Agent 类会在有广告的页面被封锁。

还有一个容易漏看的地方：Cloudflare 的 Bot Preference Sync 会依你的设置，自动在你原本的 robots.txt 前面加上一段规则，合并后才送给爬虫（Cloudflare 说明）。所以主机上的文件不一定等于爬虫拿到的内容，检查时一律直接用浏览器打开 https://你的网域/robots.txt。

1. 用 Cloudflare 的话，进 Security Settings，打开 Configure AI bot policies，看 Search、Agent、Training 三类各是什么设置。Search 不要选 Block。
2. Training 想挡的话，选 Disallow AI Training，不要选 Block，否则 Googlebot 和 Bingbot 会一起被挡。Cloudflare 也写明，Bing 目前还不读 robots.txt 里「不准拿去训练」的设置，所以在 Bing 支持之前，这个选项的训练偏好传不到 Bing。
3. 打开 AI Crawl Control 的爬虫列表，看 OAI-SearchBot、Claude-SearchBot、PerplexityBot 这些搜索用爬虫的动作是不是 Allow。
4. 用浏览器打开 https://你的网域/robots.txt，确认 Cloudflare 加上去的那段（会有 BEGIN Cloudflare Managed content 字样）是你同意的内容。
5. 没用 Cloudflare 的话，请主机商或工程师查服务器记录，找 OAI-SearchBot、PerplexityBot、Claude-SearchBot 这些名字的请求，看回应是不是 403 这类拒绝。

结构化数据是帮机器认清你是谁，不是被引用的保证

结构化数据是一段写在网页源代码里、给机器看的标准格式资料，常用 JSON-LD 写。和 AI 搜索最相关的是两种：在首页加 Organization（组织），Google 说能帮它了解你组织的行政资料，并在搜索结果里把你和其他组织分开（Google Organization 说明）；LocalBusiness（在地商家）则用来告诉 Google 营业时间、各部门等信息，必填只有名称和地址（Google 在地商家说明）。

它的极限也要讲清楚。Google 在生成式 AI 搜索的官方指南里写，生成式 AI 搜索不需要结构化数据，也没有要特别加的 schema.org 标记，它的价值在于让你有资格出现在复合式搜索结果（Google 生成式 AI 搜索指南）。Google 的结构化数据政策也写，就算标记完全正确，也不保证会显示（政策原文）。其他 AI 平台怎么使用结构化数据，官方都没有公开说明。所以把它当成帮机器认清你是谁的名牌：名称、地址、电话写得一致，而不是让 AI 多推荐你的开关。

1. 选最精确的类型。Google 建议用最符合的子类型，例如餐厅用 LocalBusiness 底下的 Restaurant，网络商店用 OnlineStore。
2. Organization 放在首页或「关于我们」这种介绍公司的单一页面，Google 说不用每页都放。
3. 填 name（名称）、address（地址）、telephone（电话）、url（网址），有营业时间就加 openingHoursSpecification。Google 要求电话包含国码和区码，台湾就是 +886 开头。
4. 用 sameAs 列出你在其他网站的官方页面，例如社群或评论网站上的商家页。
5. 标记的内容要和页面上看得到的一致。Google 政策写明，不要标记读者看不到的内容。
6. 用 Rich Results Test 验证、修掉严重错误，再用 Search Console 的网址检查看 Google 实际读到什么。

给架站师一段最小可用的范例，放进页面源代码。店名、网址、地址、电话换成你的，内容要和页面上写的一样：

<script type="application/ld+json">
{
  "@context": "https://schema.org",
  "@type": "Restaurant",
  "name": "你的店名",
  "url": "https://www.example.com/",
  "telephone": "+886-4-0000-0000",
  "address": {
    "@type": "PostalAddress",
    "streetAddress": "路名與門牌",
    "addressLocality": "台中市",
    "addressCountry": "TW"
  },
  "sameAs": [
    "https://www.facebook.com/你的粉專"
  ]
}
</script>

llms.txt 可以做，但目前只能当辅助

llms.txt 是 Jeremy Howard 在 2024 年 9 月提出的提案：在网站根目录放一个 Markdown 档，用简短的说明和链接，帮 AI 代理快速找到网站上重要的信息（llmstxt.org）。格式很简单：第一行是网站或项目名称的 H1，这是唯一必填；接着一段引言摘要，再用 H2 分段列出重要页面的链接。提案也说它和 robots.txt 用途不同：robots.txt 告诉自动化工具可以抓什么，llms.txt 是 AI 代理帮用户查资料时临时拿来读的。

但截至 2026 年 10 月 16 日，我们没有找到 OpenAI、Anthropic、Perplexity 公开承诺会读网站主的 llms.txt 来挑选搜索结果或引用来源。Google 则明白写在官方指南：Google 搜索本身不使用 LLMS.txt 这类文件，做了对 Google 搜索的能见度没有帮助也没有伤害，为其他服务而做完全没问题。所以排优先顺序时，llms.txt 放在 robots.txt、CDN 和结构化数据之后；它成本低，顺手做可以，别期待它改变 AI 的推荐。

改完一定要用官方工具验证爬虫真的进得来

上面每一项都有对应的官方工具可以查。Google Search Console 的生成式 AI 成效报表从 2026 年 8 月 31 日起对全球网站开放，看得到哪些网址出现在 AI 摘要和 AI 模式（Google 公告）；Bing Webmaster Tools 的 AI Performance 则显示你的网页在 Copilot 和 Bing AI 摘要被引用的次数（Bing 公告）。

另外有一个同样在 2026 年 8 月 31 日对全球开放的开关：Search Console 设置里的 Search generative AI 控制。默认是包含；如果被改成排除，你的网站就不会出现在 AI 摘要、AI 模式和 Discover 的生成式 AI 功能里（Search Console 说明）。接手别人做的网站时，这里一定要看。

常见问题

技术这几关检查完，下一步是看 AI 实际怎么回答客户会问的问题。可以先用免费快筛看 ChatGPT 这一个平台：不用注册，大约 1–2 分钟，会检查 AI 读不读得懂你的网站，再加上 2 题 ChatGPT 即时实测。