網站技術檢查清單：robots.txt 該放行哪些 AI 爬蟲、結構化資料和 llms.txt 該怎麼做

想讓 ChatGPT、Perplexity、Claude 和 Google 的 AI 摘要讀得到你的網站，技術上要先過三關：robots.txt 不能擋搜尋用的爬蟲（OAI-SearchBot、Claude-SearchBot、PerplexityBot、Googlebot、Bingbot），CDN 或防火牆不能在背後把它們攔下，網站的基本資料要用結構化資料寫清楚。訓練用的 GPTBot、ClaudeBot 要不要擋是另一個選擇，各家都和搜尋分開管理；Google-Extended 比較特別，它除了管 Gemini 的訓練，也管 Gemini 應用程式作答時能不能拿你的內容當參考。llms.txt 可以做，但目前只能當輔助。

每個技術說法都附官方原文連結，我們在 2026 年 10 月 16 日逐一打開確認過；平台規則會變，動手前最好再點進去看一次。

AI 爬蟲分三種，擋錯一種就可能從 AI 搜尋消失

各家 AI 公司都把爬蟲分開：一種幫搜尋功能建索引，一種收集訓練模型用的內容，還有一種是使用者提問時才臨時去開網頁。OpenAI 寫得最直接：OAI-SearchBot 和 GPTBot 的設定互相獨立，你可以放行 OAI-SearchBot 讓網站出現在搜尋結果，同時擋 GPTBot 表示內容不要拿去訓練（OpenAI 爬蟲說明）。下表照各家官方文件整理：

表裡最容易誤會的是 Google-Extended。很多文章把它歸成「訓練用」，只對了一半：Google 原文還包含 Gemini 應用程式和 Vertex AI 的 grounding，也就是作答當下從 Google 搜尋索引拿內容給模型參考。AI 摘要和 AI 模式則屬於搜尋，Google 在〈AI 功能與你的網站〉寫明控制方式是 Googlebot 的 robots.txt 規則。所以擋 Google-Extended 不會讓你從 Google 搜尋或 AI 摘要消失，卻可能讓 Gemini 回答時不拿你的內容當參考。

使用者觸發的那幾隻要另外看。ChatGPT-User 和 Perplexity-User，官方都說 robots.txt 可能不適用或一般會忽略，因為是使用者自己要 AI 去開網頁。Claude-User 則不同，Anthropic 說網站主可以用 robots.txt 控制它能不能存取。

放行搜尋、拒絕訓練的 robots.txt 可以這樣寫

robots.txt 放在網站根目錄，也就是 https://你的網域/robots.txt，每個子網域各要一份。下面這段的意思是：GPTBot、ClaudeBot 不能拿內容去訓練；Google-Extended 那一行除了拒絕 Gemini 訓練，也可能讓 Gemini 應用程式作答時不拿你的內容當參考；其他爬蟲（包含 OAI-SearchBot、Claude-SearchBot、PerplexityBot、Googlebot、Bingbot）照「User-agent: *」那一組全部放行。把 example.com 換成你的網域，一行一行複製：

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

User-agent: *
Allow: /

Sitemap: https://www.example.com/sitemap.xml

前三行連在一起是同一組規則。Google 的 robots.txt 規格寫明，可以重複寫多行 User-agent，讓同一組規則套用到好幾隻爬蟲（Google robots.txt 規格）。如果什麼都不想擋，刪掉前四行就好；希望 Gemini 回答時能參考你的網站，就只刪 Google-Extended 那一行。你原本在「User-agent: *」底下的規則，例如擋後台路徑的 Disallow，照樣留著。

最常見的錯，是為了保險另外寫一組 User-agent: Googlebot 加 Allow。同一份規格也寫明，一隻爬蟲只會遵守名字最符合它的那一組，其他組全部忽略，而且指定名稱的組和「*」那組不會合併。結果是你在「*」底下擋掉的後台路徑，對 Googlebot 反而全部打開。要嘛不寫，要寫就把「*」底下的規則一起抄過去。

改完之後，各家需要一點時間才讀到新版本：OpenAI 說搜尋結果大約要 24 小時才會反映 robots.txt 的變更，Perplexity 說最多可能要 24 小時。

CDN 和防火牆可能在 robots.txt 之外先擋掉 AI 爬蟲

robots.txt 寫對了還不夠。Google 在〈AI 功能與你的網站〉列的基本功裡，第一項就是確認 robots.txt「以及任何 CDN 或主機架構」都允許抓取。OpenAI 也在 ChatGPT 搜尋的說明裡要求網站主確認主機或 CDN 允許 OpenAI 公布的 searchbot IP（OpenAI 說明中心）；Perplexity 則直接給了 Cloudflare 和 AWS WAF 的放行設定步驟。

用 Cloudflare 的網站要特別看一下。Cloudflare 把 AI 流量分成三類各自設定：Search 是建索引、之後拿來回答問題；Agent 是代替使用者即時行動，例如聊天機器人去抓網頁；Training 是拿內容訓練或微調模型（Cloudflare 文件）。2026 年 9 月 15 日起有兩個改變（Cloudflare 官方部落格）：第一，在 Training 選 Block 或「只在有廣告的頁面封鎖」，現在也會套用到同時做搜尋和訓練的兩用爬蟲，Cloudflare 點名 Applebot、Bingbot、Googlebot，也就是搜尋會一起被擋；想擋訓練又保住搜尋，要改選 Disallow AI Training。第二，新網域加入時會依你有沒有靠廣告賺錢給兩套建議設定，選了有廣告那套，Agent 類會在有廣告的頁面被封鎖。

還有一個容易漏看的地方：Cloudflare 的 Bot Preference Sync 會依你的設定，自動在你原本的 robots.txt 前面加上一段規則，合併後才送給爬蟲（Cloudflare 說明）。所以主機上的檔案不一定等於爬蟲拿到的內容，檢查時一律直接用瀏覽器打開 https://你的網域/robots.txt。

1. 用 Cloudflare 的話，進 Security Settings，打開 Configure AI bot policies，看 Search、Agent、Training 三類各是什麼設定。Search 不要選 Block。
2. Training 想擋的話，選 Disallow AI Training，不要選 Block，否則 Googlebot 和 Bingbot 會一起被擋。Cloudflare 也寫明，Bing 目前還不讀 robots.txt 裡「不准拿去訓練」的設定，所以在 Bing 支援之前，這個選項的訓練偏好傳不到 Bing。
3. 打開 AI Crawl Control 的爬蟲列表，看 OAI-SearchBot、Claude-SearchBot、PerplexityBot 這些搜尋用爬蟲的動作是不是 Allow。
4. 用瀏覽器打開 https://你的網域/robots.txt，確認 Cloudflare 加上去的那段（會有 BEGIN Cloudflare Managed content 字樣）是你同意的內容。
5. 沒用 Cloudflare 的話，請主機商或工程師查伺服器紀錄，找 OAI-SearchBot、PerplexityBot、Claude-SearchBot 這些名字的請求，看回應是不是 403 這類拒絕。

結構化資料是幫機器認清你是誰，不是被引用的保證

結構化資料是一段寫在網頁原始碼裡、給機器看的標準格式資料，常用 JSON-LD 寫。和 AI 搜尋最相關的是兩種：在首頁加 Organization（組織），Google 說能幫它了解你組織的行政資料，並在搜尋結果裡把你和其他組織分開（Google Organization 說明）；LocalBusiness（在地商家）則用來告訴 Google 營業時間、各部門等資訊，必填只有名稱和地址（Google 在地商家說明）。

它的極限也要講清楚。Google 在生成式 AI 搜尋的官方指南裡寫，生成式 AI 搜尋不需要結構化資料，也沒有要特別加的 schema.org 標記，它的價值在於讓你有資格出現在複合式搜尋結果（Google 生成式 AI 搜尋指南）。Google 的結構化資料政策也寫，就算標記完全正確，也不保證會顯示（政策原文）。其他 AI 平台怎麼使用結構化資料，官方都沒有公開說明。所以把它當成幫機器認清你是誰的名牌：名稱、地址、電話寫得一致，而不是讓 AI 多推薦你的開關。

1. 選最精確的類型。Google 建議用最符合的子類型，例如餐廳用 LocalBusiness 底下的 Restaurant，網路商店用 OnlineStore。
2. Organization 放在首頁或「關於我們」這種介紹公司的單一頁面，Google 說不用每頁都放。
3. 填 name（名稱）、address（地址）、telephone（電話）、url（網址），有營業時間就加 openingHoursSpecification。Google 要求電話包含國碼和區碼，台灣就是 +886 開頭。
4. 用 sameAs 列出你在其他網站的官方頁面，例如社群或評論網站上的商家頁。
5. 標記的內容要和頁面上看得到的一致。Google 政策寫明，不要標記讀者看不到的內容。
6. 用 Rich Results Test 驗證、修掉嚴重錯誤，再用 Search Console 的網址檢查看 Google 實際讀到什麼。

給架站師一段最小可用的範例，放進頁面原始碼。店名、網址、地址、電話換成你的，內容要和頁面上寫的一樣：

<script type="application/ld+json">
{
  "@context": "https://schema.org",
  "@type": "Restaurant",
  "name": "你的店名",
  "url": "https://www.example.com/",
  "telephone": "+886-4-0000-0000",
  "address": {
    "@type": "PostalAddress",
    "streetAddress": "路名與門牌",
    "addressLocality": "台中市",
    "addressCountry": "TW"
  },
  "sameAs": [
    "https://www.facebook.com/你的粉專"
  ]
}
</script>

llms.txt 可以做，但目前只能當輔助

llms.txt 是 Jeremy Howard 在 2024 年 9 月提出的提案：在網站根目錄放一個 Markdown 檔，用簡短的說明和連結，幫 AI 代理快速找到網站上重要的資訊（llmstxt.org）。格式很簡單：第一行是網站或專案名稱的 H1，這是唯一必填；接著一段引言摘要，再用 H2 分段列出重要頁面的連結。提案也說它和 robots.txt 用途不同：robots.txt 告訴自動化工具可以抓什麼，llms.txt 是 AI 代理幫使用者查資料時臨時拿來讀的。

但截至 2026 年 10 月 16 日，我們沒有找到 OpenAI、Anthropic、Perplexity 公開承諾會讀網站主的 llms.txt 來挑選搜尋結果或引用來源。Google 則明白寫在官方指南：Google 搜尋本身不使用 LLMS.txt 這類檔案，做了對 Google 搜尋的能見度沒有幫助也沒有傷害，為其他服務而做完全沒問題。所以排優先順序時，llms.txt 放在 robots.txt、CDN 和結構化資料之後；它成本低，順手做可以，別期待它改變 AI 的推薦。

改完一定要用官方工具驗證爬蟲真的進得來

上面每一項都有對應的官方工具可以查。Google Search Console 的生成式 AI 成效報表從 2026 年 8 月 31 日起對全球網站開放，看得到哪些網址出現在 AI 摘要和 AI 模式（Google 公告）；Bing Webmaster Tools 的 AI Performance 則顯示你的網頁在 Copilot 和 Bing AI 摘要被引用的次數（Bing 公告）。

另外有一個同樣在 2026 年 8 月 31 日對全球開放的開關：Search Console 設定裡的 Search generative AI 控制。預設是包含；如果被改成排除，你的網站就不會出現在 AI 摘要、AI 模式和 Discover 的生成式 AI 功能裡（Search Console 說明）。接手別人做的網站時，這裡一定要看。

常見問題

技術這幾關檢查完，下一步是看 AI 實際怎麼回答客戶會問的問題。可以先用免費快篩看 ChatGPT 這一個平台：不用註冊，大約 1–2 分鐘，會檢查 AI 讀不讀得懂你的網站，再加上 2 題 ChatGPT 即時實測。