哪些技術因素影響 AI 爬取和引用?5 個關鍵檢查項目

close
Blog
Awakening Design
哪些技術因素影響 AI 爬取和引用?5 個關鍵檢查項目

哪些技術因素影響 AI 爬取和引用?

會影響爬取與引用的技術因素有 5 個:網站是否允許 AI 爬蟲存取、內容是否依賴 javascript 渲染、頁面載入速度、結構化資料完整度、網站架構清晰度。

根據 Vercel 2024 年底的分析,ChatGPT、Claude、Perplexity 等主要 AI 爬蟲不執行 javascript(Googlebot、Applebot 例外),內容只存在前端渲染結果裡就讀不到。

 

AI引擎怎麼讀取你的網站內容?

AI 引擎讀網站的方式是靠爬蟲抓 HTML。以 Google 為例,網頁要出現在 AI 功能,得先允許 Googlebot 依 robots.txt 抓取且已被索引。AI 爬蟲(AI 公司派出的抓網頁程式,用途分為訓練模型、建立搜尋索引、即時回答使用者)和 Googlebot 的主要差別在以下幾項:

項目

Googlebot

AI 爬蟲

遵守 robots.txt

遵守

多數遵守;使用者發動的取頁可能例外

執行 javascript

能渲染

ChatGPT、Claude、Perplexity 的爬蟲不執行,Applebot 例外(2024 年底資料);使用者請 AI 即時讀網頁時也不執行, 

爬蟲身分

Google 搜尋由 Googlebot 抓取;Gemini 訓練與生成答案時參照的資料另以 Google-Extended 權杖控制

OpenAI、Anthropic 分訓練、搜尋索引、即時取頁三種

抓取頻率

參考抓取預算文件

各家未公開具體頻率

延伸閱讀:【如何讓內容被AI引用?4 個關鍵決定你能不能被引用!】

 

5個會影響 AI 爬取與引用的技術因素

影響 AI 爬取的 5 項技術因素都屬於技術 SEO(讓搜尋引擎順利抓取、理解網站的技術設定),不必重寫文章。

影響AI爬取的因素一:網站是否允許AI爬蟲存取

5個影響 AI 爬取的因素

 

網站的robots.txt(告訴爬蟲哪些頁面可以抓的純文字檔)需要允許AI爬蟲存取。各家的 user-agent(爬蟲向網站自報的名稱)如下:

引擎

user-agent

用途

擋掉的後果

OpenAI

OAI-SearchBot

ChatGPT 搜尋

不出現在 ChatGPT 搜尋答案(仍可能以導覽連結出現)

OpenAI

GPTBot

模型訓練

內容不用於訓練

Anthropic

ClaudeBot

模型訓練

後續內容不納入訓練

Anthropic

Claude-SearchBot

搜尋索引

降低搜尋結果能見度

Anthropic

Claude-User

使用者提問時取頁

提問時取不到你的內容

Perplexity

PerplexityBot

Perplexity 搜尋,不用於訓練

不出現在 Perplexity 搜尋結果

Perplexity

Perplexity-User

使用者提問時取頁

用 robots.txt 通常擋不掉:此取頁一般會忽略 robots.txt 規則

Google

Google-Extended

內容能否用於 Gemini 訓練,以及 Gemini 等產品生成答案時的參照,不含搜尋的 AI 摘要/AI 模式

不影響搜尋收錄與排名

robots.txt 可以照這幾步確認:

  • 打開 yourdomain.com/robots.txt:確認沒有 Disallow: / 全站封鎖,也沒誤擋 OAI-SearchBot、Claude-SearchBot、PerplexityBot。
  • 逐個 user-agent 寫規則:GPTBot 的規則不會套到 OAI-SearchBot,要分別列。
  • 改完隔天再驗:OpenAI 表示更動約 24 小時生效。

 

影響AI爬取的因素二:內容是否依賴 javascript 渲染

主要文字若靠前端 javascript 才生成,AI 爬蟲可能讀不到。確認 javascript 有沒有擋住內容,可以這樣檢查與改善:

  1. 搜原始碼:右鍵檢視網頁原始碼,Ctrl+F 搜文中一句話,找不到就是不在 HTML 裡。
  2. 關掉 javascript 再看:主要內容消失,就是前端渲染問題。
  3. 改成伺服器端渲染或靜態 HTML:伺服器端渲染指由伺服器先產生完整 HTML 再送出,屬於 javascript SEO(讓依賴 javascript 的網站能被正確讀取的做法),Google 也建議依 javascript SEO 最佳實務處理。
  4. 核心內容別藏在「展開更多」之後:風險和前端渲染同類。

主要文字出現在原始碼裡,這一項就沒問題囉。

 

影響AI爬取的因素三:頁面載入速度

網站太慢,爬蟲就抓得少。Google 的抓取預算文件指出,載入快的網站「可能可以從你的網站讀到更多內容」。Google 的生成式 AI 功能指南也把良好的頁面體驗(各裝置顯示正常、降低延遲)列為建議做法之一。OpenAI、

那頁面載入速度要怎麼查?這邊提供查詢步驟給你:

  • 點擊 PageSpeed Insights: Google 的免費網頁速度測試工具。
  • 確認伺服器沒回 5xx 或 429:間歇性錯誤比單純速度慢更傷。
  • 壓縮圖片:確認圖片檔案皆在 500 MB以內。
  • 檢查主機與快取:如果是共享主機在流量高峰容易變慢。

 

影響AI爬取的因素四:結構化資料完整度

結構化資料能幫 AI 判斷內容類型,結構化資料的定位是加分項,對複合式搜尋結果等既有功能仍然有用。

覺醒實戰筆記:很多人會漏掉頁面資訊和結構化資料一致的重要性,例如公司地址更換後沒有即時更新,頁面資訊和結構化資料不符反而是扣分。

 

影響AI爬取的因素五:網站架構清晰度

架構讓爬蟲清楚、有條理的理解整個網站資訊。Google 也建議 讓讀者容易分辨主要內容與頁面其他元素。

架構可以從這四件事整理:

  • 網站是否有404頁面:舊網址沒處理,爬蟲會一直讀取 404錯誤頁面。
  • 換網址設 301 轉址:一次就讓爬蟲導到新的正確位置。
  • 維護 sitemap.xml:列出現存頁面,將新頁面隨時更新上去。
  • 同主題文章互相連結:表達文章跟資訊之間的關聯性,建立主題權重。

 

常見問題 FAQ

要特別針對某個 AI 引擎優化嗎?

不用。GEO 優化是針對所有生成式工具,不是單指特定平台。但每個 AI 側重的部分不同,例如Gemini喜歡有SEO基礎的網站資訊;ChatGPT則喜歡較新、有品牌權威的資訊內容。

延伸閱讀:【三大 AI 搜尋引擎:ChatGPT、Perplexity、Gemini 差異說明】

 

需要重新設計網站架構嗎?

多數情況不需要:網址結構與內部連結能讓爬蟲走通,就不必為 AI 重做架構。同主題頁面散在彼此不相連的網址路徑下、爬蟲難以看出關聯時,才比較值得整理網址層級。

 

這些設定一般網頁設計公司會處理嗎?

不會。一般網站公司不會特別設定或檢查這些,但覺醒設計會特別留意 robots.txt 是否有阻擋AI爬取以及確保文字標題是在原始碼裡呈現等。

如果是外包網站公司建置網站,上線或改版時都可以用這幾個問題確認:robots.txt 是否放行搜尋用 AI 爬蟲、關掉 javascript 後主要文字是否還在、舊網址是否都有對應的 301 轉址。

 

舊網站需要大改才能符合這些技術要求嗎?

不一定,取決於渲染方式。若主要文字已在 HTML 裡,多半只需調整設定;若要靠前端 javascript 才出現,我們會建議改開發框架或加上預先輸出 HTML 的機制。

 

這些設定會影響 SEO 表現嗎?

會。如果用 nosnippet、data-nosnippet 或 max-snippet 限制 AI 功能呈現,一般搜尋結果的摘要也會被限縮或拿掉;noindex 更會讓頁面整個不出現在搜尋結果。

 

結語

AI 爬不到的網站,多半不是內容問題,而是爬蟲被擋,或文字不在 HTML 裡。跟著上述文章的檢查項目確認自家網站是否能被AI爬蟲順利爬取,才能再進一部的做GEO優化。

 

如果你也想讓自己的品牌在 AI 搜尋時代被看見、被引用,歡迎找覺醒設計聊聊,我們提供專業的 GEO 服務,為你進行免費網站健檢,找到 GEO 時代的方向。

聯絡電話:04-3609-8988

Line:@679satdx(含@)

延伸閱讀:【GEO 生成式引擎優化是什麼?一文詳解原理、操作與成效追蹤】

回上一頁 訂閱電子報
你可能會有興趣
訂閱電子報
馬上取得網站經營祕訣
按我 報價費用
LINE 線上諮詢