Google爬蟲總是抓取feed頁面?1個小技巧教你解決

有朋友聯繫老王,他說網站頁面後綴帶有feed,總是被Google爬蟲抓取,問我有沒有辦法解決。如果你的網站沒有啟用訂閱服務,那麼feed頁面我還是建議去屏蔽掉,避免讓Google爬蟲產生不必要的頁面抓取。

什麼是Feed頁面

Feed貌似沒有恰當的中文名稱,它的用途是用來接收信息源(通常是網站)更新的接口(通常是壹個網址),由網站提供給用戶。 所以簡單說,Feed 是消息源,也就是這個頁面提供壹些信息,例如https://www.wpoda.com/91.html/feed

老王看了下自己的站點,Feed頁面也有被抓取,那麼怎麼去解決不讓谷歌去抓取這種類型的url呢?辦法是有的!

屏蔽網站Feed頁面被搜尋引擎抓取的方法

解決方案一:聯繫主機商屏蔽

解決方案二:用robots.txt屏蔽處理(這裡推薦用這個方式)

在網站robots.txt中添加如下代碼

User-agent: * 

Disallow: /feed

這樣就能完美解決搜尋引擎抓取Feed這類頁面了

Feed頁面不去處理有影響嗎?

谷歌搜尋機制通常不會收錄Feed,只是在Google Search Console顯示已抓取,未被索引狀態。對於新手來說,起初看到後台有大量的url未被建立索引,往往以為feed會影響網站整體質量。

一般来说不用管就可以了。

Google爬蟲更新時間

關於Google爬蟲什麼時候來抓取你網站的URL,這個取決於你網站的質量。如果是新站,網站發佈的文章通常1-24小時內就會被收錄。

據老王的經驗,老部落格的收錄速度是相當的快,當然了,Google爬蟲更新抓取時間,也取決於文章質量,如果是粗編濫造的,我相信Google爬蟲對你的站點也會減少造訪頻次的。

Google爬蟲

結論

關於Feed頁面,不想被Google爬蟲抓取,就用robots處理下。Feed頁面不去處理也是可以的,然後就是關於Google爬蟲更新時間,這個取決於部落格整體的質量。質量越高,Google爬蟲造訪與更新你URL的頻率就越多。

分享你的喜愛
老王
老王

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *