您好,歡迎訪問奇米網!

百度的致命抓取異常?你重視過嗎?

分類:IT時代 瀏覽數:3 2020-04-02 18:34 盧松松博客 盧松松博客 編輯: 米米

在這些年的SEO診斷中,我這里發現不低于20%的網站都存在著一個嚴重的抓取問題,但是奇怪的是,卻始終得不到大多數人的重視。而研究透徹并分享這個問題的人,更是沒有發現。今天這篇文章,我們就來看一下這個問題。

連接超時,或者抓取超時,如果你的網站出現過這個問題,至今沒有處理到位的,就把這篇文章轉載一下吧。

很多人說,不就是幾十次的超時嗎?有什么大不了的,如果這樣認為,那么真的是活該網站做不好了,正常的網站是什么樣的呢?我們來舉個例子:

這是一個權重4的站點,哪怕十多萬次的抓取,卻仍舊沒有出現過一次的抓取錯誤!如果你的每日抓取錯誤量超過10次(十天半個月就出現一次錯誤,或者連續多天出現的),就真的應該嚴肅處理一下這個問題了,因為當前問題的存在,已經長期的制約了網站的發展上限,甚至因為這個問題,誘發網站的降權,都一點不奇怪。

有人說,不用理會,這就是一個BUG,因為我在網站的LOG日志中,并沒有發現這個問題。之前在百度站長的VIP群里,有人這樣解釋過。但是我想說的是:百度無法抓取到網站,你的網站LOG日志,能統計到這樣的錯誤嗎?所以,上述解釋是完全說不過去的。

那么,為什么會出現這樣的錯誤呢?

A,DNS問題,無論是蜘蛛還是用戶訪問網站,首先就需要域名的DNS做了正確的解析,然而解析是解析了,你能確定DNS真的穩定嗎?不少站點的錯誤,正是因為DNS不穩定而造成的。尤其是那些又做域名注冊,又搞‘域名搶注’的平臺,這樣的平臺,更容易出現DNS解析不穩定的情況,尤其是在搶注高峰期。具體哪些品牌,這個就不點名了,如果你的域名在這些平臺中,賀貴江強烈建議你將其轉出。

B,頁面太大,有一些網站的部分頁面達到了四五六七八兆的情況,甚至還見過極少的網站出現過一個頁面有10MB大小。這樣的頁面,更容易出現鏈接超時。正常情況,并不建議網站的頁面大小超過3MB,同時建議網站服務器啟用GZIP壓縮。

C,帶寬不足,這是一個很常見的情況,不少站點出現鏈接超時都是因為帶寬不足而引發的。我們知道1M的帶寬峰值下載是128KB,如果網站是1M接入,頁面大小是256KB,如果同時2個人在打開頁面,那么就需要4秒才可以下載完畢。如果帶寬是2MB,頁面大小是1024KB,一個人打開網站需要8秒,可如果是10個人同時打開呢?所以帶寬這里,一定要做足。站長或者企業都應當觀察一下站點的平均帶寬,以及峰值帶寬情況,如果經常出現‘帶寬峰值’類型的訪問,那么就一定要升級帶寬了。

D,首字節時間,可能很多同學沒有聽說過這個問題,它指的是從發送請求到WEB服務器的時間+WEB服務器處理請求并生成響應花費的時間。有一些站點,首字節時間居然都可以達到5MS,這樣的情況,網站還能正常嗎?

點擊分享到:

版權與免責聲明:

凡未注明"稿件來源"的內容均為轉載稿,本網轉載出于傳遞更多信息的目的;如轉載稿涉及版權問題,請作者聯系我們,同時對于用戶評論等信息,本網并不意味著贊同其觀點或證實其內容的真實性;


本文地址:http://www.634662.live/news/2020/04/02/36920046.html

轉載本站原創文章請注明來源:奇米網

江苏哈灵麻将官网 新希望股票股吧 康美药业股票行情 炒股10000能赚多少钱 如何购买股票入门 股票新手入门知识视 中国软件股票吧 淘股吧股票论坛 股票三板论坛 短线黑马暴涨股票 不懂股票的人怎么玩