網(wǎng)站是服務(wù)用戶的，一般情況下網(wǎng)站沒有什么特別大的問題的話，用戶都是可以訪問的，但是有些情況下，網(wǎng)站我們是可以訪問的，但是蜘蛛就是訪問不了，這就是抓取異常。

那么抓取異常都有什么原因呢？該怎么解決？

1.服務(wù)器的問題
服務(wù)器不穩(wěn)定的情況下會(huì)造成網(wǎng)站終端訪問不了，無法鏈接?；蛘叱霈F(xiàn)一直連接不上的情況，針對(duì)這種情況就只能換好的服務(wù)器了，千萬不貪圖小便宜，最終害了網(wǎng)站。

2.運(yùn)營(yíng)商的問題
國(guó)內(nèi)正常情況下都使用的是電信和聯(lián)通這兩種，一般用的是雙線服務(wù)，如果使用了單線服務(wù)造成的網(wǎng)站無法訪問，那么最好升級(jí)國(guó)雙線服務(wù)或者使用CND服務(wù)等方法解決。

3.DNS異常
當(dāng)蜘蛛無法解析你網(wǎng)站的IP的時(shí)候，就會(huì)出現(xiàn)DNS異常或者DNS錯(cuò)誤問題，可能是服務(wù)商把蜘蛛設(shè)置封禁了，或者網(wǎng)站IP的地址不正確造成的。可使用工具檢查域名是否解析正確，如果不正確或者無法解析，那么聯(lián)系域名商更新IP解決即可。

4.禁止蜘蛛抓取這個(gè)就要看查看相關(guān)的代碼設(shè)置，是否有禁止Baiduspider抓取設(shè)置，或者robots協(xié)議的設(shè)置問題等。

5.UA封禁
UA是用戶代理（User-Agent），服務(wù)器通過UA識(shí)別訪問者的身份，返回異常頁面（如403，500）或跳轉(zhuǎn)到其他頁面的情況，即為UA封禁。

當(dāng)網(wǎng)站不希望Baiduspider訪問的時(shí)候，需要設(shè)置對(duì)應(yīng)的訪問權(quán)限。

6.死鏈
死鏈?zhǔn)蔷W(wǎng)站中的無效頁面，沒有任何價(jià)值并且出現(xiàn)訪問無效的情況。有協(xié)議死鏈和內(nèi)容死鏈。

對(duì)于死鏈問題，通過采用404頁面制作或統(tǒng)計(jì)好404頁面向百度站長(zhǎng)平臺(tái)提交數(shù)據(jù)即可。

7.異常跳轉(zhuǎn)
異常跳轉(zhuǎn)也就是當(dāng)前的無效頁面比如死鏈、已經(jīng)刪除的頁面通過301直接跳轉(zhuǎn)到首頁或相關(guān)目錄頁面的情況。

或者是跳轉(zhuǎn)到出錯(cuò)、無效的頁面上。

這些情況都需要重視。主要還是301協(xié)議的問題，沒有必要的建議不要設(shè)置即可。

8.其它情況
JS代碼問題，JS代碼與搜索引擎并不友好，也不是重點(diǎn)識(shí)別的對(duì)象，如果JS代碼蜘蛛識(shí)別不了，那么也會(huì)現(xiàn)問題異常。

百度會(huì)根據(jù)網(wǎng)站的內(nèi)容、規(guī)模、訪問情況等自動(dòng)設(shè)定一個(gè)合理的抓取壓力。但是異常情況下，壓力控制失常的話，會(huì)導(dǎo)致服務(wù)器負(fù)荷作出自我保護(hù)的突發(fā)性封禁情況。

蜘蛛在恢復(fù)正常情況后，繼續(xù)來嘗試抓取，一般情況下都會(huì)成功抓取的。