說(shuō)到蜘蛛陷阱，可能很多SEO新手都沒(méi)有聽(tīng)過(guò)，什么是蜘蛛？蜘蛛陷阱是阻止蜘蛛爬行網(wǎng)站的障礙物或者說(shuō)是干擾物，很多蜘蛛陷阱是人為的，也有很多是不小心造成的，既然是蜘蛛陷阱那就是對(duì)于蜘蛛的陷阱，對(duì)用戶是沒(méi)有影響的，所以可能網(wǎng)頁(yè)界面看起來(lái)非常正常，但里面就有可能存在蜘蛛陷阱。如果消除這些蜘蛛陷阱，可以使蜘蛛更好的在網(wǎng)站內(nèi)部爬行抓取，現(xiàn)在就來(lái)看一下一些SEOer不得不知的蜘蛛陷阱！


1. Flash動(dòng)畫(huà)

有的朋友會(huì)問(wèn)，為什么Flash是蜘蛛陷阱的一種，其實(shí)這個(gè)問(wèn)題很簡(jiǎn)單，就是因?yàn)橹┲胱R(shí)別不了Flash，很多網(wǎng)站喜歡在首頁(yè)做一個(gè)Flash動(dòng)畫(huà)然后再跳向HTML頁(yè)面，用戶可以訪問(wèn)網(wǎng)站看完片頭后被轉(zhuǎn)向得真正的HTML網(wǎng)頁(yè)。但搜索引擎蜘蛛呢？蜘蛛是不能通過(guò)這個(gè)Flash跟蹤到HTML版本頁(yè)面的。這就是一個(gè)陷阱，阻擋了蜘蛛繼續(xù)抓取網(wǎng)站。如果Flash效果是必需的，木木seo建議在首頁(yè)Flash文件之外加上一個(gè)通往HTML版本的鏈接，這樣蜘蛛可以跟蹤這個(gè)鏈接抓取后面得HTML頁(yè)面。

2. JS鏈接

Javascript可以創(chuàng)造出很多吸引人得視覺(jué)效果，有些網(wǎng)站喜歡使用Javascript腳本生成導(dǎo)航系統(tǒng)。這也是比較嚴(yán)重得蜘蛛陷阱之一。蜘蛛對(duì)于js也是識(shí)別不了的，對(duì)于js特效可以加入網(wǎng)站，也可以將不需要被抓取的鏈接放入js，但是需要進(jìn)行爬行抓取的鏈接一定不能放入JS，這會(huì)造成蜘蛛不能繼續(xù)爬行，同時(shí)js也不要太多，可以專門建一個(gè)js文件。

3. 動(dòng)態(tài)URL

我們說(shuō)現(xiàn)在蜘蛛是可以抓取部分URL鏈接的，但是動(dòng)態(tài)URL是數(shù)據(jù)庫(kù)直接生成的，有的帶了問(wèn)號(hào)、等號(hào)等多個(gè)參數(shù)。這類網(wǎng)址不僅不利于搜索引擎蜘蛛爬行，而且還可能造成蜘蛛的死循環(huán)，這是一個(gè)致命的蜘蛛陷阱。所以大多數(shù)情況都是建議大家網(wǎng)址靜態(tài)化?！娟P(guān)于這點(diǎn)，我覺(jué)得只要參數(shù)不多，處理好死鏈對(duì)搜索引擎而言沒(méi)什么影響?！?br />
4. Session ID

有些網(wǎng)站為了跟蹤用戶訪問(wèn)使用Session ID，每個(gè)用戶訪問(wèn)網(wǎng)站時(shí)都會(huì)生成獨(dú)特唯一得Session ID，也即ID。這個(gè)ID都是加在URL中，搜索引擎蜘蛛的每一次訪問(wèn)也會(huì)被當(dāng)成一個(gè)新得用戶在URL中會(huì)加上一個(gè)不同的ID,這樣蜘蛛每次來(lái)訪問(wèn)時(shí)所得到的同一個(gè)頁(yè)面會(huì)是一個(gè)不一樣的URL。結(jié)果就很明顯，這樣一來(lái)會(huì)產(chǎn)生復(fù)制內(nèi)容頁(yè)面，造成了高度重復(fù)的內(nèi)容頁(yè)。

5. Frame框架　　

框架結(jié)構(gòu)對(duì)蜘蛛來(lái)說(shuō)和Flash、js一樣都是一道墻，框架結(jié)構(gòu)也會(huì)阻礙搜索引擎蜘蛛的爬行和抓取，讓蜘蛛掉進(jìn)陷阱。

6. 要求登錄

這個(gè)是很常見(jiàn)的，有些網(wǎng)站內(nèi)容放在需要用戶登錄之后才能看到得到，設(shè)置有的整個(gè)網(wǎng)站只能登陸進(jìn)入后才能看，這對(duì)于用戶當(dāng)然沒(méi)什么，而對(duì)于蜘蛛就造成陷阱，為什么？因?yàn)橹┲氩荒芴顚懹脩裘?、密碼、也不會(huì)注冊(cè)，自然而然，蜘蛛不能進(jìn)來(lái)抓取你的內(nèi)容，所以除非是VIP內(nèi)容或者是不需要蜘蛛抓取的內(nèi)容，其它的應(yīng)該對(duì)蜘蛛公開(kāi)，這樣才能抓取。

7. 強(qiáng)制使用Cookies　　

有些網(wǎng)站為了實(shí)現(xiàn)某種功能、如記住用戶登錄信息、跟蹤用戶訪問(wèn)路徑等、強(qiáng)制用戶使用Cookies、用戶瀏覽器如果沒(méi)有啟用Cookies、頁(yè)面顯示不正常。搜索引擎蜘蛛就相當(dāng)于一個(gè)禁用Cookies得瀏覽器、強(qiáng)制使用Cookies只能造成搜索引擎蜘蛛無(wú)法正常訪問(wèn)

8.各種跳轉(zhuǎn)

目前比較建議的網(wǎng)站跳轉(zhuǎn)就是301、302重定向，而其它跳轉(zhuǎn)，蜘蛛是非常的敏感。因?yàn)楹诿弊钕矚g用跳轉(zhuǎn)這種手段了，黑了別人的網(wǎng)站，然后在別人的網(wǎng)站上掛上一個(gè)指向自己網(wǎng)站的跳轉(zhuǎn)。像js跳轉(zhuǎn)、代碼跳轉(zhuǎn)等都不建議大家隨便用，特別是如果在做404頁(yè)面一定要用代碼跳轉(zhuǎn)，那建議時(shí)間在5秒以上。

9.網(wǎng)站鏈接結(jié)構(gòu)

對(duì)于蜘蛛而言，我們主要說(shuō)的就是網(wǎng)站的鏈接結(jié)構(gòu)，其實(shí)網(wǎng)站的鏈接結(jié)構(gòu)就等于一個(gè)房子，鏈接就是門，而蜘蛛就是我們邀請(qǐng)而來(lái)的朋友，網(wǎng)站鏈接結(jié)構(gòu)槽糕混亂就相當(dāng)于朋友來(lái)到你家后根本就分不清楚東南西北，找不到入口出口。連對(duì)應(yīng)的鏈接都找不到，蜘蛛怎么進(jìn)行抓爬？所以鏈接結(jié)構(gòu)還是需要呈扁平樹(shù)狀結(jié)構(gòu)。

知道了這些可能的蜘蛛陷阱，大家以后就要注意別給蜘蛛搭陷阱了，那么現(xiàn)在趕緊去你的網(wǎng)站經(jīng)常一下吧，看是否還有這些蜘蛛陷阱。

Tags：網(wǎng)站優(yōu)化，網(wǎng)站SEO