重復(fù)內(nèi)容通常是指域內(nèi)或多個(gè)域之間存在的、與其他內(nèi)容完全匹配或大致類似的內(nèi)容。也就是說(shuō)一個(gè)網(wǎng)站中可能存在很多重復(fù)的頁(yè)面，好比內(nèi)容頁(yè)、產(chǎn)品的搜索列表頁(yè)、不同的url指向統(tǒng)一頁(yè)面等，這就都是屬于重復(fù)范圍。表面看起來(lái)沒什么關(guān)系，對(duì)網(wǎng)站無(wú)害。但對(duì)蜘蛛而言就是滅頂之災(zāi)。當(dāng)然大多數(shù)情況下也不是故意的頁(yè)面重復(fù).

能夠天生用于移動(dòng)設(shè)備的常規(guī)和簡(jiǎn)化網(wǎng)頁(yè)的論壇

通過(guò)多個(gè)不同網(wǎng)址顯示或鏈接的存儲(chǔ)項(xiàng)目

網(wǎng)頁(yè)的可打印版本

URL的重復(fù)

不同url指向統(tǒng)一頁(yè)面，這個(gè)也算重復(fù)頁(yè)面。蜘蛛爬行是按照鏈接來(lái)爬行的，在爬行之前蜘蛛并不知道這些不同的url指向統(tǒng)一個(gè)頁(yè)面。它會(huì)慢慢的去爬行，爬過(guò)之后才會(huì)知道竟然是重復(fù)的頁(yè)面，在進(jìn)行相應(yīng)的處理，表面上看起來(lái)也是沒有什么題目。實(shí)際上蜘蛛已經(jīng)花了相稱大的力氣來(lái)解析這幾個(gè)重復(fù)的url，這就即是是寬帶的鋪張一樣。

http://www.***.net/

***.net

http://www.***.net/index.html

訪問(wèn)的都是首頁(yè)，何不如我們做做好事，用301重定向把他轉(zhuǎn)到指定的url。

筆者選擇http://www.***.net/這個(gè)地址，采用Apache服務(wù)器設(shè)置方法是，在.htaccess文件中加入以下代碼

具體方法請(qǐng)查看百度百科里的具體先容http://baike.baidu.com/view/2173220.htm

打印文本的重復(fù)

一般網(wǎng)站都會(huì)有一個(gè)可供瀏覽的頁(yè)面，還有一個(gè)可以打印的文本。這個(gè)打印文本一般是看不出來(lái)的，只有需要打印才能看到文本，但內(nèi)容都和頁(yè)面文本一樣，這就形成了和網(wǎng)頁(yè)文本的重復(fù)。對(duì)用戶無(wú)所謂，但對(duì)蜘蛛就不一樣了。我們應(yīng)該避免這個(gè)情況泛起，解決方法是用robots.txt來(lái)禁止蜘蛛抓取打印文本。

底部版權(quán)的重復(fù)

每個(gè)網(wǎng)站都有自己的版權(quán)說(shuō)明，有的網(wǎng)站在底部些了良多關(guān)于版權(quán)方面的文字，非常的多。實(shí)在這個(gè)完全沒有必要。把一切關(guān)于版權(quán)，公司動(dòng)態(tài)，法律聲明的東西都放到一個(gè)獨(dú)立頁(yè)面去，只用文本鏈接過(guò)去。這樣也大大降低了樣板文字的重復(fù)度。

404頁(yè)面的重復(fù)

一個(gè)大型網(wǎng)站無(wú)可厚非有良多404頁(yè)面。但這些404頁(yè)面也是一種資源上的重復(fù)。最好是用robots.txt來(lái)禁止抓取。

網(wǎng)站搜索的重復(fù)

現(xiàn)在的網(wǎng)站都有一個(gè)用戶喜歡的工具，那就是網(wǎng)站搜索條。對(duì)用戶而言能更快的找到自己想要的內(nèi)容，但對(duì)蜘蛛不是這么回事，也會(huì)增加重復(fù)度，所以也要屏蔽它。

一般可以在robots.txt文件里加入Disallow： /search.php$（/search.php）文件要根據(jù)你網(wǎng)站系統(tǒng)來(lái)定，也就是你網(wǎng)站搜索采用哪個(gè)文件來(lái)執(zhí)行搜索的）

Robots.txt文件的應(yīng)用

我發(fā)現(xiàn)好多可以禁止重復(fù)頁(yè)面的方法都可以用robots.txt文件來(lái)解決，所以我們一定要把握robots.txt使用的準(zhǔn)確方法，施展它強(qiáng)盛的威力。

百度robots.txt說(shuō)明 http://www.baidu.com/search/robots.html

無(wú)論是做seo仍是做網(wǎng)站，每一個(gè)細(xì)節(jié)都是決定成敗的樞紐，你比別人多付出一點(diǎn)，你就可以穩(wěn)操勝券。重復(fù)頁(yè)面臨蜘蛛而言非常的耗時(shí)耗力，我們也該為蜘蛛減減壓了。