題目一：語句的先后順序倒置

　　我們先來分析一段固然很簡樸，但是被廣泛應(yīng)用的語句：

　　User-agent: *

　　Allow: /

　　Disallow: /1234/

　　從這三段robots語句中我們不能看出這原本的書寫目的是要讓搜索引擎不要爬行1234目錄下面的頁面，而其他的頁面則沒有限制。而事實(shí)上這段語句的執(zhí)行效果與我們的目的是背道而馳的，為什么呢?分析后你會(huì)發(fā)現(xiàn)搜索引擎蜘蛛對(duì)于robots文件的讀取順序是從上到下的，假如你這么寫的話這將會(huì)造成屏蔽語句失去原有的效力，修改的方法是將兩者乾坤大挪移，將Disallow: /1234/與Allow: /位置對(duì)調(diào)就能實(shí)現(xiàn)我么想要的效果

　　題目二：屏蔽站點(diǎn)的某一個(gè)頁面時(shí)，遺漏斜杠“/”

　　我們也常常使用robots屏蔽某一個(gè)敏感的不想搜索引擎爬行的頁面，而在這條語句上我們也有良多細(xì)節(jié)想要留意，舉個(gè)例子，如果加入我們想要屏蔽為于根目錄下的登陸頁面login.asp這一頁面，有的站長可能會(huì)這么寫：Disallow: login.asp，這乍一看沒什么題目，但是筆者想要問一下你想要屏蔽的這個(gè)頁面是位于什么目錄的?是根目錄或者是一級(jí)二級(jí)目錄的?假如我們忽略前面的斜杠，搜索引擎蜘蛛無法知道該頁面在哪里。修改的方法是：Disallow: /login.asp，這樣才能真正的屏蔽位于根目錄下面的login.asp這一登陸頁面。

　　題目三：屏蔽站點(diǎn)的整個(gè)目錄后，遺漏斜杠“/”

　　除了屏蔽單個(gè)頁面，我想大多數(shù)站長更常使用的是屏蔽整個(gè)目錄。同樣舉個(gè)案例，好比我們想屏蔽站點(diǎn)的某一個(gè)目錄，如/seo/這一目錄下面的頁面，有的人可能會(huì)這樣寫Disallow: /seo。這樣寫是否準(zhǔn)確呢?這樣寫不進(jìn)有錯(cuò)，而且錯(cuò)很大，造成的危害也很大。我們這樣固然可以屏蔽掉/seo/這一目錄下面的所有想干頁面。但是也會(huì)波折到其他不相關(guān)的頁面，這也將屏蔽開頭為/seo的所有頁面。其施展的作用就猶如是Disallow: /seo*。修改的方法很簡樸，即在我們需要屏蔽的目錄名稱后不要漏了斜杠，如Disallow: /seo/。

　　Robots文件可以保護(hù)我們的站點(diǎn)的一些文件不被搜索引擎抓取，同時(shí)也可以晉升搜搜引擎的抓取效率。但是假如我們不留意細(xì)節(jié)的話，不僅得不到效果，還往往會(huì)適得其反。但愿本文對(duì)于大家在寫robots文件時(shí)有所匡助。