相信大部分人聽(tīng)了robots.txt文件都會(huì)一臉懵，沒(méi)有聽(tīng)說(shuō)過(guò)，也沒(méi)有接觸過(guò)。所以當(dāng)需要用到的時(shí)候就開(kāi)始慌亂，各種找案例去了解。下面文章內(nèi)容就為大家簡(jiǎn)單介紹一下robots.txt怎么寫(xiě)，希望能夠幫助到大家。

什么是robots.txt文件

我們從這個(gè)文件名來(lái)看，它是.txt后綴名的，大家也應(yīng)該知道這是一個(gè)文本文件，也就是記事本。seo優(yōu)化技巧搜索引擎根據(jù)一定的策略、運(yùn)用特定的計(jì)算機(jī)程序從互聯(lián)網(wǎng)上搜集信息，在對(duì)信息進(jìn)行組織和處理后，為用戶提供檢索服務(wù)，將用戶檢索相關(guān)的信息展示給用戶的系統(tǒng)。學(xué)習(xí)搜索引擎優(yōu)化SEO，必須先了解什么是搜索引擎。搜索引擎包括全文索引、目錄索引、元搜索引擎、垂直搜索引擎、集合式搜索引擎、門(mén)戶搜索引擎與免費(fèi)鏈接列表等。robots，懂點(diǎn)英語(yǔ)的人應(yīng)該都人士，是機(jī)器人的意思，對(duì)我們而言這個(gè)機(jī)器人代表的就是搜索引擎機(jī)器人，從名字上就可以猜到這個(gè)文件是我們專(zhuān)門(mén)寫(xiě)給蜘蛛看的。它的作用就是告訴蜘蛛，那些欄目或者是那些頁(yè)面不需要抓取，當(dāng)然也可以直接屏蔽掉某個(gè)蜘蛛的訪問(wèn)。注意，這個(gè)文件是放在網(wǎng)站根目錄下的，這樣才能保證蜘蛛可以在第一時(shí)間讀取文件內(nèi)容。

robots文件的作用

其實(shí)robots文件最常被我們用到的就是屏蔽網(wǎng)站內(nèi)的死鏈接。大家應(yīng)該知道一個(gè)網(wǎng)站死鏈接多了會(huì)影響網(wǎng)站的權(quán)重。但是網(wǎng)站死鏈接清理雖然說(shuō)不上是麻煩，還是需要花上不少時(shí)間的，特別是如果站內(nèi)死鏈接較多的情況下，清理起來(lái)很費(fèi)勁，這時(shí)候robots文件的用處就體現(xiàn)出來(lái)了，我們可以直接將這些死鏈接按照格式寫(xiě)入文件中阻止蜘蛛抓取，想清理的或以后在慢慢清理。有些網(wǎng)站內(nèi)容中包含一些站長(zhǎng)不想讓蜘蛛抓取的url或文件，也可以直接屏蔽。對(duì)于屏蔽蜘蛛，用到的一般都比較少。

robots.txt怎么寫(xiě)

這一點(diǎn)應(yīng)該是比較重要的了。如果寫(xiě)錯(cuò)了想屏蔽的沒(méi)成功，想被抓取的卻寫(xiě)進(jìn)去自己不能及時(shí)發(fā)現(xiàn)可就虧大了。首先我們要知道兩個(gè)標(biāo)簽，Allow和Disallow，一個(gè)是允許，一個(gè)是不允許，它的作用相比大家也都能理解。

User-agent: *

Disallow:

或者

User-agent: *

Allow:

這兩段內(nèi)容表示的都是允許抓取所有，實(shí)際上屏蔽url和文件用到的是Disallow標(biāo)簽，除非你的網(wǎng)站只有幾條想要被抓取采用Allow標(biāo)簽。這個(gè)User-agent：后面跟的就是蜘蛛名稱(chēng)，大家對(duì)主流的搜索引擎蜘蛛名稱(chēng)應(yīng)該比較熟悉。下面以搜搜蜘蛛為例：Sosospider。

當(dāng)我們想屏蔽搜搜蜘蛛的時(shí)候：

User-agent: sosospider

Disallow: /

大家可以發(fā)現(xiàn)這個(gè)屏蔽蜘蛛跟上面允許相比只是多了一個(gè)“/”，其含義就起了翻天覆地的變化，所以在書(shū)寫(xiě)的時(shí)候要千萬(wàn)注意，可不能因?yàn)槎鄬?xiě)個(gè)斜杠屏蔽了蜘蛛自己卻不知道。網(wǎng)站SEO包含站外SEO和站內(nèi)SEO兩方面;SEO是指為了從搜索引擎中獲得更多的免費(fèi)流量，從網(wǎng)站結(jié)構(gòu)、內(nèi)容建設(shè)方案、用戶互動(dòng)傳播、頁(yè)面等角度進(jìn)行合理規(guī)劃，使網(wǎng)站更適合搜索引擎的索引原則的行為;使網(wǎng)站更適合搜索引擎的索引原則又被稱(chēng)為對(duì)搜索引擎優(yōu)化，對(duì)搜索引擎優(yōu)化不僅能夠提高SEO的效果，還會(huì)使搜索引擎中顯示的網(wǎng)站相關(guān)信息對(duì)用戶來(lái)說(shuō)更具有吸引力。網(wǎng)站SEO搜索引擎優(yōu)化是一種利用搜索引擎的搜索規(guī)則來(lái)提高目前網(wǎng)站在有關(guān)搜索引擎內(nèi)的自然排名的方式。SEO的目的理解是：為網(wǎng)站提供生態(tài)式的自我營(yíng)銷(xiāo)解決方案，讓網(wǎng)站在行業(yè)內(nèi)占據(jù)領(lǐng)先地位，從而獲得品牌收益。還有就是在user-agent：后邊不屑固定蜘蛛名稱(chēng)跟的如果是“*”表示是針對(duì)所有蜘蛛的。

禁止某個(gè)目錄被搜索引擎蜘蛛抓取，設(shè)置代碼如下：

User-agent: *

Disallow: /目錄/

注意，這里如果是阻止抓取某目錄的話目錄名字一定要注意“/”，不帶“/”表示的是阻止訪問(wèn)這個(gè)目錄頁(yè)面和目錄下的頁(yè)面，而帶上“/”則表示進(jìn)阻止目錄下的內(nèi)容頁(yè)面，這兩點(diǎn)要分清楚。如果是想屏蔽多個(gè)目錄就需要采用

User-agent: *

Disallow: /目錄1/

Disallow: /目錄2/

這樣的形式，不能采用 /目錄1/目錄2/ 這樣的形式。

如果是阻止蜘蛛訪問(wèn)某一類(lèi)型的文件，例如阻止抓取.jpg格式的圖片可以設(shè)置成：

User-agent: *

Disallow: .jpg$

了解了robots.txt怎么寫(xiě)后，相信大家對(duì)此也不再陌生。當(dāng)我們?cè)谄綍r(shí)的工作中遇到類(lèi)似的問(wèn)題，大家就可以通過(guò)自己的了解去進(jìn)行針對(duì)性的解決。