robots.txt協(xié)議是網(wǎng)站和搜索引擎的協(xié)議。

　　作為網(wǎng)站優(yōu)化人員，一定要會看robots文件，也要會寫robots文件，那么，robots.txt文件有什么作用?

　　robots.txt文件的作用有：

　　(1)引導(dǎo)搜索引擎蜘蛛抓取指定內(nèi)容或欄目。比如，有的網(wǎng)站部分內(nèi)容，只有注冊會員后，登陸會員功能才能看到更多內(nèi)容。

　　(2)網(wǎng)站改版或者URL需要重寫優(yōu)化的時候屏蔽對搜索引擎不友好的鏈接。

　　(3)屏蔽死鏈接、404頁面;

　　(4)屏蔽無內(nèi)容頁面、無價值頁面;

　　(5)屏蔽重復(fù)頁面，如搜索結(jié)果頁、評論頁面等;

　　(6)屏蔽任何不想收錄頁面;

　　(7)引導(dǎo)蜘蛛抓取網(wǎng)站地圖。

　　網(wǎng)站設(shè)置robots.txt可以集權(quán)到網(wǎng)站重要頁面，保護(hù)網(wǎng)站安全。

　　知道了robots.txt的作用和設(shè)置robots.txt的必要性后，我就要知道robots.txt怎么寫?

　　User-agent:Baiduspider

　　Disallow:/

　　禁止百度抓取

　　User-agent:*

　　Disallow:/

　　不允許所以蜘蛛抓取

　　User-agent:Baiduspider

　　Disallow:/baidu/

　　禁止訪問/baidu/里面的所有文件夾

　　User-agent:*

　　Disallow:/baidu/huaxia.js

　　緊張蜘蛛抓取某個文件夾下面的某個內(nèi)容

　　知道了這些，我們就根據(jù)robots.txt文件的寫法和實(shí)際需要。把寫好的robots.txt文件，通過FTP網(wǎng)站后臺打開上傳網(wǎng)站跟目錄就可以了。

　　為了方便各位朋友學(xué)習(xí)，robots.txt文件我們舉例寫一下，供需要學(xué)習(xí)的朋友參考：

　　User-agent: *

　　Disallow: /baidu/huaxia.js

　　指定所有搜索引擎蜘蛛抓取站點(diǎn)根目錄下/baidu/文件夾下的huaxia.js文件

　　User-agent: *

　　Allow: /baidu/ccc

　　Disallow: /baidu/

　　禁止所有搜索引擎抓取baidu文件夾

　　但可以抓取百度文件夾下含有ccc的文件及文件夾

　　User-agent: *

　　Disallow: /*.js$

　　禁止抓取站點(diǎn)根目錄所有js文件

　　User-agent: *

　　Disallow: /*.css$

　　禁止抓取站點(diǎn)根目錄下所有css文件

　　User-agent: *

　　Disallow: /*?*

　　禁止蜘蛛抓取所有動態(tài)路徑