問：經(jīng)常在網(wǎng)上看到說網(wǎng)站目錄里面最好加robots.txt文件，請(qǐng)問robots.txt是個(gè)什么樣文件，上傳了robots.txt文件到網(wǎng)站目錄又有什么作用呢？

    答：當(dāng)一個(gè)搜索引擎蜘蛛（比如百度蜘蛛）訪問你的站點(diǎn)時(shí)，它會(huì)首先檢查該站點(diǎn)根目錄下是否存在robots.txt，如果存在，搜索機(jī)器人就會(huì)按照該文件中的內(nèi)容來確定訪問的范圍；如果該文件不存在，所有的搜索蜘蛛將能夠訪問網(wǎng)站上所有沒有被口令保護(hù)的頁(yè)面。

    所以從這點(diǎn)看出，robots.txt是一個(gè)協(xié)議，而不是一個(gè)命令。robots.txt文件告訴蜘蛛程序在服務(wù)器上什么文件是可以被查看的，什么文件可以被抓取。當(dāng)然了，如果你的網(wǎng)站有robots.txt這個(gè)文件，那么它將是搜索引擎中訪問你的網(wǎng)站時(shí)要查看的第一個(gè)文件。

    推薦閱讀：百度官方定義什么是robots.txt文件？

    搜索引擎使用spider程序自動(dòng)訪問互聯(lián)網(wǎng)上的網(wǎng)頁(yè)并獲取網(wǎng)頁(yè)信息。spider在訪問一個(gè)網(wǎng)站時(shí)，會(huì)首先會(huì)檢查該網(wǎng)站的根域下是否有一個(gè)叫做 robots.txt的純文本文件，這個(gè)文件用于指定spider在您網(wǎng)站上的抓取范圍。您可以在您的網(wǎng)站中創(chuàng)建一個(gè)robots.txt，在文件中聲明 該網(wǎng)站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。

    請(qǐng)注意，僅當(dāng)您的網(wǎng)站包含不希望被搜索引擎收錄的內(nèi)容時(shí)，才需要使用robots.txt文件。如果您希望搜索引擎收錄網(wǎng)站上所有內(nèi)容，請(qǐng)勿建立robots.txt文件。

    robots.txt文件放在哪里？

    robots.txt文件應(yīng)該放置在網(wǎng)站根目錄下。舉例來說，當(dāng)spider訪問一個(gè)網(wǎng)站（比如 http://www.baidu.com）時(shí)，首先會(huì)檢查該網(wǎng)站中是否存在http://www.baidu.com/robots.txt這個(gè)文件，如果Spider找到這個(gè)文件，它就會(huì)根據(jù)這個(gè)文件的內(nèi)容，來確定它訪問權(quán)限的范圍。

    在robots.txt中禁止百度收錄，百度搜索結(jié)果中還顯示？

    如果其他網(wǎng)站鏈接了您robots.txt文件中設(shè)置的禁止收錄的網(wǎng)頁(yè)，那么這些網(wǎng)頁(yè)仍然可能會(huì)出現(xiàn)在百度的搜索結(jié)果中，但您的網(wǎng)頁(yè)上的內(nèi)容不會(huì)被抓取、建入索引和顯示，百度搜索結(jié)果中展示的僅是其他網(wǎng)站對(duì)您相關(guān)網(wǎng)頁(yè)的描述。