通常情況下,網站都是需要讓搜索引擎收錄的,這樣才能更好地增加網站的訪問量,但是也有個別行業的網站,如安全性要求較高銀行和企業的內部管理系統等他們這種站的安全性和私密性較高,肯定是不希望把數據在第三方上顯露,那么如果禁止網站被搜索引擎抓取呢?盛輝科技總結如下:
   先在站點的根目錄下新建一個robots.txt文本文件。當搜索蜘蛛訪問這個站點時，它會先檢查該站點根目錄下是否存在robots.txt，如果存在，搜索蜘蛛就會先讀取這個文件的內容:
文件寫法
User-agent: * 這里的*代表的所有的搜索引擎種類，*是一個通配符
Disallow: / 這里定義是禁止爬尋站點所有的內容
Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄
Disallow: /ABC/ 這里定義是禁止爬尋ABC目錄下面的目錄
Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)。
Disallow: /*?* 禁止訪問網站中所有包含問號 (?) 的網址
Disallow: /.jpg$ 禁止抓取網頁所有的.jpg格式的圖片
Disallow:/ab/adc.html 禁止爬取ab文件夾下面的adc.html文件。
Allow: /cgi-bin/ 這里定義是允許爬尋cgi-bin目錄下面的目錄
Allow: /tmp 這里定義是允許爬尋tmp的整個目錄
Allow: .htm$ 僅允許訪問以".htm"為后綴的URL。
Allow: .gif$ 允許抓取網頁和gif格式圖片
Sitemap: 網站地圖 告訴爬蟲這個頁面是網站地圖
 
下面列出來的是比較出名的搜索引擎蜘蛛名稱：
Google的蜘蛛： Googlebot
百度的蜘蛛：baiduspider
Yahoo的蜘蛛：Yahoo Slurp
MSN的蜘蛛：Msnbot
Altavista的蜘蛛：Scooter
Lycos的蜘蛛： Lycos_Spider_(T-Rex) 
Alltheweb的蜘蛛： FAST-WebCrawler/ 
INKTOMI的蜘蛛： Slurp
SOGOU的蜘蛛：Sogou web spider/4.0和Sogouinst spider/4.0

按照以上的說明,我們可以給大案一個示例,以Sogou的來說,禁止抓取的robots.txt代碼寫法如下:
User-agent: Sogou web spider/4.0
Disallow: /goods.php 
Disallow: /category.php