本帖最后由 leleshe 于 2013-6-18 22:54 編輯
說明 Robots工具 robots.txt可以告訴搜索引擎您的網站哪些頁面可以被收錄,哪些頁面不可以被收錄,如果您不想讓搜索引擎收錄您網站的某些內容,請用robots.txt文件指定搜索引擎在您網站上的抓取范圍。該工具可以檢測您的網站是否有robots.txt文件,及robots.txt文件內容,并能按照您的需求生成正確的robots.txt文件。
下載 (7.89 KB)
2013-6-18 22:47
我在百度上看到這個robots工具 所以我就想讓搜索引擎不抓取 /linux下的目錄創(chuàng)建規(guī)則如下
然后生成robot.txt文件下載下來
下載 (3.1 KB)
2013-6-18 22:51
我吧它放在了www下
下載 (5.98 KB)
2013-6-18 22:49
請問管理這樣可行么?行了的話方的地方對不對? 請教 這是禁止所有搜索引擎抓取的代碼規(guī)則 |