[分享] 分享apache下網(wǎng)站日志里面顯示百度蜘蛛（baiduspider）等的方法

cbh

這些天研究SEO需要分析網(wǎng)站的日志，看百度蜘蛛的爬行軌跡和爬行時(shí)間
但是在wdcp后臺(tái)看的web_log日志里面找了個(gè)遍硬是沒(méi)有找到這些信息
相信很多朋友也一樣有這個(gè)苦惱
于是百度搜索了一晚，再結(jié)合原有的apache日志格式，終于把這個(gè)難題給解決了
下面分享給大家

想要記錄你網(wǎng)站的日志
1、首頁(yè)，你要在 “站點(diǎn)編輯” 里面把 "開(kāi)啟訪問(wèn)日志 " 這個(gè)選項(xiàng)打勾，如下圖：

下載 (11.19 KB)

2013-3-9 23:25

2、配置vhost 里面對(duì)應(yīng)站點(diǎn)的 conf 文件（ /www/wdlinux/apache/conf/vhost）
把 CustomLog "/www/web_logs/你的域名_access_log" common 這一行的  common 修改成 combined
也就是修改成 CustomLog "/www/web_logs/你的域名_access_log" combined

修改完后保存一下

3、重新啟動(dòng)web服務(wù)，測(cè)試一下效果

4、如果還是不行的話，把 /www/wdlinux/apache/conf/httpd.conf  這個(gè)文件也改一下
把 #CustomLog "logs/access_log" combined  這一句前面的 # 去掉，然后再重啟web服務(wù)

好了，以上操作應(yīng)該是可以實(shí)現(xiàn)效果了，希望大家都可以操作成功

qing763

回復(fù) 1# cbh
補(bǔ)充一下：第二條這個(gè)方法目前有一個(gè)問(wèn)題，如果在站點(diǎn)設(shè)置里面修改了其他設(shè)置，保存之后站點(diǎn)對(duì)應(yīng)的conf配置文件會(huì)自動(dòng)覆蓋掉�；蛘唿c(diǎn)擊了“更新所有站點(diǎn)配置”，對(duì)應(yīng)的conf配置文件也會(huì)覆蓋掉你手動(dòng)添加的代碼。到時(shí)候默認(rèn)的設(shè)置還會(huì)是：CustomLog "/www/web_logs/你的域名_access_log" common，然后又得去手動(dòng)改一下。我找到一個(gè)完美解決的辦法，其他地方都不要?jiǎng)樱�也不用去修改站點(diǎn)的conf配置文件。
直接修改apache默認(rèn)的httpd.conf配置文件。打開(kāi)/www/wdlinux/apache/conf/httpd.conf。找到：
LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined
LogFormat "%h %l %u %t \"%r\" %>s %b" common

把common和combined交換一下就行了，最終的代碼：

LogFormat "%h %l %u %t \"%r\" %>s %b" combined

LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" common


上傳后重啟一下web服務(wù)就可以了。
原理就是在“站點(diǎn)編輯” 里面 "開(kāi)啟訪問(wèn)日志"后，默認(rèn)是添加的CustomLog "/www/web_logs/你的域名_access_log" common 這段代碼，生效的就是httpd.conf里面common的配置，改一下默認(rèn)的common的配置就OK了。

admin

不錯(cuò)

glmgs

回復(fù) 3# admin

管理員，這樣設(shè)置好了以后，我可以像這樣查詢網(wǎng)站日志嗎？

下載 (67.8 KB)

2013-8-14 21:53

網(wǎng)站日志是每天分類的，只記錄每天的日志？
如果是可以像我這樣查詢的，請(qǐng)問(wèn)是不是地址就是在/www/web_logs下面？

謝謝

admin

可以的

dmcountry

回復(fù) 2# qing763

謝謝樓主分享！

supertree

不錯(cuò)，方法正確，解決了我一個(gè)大問(wèn)題……

oy86866

哈哈，正找這個(gè)問(wèn)題呢、:lol試試去