以Log Parser計算某日網站流量

by mandy 30. April 2015 16:24

由於公司管理的一台web server流量不太穩定,

不確定是異常的流量,還是那天真的沒什麼人瀏覽網站

image

可以發現2015年4月03日的參觀次數、網頁數、點擊數、位元組都特別少,

這個數據是由AWStats分析的結果,因此我想利用真正的IIS Log來印證當天的流量有沒有異常。



Log Parser這個工具的出現非常便捷,

一般傳統的log檔又臭又長,想統計個資訊可能要耗費大量的時間

使用Log Parser,就像在使用SQL語法一樣,

下個SELECT語法就可以兜出你想要的資訊



  1. 下載Log Parser 2.2:
    https://www.microsoft.com/en-us/download/details.aspx?id=24659
  2. 安裝非常簡單,只要雙擊安裝程式即可。
  3. 接著打開Log Parser 2.2工具:
    image
  4. 打開來就是命令提示字元,就可以在這邊下指令,撈想要呈現的Log資料。
    例如:我想要知道我的log檔有什麼欄位,就可以搭配TOP 1的語法

    LogParser “SELECT TOP 1 * FROM log檔路徑\*.log” –i:w3c –o:csv

    ※-i:w3c代表我的log輸入檔是w3c格式
    ※-o:csv代表我要輸出的結果格式為csv檔(以逗號隔開的結果)
    image

    補充:你可以在
    這裡看到這些欄位名稱代表的意思。
  5. 接著就是進階一點的用法,我想要統計位元組總和(04/03 8:00 ~ 04/04 8:00)

    先挑出20150403早上8:00以後的數據:(1048576=1024*1024,我把Bytes/1048576=MB)

    LogParser “SELECT TO_STRING(TO_TIMESTAMP(DATE, TIME),’MM-dd’) as Day,
    div(sum(cs-bytes),1048576) as INCOMING(K),
    div(sum(sc-bytes),1048576) as OUTGOING(K)
    from 路徑\u_ex150403.log
    WHERE TIME >= '08:00:00' GROUP BY Day”  –i:w3c –o:csv


    image



    再挑出20150404早上8:00以前的數據:
    LogParser “SELECT TO_STRING(TO_TIMESTAMP(DATE, TIME),’MM-dd’) as Day,
    div(sum(cs-bytes),1048576) as INCOMING(K),
    div(sum(sc-bytes),1048576) as OUTGOING(K)
    from 路徑\u_ex150404.log
    WHERE TIME <= '08:00:00' GROUP BY Day”  –i:w3c –o:csv


    image 


  6. 最後就可以利用兩個天數的資料相加去做加總,
    看要分析incoming(輸入server的流量)或是outgoing(server輸出的流量)都可以。

    Question:為什麼是抓04/03 8:00 ~ 04/04 8:00的流量?
    Answer:因為AWStats預設是使用英國格林威治的時間(GMT+0)統計流量,
    而台灣是GMT+8,所以要抓04/03 8:00~04/04 8:00的流量才會一致。


 

※後記「理論上」這個作法應該是最土法煉鋼的,可是卻跟AWStats沒有一天的數據是一致的。

我猜想AWStats可能有特殊的過濾方法,把重複點擊的資料給篩選掉了(亂猜XD)

有空再來看看AWStats是怎麼運作的,應該就可以知道為什麼不一樣了Q_Q


參考資料:

 

Tags: , ,

網管學習筆記

Add comment




  Country flag
biuquote
  • Comment
  • Preview
Loading






關於我們

這裡是由一群熟悉 Microsoft IT 技術的工程師所共同分享技術文章的部落格,除了定期分享工作上的技術經驗,我們也提供專業的技術顧問諮詢服務,有任何疑難雜症都歡迎與我們聯絡!

  • 陳冠龍(Owen)
  • 02-2322-2480 # 33
  • 陳昌賢(Mars)
  • 02-2322-2480 # 16
  • 有任何的建議或問題,請來信 ithelp-azure@miniasp.com

※ 學習資源:
    2016/3/9 - 你所不知道的 Microsoft Azure 雲端採購技巧
    (講者:多奇數位技術總監 - Will 保哥)

最新消息

企業上雲端會是未來趨勢

微軟主打 2 種公有雲平台

Office 365 & Azure

有興趣皆可來電 or E-Mail 詢問

Calendar

<<  May 2018  >>
MoTuWeThFrSaSu
30123456
78910111213
14151617181920
21222324252627
28293031123
45678910

View posts in large calendar