项目的一个需求是解析nginx的日志文件。
简单的整理如下：
日志规则描述
首先要明确自己的nginx的日志格式，这里采用默认nginx日志格式：
log_format main ‘$remote_addr – $remote_user [$time_local] “$request” ‘
‘$status $body_bytes_sent “$http_referer” ‘
‘”$http_user_agent” “$http_x_forwarded_for”‘;
其中一条真实记录样例如下：
代码如下:
172.22.8.207 – – [16/dec/2014:17:57:35 +0800] “get /report?domjjus6kewjp+wculsqagdukaipodexmzawmdjdn0fc http/1.1” 200 0 “-” “xxxxxxx/1.0.16; iphone/ios 8.1.2; ; 8da77e2f91d0”
其中，客户端型号信息用xxxxxxx代替。
项目中已经按照业务规则对nginx日志文件进行了处理命名规则如下：
id-id-yymmdd-hhmmss
并且所有的日志文件存放在统一路径下。
解决思路
获取所有日志文件path
这里使用python的glob模块来获取日志文件path
import glob
def readfile(path):
return glob.glob(path + ‘*-*-*-*’)
获取日志文件中每一行的内容
使用python的linecache模块来获取文件行的内容
import linecache
def readline(path):
return linecache.getlines(path)
注意：linecache模块使用了缓存，所以存在以下问题：
在使用linecache模块读取文件内容以后，如果文件发生了变化，那么需要使用linecache.updatecache(filename)来更新缓存，以获取最新变化。
linecache模块使用缓存，所以会耗费内存，耗费量与要解析的文件相关。最好在使用完毕后执行linecache.clearcache()清空一下缓存。
当然，作为优化，这里可以利用生成器来进行优化。暂且按下不表。
处理日志条目
一条日志信息就是一个特定格式的字符串，因此使用正则表达式来解析，这里使用python的re模块。
下面，一条一条建立规则：
规则
ip = r”?p[\d.]*”
date = r”?p\d+”
month = r”?p\w+”
year = r”?p\d+”
log_time = r”?p\s+”
method = r”?p\s+”
request = r”?p\s+”
status = r”?p\d+”
bodybytessent = r”?p\d+”
refer = r”””?p
[^\”]*
“””
useragent=r”””?p
.*
“””
解析
代码如下:
p = re.compile(r”(%s)\ -\ -\ \[(%s)/(%s)/(%s)\:(%s)\ [\s]+\]\ \”(%s)?[\s]?(%s)?.*?\”\ (%s)\ (%s)\ \”(%s)\”\ \”(%s).*?\”” %( ip, date, month, year, log_time, method, request, status, bodybytessent, refer, useragent ), re.verbose)
m = re.findall(p, logline)
这样，就可以得到日志条目中各个要素的原始数据。
格式及内容转化
得到日志原始数据之后，需要根据业务要求，对原始数据进行格式及内容转化。
这里需要处理的内容包括：时间，request，useragent
时间格式转化
在日志信息原始数据中存在dec这样的信息，利用python的time模块可以方便的进行解析
import time
def parsetime(date, month, year, log_time):
time_str = ‘%s%s%s %s’ %(year, month, date, log_time)
return time.strptime(time_str, ‘%y%b%d %h:%m:%s’)
解析request
在日志信息原始数据中得到的request的内容格式为：
/report?xxxxxx
这里只需要根据协议取出xxxxxx即可。
这里仍然采用python的re模块
import re
def parserequest(rqst):
param = r”?p.*”
p = re.compile(r”/report\?(%s)” %param, re.verbose)
return re.findall(p, rqst)
接下来需要根据业务协议解析参数内容。这里需要先利用base64模块解码，然后再利用struct模块解构内容：
import struct
import base64
def parseparam(param):
decodeinfo = base64.b64decode(param)
s = struct.struct(‘!x’ + bytes(len(decodeinfo) – (1 + 4 + 4 + 12)) + ‘xii12x’)
return s.unpack(decodeinfo)
解析useragent
在日志信息原始数据中useragent数据的格式为：
xxx; xxx; xxx; xxx
根据业务要求，只需要取出最后一项即可。
这里采用re模块来解析。
import re
def parseuseragent(useragent):
agent = r”?p.*”
p = re.compile(r”.*;.*;.*;(%s)” %agent, re.verbose)
return re.findall(p, useragent)
至此，nginx日志文件解析基本完成。
剩下的工作就是根据业务需要，对获得的基本信息进行处理。
以上所述就是本文的全部内容了，希望大家能够喜欢。