特定のIPがログファイルに何回表示されるかを調べる方法は？

Question

私は、ログファイルから一意のIPアドレスを抽出し、それらのIPがコードに何回pingされたかのカウントを表示するPythonスクリプトを持っています。

import sys 

def extract_ip(line): 
    return line.split()[0] 

def increase_count(ip_dict, ip_addr): 
    if ip_addr in ip_dict: 
     ip_dict[ip_addr] += 1 
    else: 
     ip_dict[ip_addr] = 1 

def read_ips(infilename): 
    res_dict = {} 
    log_file = file(infilename) 
    for line in log_file: 
     if line.isspace(): 
      continue 
     ip_addr = extract_ip(line) 
     increase_count(res_dict, ip_addr) 
    return res_dict 

def write_ips(outfilename, ip_dict): 
    out_file = file(outfilename, "w") 
    for ip_addr, count in ip_dict.iteritems(): 
     out_file.write("%5d\t%s\n" % (count, ip_addr)) 
    out_file.close() 

def parse_cmd_line_args(): 
    if len(sys.argv)!=3: 
     print("Usage: %s [infilename] [outfilename]" % sys.argv[0]) 
     sys.exit(1) 
    return sys.argv[1], sys.argv[2] 

def main(): 
    infilename, outfilename = parse_cmd_line_args() 
    ip_dict = read_ips(infilename) 
    write_ips(outfilename, ip_dict) 

if __name__ == "__main__": 
    main() 

は、私たちは、特定のURLを渡した場合、それはURLがIPアドレスでアクセスされた回数を返す必要がありますようにコードに機能を追加したいです。

など。私は、入力としてURLを渡す場合：http://www.epicbrowser.com/hrefadd.xml

出力は、次の形式のログファイルが24K行で、次の形式である

10.10.128.134  4 
10.134. 222.232  6 

にする必要があります。

220.227.40.118 - - [06/Mar/2012:00:00:00 -0800] "GET /mysidebars/newtab.html HTTP/1.1" 404 0 - - 
220.227.40.118 - - [06/Mar/2012:00:00:00 -0800] "GET /hrefadd.xml HTTP/1.1" 204 214 - - 
59.95.13.217 - - [06/Mar/2012:00:00:00 -0800] "GET /dbupdates2.xml HTTP/1.1" 404 0 - - 
111.92.9.222 - - [06/Mar/2012:00:00:00 -0800] "GET /mysidebars/newtab.html HTTP/1.1" 404 0 - - 
120.56.236.46 - - [06/Mar/2012:00:00:00 -0800] "GET /hrefadd.xml HTTP/1.1" 204 214 - - 
49.138.106.21 - - [06/Mar/2012:00:00:00 -0800] "GET /add.txt HTTP/1.1" 204 214 - - 
117.195.185.130 - - [06/Mar/2012:00:00:00 -0800] "GET /mysidebars/newtab.html HTTP/1.1" 404 0 - - 
122.160.166.220 - - [06/Mar/2012:00:00:00 -0800] "GET /mysidebars/newtab.html HTTP/1.1" 404 0 - - 

Answer 1

まず、ホイールを改造しないで、Counterオブジェクトを使用してください。

第2に、re.match()を使用してIPアドレスを抽出します。この方法で、解析可能なIPアドレスを持っていない行を別に処理する必要がない行を処理する必要はありません。

類似のもの;

import re 
from collections import Counter 

cnt = Counter() 
ipre = re.compile(r'^(?P<ip>(([0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])\.){3}([0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])) - -') 
with open(infilename) as infile: 
    for line in infile: 
     m = ipre.match(line) 
     if m is not None: 
      ip = m.groupdict()['ip'] 
      cnt[ip] += 1