0000: 23 21 2f 75 73 72 2f 62 69 6e 2f 65 6e 76 20 70 #!/usr/bin/env p
0010: 79 74 68 6f 6e 33 2e 31 0a 0a 69 6d 70 6f 72 74 ython3.1..import
0020: 20 70 6f 73 74 67 72 65 73 71 6c 2e 61 70 69 2c postgresql.api,
0030: 20 72 65 2c 20 73 79 73 0a 0a 23 20 77 72 61 70 re, sys..# wrap
0040: 70 65 72 20 61 72 6f 75 6e 64 20 73 79 73 6c 6f per around syslo
0050: 67 2c 20 63 61 6e 20 62 65 20 6d 75 74 65 64 0a g, can be muted.
0060: 63 6c 61 73 73 20 4c 6f 67 67 65 72 3a 0a 09 5f class Logger:.._
0070: 5f 73 6c 6f 74 73 5f 5f 20 3d 20 66 72 6f 7a 65 _slots__ = froze
0080: 6e 73 65 74 28 5b 27 5f 73 79 73 6c 6f 67 27 5d nset(['_syslog']
0090: 29 0a 0a 09 64 65 66 20 5f 5f 69 6e 69 74 5f 5f )...def __init__
00a0: 28 73 65 6c 66 29 3a 0a 09 09 63 6f 6e 66 69 67 (self):...config
00b0: 2e 73 65 63 74 69 6f 6e 28 27 6c 6f 67 27 29 0a .section('log').
00c0: 09 09 69 66 20 63 6f 6e 66 69 67 5b 27 73 69 6c ..if config['sil
00d0: 65 6e 74 27 5d 20 3d 3d 20 27 79 65 73 27 3a 0a ent'] == 'yes':.
00e0: 09 09 09 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 20 ...self._syslog
00f0: 3d 20 4e 6f 6e 65 0a 09 09 65 6c 73 65 3a 0a 09 = None...else:..
0100: 09 09 69 6d 70 6f 72 74 20 73 79 73 6c 6f 67 0a ..import syslog.
0110: 09 09 09 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 20 ...self._syslog
0120: 3d 20 73 79 73 6c 6f 67 0a 09 09 09 73 65 6c 66 = syslog....self
0130: 2e 5f 73 79 73 6c 6f 67 2e 6f 70 65 6e 6c 6f 67 ._syslog.openlog
0140: 28 27 73 71 75 69 64 54 61 67 27 29 0a 0a 09 64 ('squidTag')...d
0150: 65 66 20 69 6e 66 6f 28 73 65 6c 66 2c 20 6d 65 ef info(self, me
0160: 73 73 61 67 65 29 3a 0a 09 09 69 66 20 73 65 6c ssage):...if sel
0170: 66 2e 5f 73 79 73 6c 6f 67 3a 0a 09 09 09 73 65 f._syslog:....se
0180: 6c 66 2e 5f 73 79 73 6c 6f 67 2e 73 79 73 6c 6f lf._syslog.syslo
0190: 67 28 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 2e 4c g(self._syslog.L
01a0: 4f 47 5f 49 4e 46 4f 2c 20 6d 65 73 73 61 67 65 OG_INFO, message
01b0: 29 0a 0a 09 64 65 66 20 6e 6f 74 69 63 65 28 73 )...def notice(s
01c0: 65 6c 66 2c 20 6d 65 73 73 61 67 65 29 3a 0a 09 elf, message):..
01d0: 09 69 66 20 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 .if self._syslog
01e0: 3a 0a 09 09 09 73 65 6c 66 2e 5f 73 79 73 6c 6f :....self._syslo
01f0: 67 2e 73 79 73 6c 6f 67 28 73 65 6c 66 2e 5f 73 g.syslog(self._s
0200: 79 73 6c 6f 67 2e 4c 4f 47 5f 4e 4f 54 49 43 45 yslog.LOG_NOTICE
0210: 2c 20 6d 65 73 73 61 67 65 29 0a 0a 23 20 77 72 , message)..# wr
0220: 61 70 70 65 72 20 61 72 6f 75 6e 64 20 64 61 74 apper around dat
0230: 61 62 61 73 65 0a 63 6c 61 73 73 20 74 61 67 44 abase.class tagD
0240: 42 3a 0a 09 5f 5f 73 6c 6f 74 73 5f 5f 20 3d 20 B:..__slots__ =
0250: 66 72 6f 7a 65 6e 73 65 74 28 28 27 5f 63 68 65 frozenset(('_che
0260: 63 6b 5f 73 74 6d 74 27 2c 20 27 5f 64 62 27 29 ck_stmt', '_db')
0270: 29 0a 0a 09 64 65 66 20 5f 5f 69 6e 69 74 5f 5f )...def __init__
0280: 28 73 65 6c 66 29 3a 0a 09 09 63 6f 6e 66 69 67 (self):...config
0290: 2e 73 65 63 74 69 6f 6e 28 27 64 61 74 61 62 61 .section('databa
02a0: 73 65 27 29 0a 09 09 73 65 6c 66 2e 5f 64 62 20 se')...self._db
02b0: 3d 20 70 6f 73 74 67 72 65 73 71 6c 2e 6f 70 65 = postgresql.ope
02c0: 6e 28 0a 09 09 09 27 70 71 3a 2f 2f 7b 7d 3a 7b n(....'pq://{}:{
02d0: 7d 40 7b 7d 2f 7b 7d 27 2e 66 6f 72 6d 61 74 28 }@{}/{}'.format(
02e0: 0a 09 09 09 09 63 6f 6e 66 69 67 5b 27 75 73 65 .....config['use
02f0: 72 27 5d 2c 0a 09 09 09 09 63 6f 6e 66 69 67 5b r'],.....config[
0300: 27 70 61 73 73 77 6f 72 64 27 5d 2c 0a 09 09 09 'password'],....
0310: 09 63 6f 6e 66 69 67 5b 27 68 6f 73 74 27 5d 2c .config['host'],
0320: 0a 09 09 09 09 63 6f 6e 66 69 67 5b 27 64 61 74 .....config['dat
0330: 61 62 61 73 65 27 5d 2c 0a 09 09 29 20 29 0a 09 abase'],...) )..
0340: 09 73 65 6c 66 2e 5f 63 68 65 63 6b 5f 73 74 6d .self._check_stm
0350: 74 20 3d 20 4e 6f 6e 65 0a 0a 09 64 65 66 20 63 t = None...def c
0360: 68 65 63 6b 28 73 65 6c 66 2c 20 73 69 74 65 2c heck(self, site,
0370: 20 69 70 5f 61 64 64 72 65 73 73 29 3a 0a 09 09 ip_address):...
0380: 69 66 20 73 65 6c 66 2e 5f 63 68 65 63 6b 5f 73 if self._check_s
0390: 74 6d 74 20 3d 3d 20 4e 6f 6e 65 3a 0a 09 09 09 tmt == None:....
03a0: 73 65 6c 66 2e 5f 63 68 65 63 6b 5f 73 74 6d 74 self._check_stmt
03b0: 20 3d 20 73 65 6c 66 2e 5f 64 62 2e 70 72 65 70 = self._db.prep
03c0: 61 72 65 28 22 73 65 6c 65 63 74 20 72 65 64 69 are("select redi
03d0: 72 65 63 74 5f 75 72 6c 2c 20 72 65 67 65 78 70 rect_url, regexp
03e0: 20 66 72 6f 6d 20 73 69 74 65 5f 72 75 6c 65 20 from site_rule
03f0: 77 68 65 72 65 20 73 69 74 65 20 3c 40 20 74 72 where site <@ tr
0400: 69 70 64 6f 6d 61 69 6e 28 24 31 29 20 61 6e 64 ipdomain($1) and
0410: 20 6e 65 74 6d 61 73 6b 20 3e 3e 20 24 32 3a 3a netmask >> $2::
0420: 74 65 78 74 3a 3a 69 6e 65 74 20 6f 72 64 65 72 text::inet order
0430: 20 62 79 20 61 72 72 61 79 5f 6c 65 6e 67 74 68 by array_length
0440: 28 73 69 74 65 2c 20 31 29 20 64 65 73 63 22 29 (site, 1) desc")
0450: 0a 09 09 72 65 74 75 72 6e 28 73 65 6c 66 2e 5f ...return(self._
0460: 63 68 65 63 6b 5f 73 74 6d 74 28 73 69 74 65 2c check_stmt(site,
0470: 20 69 70 5f 61 64 64 72 65 73 73 29 29 0a 0a 09 ip_address))...
0480: 64 65 66 20 64 75 6d 70 28 73 65 6c 66 29 3a 0a def dump(self):.
0490: 09 09 72 65 74 75 72 6e 28 73 65 6c 66 2e 5f 64 ..return(self._d
04a0: 62 2e 70 72 65 70 61 72 65 28 22 63 6f 70 79 20 b.prepare("copy
04b0: 28 73 65 6c 65 63 74 20 75 6e 74 72 69 70 28 73 (select untrip(s
04c0: 69 74 65 29 20 61 73 20 73 69 74 65 2c 20 74 61 ite) as site, ta
04d0: 67 2c 20 72 65 67 65 78 70 20 66 72 6f 6d 20 75 g, regexp from u
04e0: 72 6c 73 20 6f 72 64 65 72 20 62 79 20 73 69 74 rls order by sit
04f0: 65 2c 20 74 61 67 29 20 74 6f 20 73 74 64 6f 75 e, tag) to stdou
0500: 74 20 63 73 76 20 68 65 61 64 65 72 22 29 28 29 t csv header")()
0510: 29 0a 0a 09 64 65 66 20 6c 6f 61 64 28 73 65 6c )...def load(sel
0520: 66 2c 20 64 61 74 61 29 3a 0a 09 09 77 69 74 68 f, data):...with
0530: 20 73 65 6c 66 2e 5f 64 62 2e 78 61 63 74 28 29 self._db.xact()
0540: 3a 0a 09 09 09 69 66 20 63 6f 6e 66 69 67 2e 6f :....if config.o
0550: 70 74 69 6f 6e 73 2e 66 6c 75 73 68 5f 64 62 3a ptions.flush_db:
0560: 0a 09 09 09 09 73 65 6c 66 2e 5f 64 62 2e 65 78 .....self._db.ex
0570: 65 63 75 74 65 28 27 64 65 6c 65 74 65 20 66 72 ecute('delete fr
0580: 6f 6d 20 75 72 6c 73 3b 27 29 0a 09 09 09 69 6e om urls;')....in
0590: 73 65 72 74 20 3d 20 73 65 6c 66 2e 5f 64 62 2e sert = self._db.
05a0: 70 72 65 70 61 72 65 28 22 69 6e 73 65 72 74 20 prepare("insert
05b0: 69 6e 74 6f 20 75 72 6c 73 20 28 73 69 74 65 2c into urls (site,
05c0: 20 74 61 67 2c 20 72 65 67 65 78 70 29 20 76 61 tag, regexp) va
05d0: 6c 75 65 73 20 28 74 72 69 70 64 6f 6d 61 69 6e lues (tripdomain
05e0: 28 24 31 29 2c 20 24 32 3a 3a 74 65 78 74 3a 3a ($1), $2::text::
05f0: 74 65 78 74 5b 5d 2c 20 24 33 29 22 29 0a 09 09 text[], $3)")...
0600: 09 66 6f 72 20 72 6f 77 20 69 6e 20 64 61 74 61 .for row in data
0610: 3a 0a 09 09 09 09 69 66 20 6c 65 6e 28 72 6f 77 :.....if len(row
0620: 29 20 3d 3d 20 32 3a 0a 09 09 09 09 09 69 6e 73 ) == 2:......ins
0630: 65 72 74 28 72 6f 77 5b 30 5d 2c 20 72 6f 77 5b ert(row[0], row[
0640: 31 5d 2c 20 4e 6f 6e 65 29 0a 09 09 09 09 65 6c 1], None).....el
0650: 73 65 3a 0a 09 09 09 09 09 69 6e 73 65 72 74 28 se:......insert(
0660: 72 6f 77 5b 30 5d 2c 20 72 6f 77 5b 31 5d 2c 20 row[0], row[1],
0670: 72 6f 77 5b 32 5d 29 0a 09 09 09 73 65 6c 66 2e row[2])....self.
0680: 5f 64 62 2e 65 78 65 63 75 74 65 28 22 75 70 64 _db.execute("upd
0690: 61 74 65 20 75 72 6c 73 20 73 65 74 20 72 65 67 ate urls set reg
06a0: 65 78 70 20 3d 20 4e 55 4c 4c 20 77 68 65 72 65 exp = NULL where
06b0: 20 72 65 67 65 78 70 20 3d 20 27 27 22 29 0a 09 regexp = ''")..
06c0: 09 73 65 6c 66 2e 5f 64 62 2e 65 78 65 63 75 74 .self._db.execut
06d0: 65 28 27 76 61 63 75 75 6d 20 61 6e 61 6c 79 7a e('vacuum analyz
06e0: 65 20 75 72 6c 73 3b 27 29 0a 0a 09 64 65 66 20 e urls;')...def
06f0: 6c 6f 61 64 5f 63 6f 6e 66 28 73 65 6c 66 2c 20 load_conf(self,
0700: 63 73 76 5f 64 61 74 61 29 3a 0a 09 09 77 69 74 csv_data):...wit
0710: 68 20 73 65 6c 66 2e 5f 64 62 2e 78 61 63 74 28 h self._db.xact(
0720: 29 3a 0a 09 09 09 73 65 6c 66 2e 5f 64 62 2e 65 ):....self._db.e
0730: 78 65 63 75 74 65 28 27 64 65 6c 65 74 65 20 66 xecute('delete f
0740: 72 6f 6d 20 72 75 6c 65 73 3b 27 29 0a 09 09 09 rom rules;')....
0750: 69 6e 73 65 72 74 63 6f 6e 66 20 3d 20 73 65 6c insertconf = sel
0760: 66 2e 5f 64 62 2e 70 72 65 70 61 72 65 28 22 69 f._db.prepare("i
0770: 6e 73 65 72 74 20 69 6e 74 6f 20 72 75 6c 65 73 nsert into rules
0780: 20 28 6e 65 74 6d 61 73 6b 2c 20 72 65 64 69 72 (netmask, redir
0790: 65 63 74 5f 75 72 6c 2c 20 66 72 6f 6d 5f 77 65 ect_url, from_we
07a0: 65 6b 64 61 79 2c 20 74 6f 5f 77 65 65 6b 64 61 ekday, to_weekda
07b0: 79 2c 20 66 72 6f 6d 5f 74 69 6d 65 2c 20 74 6f y, from_time, to
07c0: 5f 74 69 6d 65 2c 20 74 61 67 29 20 76 61 6c 75 _time, tag) valu
07d0: 65 73 20 28 24 31 3a 3a 74 65 78 74 3a 3a 63 69 es ($1::text::ci
07e0: 64 72 2c 20 24 32 2c 20 24 33 2c 20 24 34 2c 20 dr, $2, $3, $4,
07f0: 24 35 3a 3a 74 65 78 74 3a 3a 74 69 6d 65 2c 20 $5::text::time,
0800: 24 36 3a 3a 74 65 78 74 3a 3a 74 69 6d 65 2c 20 $6::text::time,
0810: 24 37 3a 3a 74 65 78 74 3a 3a 74 65 78 74 5b 5d $7::text::text[]
0820: 29 22 29 0a 09 09 09 66 6f 72 20 72 6f 77 20 69 )")....for row i
0830: 6e 20 63 73 76 5f 64 61 74 61 3a 0a 09 09 09 09 n csv_data:.....
0840: 69 6e 73 65 72 74 63 6f 6e 66 28 72 6f 77 5b 30 insertconf(row[0
0850: 5d 2c 20 72 6f 77 5b 31 5d 2c 20 69 6e 74 28 72 ], row[1], int(r
0860: 6f 77 5b 32 5d 29 2c 20 69 6e 74 28 72 6f 77 5b ow[2]), int(row[
0870: 33 5d 29 2c 20 72 6f 77 5b 34 5d 2c 20 72 6f 77 3]), row[4], row
0880: 5b 35 5d 2c 20 72 6f 77 5b 36 5d 29 0a 09 09 73 [5], row[6])...s
0890: 65 6c 66 2e 5f 64 62 2e 65 78 65 63 75 74 65 28 elf._db.execute(
08a0: 27 76 61 63 75 75 6d 20 61 6e 61 6c 79 7a 65 20 'vacuum analyze
08b0: 72 75 6c 65 73 3b 27 29 0a 0a 09 64 65 66 20 64 rules;')...def d
08c0: 75 6d 70 5f 63 6f 6e 66 28 73 65 6c 66 29 3a 0a ump_conf(self):.
08d0: 09 09 72 65 74 75 72 6e 28 73 65 6c 66 2e 5f 64 ..return(self._d
08e0: 62 2e 70 72 65 70 61 72 65 28 22 63 6f 70 79 20 b.prepare("copy
08f0: 28 73 65 6c 65 63 74 20 6e 65 74 6d 61 73 6b 2c (select netmask,
0900: 20 72 65 64 69 72 65 63 74 5f 75 72 6c 2c 20 66 redirect_url, f
0910: 72 6f 6d 5f 77 65 65 6b 64 61 79 2c 20 74 6f 5f rom_weekday, to_
0920: 77 65 65 6b 64 61 79 2c 20 66 72 6f 6d 5f 74 69 weekday, from_ti
0930: 6d 65 2c 20 74 6f 5f 74 69 6d 65 2c 20 74 61 67 me, to_time, tag
0940: 20 66 72 6f 6d 20 72 75 6c 65 73 29 20 74 6f 20 from rules) to
0950: 73 74 64 6f 75 74 20 63 73 76 20 68 65 61 64 65 stdout csv heade
0960: 72 22 29 28 29 29 0a 0a 23 20 61 62 73 74 72 61 r")())..# abstra
0970: 63 74 20 63 6c 61 73 73 20 77 69 74 68 20 62 61 ct class with ba
0980: 73 69 63 20 63 68 65 63 6b 69 6e 67 20 66 75 6e sic checking fun
0990: 63 74 69 6f 6e 61 6c 69 74 79 0a 63 6c 61 73 73 ctionality.class
09a0: 20 43 68 65 63 6b 65 72 3a 0a 09 5f 5f 73 6c 6f Checker:..__slo
09b0: 74 73 5f 5f 20 3d 20 66 72 6f 7a 65 6e 73 65 74 ts__ = frozenset
09c0: 28 5b 27 5f 64 62 27 2c 20 27 5f 6c 6f 67 27 2c (['_db', '_log',
09d0: 20 27 5f 72 65 71 75 65 73 74 27 5d 29 0a 0a 09 '_request'])...
09e0: 64 65 66 20 5f 5f 69 6e 69 74 5f 5f 28 73 65 6c def __init__(sel
09f0: 66 29 3a 0a 09 09 73 65 6c 66 2e 5f 64 62 20 3d f):...self._db =
0a00: 20 74 61 67 44 42 28 29 0a 09 09 73 65 6c 66 2e tagDB()...self.
0a10: 5f 6c 6f 67 20 3d 20 4c 6f 67 67 65 72 28 29 0a _log = Logger().
0a20: 09 09 73 65 6c 66 2e 5f 6c 6f 67 2e 69 6e 66 6f ..self._log.info
0a30: 28 27 73 74 61 72 74 65 64 5c 6e 27 29 0a 09 09 ('started\n')...
0a40: 73 65 6c 66 2e 5f 72 65 71 75 65 73 74 20 3d 20 self._request =
0a50: 72 65 2e 63 6f 6d 70 69 6c 65 28 27 5e 28 5b 30 re.compile('^([0
0a60: 2d 39 5d 2b 29 5c 20 28 68 74 74 70 7c 66 74 70 -9]+)\ (http|ftp
0a70: 29 3a 5c 2f 5c 2f 28 5b 2d 5c 77 2e 3a 5d 2b 29 ):\/\/([-\w.:]+)
0a80: 5c 2f 28 5b 5e 20 5d 2a 29 5c 20 28 5b 30 2d 39 \/([^ ]*)\ ([0-9
0a90: 2e 5d 2b 29 5c 2f 28 2d 7c 5b 5c 77 5c 2e 5d 2b .]+)\/(-|[\w\.]+
0aa0: 29 5c 20 28 2d 7c 5c 77 2b 29 5c 20 28 2d 7c 47 )\ (-|\w+)\ (-|G
0ab0: 45 54 7c 48 45 41 44 7c 50 4f 53 54 29 2e 2a 24 ET|HEAD|POST).*$
0ac0: 27 29 0a 0a 09 64 65 66 20 70 72 6f 63 65 73 73 ')...def process
0ad0: 28 73 65 6c 66 2c 20 69 64 2c 20 73 69 74 65 2c (self, id, site,
0ae0: 20 69 70 5f 61 64 64 72 65 73 73 2c 20 75 72 6c ip_address, url
0af0: 5f 70 61 74 68 2c 20 6c 69 6e 65 20 3d 20 4e 6f _path, line = No
0b00: 6e 65 29 3a 0a 09 09 73 65 6c 66 2e 5f 6c 6f 67 ne):...self._log
0b10: 2e 69 6e 66 6f 28 27 74 72 79 69 6e 67 20 7b 7d .info('trying {}
0b20: 5c 6e 27 2e 66 6f 72 6d 61 74 28 73 69 74 65 29 \n'.format(site)
0b30: 29 0a 09 09 72 65 73 75 6c 74 20 3d 20 73 65 6c )...result = sel
0b40: 66 2e 5f 64 62 2e 63 68 65 63 6b 28 73 69 74 65 f._db.check(site
0b50: 2c 20 69 70 5f 61 64 64 72 65 73 73 29 0a 09 09 , ip_address)...
0b60: 72 65 70 6c 79 20 3d 20 27 2d 27 0a 09 09 66 6f reply = '-'...fo
0b70: 72 20 72 6f 77 20 69 6e 20 72 65 73 75 6c 74 3a r row in result:
0b80: 0a 09 09 09 69 66 20 72 6f 77 20 21 3d 20 4e 6f ....if row != No
0b90: 6e 65 20 61 6e 64 20 72 6f 77 5b 30 5d 20 21 3d ne and row[0] !=
0ba0: 20 4e 6f 6e 65 3a 0a 09 09 09 09 69 66 20 72 6f None:.....if ro
0bb0: 77 5b 31 5d 20 21 3d 20 4e 6f 6e 65 3a 0a 09 09 w[1] != None:...
0bc0: 09 09 09 73 65 6c 66 2e 5f 6c 6f 67 2e 69 6e 66 ...self._log.inf
0bd0: 6f 28 27 74 72 79 69 6e 67 20 72 65 67 65 78 70 o('trying regexp
0be0: 20 22 7b 7d 22 20 76 65 72 73 75 73 20 22 7b 7d "{}" versus "{}
0bf0: 22 5c 6e 27 2e 66 6f 72 6d 61 74 28 72 6f 77 5b "\n'.format(row[
0c00: 31 5d 2c 20 75 72 6c 5f 70 61 74 68 29 29 0a 09 1], url_path))..
0c10: 09 09 09 09 74 72 79 3a 0a 09 09 09 09 09 09 69 ....try:.......i
0c20: 66 20 72 65 2e 63 6f 6d 70 69 6c 65 28 72 6f 77 f re.compile(row
0c30: 5b 31 5d 29 2e 6d 61 74 63 68 28 75 72 6c 5f 70 [1]).match(url_p
0c40: 61 74 68 29 3a 0a 09 09 09 09 09 09 09 72 65 70 ath):........rep
0c50: 6c 79 20 3d 20 72 6f 77 5b 30 5d 2e 66 6f 72 6d ly = row[0].form
0c60: 61 74 28 75 72 6c 5f 70 61 74 68 29 0a 09 09 09 at(url_path)....
0c70: 09 09 09 09 62 72 65 61 6b 0a 09 09 09 09 09 09 ....break.......
0c80: 65 6c 73 65 3a 0a 09 09 09 09 09 09 09 63 6f 6e else:........con
0c90: 74 69 6e 75 65 0a 09 09 09 09 09 65 78 63 65 70 tinue......excep
0ca0: 74 3a 0a 09 09 09 09 09 09 73 65 6c 66 2e 5f 6c t:.......self._l
0cb0: 6f 67 2e 69 6e 66 6f 28 22 63 61 6e 27 74 20 63 og.info("can't c
0cc0: 6f 6d 70 69 6c 65 20 72 65 67 65 78 70 22 29 0a ompile regexp").
0cd0: 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 72 ....else:......r
0ce0: 65 70 6c 79 20 3d 20 72 6f 77 5b 30 5d 2e 66 6f eply = row[0].fo
0cf0: 72 6d 61 74 28 75 72 6c 5f 70 61 74 68 29 0a 09 rmat(url_path)..
0d00: 09 09 09 09 62 72 65 61 6b 0a 09 09 73 65 6c 66 ....break...self
0d10: 2e 77 72 69 74 65 6c 69 6e 65 28 27 7b 7d 20 7b .writeline('{} {
0d20: 7d 5c 6e 27 2e 66 6f 72 6d 61 74 28 69 64 2c 20 }\n'.format(id,
0d30: 72 65 70 6c 79 29 29 0a 0a 09 64 65 66 20 63 68 reply))...def ch
0d40: 65 63 6b 28 73 65 6c 66 2c 20 6c 69 6e 65 29 3a eck(self, line):
0d50: 0a 09 09 72 65 71 75 65 73 74 20 3d 20 73 65 6c ...request = sel
0d60: 66 2e 5f 72 65 71 75 65 73 74 2e 6d 61 74 63 68 f._request.match
0d70: 28 6c 69 6e 65 29 0a 09 09 69 66 20 72 65 71 75 (line)...if requ
0d80: 65 73 74 3a 0a 09 09 09 69 64 20 3d 20 72 65 71 est:....id = req
0d90: 75 65 73 74 2e 67 72 6f 75 70 28 31 29 0a 09 09 uest.group(1)...
0da0: 09 23 70 72 6f 74 6f 20 3d 20 72 65 71 75 65 73 .#proto = reques
0db0: 74 2e 67 72 6f 75 70 28 32 29 0a 09 09 09 73 69 t.group(2)....si
0dc0: 74 65 20 3d 20 72 65 71 75 65 73 74 2e 67 72 6f te = request.gro
0dd0: 75 70 28 33 29 0a 09 09 09 75 72 6c 5f 70 61 74 up(3)....url_pat
0de0: 68 20 3d 20 72 65 71 75 65 73 74 2e 67 72 6f 75 h = request.grou
0df0: 70 28 34 29 0a 09 09 09 69 70 5f 61 64 64 72 65 p(4)....ip_addre
0e00: 73 73 20 3d 20 72 65 71 75 65 73 74 2e 67 72 6f ss = request.gro
0e10: 75 70 28 35 29 0a 09 09 09 73 65 6c 66 2e 70 72 up(5)....self.pr
0e20: 6f 63 65 73 73 28 69 64 2c 20 73 69 74 65 2c 20 ocess(id, site,
0e30: 69 70 5f 61 64 64 72 65 73 73 2c 20 75 72 6c 5f ip_address, url_
0e40: 70 61 74 68 2c 20 6c 69 6e 65 29 0a 09 09 09 72 path, line)....r
0e50: 65 74 75 72 6e 28 54 72 75 65 29 0a 09 09 65 6c eturn(True)...el
0e60: 73 65 3a 0a 09 09 09 73 65 6c 66 2e 5f 6c 6f 67 se:....self._log
0e70: 2e 69 6e 66 6f 28 27 62 61 64 20 72 65 71 75 65 .info('bad reque
0e80: 73 74 5c 6e 27 29 0a 09 09 09 73 65 6c 66 2e 77 st\n')....self.w
0e90: 72 69 74 65 6c 69 6e 65 28 6c 69 6e 65 29 0a 09 riteline(line)..
0ea0: 09 09 72 65 74 75 72 6e 28 46 61 6c 73 65 29 0a ..return(False).
0eb0: 0a 09 64 65 66 20 77 72 69 74 65 6c 69 6e 65 28 ..def writeline(
0ec0: 73 65 6c 66 2c 20 73 74 72 69 6e 67 29 3a 0a 09 self, string):..
0ed0: 09 73 65 6c 66 2e 5f 6c 6f 67 2e 69 6e 66 6f 28 .self._log.info(
0ee0: 27 73 65 6e 64 69 6e 67 3a 20 27 20 2b 20 73 74 'sending: ' + st
0ef0: 72 69 6e 67 29 0a 09 09 73 79 73 2e 73 74 64 6f ring)...sys.stdo
0f00: 75 74 2e 77 72 69 74 65 28 73 74 72 69 6e 67 29 ut.write(string)
0f10: 0a 09 09 73 79 73 2e 73 74 64 6f 75 74 2e 66 6c ...sys.stdout.fl
0f20: 75 73 68 28 29 0a 0a 09 64 65 66 20 6c 6f 6f 70 ush()...def loop
0f30: 28 73 65 6c 66 29 3a 0a 09 09 77 68 69 6c 65 20 (self):...while
0f40: 54 72 75 65 3a 0a 09 09 09 6c 69 6e 65 20 3d 20 True:....line =
0f50: 73 79 73 2e 73 74 64 69 6e 2e 72 65 61 64 6c 69 sys.stdin.readli
0f60: 6e 65 28 29 0a 09 09 09 69 66 20 6c 65 6e 28 6c ne()....if len(l
0f70: 69 6e 65 29 20 3d 3d 20 30 3a 0a 09 09 09 09 62 ine) == 0:.....b
0f80: 72 65 61 6b 0a 09 09 09 73 65 6c 66 2e 63 68 65 reak....self.che
0f90: 63 6b 28 6c 69 6e 65 29 0a 0a 23 20 74 68 72 65 ck(line)..# thre
0fa0: 61 64 65 64 20 63 68 65 63 6b 69 6e 67 20 66 61 aded checking fa
0fb0: 63 69 6c 69 74 79 0a 63 6c 61 73 73 20 43 68 65 cility.class Che
0fc0: 63 6b 65 72 54 68 72 65 61 64 28 43 68 65 63 6b ckerThread(Check
0fd0: 65 72 29 3a 0a 09 5f 5f 73 6c 6f 74 73 5f 5f 20 er):..__slots__
0fe0: 3d 20 66 72 6f 7a 65 6e 73 65 74 28 5b 27 5f 6c = frozenset(['_l
0ff0: 6f 63 6b 27 2c 20 27 5f 6c 6f 63 6b 5f 65 78 69 ock', '_lock_exi
1000: 74 27 2c 20 27 5f 6c 6f 63 6b 5f 71 75 65 75 65 t', '_lock_queue
1010: 27 2c 20 27 5f 71 75 65 75 65 27 5d 29 0a 0a 09 ', '_queue'])...
1020: 64 65 66 20 5f 5f 69 6e 69 74 5f 5f 28 73 65 6c def __init__(sel
1030: 66 29 3a 0a 09 09 69 6d 70 6f 72 74 20 5f 74 68 f):...import _th
1040: 72 65 61 64 0a 0a 09 09 23 20 62 61 73 69 63 20 read....# basic
1050: 69 6e 69 74 69 61 6c 69 73 61 74 69 6f 6e 0a 09 initialisation..
1060: 09 43 68 65 63 6b 65 72 2e 5f 5f 69 6e 69 74 5f .Checker.__init_
1070: 5f 28 73 65 6c 66 29 0a 0a 09 09 23 20 53 70 69 _(self)....# Spi
1080: 6e 20 6c 6f 63 6b 2e 20 4c 6f 6f 70 20 61 63 71 n lock. Loop acq
1090: 75 69 72 65 73 20 69 74 20 6f 6e 20 73 74 61 72 uires it on star
10a0: 74 20 74 68 65 6e 20 72 65 6c 65 61 73 65 73 20 t then releases
10b0: 69 74 20 77 68 65 6e 20 68 6f 6c 64 69 6e 67 20 it when holding
10c0: 71 75 65 75 65 0a 09 09 23 20 6c 6f 63 6b 2e 20 queue...# lock.
10d0: 54 68 69 73 20 77 61 79 20 74 68 65 20 74 68 72 This way the thr
10e0: 65 61 64 20 70 72 6f 63 65 65 64 73 20 77 69 74 ead proceeds wit
10f0: 68 6f 75 74 20 73 74 6f 70 73 20 77 68 69 6c 65 hout stops while
1100: 20 71 75 65 75 65 20 68 61 73 20 64 61 74 61 20 queue has data
1110: 61 6e 64 0a 09 09 23 20 67 65 74 73 20 73 74 61 and...# gets sta
1120: 6c 6c 65 64 20 77 68 65 6e 20 6e 6f 20 64 61 74 lled when no dat
1130: 61 20 70 72 65 73 65 6e 74 2e 20 54 68 65 20 6c a present. The l
1140: 6f 63 6b 20 69 73 20 72 65 6c 65 61 73 65 64 20 ock is released
1150: 62 79 20 71 75 65 75 65 20 77 72 69 74 65 72 0a by queue writer.
1160: 09 09 23 20 61 66 74 65 72 20 73 74 6f 72 69 6e ..# after storin
1170: 67 20 73 6f 6d 65 74 68 69 6e 67 20 69 6e 74 6f g something into
1180: 20 74 68 65 20 71 75 65 75 65 0a 09 09 73 65 6c the queue...sel
1190: 66 2e 5f 6c 6f 63 6b 20 3d 20 5f 74 68 72 65 61 f._lock = _threa
11a0: 64 2e 61 6c 6c 6f 63 61 74 65 5f 6c 6f 63 6b 28 d.allocate_lock(
11b0: 29 0a 09 09 73 65 6c 66 2e 5f 6c 6f 63 6b 5f 65 )...self._lock_e
11c0: 78 69 74 20 3d 20 5f 74 68 72 65 61 64 2e 61 6c xit = _thread.al
11d0: 6c 6f 63 61 74 65 5f 6c 6f 63 6b 28 29 0a 09 09 locate_lock()...
11e0: 73 65 6c 66 2e 5f 6c 6f 63 6b 5f 71 75 65 75 65 self._lock_queue
11f0: 20 3d 20 5f 74 68 72 65 61 64 2e 61 6c 6c 6f 63 = _thread.alloc
1200: 61 74 65 5f 6c 6f 63 6b 28 29 0a 09 09 73 65 6c ate_lock()...sel
1210: 66 2e 5f 6c 6f 63 6b 2e 61 63 71 75 69 72 65 28 f._lock.acquire(
1220: 29 0a 09 09 73 65 6c 66 2e 5f 71 75 65 75 65 20 )...self._queue
1230: 3d 20 5b 5d 0a 09 09 5f 74 68 72 65 61 64 2e 73 = []..._thread.s
1240: 74 61 72 74 5f 6e 65 77 5f 74 68 72 65 61 64 28 tart_new_thread(
1250: 73 65 6c 66 2e 5f 73 74 61 72 74 2c 20 28 29 29 self._start, ())
1260: 0a 0a 09 64 65 66 20 5f 73 74 61 72 74 28 73 65 ...def _start(se
1270: 6c 66 29 3a 0a 09 09 77 68 69 6c 65 20 54 72 75 lf):...while Tru
1280: 65 3a 0a 09 09 09 73 65 6c 66 2e 5f 6c 6f 63 6b e:....self._lock
1290: 2e 61 63 71 75 69 72 65 28 29 0a 09 09 09 77 69 .acquire()....wi
12a0: 74 68 20 73 65 6c 66 2e 5f 6c 6f 63 6b 5f 71 75 th self._lock_qu
12b0: 65 75 65 3a 0a 09 09 09 09 23 20 79 65 73 20 74 eue:.....# yes t
12c0: 68 69 73 20 73 68 6f 75 6c 64 20 62 65 20 77 72 his should be wr
12d0: 69 74 74 65 6e 20 74 68 69 73 20 77 61 79 2c 20 itten this way,
12e0: 61 6e 64 20 79 65 73 2c 20 74 68 69 73 20 69 73 and yes, this is
12f0: 20 77 68 79 20 49 20 68 61 74 65 20 74 68 72 65 why I hate thre
1300: 61 64 69 6e 67 0a 09 09 09 09 69 66 20 6c 65 6e ading.....if len
1310: 28 73 65 6c 66 2e 5f 71 75 65 75 65 29 20 3e 20 (self._queue) >
1320: 31 3a 0a 09 09 09 09 09 69 66 20 73 65 6c 66 2e 1:......if self.
1330: 5f 6c 6f 63 6b 2e 6c 6f 63 6b 65 64 28 29 3a 0a _lock.locked():.
1340: 09 09 09 09 09 09 73 65 6c 66 2e 5f 6c 6f 63 6b ......self._lock
1350: 2e 72 65 6c 65 61 73 65 28 29 0a 09 09 09 09 72 .release().....r
1360: 65 71 20 3d 20 73 65 6c 66 2e 5f 71 75 65 75 65 eq = self._queue
1370: 2e 70 6f 70 28 30 29 0a 09 09 09 43 68 65 63 6b .pop(0)....Check
1380: 65 72 2e 70 72 6f 63 65 73 73 28 73 65 6c 66 2c er.process(self,
1390: 20 72 65 71 5b 30 5d 2c 20 72 65 71 5b 31 5d 2c req[0], req[1],
13a0: 20 72 65 71 5b 32 5d 2c 20 72 65 71 5b 33 5d 29 req[2], req[3])
13b0: 0a 09 09 09 77 69 74 68 20 73 65 6c 66 2e 5f 6c ....with self._l
13c0: 6f 63 6b 5f 71 75 65 75 65 3a 0a 09 09 09 09 69 ock_queue:.....i
13d0: 66 20 6c 65 6e 28 73 65 6c 66 2e 5f 71 75 65 75 f len(self._queu
13e0: 65 29 20 3d 3d 20 30 3a 0a 09 09 09 09 09 69 66 e) == 0:......if
13f0: 20 73 65 6c 66 2e 5f 6c 6f 63 6b 5f 65 78 69 74 self._lock_exit
1400: 2e 6c 6f 63 6b 65 64 28 29 3a 0a 09 09 09 09 09 .locked():......
1410: 09 73 65 6c 66 2e 5f 6c 6f 63 6b 5f 65 78 69 74 .self._lock_exit
1420: 2e 72 65 6c 65 61 73 65 28 29 0a 0a 09 64 65 66 .release()...def
1430: 20 70 72 6f 63 65 73 73 28 73 65 6c 66 2c 20 69 process(self, i
1440: 64 2c 20 73 69 74 65 2c 20 69 70 5f 61 64 64 72 d, site, ip_addr
1450: 65 73 73 2c 20 75 72 6c 5f 70 61 74 68 2c 20 6c ess, url_path, l
1460: 69 6e 65 29 3a 0a 09 09 77 69 74 68 20 73 65 6c ine):...with sel
1470: 66 2e 5f 6c 6f 63 6b 5f 71 75 65 75 65 3a 0a 09 f._lock_queue:..
1480: 09 09 73 65 6c 66 2e 5f 71 75 65 75 65 2e 61 70 ..self._queue.ap
1490: 70 65 6e 64 28 28 69 64 2c 20 73 69 74 65 2c 20 pend((id, site,
14a0: 69 70 5f 61 64 64 72 65 73 73 2c 20 75 72 6c 5f ip_address, url_
14b0: 70 61 74 68 29 29 0a 09 09 09 73 65 6c 66 2e 5f path))....self._
14c0: 6c 6f 67 2e 69 6e 66 6f 28 27 72 65 71 75 65 73 log.info('reques
14d0: 74 20 7b 7d 20 71 75 65 75 65 64 20 28 7b 7d 29 t {} queued ({})
14e0: 5c 6e 27 2e 66 6f 72 6d 61 74 28 69 64 2c 20 6c \n'.format(id, l
14f0: 69 6e 65 29 29 0a 09 09 09 69 66 20 6e 6f 74 20 ine))....if not
1500: 73 65 6c 66 2e 5f 6c 6f 63 6b 5f 65 78 69 74 2e self._lock_exit.
1510: 6c 6f 63 6b 65 64 28 29 3a 0a 09 09 09 09 73 65 locked():.....se
1520: 6c 66 2e 5f 6c 6f 63 6b 5f 65 78 69 74 2e 61 63 lf._lock_exit.ac
1530: 71 75 69 72 65 28 29 0a 09 09 09 69 66 20 73 65 quire()....if se
1540: 6c 66 2e 5f 6c 6f 63 6b 2e 6c 6f 63 6b 65 64 28 lf._lock.locked(
1550: 29 3a 0a 09 09 09 09 73 65 6c 66 2e 5f 6c 6f 63 ):.....self._loc
1560: 6b 2e 72 65 6c 65 61 73 65 28 29 0a 0a 09 64 65 k.release()...de
1570: 66 20 6c 6f 6f 70 28 73 65 6c 66 29 3a 0a 09 09 f loop(self):...
1580: 77 68 69 6c 65 20 54 72 75 65 3a 0a 09 09 09 6c while True:....l
1590: 69 6e 65 20 3d 20 73 79 73 2e 73 74 64 69 6e 2e ine = sys.stdin.
15a0: 72 65 61 64 6c 69 6e 65 28 29 0a 09 09 09 69 66 readline()....if
15b0: 20 6c 65 6e 28 6c 69 6e 65 29 20 3d 3d 20 30 3a len(line) == 0:
15c0: 0a 09 09 09 09 62 72 65 61 6b 0a 09 09 09 73 65 .....break....se
15d0: 6c 66 2e 63 68 65 63 6b 28 6c 69 6e 65 29 0a 09 lf.check(line)..
15e0: 09 73 65 6c 66 2e 5f 6c 6f 63 6b 5f 65 78 69 74 .self._lock_exit
15f0: 2e 61 63 71 75 69 72 65 28 29 0a 0a 23 20 6b 71 .acquire()..# kq
1600: 75 65 75 65 20 65 6e 61 62 6c 65 64 20 63 6c 61 ueue enabled cla
1610: 73 73 20 66 6f 72 20 42 53 44 27 73 0a 63 6c 61 ss for BSD's.cla
1620: 73 73 20 43 68 65 63 6b 65 72 4b 71 75 65 75 65 ss CheckerKqueue
1630: 28 43 68 65 63 6b 65 72 29 3a 0a 09 5f 5f 73 6c (Checker):..__sl
1640: 6f 74 73 5f 5f 20 3d 20 66 72 6f 7a 65 6e 73 65 ots__ = frozense
1650: 74 28 5b 27 5f 6b 71 27 2c 20 27 5f 73 65 6c 65 t(['_kq', '_sele
1660: 63 74 27 2c 20 27 5f 71 75 65 75 65 27 5d 29 0a ct', '_queue']).
1670: 0a 09 64 65 66 20 5f 5f 69 6e 69 74 5f 5f 28 73 ..def __init__(s
1680: 65 6c 66 29 3a 0a 09 09 23 20 62 61 73 69 63 20 elf):...# basic
1690: 69 6e 69 74 69 61 6c 69 73 61 74 69 6f 6e 0a 09 initialisation..
16a0: 09 43 68 65 63 6b 65 72 2e 5f 5f 69 6e 69 74 5f .Checker.__init_
16b0: 5f 28 73 65 6c 66 29 0a 0a 09 09 23 20 69 6d 70 _(self)....# imp
16c0: 6f 72 74 69 6e 67 20 73 65 6c 65 63 74 20 6d 6f orting select mo
16d0: 64 75 6c 65 0a 09 09 69 6d 70 6f 72 74 20 73 65 dule...import se
16e0: 6c 65 63 74 0a 09 09 73 65 6c 66 2e 5f 73 65 6c lect...self._sel
16f0: 65 63 74 20 3d 20 73 65 6c 65 63 74 0a 0a 09 09 ect = select....
1700: 23 20 6b 72 65 61 74 69 6e 67 20 6b 71 75 65 75 # kreating kqueu
1710: 65 0a 09 09 73 65 6c 66 2e 5f 6b 71 20 3d 20 73 e...self._kq = s
1720: 65 6c 66 2e 5f 73 65 6c 65 63 74 2e 6b 71 75 65 elf._select.kque
1730: 75 65 28 29 0a 09 09 61 73 73 65 72 74 20 73 65 ue()...assert se
1740: 6c 66 2e 5f 6b 71 2e 66 69 6c 65 6e 6f 28 29 20 lf._kq.fileno()
1750: 21 3d 20 2d 31 2c 20 22 46 61 74 61 6c 20 65 72 != -1, "Fatal er
1760: 72 6f 72 3a 20 63 61 6e 27 74 20 69 6e 69 74 69 ror: can't initi
1770: 61 6c 69 73 65 20 6b 71 75 65 75 65 2e 22 0a 0a alise kqueue."..
1780: 09 09 23 20 77 61 74 63 68 69 6e 67 20 73 79 73 ..# watching sys
1790: 2e 73 74 64 69 6e 20 66 6f 72 20 64 61 74 61 0a .stdin for data.
17a0: 09 09 73 65 6c 66 2e 5f 6b 71 2e 63 6f 6e 74 72 ..self._kq.contr
17b0: 6f 6c 28 5b 73 65 6c 66 2e 5f 73 65 6c 65 63 74 ol([self._select
17c0: 2e 6b 65 76 65 6e 74 28 73 79 73 2e 73 74 64 69 .kevent(sys.stdi
17d0: 6e 2c 20 73 65 6c 66 2e 5f 73 65 6c 65 63 74 2e n, self._select.
17e0: 4b 51 5f 46 49 4c 54 45 52 5f 52 45 41 44 2c 20 KQ_FILTER_READ,
17f0: 73 65 6c 66 2e 5f 73 65 6c 65 63 74 2e 4b 51 5f self._select.KQ_
1800: 45 56 5f 41 44 44 29 5d 2c 20 30 29 0a 0a 09 09 EV_ADD)], 0)....
1810: 23 20 63 72 65 61 74 69 6e 67 20 64 61 74 61 20 # creating data
1820: 71 75 65 75 65 0a 09 09 73 65 6c 66 2e 5f 71 75 queue...self._qu
1830: 65 75 65 20 3d 20 5b 5d 0a 0a 09 64 65 66 20 6c eue = []...def l
1840: 6f 6f 70 28 73 65 6c 66 29 3a 0a 09 09 23 20 57 oop(self):...# W
1850: 61 69 74 20 66 6f 72 20 64 61 74 61 20 62 79 20 ait for data by
1860: 64 65 66 61 75 6c 74 0a 09 09 74 69 6d 65 6f 75 default...timeou
1870: 74 20 3d 20 4e 6f 6e 65 0a 09 09 65 6f 66 20 3d t = None...eof =
1880: 20 46 61 6c 73 65 0a 09 09 62 75 66 66 65 72 20 False...buffer
1890: 3d 20 27 27 0a 09 09 77 68 69 6c 65 20 54 72 75 = ''...while Tru
18a0: 65 3a 0a 09 09 09 23 20 63 68 65 63 6b 69 6e 67 e:....# checking
18b0: 20 69 66 20 74 68 65 72 65 20 69 73 20 61 6e 79 if there is any
18c0: 20 64 61 74 61 20 6f 72 20 77 69 74 69 6e 67 20 data or witing
18d0: 66 6f 72 20 64 61 74 61 20 74 6f 20 61 72 72 69 for data to arri
18e0: 76 65 0a 09 09 09 6b 65 76 73 20 3d 20 73 65 6c ve....kevs = sel
18f0: 66 2e 5f 6b 71 2e 63 6f 6e 74 72 6f 6c 28 4e 6f f._kq.control(No
1900: 6e 65 2c 20 31 2c 20 74 69 6d 65 6f 75 74 29 0a ne, 1, timeout).
1910: 0a 09 09 09 66 6f 72 20 6b 65 76 20 69 6e 20 6b ....for kev in k
1920: 65 76 73 3a 0a 09 09 09 09 69 66 20 6b 65 76 2e evs:.....if kev.
1930: 66 69 6c 74 65 72 20 3d 3d 20 73 65 6c 66 2e 5f filter == self._
1940: 73 65 6c 65 63 74 2e 4b 51 5f 46 49 4c 54 45 52 select.KQ_FILTER
1950: 5f 52 45 41 44 20 61 6e 64 20 6b 65 76 2e 64 61 _READ and kev.da
1960: 74 61 20 3e 20 30 3a 0a 09 09 09 09 09 23 20 72 ta > 0:......# r
1970: 65 61 64 69 6e 67 20 64 61 74 61 20 69 6e 0a 09 eading data in..
1980: 09 09 09 09 6e 65 77 5f 62 75 66 66 65 72 20 3d ....new_buffer =
1990: 20 73 79 73 2e 73 74 64 69 6e 2e 72 65 61 64 28 sys.stdin.read(
19a0: 6b 65 76 2e 64 61 74 61 29 0a 09 09 09 09 09 23 kev.data)......#
19b0: 20 69 66 20 6e 6f 20 64 61 74 61 20 77 61 73 20 if no data was
19c0: 73 65 6e 74 20 2d 20 77 65 20 68 61 76 65 20 72 sent - we have r
19d0: 65 61 63 68 65 64 20 65 6e 64 20 6f 66 20 66 69 eached end of fi
19e0: 6c 65 0a 09 09 09 09 09 69 66 20 6c 65 6e 28 6e le......if len(n
19f0: 65 77 5f 62 75 66 66 65 72 29 20 3d 3d 20 30 3a ew_buffer) == 0:
1a00: 0a 09 09 09 09 09 09 65 6f 66 20 3d 20 54 72 75 .......eof = Tru
1a10: 65 0a 09 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 e......else:....
1a20: 09 09 09 23 20 61 64 64 69 6e 67 20 63 75 72 72 ...# adding curr
1a30: 65 6e 74 20 62 75 66 66 65 72 20 74 6f 20 6f 6c ent buffer to ol
1a40: 64 20 62 75 66 66 65 72 20 72 65 6d 61 69 6e 73 d buffer remains
1a50: 0a 09 09 09 09 09 09 62 75 66 66 65 72 20 2b 3d .......buffer +=
1a60: 20 6e 65 77 5f 62 75 66 66 65 72 0a 09 09 09 09 new_buffer.....
1a70: 09 09 23 20 73 70 6c 69 74 74 69 6e 67 20 74 6f ..# splitting to
1a80: 20 6c 69 6e 65 73 0a 09 09 09 09 09 09 6c 69 6e lines.......lin
1a90: 65 73 20 3d 20 62 75 66 66 65 72 2e 73 70 6c 69 es = buffer.spli
1aa0: 74 28 27 5c 6e 27 29 0a 09 09 09 09 09 09 23 20 t('\n').......#
1ab0: 6c 61 73 74 20 6c 69 6e 65 20 74 68 61 74 20 77 last line that w
1ac0: 61 73 20 6e 6f 74 20 74 65 72 6d 69 6e 61 74 65 as not terminate
1ad0: 20 62 79 20 6e 65 77 6c 69 6e 65 20 72 65 74 75 by newline retu
1ae0: 72 6e 73 20 74 6f 20 62 75 66 66 65 72 0a 09 09 rns to buffer...
1af0: 09 09 09 09 62 75 66 66 65 72 20 3d 20 6c 69 6e ....buffer = lin
1b00: 65 73 5b 2d 31 5d 0a 09 09 09 09 09 09 23 20 61 es[-1].......# a
1b10: 6e 20 6f 6e 6c 79 20 69 66 20 74 68 65 72 65 20 n only if there
1b20: 77 61 73 20 61 74 20 6c 65 61 73 74 20 6f 6e 65 was at least one
1b30: 20 6e 65 77 6c 69 6e 65 0a 09 09 09 09 09 09 69 newline.......i
1b40: 66 20 6c 65 6e 28 6c 69 6e 65 73 29 20 3e 20 31 f len(lines) > 1
1b50: 3a 0a 09 09 09 09 09 09 09 66 6f 72 20 6c 69 6e :........for lin
1b60: 65 20 69 6e 20 6c 69 6e 65 73 5b 3a 2d 31 5d 3a e in lines[:-1]:
1b70: 0a 09 09 09 09 09 09 09 09 23 20 61 64 64 20 64 .........# add d
1b80: 61 74 61 20 74 6f 20 74 68 65 20 71 75 65 75 65 ata to the queue
1b90: 0a 09 09 09 09 09 09 09 09 69 66 20 73 65 6c 66 .........if self
1ba0: 2e 63 68 65 63 6b 28 6c 69 6e 65 20 2b 20 27 5c .check(line + '\
1bb0: 6e 27 29 3a 0a 09 09 09 09 09 09 09 09 09 23 20 n'):..........#
1bc0: 64 6f 6e 27 74 20 77 61 69 74 20 66 6f 72 20 6d don't wait for m
1bd0: 6f 72 65 20 64 61 74 61 2c 20 73 74 61 72 74 20 ore data, start
1be0: 70 72 6f 63 65 73 73 69 6e 67 0a 09 09 09 09 09 processing......
1bf0: 09 09 09 09 74 69 6d 65 6f 75 74 20 3d 20 30 0a ....timeout = 0.
1c00: 0a 09 09 09 09 23 20 64 65 74 65 63 74 20 65 6e .....# detect en
1c10: 64 20 6f 66 20 73 74 72 65 61 6d 20 61 6e 64 20 d of stream and
1c20: 65 78 69 74 20 69 66 20 70 6f 73 73 69 62 6c 65 exit if possible
1c30: 0a 09 09 09 09 69 66 20 6b 65 76 2e 66 6c 61 67 .....if kev.flag
1c40: 73 20 3e 3e 20 31 35 20 3d 3d 20 31 3a 0a 09 09 s >> 15 == 1:...
1c50: 09 09 09 73 65 6c 66 2e 5f 6b 71 2e 63 6f 6e 74 ...self._kq.cont
1c60: 72 6f 6c 28 5b 73 65 6c 66 2e 5f 73 65 6c 65 63 rol([self._selec
1c70: 74 2e 6b 65 76 65 6e 74 28 73 79 73 2e 73 74 64 t.kevent(sys.std
1c80: 69 6e 2c 20 73 65 6c 66 2e 5f 73 65 6c 65 63 74 in, self._select
1c90: 2e 4b 51 5f 46 49 4c 54 45 52 5f 52 45 41 44 2c .KQ_FILTER_READ,
1ca0: 20 73 65 6c 66 2e 5f 73 65 6c 65 63 74 2e 4b 51 self._select.KQ
1cb0: 5f 45 56 5f 44 45 4c 45 54 45 29 5d 2c 20 30 29 _EV_DELETE)], 0)
1cc0: 0a 09 09 09 09 09 65 6f 66 20 3d 20 54 72 75 65 ......eof = True
1cd0: 0a 09 09 09 09 09 23 74 69 6d 65 6f 75 74 20 3d ......#timeout =
1ce0: 20 30 0a 0a 09 09 09 69 66 20 6c 65 6e 28 6b 65 0.....if len(ke
1cf0: 76 73 29 20 3d 3d 20 30 3a 0a 09 09 09 09 69 66 vs) == 0:.....if
1d00: 20 6c 65 6e 28 73 65 6c 66 2e 5f 71 75 65 75 65 len(self._queue
1d10: 29 20 3e 20 30 3a 0a 09 09 09 09 09 23 20 67 65 ) > 0:......# ge
1d20: 74 20 6f 6e 65 20 72 65 71 75 65 73 74 20 61 6e t one request an
1d30: 64 20 70 72 6f 63 65 73 73 20 69 74 0a 09 09 09 d process it....
1d40: 09 09 72 65 71 20 3d 20 73 65 6c 66 2e 5f 71 75 ..req = self._qu
1d50: 65 75 65 2e 70 6f 70 28 30 29 0a 09 09 09 09 09 eue.pop(0)......
1d60: 43 68 65 63 6b 65 72 2e 70 72 6f 63 65 73 73 28 Checker.process(
1d70: 73 65 6c 66 2c 20 72 65 71 5b 30 5d 2c 20 72 65 self, req[0], re
1d80: 71 5b 31 5d 2c 20 72 65 71 5b 32 5d 2c 20 72 65 q[1], req[2], re
1d90: 71 5b 33 5d 29 0a 09 09 09 09 09 69 66 20 6c 65 q[3])......if le
1da0: 6e 28 73 65 6c 66 2e 5f 71 75 65 75 65 29 20 3d n(self._queue) =
1db0: 3d 20 30 3a 0a 09 09 09 09 09 09 23 20 77 61 69 = 0:.......# wai
1dc0: 74 20 66 6f 72 20 64 61 74 61 20 2d 20 77 65 20 t for data - we
1dd0: 68 61 76 65 20 6e 6f 74 68 69 6e 67 20 74 6f 20 have nothing to
1de0: 70 72 6f 63 65 73 73 0a 09 09 09 09 09 09 74 69 process.......ti
1df0: 6d 65 6f 75 74 20 3d 20 4e 6f 6e 65 0a 0a 09 09 meout = None....
1e00: 09 23 20 69 66 20 71 75 65 75 65 20 69 73 20 65 .# if queue is e
1e10: 6d 70 74 79 20 61 6e 64 20 77 65 20 72 65 61 63 mpty and we reac
1e20: 68 65 64 20 65 6e 64 20 6f 66 20 73 74 72 65 61 hed end of strea
1e30: 6d 20 2d 20 77 65 20 63 61 6e 20 65 78 69 74 0a m - we can exit.
1e40: 09 09 09 69 66 20 6c 65 6e 28 73 65 6c 66 2e 5f ...if len(self._
1e50: 71 75 65 75 65 29 20 3d 3d 20 30 20 61 6e 64 20 queue) == 0 and
1e60: 65 6f 66 3a 0a 09 09 09 09 62 72 65 61 6b 0a 0a eof:.....break..
1e70: 09 64 65 66 20 70 72 6f 63 65 73 73 28 73 65 6c .def process(sel
1e80: 66 2c 20 69 64 2c 20 73 69 74 65 2c 20 69 70 5f f, id, site, ip_
1e90: 61 64 64 72 65 73 73 2c 20 75 72 6c 5f 70 61 74 address, url_pat
1ea0: 68 2c 20 6c 69 6e 65 29 3a 0a 09 09 23 20 73 69 h, line):...# si
1eb0: 6d 70 6c 79 20 61 64 64 69 6e 67 20 64 61 74 61 mply adding data
1ec0: 20 74 6f 20 74 68 65 20 71 75 65 75 65 0a 09 09 to the queue...
1ed0: 73 65 6c 66 2e 5f 71 75 65 75 65 2e 61 70 70 65 self._queue.appe
1ee0: 6e 64 28 28 69 64 2c 20 73 69 74 65 2c 20 69 70 nd((id, site, ip
1ef0: 5f 61 64 64 72 65 73 73 2c 20 75 72 6c 5f 70 61 _address, url_pa
1f00: 74 68 29 29 0a 09 09 73 65 6c 66 2e 5f 6c 6f 67 th))...self._log
1f10: 2e 69 6e 66 6f 28 27 72 65 71 75 65 73 74 20 7b .info('request {
1f20: 7d 20 71 75 65 75 65 64 20 28 7b 7d 29 5c 6e 27 } queued ({})\n'
1f30: 2e 66 6f 72 6d 61 74 28 69 64 2c 20 6c 69 6e 65 .format(id, line
1f40: 29 29 0a 0a 23 20 74 68 69 73 20 63 6c 61 73 73 ))..# this class
1f50: 65 73 20 70 72 6f 63 65 73 73 65 73 20 63 6f 6e es processes con
1f60: 66 69 67 20 66 69 6c 65 20 61 6e 64 20 73 75 62 fig file and sub
1f70: 73 74 69 74 75 74 65 73 20 64 65 66 61 75 6c 74 stitutes default
1f80: 20 76 61 6c 75 65 73 0a 63 6c 61 73 73 20 43 6f values.class Co
1f90: 6e 66 69 67 3a 0a 09 5f 5f 73 6c 6f 74 73 5f 5f nfig:..__slots__
1fa0: 20 3d 20 66 72 6f 7a 65 6e 73 65 74 28 5b 27 5f = frozenset(['_
1fb0: 63 6f 6e 66 69 67 27 2c 20 27 5f 64 65 66 61 75 config', '_defau
1fc0: 6c 74 27 2c 20 27 5f 73 65 63 74 69 6f 6e 27 2c lt', '_section',
1fd0: 20 27 6f 70 74 69 6f 6e 73 27 5d 29 0a 09 5f 64 'options']).._d
1fe0: 65 66 61 75 6c 74 20 3d 20 7b 0a 09 09 27 72 65 efault = {...'re
1ff0: 61 63 74 6f 72 27 3a 20 7b 0a 09 09 09 27 72 65 actor': {....'re
2000: 61 63 74 6f 72 27 3a 20 27 74 68 72 65 61 64 27 actor': 'thread'
2010: 2c 0a 09 09 7d 2c 0a 09 09 27 6c 6f 67 27 3a 20 ,...},...'log':
2020: 7b 0a 09 09 09 27 73 69 6c 65 6e 74 27 3a 20 27 {....'silent': '
2030: 6e 6f 27 2c 0a 09 09 7d 2c 0a 09 09 27 64 61 74 no',...},...'dat
2040: 61 62 61 73 65 27 3a 20 7b 0a 09 09 09 27 68 6f abase': {....'ho
2050: 73 74 27 3a 20 27 6c 6f 63 61 6c 68 6f 73 74 27 st': 'localhost'
2060: 2c 0a 09 09 09 27 64 61 74 61 62 61 73 65 27 3a ,....'database':
2070: 20 27 73 71 75 69 64 54 61 67 27 2c 0a 09 7d 2c 'squidTag',..},
2080: 7d 0a 0a 09 23 20 66 75 6e 63 74 69 6f 6e 20 74 }...# function t
2090: 6f 20 72 65 61 64 20 69 6e 20 63 6f 6e 66 69 67 o read in config
20a0: 20 66 69 6c 65 0a 09 64 65 66 20 5f 5f 69 6e 69 file..def __ini
20b0: 74 5f 5f 28 73 65 6c 66 29 3a 0a 09 09 69 6d 70 t__(self):...imp
20c0: 6f 72 74 20 63 6f 6e 66 69 67 70 61 72 73 65 72 ort configparser
20d0: 2c 20 6f 70 74 70 61 72 73 65 2c 20 6f 73 0a 0a , optparse, os..
20e0: 09 09 70 61 72 73 65 72 20 3d 20 6f 70 74 70 61 ..parser = optpa
20f0: 72 73 65 2e 4f 70 74 69 6f 6e 50 61 72 73 65 72 rse.OptionParser
2100: 28 29 0a 09 09 70 61 72 73 65 72 2e 61 64 64 5f ()...parser.add_
2110: 6f 70 74 69 6f 6e 28 27 2d 63 27 2c 20 27 2d 2d option('-c', '--
2120: 63 6f 6e 66 69 67 27 2c 20 64 65 73 74 20 3d 20 config', dest =
2130: 27 63 6f 6e 66 69 67 27 2c 0a 09 09 09 68 65 6c 'config',....hel
2140: 70 20 3d 20 27 63 6f 6e 66 69 67 20 66 69 6c 65 p = 'config file
2150: 20 6c 6f 63 61 74 69 6f 6e 27 2c 20 6d 65 74 61 location', meta
2160: 76 61 72 20 3d 20 27 46 49 4c 45 27 2c 0a 09 09 var = 'FILE',...
2170: 09 64 65 66 61 75 6c 74 20 3d 20 27 2f 75 73 72 .default = '/usr
2180: 2f 6c 6f 63 61 6c 2f 65 74 63 2f 73 71 75 69 64 /local/etc/squid
2190: 2d 74 61 67 67 65 72 2e 63 6f 6e 66 27 29 0a 09 -tagger.conf')..
21a0: 09 70 61 72 73 65 72 2e 61 64 64 5f 6f 70 74 69 .parser.add_opti
21b0: 6f 6e 28 27 2d 64 27 2c 20 27 2d 2d 64 75 6d 70 on('-d', '--dump
21c0: 27 2c 20 64 65 73 74 20 3d 20 27 64 75 6d 70 27 ', dest = 'dump'
21d0: 2c 0a 09 09 09 68 65 6c 70 20 3d 20 27 64 75 6d ,....help = 'dum
21e0: 70 20 64 61 74 61 62 61 73 65 27 2c 20 61 63 74 p database', act
21f0: 69 6f 6e 20 3d 20 27 73 74 6f 72 65 5f 74 72 75 ion = 'store_tru
2200: 65 27 2c 20 6d 65 74 61 76 61 72 20 3d 20 27 62 e', metavar = 'b
2210: 6f 6f 6c 27 2c 0a 09 09 09 64 65 66 61 75 6c 74 ool',....default
2220: 20 3d 20 46 61 6c 73 65 29 0a 09 09 70 61 72 73 = False)...pars
2230: 65 72 2e 61 64 64 5f 6f 70 74 69 6f 6e 28 27 2d er.add_option('-
2240: 66 27 2c 20 27 2d 2d 66 6c 75 73 68 2d 64 61 74 f', '--flush-dat
2250: 61 62 61 73 65 27 2c 20 64 65 73 74 20 3d 20 27 abase', dest = '
2260: 66 6c 75 73 68 5f 64 62 27 2c 0a 09 09 09 68 65 flush_db',....he
2270: 6c 70 20 3d 20 27 66 6c 75 73 68 20 70 72 65 76 lp = 'flush prev
2280: 69 6f 75 73 20 64 61 74 61 62 61 73 65 20 6f 6e ious database on
2290: 20 6c 6f 61 64 27 2c 20 64 65 66 61 75 6c 74 20 load', default
22a0: 3d 20 46 61 6c 73 65 2c 0a 09 09 09 61 63 74 69 = False,....acti
22b0: 6f 6e 20 3d 20 27 73 74 6f 72 65 5f 74 72 75 65 on = 'store_true
22c0: 27 2c 20 6d 65 74 61 76 61 72 20 3d 20 27 62 6f ', metavar = 'bo
22d0: 6f 6c 27 29 0a 09 09 70 61 72 73 65 72 2e 61 64 ol')...parser.ad
22e0: 64 5f 6f 70 74 69 6f 6e 28 27 2d 6c 27 2c 20 27 d_option('-l', '
22f0: 2d 2d 6c 6f 61 64 27 2c 20 64 65 73 74 20 3d 20 --load', dest =
2300: 27 6c 6f 61 64 27 2c 0a 09 09 09 68 65 6c 70 20 'load',....help
2310: 3d 20 27 6c 6f 61 64 20 64 61 74 61 62 61 73 65 = 'load database
2320: 27 2c 20 61 63 74 69 6f 6e 20 3d 20 27 73 74 6f ', action = 'sto
2330: 72 65 5f 74 72 75 65 27 2c 20 6d 65 74 61 76 61 re_true', metava
2340: 72 20 3d 20 27 62 6f 6f 6c 27 2c 0a 09 09 09 64 r = 'bool',....d
2350: 65 66 61 75 6c 74 20 3d 20 46 61 6c 73 65 29 0a efault = False).
2360: 09 09 70 61 72 73 65 72 2e 61 64 64 5f 6f 70 74 ..parser.add_opt
2370: 69 6f 6e 28 27 2d 44 27 2c 20 27 2d 2d 64 75 6d ion('-D', '--dum
2380: 70 2d 63 6f 6e 66 27 2c 20 64 65 73 74 20 3d 20 p-conf', dest =
2390: 27 64 75 6d 70 5f 63 6f 6e 66 27 2c 0a 09 09 09 'dump_conf',....
23a0: 68 65 6c 70 20 3d 20 27 64 75 6d 70 20 66 69 6c help = 'dump fil
23b0: 74 65 72 69 6e 67 20 72 75 6c 65 73 27 2c 20 64 tering rules', d
23c0: 65 66 61 75 6c 74 20 3d 20 46 61 6c 73 65 2c 20 efault = False,
23d0: 6d 65 74 61 76 61 72 20 3d 20 27 62 6f 6f 6c 27 metavar = 'bool'
23e0: 2c 0a 09 09 09 61 63 74 69 6f 6e 20 3d 20 27 73 ,....action = 's
23f0: 74 6f 72 65 5f 74 72 75 65 27 29 0a 09 09 70 61 tore_true')...pa
2400: 72 73 65 72 2e 61 64 64 5f 6f 70 74 69 6f 6e 28 rser.add_option(
2410: 27 2d 4c 27 2c 20 27 2d 2d 6c 6f 61 64 2d 63 6f '-L', '--load-co
2420: 6e 66 27 2c 20 64 65 73 74 20 3d 20 27 6c 6f 61 nf', dest = 'loa
2430: 64 5f 63 6f 6e 66 27 2c 0a 09 09 09 68 65 6c 70 d_conf',....help
2440: 20 3d 20 27 6c 6f 61 64 20 66 69 6c 74 65 72 69 = 'load filteri
2450: 6e 67 20 72 75 6c 65 73 27 2c 20 64 65 66 61 75 ng rules', defau
2460: 6c 74 20 3d 20 46 61 6c 73 65 2c 20 6d 65 74 61 lt = False, meta
2470: 76 61 72 20 3d 20 27 62 6f 6f 6c 27 2c 0a 09 09 var = 'bool',...
2480: 09 61 63 74 69 6f 6e 20 3d 20 27 73 74 6f 72 65 .action = 'store
2490: 5f 74 72 75 65 27 29 0a 0a 09 09 28 73 65 6c 66 _true')....(self
24a0: 2e 6f 70 74 69 6f 6e 73 2c 20 61 72 67 73 29 20 .options, args)
24b0: 3d 20 70 61 72 73 65 72 2e 70 61 72 73 65 5f 61 = parser.parse_a
24c0: 72 67 73 28 29 0a 0a 09 09 61 73 73 65 72 74 20 rgs()....assert
24d0: 6f 73 2e 61 63 63 65 73 73 28 73 65 6c 66 2e 6f os.access(self.o
24e0: 70 74 69 6f 6e 73 2e 63 6f 6e 66 69 67 2c 20 6f ptions.config, o
24f0: 73 2e 52 5f 4f 4b 29 2c 20 22 46 61 74 61 6c 20 s.R_OK), "Fatal
2500: 65 72 72 6f 72 3a 20 63 61 6e 27 74 20 72 65 61 error: can't rea
2510: 64 20 7b 7d 22 2e 66 6f 72 6d 61 74 28 73 65 6c d {}".format(sel
2520: 66 2e 6f 70 74 69 6f 6e 73 2e 63 6f 6e 66 69 67 f.options.config
2530: 29 0a 0a 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 )....self._confi
2540: 67 20 3d 20 63 6f 6e 66 69 67 70 61 72 73 65 72 g = configparser
2550: 2e 43 6f 6e 66 69 67 50 61 72 73 65 72 28 29 0a .ConfigParser().
2560: 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 72 ..self._config.r
2570: 65 61 64 66 70 28 6f 70 65 6e 28 73 65 6c 66 2e eadfp(open(self.
2580: 6f 70 74 69 6f 6e 73 2e 63 6f 6e 66 69 67 29 29 options.config))
2590: 0a 0a 09 23 20 66 75 6e 63 74 69 6f 6e 20 74 6f ...# function to
25a0: 20 73 65 6c 65 63 74 20 63 6f 6e 66 69 67 20 66 select config f
25b0: 69 6c 65 20 73 65 63 74 69 6f 6e 20 6f 72 20 63 ile section or c
25c0: 72 65 61 74 65 20 6f 6e 65 0a 09 64 65 66 20 73 reate one..def s
25d0: 65 63 74 69 6f 6e 28 73 65 6c 66 2c 20 73 65 63 ection(self, sec
25e0: 74 69 6f 6e 29 3a 0a 09 09 69 66 20 6e 6f 74 20 tion):...if not
25f0: 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 68 61 73 self._config.has
2600: 5f 73 65 63 74 69 6f 6e 28 73 65 63 74 69 6f 6e _section(section
2610: 29 3a 0a 09 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 ):....self._conf
2620: 69 67 2e 61 64 64 5f 73 65 63 74 69 6f 6e 28 73 ig.add_section(s
2630: 65 63 74 69 6f 6e 29 0a 09 09 73 65 6c 66 2e 5f ection)...self._
2640: 73 65 63 74 69 6f 6e 20 3d 20 73 65 63 74 69 6f section = sectio
2650: 6e 0a 0a 09 23 20 66 75 6e 63 74 69 6f 6e 20 74 n...# function t
2660: 6f 20 67 65 74 20 63 6f 6e 66 69 67 20 70 61 72 o get config par
2670: 61 6d 65 74 65 72 2c 20 69 66 20 70 61 72 61 6d ameter, if param
2680: 65 74 65 72 20 64 6f 65 73 6e 27 74 20 65 78 69 eter doesn't exi
2690: 73 74 73 20 74 68 65 20 64 65 66 61 75 6c 74 0a sts the default.
26a0: 09 23 20 76 61 6c 75 65 20 6f 72 20 4e 6f 6e 65 .# value or None
26b0: 20 69 73 20 73 75 62 73 74 69 74 75 74 65 64 0a is substituted.
26c0: 09 64 65 66 20 5f 5f 67 65 74 69 74 65 6d 5f 5f .def __getitem__
26d0: 28 73 65 6c 66 2c 20 6e 61 6d 65 29 3a 0a 09 09 (self, name):...
26e0: 69 66 20 6e 6f 74 20 73 65 6c 66 2e 5f 63 6f 6e if not self._con
26f0: 66 69 67 2e 68 61 73 5f 6f 70 74 69 6f 6e 28 73 fig.has_option(s
2700: 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e 61 elf._section, na
2710: 6d 65 29 3a 0a 09 09 09 69 66 20 73 65 6c 66 2e me):....if self.
2720: 5f 73 65 63 74 69 6f 6e 20 69 6e 20 73 65 6c 66 _section in self
2730: 2e 5f 64 65 66 61 75 6c 74 3a 0a 09 09 09 09 69 ._default:.....i
2740: 66 20 6e 61 6d 65 20 69 6e 20 73 65 6c 66 2e 5f f name in self._
2750: 64 65 66 61 75 6c 74 5b 73 65 6c 66 2e 5f 73 65 default[self._se
2760: 63 74 69 6f 6e 5d 3a 0a 09 09 09 09 09 73 65 6c ction]:......sel
2770: 66 2e 5f 63 6f 6e 66 69 67 2e 73 65 74 28 73 65 f._config.set(se
2780: 6c 66 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e 61 6d lf._section, nam
2790: 65 2c 20 73 65 6c 66 2e 5f 64 65 66 61 75 6c 74 e, self._default
27a0: 5b 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 5d 5b [self._section][
27b0: 6e 61 6d 65 5d 29 0a 09 09 09 09 65 6c 73 65 3a name]).....else:
27c0: 0a 09 09 09 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 ......self._conf
27d0: 69 67 2e 73 65 74 28 73 65 6c 66 2e 5f 73 65 63 ig.set(self._sec
27e0: 74 69 6f 6e 2c 20 6e 61 6d 65 2c 20 4e 6f 6e 65 tion, name, None
27f0: 29 0a 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 73 )....else:.....s
2800: 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 73 65 74 28 elf._config.set(
2810: 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e self._section, n
2820: 61 6d 65 2c 20 4e 6f 6e 65 29 0a 09 09 72 65 74 ame, None)...ret
2830: 75 72 6e 28 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 urn(self._config
2840: 2e 67 65 74 28 73 65 6c 66 2e 5f 73 65 63 74 69 .get(self._secti
2850: 6f 6e 2c 20 6e 61 6d 65 29 29 0a 0a 23 20 69 6e on, name))..# in
2860: 69 74 69 61 6c 69 7a 69 6e 67 20 61 6e 64 20 72 itializing and r
2870: 65 61 64 69 6e 67 20 69 6e 20 63 6f 6e 66 69 67 eading in config
2880: 20 66 69 6c 65 0a 63 6f 6e 66 69 67 20 3d 20 43 file.config = C
2890: 6f 6e 66 69 67 28 29 0a 0a 69 66 20 63 6f 6e 66 onfig()..if conf
28a0: 69 67 2e 6f 70 74 69 6f 6e 73 2e 64 75 6d 70 20 ig.options.dump
28b0: 6f 72 20 63 6f 6e 66 69 67 2e 6f 70 74 69 6f 6e or config.option
28c0: 73 2e 6c 6f 61 64 20 6f 72 20 63 6f 6e 66 69 67 s.load or config
28d0: 2e 6f 70 74 69 6f 6e 73 2e 64 75 6d 70 5f 63 6f .options.dump_co
28e0: 6e 66 20 6f 72 20 63 6f 6e 66 69 67 2e 6f 70 74 nf or config.opt
28f0: 69 6f 6e 73 2e 6c 6f 61 64 5f 63 6f 6e 66 3a 0a ions.load_conf:.
2900: 09 69 6d 70 6f 72 74 20 63 73 76 0a 0a 09 74 61 .import csv...ta
2910: 67 64 62 20 3d 20 74 61 67 44 42 28 29 0a 09 64 gdb = tagDB()..d
2920: 61 74 61 5f 66 69 65 6c 64 73 20 3d 20 5b 27 73 ata_fields = ['s
2930: 69 74 65 27 2c 20 27 74 61 67 27 2c 20 27 72 65 ite', 'tag', 're
2940: 67 65 78 70 27 5d 0a 09 63 6f 6e 66 5f 66 69 65 gexp']..conf_fie
2950: 6c 64 73 20 3d 20 5b 27 6e 65 74 6d 61 73 6b 27 lds = ['netmask'
2960: 2c 20 27 72 65 64 69 72 65 63 74 5f 75 72 6c 27 , 'redirect_url'
2970: 2c 20 27 66 72 6f 6d 5f 77 65 65 6b 64 61 79 27 , 'from_weekday'
2980: 2c 20 27 74 6f 5f 77 65 65 6b 64 61 79 27 2c 20 , 'to_weekday',
2990: 27 66 72 6f 6d 5f 74 69 6d 65 27 2c 20 27 74 6f 'from_time', 'to
29a0: 5f 74 69 6d 65 27 2c 20 27 74 61 67 27 5d 0a 0a _time', 'tag']..
29b0: 09 69 66 20 63 6f 6e 66 69 67 2e 6f 70 74 69 6f .if config.optio
29c0: 6e 73 2e 64 75 6d 70 20 6f 72 20 63 6f 6e 66 69 ns.dump or confi
29d0: 67 2e 6f 70 74 69 6f 6e 73 2e 64 75 6d 70 5f 63 g.options.dump_c
29e0: 6f 6e 66 3a 0a 09 09 69 66 20 63 6f 6e 66 69 67 onf:...if config
29f0: 2e 6f 70 74 69 6f 6e 73 2e 64 75 6d 70 3a 0a 09 .options.dump:..
2a00: 09 09 64 75 6d 70 20 3d 20 74 61 67 64 62 2e 64 ..dump = tagdb.d
2a10: 75 6d 70 28 29 0a 09 09 65 6c 69 66 20 63 6f 6e ump()...elif con
2a20: 66 69 67 2e 6f 70 74 69 6f 6e 73 2e 64 75 6d 70 fig.options.dump
2a30: 5f 63 6f 6e 66 3a 0a 09 09 09 64 75 6d 70 20 3d _conf:....dump =
2a40: 20 74 61 67 64 62 2e 64 75 6d 70 5f 63 6f 6e 66 tagdb.dump_conf
2a50: 28 29 0a 0a 09 09 66 6f 72 20 6c 69 6e 65 20 69 ()....for line i
2a60: 6e 20 64 75 6d 70 3a 0a 09 09 09 73 79 73 2e 73 n dump:....sys.s
2a70: 74 64 6f 75 74 2e 77 72 69 74 65 28 6c 69 6e 65 tdout.write(line
2a80: 2e 64 65 63 6f 64 65 28 27 75 74 66 2d 38 27 29 .decode('utf-8')
2a90: 29 0a 0a 09 65 6c 69 66 20 63 6f 6e 66 69 67 2e )...elif config.
2aa0: 6f 70 74 69 6f 6e 73 2e 6c 6f 61 64 20 6f 72 20 options.load or
2ab0: 63 6f 6e 66 69 67 2e 6f 70 74 69 6f 6e 73 2e 6c config.options.l
2ac0: 6f 61 64 5f 63 6f 6e 66 3a 0a 09 09 63 73 76 5f oad_conf:...csv_
2ad0: 72 65 61 64 65 72 20 3d 20 63 73 76 2e 72 65 61 reader = csv.rea
2ae0: 64 65 72 28 73 79 73 2e 73 74 64 69 6e 29 0a 09 der(sys.stdin)..
2af0: 09 66 69 72 73 74 5f 72 6f 77 20 3d 20 6e 65 78 .first_row = nex
2b00: 74 28 63 73 76 5f 72 65 61 64 65 72 29 0a 0a 09 t(csv_reader)...
2b10: 09 69 66 20 63 6f 6e 66 69 67 2e 6f 70 74 69 6f .if config.optio
2b20: 6e 73 2e 6c 6f 61 64 3a 0a 09 09 09 66 69 65 6c ns.load:....fiel
2b30: 64 73 20 3d 20 64 61 74 61 5f 66 69 65 6c 64 73 ds = data_fields
2b40: 0a 09 09 09 6c 6f 61 64 20 3d 20 74 61 67 64 62 ....load = tagdb
2b50: 2e 6c 6f 61 64 0a 09 09 65 6c 69 66 20 63 6f 6e .load...elif con
2b60: 66 69 67 2e 6f 70 74 69 6f 6e 73 2e 6c 6f 61 64 fig.options.load
2b70: 5f 63 6f 6e 66 3a 0a 09 09 09 66 69 65 6c 64 73 _conf:....fields
2b80: 20 3d 20 63 6f 6e 66 5f 66 69 65 6c 64 73 0a 09 = conf_fields..
2b90: 09 09 6c 6f 61 64 20 3d 20 74 61 67 64 62 2e 6c ..load = tagdb.l
2ba0: 6f 61 64 5f 63 6f 6e 66 0a 0a 09 09 61 73 73 65 oad_conf....asse
2bb0: 72 74 20 66 69 72 73 74 5f 72 6f 77 20 3d 3d 20 rt first_row ==
2bc0: 66 69 65 6c 64 73 2c 20 27 46 69 6c 65 20 6d 75 fields, 'File mu
2bd0: 73 74 20 63 6f 6e 74 61 69 6e 20 63 73 76 20 64 st contain csv d
2be0: 61 74 61 20 77 69 74 68 20 74 68 65 65 73 65 20 ata with theese
2bf0: 63 6f 6c 75 6d 6e 73 3a 20 27 20 2b 20 72 65 70 columns: ' + rep
2c00: 72 28 66 69 65 6c 64 73 29 0a 09 09 6c 6f 61 64 r(fields)...load
2c10: 28 63 73 76 5f 72 65 61 64 65 72 29 0a 0a 65 6c (csv_reader)..el
2c20: 73 65 3a 0a 09 23 20 6d 61 69 6e 20 6c 6f 6f 70 se:..# main loop
2c30: 0a 09 63 6f 6e 66 69 67 2e 73 65 63 74 69 6f 6e ..config.section
2c40: 28 27 72 65 61 63 74 6f 72 27 29 0a 09 69 66 20 ('reactor')..if
2c50: 63 6f 6e 66 69 67 5b 27 72 65 61 63 74 6f 72 27 config['reactor'
2c60: 5d 20 3d 3d 20 27 74 68 72 65 61 64 27 3a 0a 09 ] == 'thread':..
2c70: 09 63 68 65 63 6b 65 72 20 3d 20 43 68 65 63 6b .checker = Check
2c80: 65 72 54 68 72 65 61 64 28 29 0a 09 65 6c 69 66 erThread()..elif
2c90: 20 63 6f 6e 66 69 67 5b 27 72 65 61 63 74 6f 72 config['reactor
2ca0: 27 5d 20 3d 3d 20 27 70 6c 61 69 6e 27 3a 0a 09 '] == 'plain':..
2cb0: 09 63 68 65 63 6b 65 72 20 3d 20 43 68 65 63 6b .checker = Check
2cc0: 65 72 28 29 0a 09 65 6c 69 66 20 63 6f 6e 66 69 er()..elif confi
2cd0: 67 5b 27 72 65 61 63 74 6f 72 27 5d 20 3d 3d 20 g['reactor'] ==
2ce0: 27 6b 71 75 65 75 65 27 3a 0a 09 09 63 68 65 63 'kqueue':...chec
2cf0: 6b 65 72 20 3d 20 43 68 65 63 6b 65 72 4b 71 75 ker = CheckerKqu
2d00: 65 75 65 28 29 0a 0a 09 63 68 65 63 6b 65 72 2e eue()...checker.
2d10: 6c 6f 6f 70 28 29 0a loop().