0000: 23 21 2f 75 73 72 2f 62 69 6e 2f 65 6e 76 20 70 #!/usr/bin/env p
0010: 79 74 68 6f 6e 33 2e 31 0a 0a 69 6d 70 6f 72 74 ython3.1..import
0020: 20 70 6f 73 74 67 72 65 73 71 6c 2e 61 70 69 2c postgresql.api,
0030: 20 72 65 2c 20 73 79 73 0a 0a 23 20 77 72 61 70 re, sys..# wrap
0040: 70 65 72 20 61 72 6f 75 6e 64 20 73 79 73 6c 6f per around syslo
0050: 67 2c 20 63 61 6e 20 62 65 20 6d 75 74 65 64 0a g, can be muted.
0060: 63 6c 61 73 73 20 4c 6f 67 67 65 72 3a 0a 09 5f class Logger:.._
0070: 5f 73 6c 6f 74 73 5f 5f 20 3d 20 66 72 6f 7a 65 _slots__ = froze
0080: 6e 73 65 74 28 5b 27 5f 73 79 73 6c 6f 67 27 5d nset(['_syslog']
0090: 29 0a 0a 09 64 65 66 20 5f 5f 69 6e 69 74 5f 5f )...def __init__
00a0: 28 73 65 6c 66 29 3a 0a 09 09 63 6f 6e 66 69 67 (self):...config
00b0: 2e 73 65 63 74 69 6f 6e 28 27 6c 6f 67 27 29 0a .section('log').
00c0: 09 09 69 66 20 63 6f 6e 66 69 67 5b 27 73 69 6c ..if config['sil
00d0: 65 6e 74 27 5d 20 3d 3d 20 27 79 65 73 27 3a 0a ent'] == 'yes':.
00e0: 09 09 09 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 20 ...self._syslog
00f0: 3d 20 4e 6f 6e 65 0a 09 09 65 6c 73 65 3a 0a 09 = None...else:..
0100: 09 09 69 6d 70 6f 72 74 20 73 79 73 6c 6f 67 0a ..import syslog.
0110: 09 09 09 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 20 ...self._syslog
0120: 3d 20 73 79 73 6c 6f 67 0a 09 09 09 73 65 6c 66 = syslog....self
0130: 2e 5f 73 79 73 6c 6f 67 2e 6f 70 65 6e 6c 6f 67 ._syslog.openlog
0140: 28 27 73 71 75 69 64 54 61 67 27 29 0a 0a 09 64 ('squidTag')...d
0150: 65 66 20 69 6e 66 6f 28 73 65 6c 66 2c 20 6d 65 ef info(self, me
0160: 73 73 61 67 65 29 3a 0a 09 09 69 66 20 73 65 6c ssage):...if sel
0170: 66 2e 5f 73 79 73 6c 6f 67 3a 0a 09 09 09 73 65 f._syslog:....se
0180: 6c 66 2e 5f 73 79 73 6c 6f 67 2e 73 79 73 6c 6f lf._syslog.syslo
0190: 67 28 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 2e 4c g(self._syslog.L
01a0: 4f 47 5f 49 4e 46 4f 2c 20 6d 65 73 73 61 67 65 OG_INFO, message
01b0: 29 0a 0a 09 64 65 66 20 6e 6f 74 69 63 65 28 73 )...def notice(s
01c0: 65 6c 66 2c 20 6d 65 73 73 61 67 65 29 3a 0a 09 elf, message):..
01d0: 09 69 66 20 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 .if self._syslog
01e0: 3a 0a 09 09 09 73 65 6c 66 2e 5f 73 79 73 6c 6f :....self._syslo
01f0: 67 2e 73 79 73 6c 6f 67 28 73 65 6c 66 2e 5f 73 g.syslog(self._s
0200: 79 73 6c 6f 67 2e 4c 4f 47 5f 4e 4f 54 49 43 45 yslog.LOG_NOTICE
0210: 2c 20 6d 65 73 73 61 67 65 29 0a 0a 23 20 77 72 , message)..# wr
0220: 61 70 70 65 72 20 61 72 6f 75 6e 64 20 64 61 74 apper around dat
0230: 61 62 61 73 65 0a 63 6c 61 73 73 20 74 61 67 44 abase.class tagD
0240: 42 3a 0a 09 5f 5f 73 6c 6f 74 73 5f 5f 20 3d 20 B:..__slots__ =
0250: 66 72 6f 7a 65 6e 73 65 74 28 28 27 5f 63 68 65 frozenset(('_che
0260: 63 6b 5f 73 74 6d 74 27 2c 20 27 5f 64 62 27 29 ck_stmt', '_db')
0270: 29 0a 0a 09 64 65 66 20 5f 5f 69 6e 69 74 5f 5f )...def __init__
0280: 28 73 65 6c 66 29 3a 0a 09 09 63 6f 6e 66 69 67 (self):...config
0290: 2e 73 65 63 74 69 6f 6e 28 27 64 61 74 61 62 61 .section('databa
02a0: 73 65 27 29 0a 09 09 73 65 6c 66 2e 5f 64 62 20 se')...self._db
02b0: 3d 20 70 6f 73 74 67 72 65 73 71 6c 2e 6f 70 65 = postgresql.ope
02c0: 6e 28 0a 09 09 09 27 70 71 3a 2f 2f 7b 7d 3a 7b n(....'pq://{}:{
02d0: 7d 40 7b 7d 2f 7b 7d 27 2e 66 6f 72 6d 61 74 28 }@{}/{}'.format(
02e0: 0a 09 09 09 09 63 6f 6e 66 69 67 5b 27 75 73 65 .....config['use
02f0: 72 27 5d 2c 0a 09 09 09 09 63 6f 6e 66 69 67 5b r'],.....config[
0300: 27 70 61 73 73 77 6f 72 64 27 5d 2c 0a 09 09 09 'password'],....
0310: 09 63 6f 6e 66 69 67 5b 27 68 6f 73 74 27 5d 2c .config['host'],
0320: 0a 09 09 09 09 63 6f 6e 66 69 67 5b 27 64 61 74 .....config['dat
0330: 61 62 61 73 65 27 5d 2c 0a 09 09 29 20 29 0a 09 abase'],...) )..
0340: 09 73 65 6c 66 2e 5f 63 68 65 63 6b 5f 73 74 6d .self._check_stm
0350: 74 20 3d 20 4e 6f 6e 65 0a 0a 09 64 65 66 20 63 t = None...def c
0360: 68 65 63 6b 28 73 65 6c 66 2c 20 73 69 74 65 2c heck(self, site,
0370: 20 69 70 5f 61 64 64 72 65 73 73 29 3a 0a 09 09 ip_address):...
0380: 69 66 20 73 65 6c 66 2e 5f 63 68 65 63 6b 5f 73 if self._check_s
0390: 74 6d 74 20 3d 3d 20 4e 6f 6e 65 3a 0a 09 09 09 tmt == None:....
03a0: 73 65 6c 66 2e 5f 63 68 65 63 6b 5f 73 74 6d 74 self._check_stmt
03b0: 20 3d 20 73 65 6c 66 2e 5f 64 62 2e 70 72 65 70 = self._db.prep
03c0: 61 72 65 28 22 73 65 6c 65 63 74 20 72 65 64 69 are("select redi
03d0: 72 65 63 74 5f 75 72 6c 2c 20 72 65 67 65 78 70 rect_url, regexp
03e0: 20 66 72 6f 6d 20 73 69 74 65 5f 72 75 6c 65 20 from site_rule
03f0: 77 68 65 72 65 20 73 69 74 65 20 3c 40 20 74 72 where site <@ tr
0400: 69 70 64 6f 6d 61 69 6e 28 24 31 29 20 61 6e 64 ipdomain($1) and
0410: 20 6e 65 74 6d 61 73 6b 20 3e 3e 20 24 32 3a 3a netmask >> $2::
0420: 74 65 78 74 3a 3a 69 6e 65 74 20 6f 72 64 65 72 text::inet order
0430: 20 62 79 20 61 72 72 61 79 5f 6c 65 6e 67 74 68 by array_length
0440: 28 73 69 74 65 2c 20 31 29 20 64 65 73 63 22 29 (site, 1) desc")
0450: 0a 09 09 72 65 74 75 72 6e 28 73 65 6c 66 2e 5f ...return(self._
0460: 63 68 65 63 6b 5f 73 74 6d 74 28 73 69 74 65 2c check_stmt(site,
0470: 20 69 70 5f 61 64 64 72 65 73 73 29 29 0a 0a 09 ip_address))...
0480: 64 65 66 20 64 75 6d 70 28 73 65 6c 66 29 3a 0a def dump(self):.
0490: 09 09 72 65 74 75 72 6e 28 73 65 6c 66 2e 5f 64 ..return(self._d
04a0: 62 2e 70 72 65 70 61 72 65 28 22 63 6f 70 79 20 b.prepare("copy
04b0: 28 73 65 6c 65 63 74 20 75 6e 74 72 69 70 28 73 (select untrip(s
04c0: 69 74 65 29 20 61 73 20 73 69 74 65 2c 20 74 61 ite) as site, ta
04d0: 67 2c 20 72 65 67 65 78 70 20 66 72 6f 6d 20 75 g, regexp from u
04e0: 72 6c 73 20 6f 72 64 65 72 20 62 79 20 73 69 74 rls order by sit
04f0: 65 2c 20 74 61 67 29 20 74 6f 20 73 74 64 6f 75 e, tag) to stdou
0500: 74 20 63 73 76 20 68 65 61 64 65 72 22 29 28 29 t csv header")()
0510: 29 0a 0a 09 64 65 66 20 6c 6f 61 64 28 73 65 6c )...def load(sel
0520: 66 2c 20 64 61 74 61 29 3a 0a 09 09 77 69 74 68 f, data):...with
0530: 20 73 65 6c 66 2e 5f 64 62 2e 78 61 63 74 28 29 self._db.xact()
0540: 3a 0a 09 09 09 69 66 20 63 6f 6e 66 69 67 2e 6f :....if config.o
0550: 70 74 69 6f 6e 73 2e 66 6c 75 73 68 5f 64 62 3a ptions.flush_db:
0560: 0a 09 09 09 09 73 65 6c 66 2e 5f 64 62 2e 65 78 .....self._db.ex
0570: 65 63 75 74 65 28 27 64 65 6c 65 74 65 20 66 72 ecute('delete fr
0580: 6f 6d 20 75 72 6c 73 3b 27 29 0a 09 09 09 69 6e om urls;')....in
0590: 73 65 72 74 20 3d 20 73 65 6c 66 2e 5f 64 62 2e sert = self._db.
05a0: 70 72 65 70 61 72 65 28 22 69 6e 73 65 72 74 20 prepare("insert
05b0: 69 6e 74 6f 20 75 72 6c 73 20 28 73 69 74 65 2c into urls (site,
05c0: 20 74 61 67 2c 20 72 65 67 65 78 70 29 20 76 61 tag, regexp) va
05d0: 6c 75 65 73 20 28 74 72 69 70 64 6f 6d 61 69 6e lues (tripdomain
05e0: 28 24 31 29 2c 20 24 32 3a 3a 74 65 78 74 3a 3a ($1), $2::text::
05f0: 74 65 78 74 5b 5d 2c 20 24 33 29 22 29 0a 09 09 text[], $3)")...
0600: 09 66 6f 72 20 72 6f 77 20 69 6e 20 64 61 74 61 .for row in data
0610: 3a 0a 09 09 09 09 69 66 20 6c 65 6e 28 72 6f 77 :.....if len(row
0620: 29 20 3d 3d 20 32 3a 0a 09 09 09 09 09 69 6e 73 ) == 2:......ins
0630: 65 72 74 28 72 6f 77 5b 30 5d 2c 20 72 6f 77 5b ert(row[0], row[
0640: 31 5d 2c 20 4e 6f 6e 65 29 0a 09 09 09 09 65 6c 1], None).....el
0650: 73 65 3a 0a 09 09 09 09 09 69 6e 73 65 72 74 28 se:......insert(
0660: 72 6f 77 5b 30 5d 2c 20 72 6f 77 5b 31 5d 2c 20 row[0], row[1],
0670: 72 6f 77 5b 32 5d 29 0a 09 09 09 73 65 6c 66 2e row[2])....self.
0680: 5f 64 62 2e 65 78 65 63 75 74 65 28 22 75 70 64 _db.execute("upd
0690: 61 74 65 20 75 72 6c 73 20 73 65 74 20 72 65 67 ate urls set reg
06a0: 65 78 70 20 3d 20 4e 55 4c 4c 20 77 68 65 72 65 exp = NULL where
06b0: 20 72 65 67 65 78 70 20 3d 20 27 27 22 29 0a 09 regexp = ''")..
06c0: 09 73 65 6c 66 2e 5f 64 62 2e 65 78 65 63 75 74 .self._db.execut
06d0: 65 28 27 76 61 63 75 75 6d 20 61 6e 61 6c 79 7a e('vacuum analyz
06e0: 65 20 75 72 6c 73 3b 27 29 0a 0a 09 64 65 66 20 e urls;')...def
06f0: 6c 6f 61 64 5f 63 6f 6e 66 28 73 65 6c 66 2c 20 load_conf(self,
0700: 63 73 76 5f 64 61 74 61 29 3a 0a 09 09 77 69 74 csv_data):...wit
0710: 68 20 73 65 6c 66 2e 5f 64 62 2e 78 61 63 74 28 h self._db.xact(
0720: 29 3a 0a 09 09 09 73 65 6c 66 2e 5f 64 62 2e 65 ):....self._db.e
0730: 78 65 63 75 74 65 28 27 64 65 6c 65 74 65 20 66 xecute('delete f
0740: 72 6f 6d 20 72 75 6c 65 73 3b 27 29 0a 09 09 09 rom rules;')....
0750: 69 6e 73 65 72 74 63 6f 6e 66 20 3d 20 73 65 6c insertconf = sel
0760: 66 2e 5f 64 62 2e 70 72 65 70 61 72 65 28 22 69 f._db.prepare("i
0770: 6e 73 65 72 74 20 69 6e 74 6f 20 72 75 6c 65 73 nsert into rules
0780: 20 28 6e 65 74 6d 61 73 6b 2c 20 72 65 64 69 72 (netmask, redir
0790: 65 63 74 5f 75 72 6c 2c 20 66 72 6f 6d 5f 77 65 ect_url, from_we
07a0: 65 6b 64 61 79 2c 20 74 6f 5f 77 65 65 6b 64 61 ekday, to_weekda
07b0: 79 2c 20 66 72 6f 6d 5f 74 69 6d 65 2c 20 74 6f y, from_time, to
07c0: 5f 74 69 6d 65 2c 20 74 61 67 29 20 76 61 6c 75 _time, tag) valu
07d0: 65 73 20 28 24 31 3a 3a 74 65 78 74 3a 3a 63 69 es ($1::text::ci
07e0: 64 72 2c 20 24 32 2c 20 24 33 2c 20 24 34 2c 20 dr, $2, $3, $4,
07f0: 24 35 3a 3a 74 65 78 74 3a 3a 74 69 6d 65 2c 20 $5::text::time,
0800: 24 36 3a 3a 74 65 78 74 3a 3a 74 69 6d 65 2c 20 $6::text::time,
0810: 24 37 3a 3a 74 65 78 74 3a 3a 74 65 78 74 5b 5d $7::text::text[]
0820: 29 22 29 0a 09 09 09 66 6f 72 20 72 6f 77 20 69 )")....for row i
0830: 6e 20 63 73 76 5f 64 61 74 61 3a 0a 09 09 09 09 n csv_data:.....
0840: 69 6e 73 65 72 74 63 6f 6e 66 28 72 6f 77 5b 30 insertconf(row[0
0850: 5d 2c 20 72 6f 77 5b 31 5d 2c 20 69 6e 74 28 72 ], row[1], int(r
0860: 6f 77 5b 32 5d 29 2c 20 69 6e 74 28 72 6f 77 5b ow[2]), int(row[
0870: 33 5d 29 2c 20 72 6f 77 5b 34 5d 2c 20 72 6f 77 3]), row[4], row
0880: 5b 35 5d 2c 20 72 6f 77 5b 36 5d 29 0a 09 09 73 [5], row[6])...s
0890: 65 6c 66 2e 5f 64 62 2e 65 78 65 63 75 74 65 28 elf._db.execute(
08a0: 27 76 61 63 75 75 6d 20 61 6e 61 6c 79 7a 65 20 'vacuum analyze
08b0: 72 75 6c 65 73 3b 27 29 0a 0a 09 64 65 66 20 64 rules;')...def d
08c0: 75 6d 70 5f 63 6f 6e 66 28 73 65 6c 66 29 3a 0a ump_conf(self):.
08d0: 09 09 72 65 74 75 72 6e 28 73 65 6c 66 2e 5f 64 ..return(self._d
08e0: 62 2e 70 72 65 70 61 72 65 28 22 63 6f 70 79 20 b.prepare("copy
08f0: 28 73 65 6c 65 63 74 20 6e 65 74 6d 61 73 6b 2c (select netmask,
0900: 20 72 65 64 69 72 65 63 74 5f 75 72 6c 2c 20 66 redirect_url, f
0910: 72 6f 6d 5f 77 65 65 6b 64 61 79 2c 20 74 6f 5f rom_weekday, to_
0920: 77 65 65 6b 64 61 79 2c 20 66 72 6f 6d 5f 74 69 weekday, from_ti
0930: 6d 65 2c 20 74 6f 5f 74 69 6d 65 2c 20 74 61 67 me, to_time, tag
0940: 20 66 72 6f 6d 20 72 75 6c 65 73 29 20 74 6f 20 from rules) to
0950: 73 74 64 6f 75 74 20 63 73 76 20 68 65 61 64 65 stdout csv heade
0960: 72 22 29 28 29 29 0a 0a 23 20 61 62 73 74 72 61 r")())..# abstra
0970: 63 74 20 63 6c 61 73 73 20 77 69 74 68 20 62 61 ct class with ba
0980: 73 69 63 20 63 68 65 63 6b 69 6e 67 20 66 75 6e sic checking fun
0990: 63 74 69 6f 6e 61 6c 69 74 79 0a 63 6c 61 73 73 ctionality.class
09a0: 20 43 68 65 63 6b 65 72 3a 0a 09 5f 5f 73 6c 6f Checker:..__slo
09b0: 74 73 5f 5f 20 3d 20 66 72 6f 7a 65 6e 73 65 74 ts__ = frozenset
09c0: 28 5b 27 5f 64 62 27 2c 20 27 5f 6c 6f 67 27 2c (['_db', '_log',
09d0: 20 27 5f 72 65 71 75 65 73 74 27 5d 29 0a 0a 09 '_request'])...
09e0: 64 65 66 20 5f 5f 69 6e 69 74 5f 5f 28 73 65 6c def __init__(sel
09f0: 66 29 3a 0a 09 09 73 65 6c 66 2e 5f 64 62 20 3d f):...self._db =
0a00: 20 74 61 67 44 42 28 29 0a 09 09 73 65 6c 66 2e tagDB()...self.
0a10: 5f 6c 6f 67 20 3d 20 4c 6f 67 67 65 72 28 29 0a _log = Logger().
0a20: 09 09 73 65 6c 66 2e 5f 6c 6f 67 2e 69 6e 66 6f ..self._log.info
0a30: 28 27 73 74 61 72 74 65 64 5c 6e 27 29 0a 09 09 ('started\n')...
0a40: 73 65 6c 66 2e 5f 72 65 71 75 65 73 74 20 3d 20 self._request =
0a50: 72 65 2e 63 6f 6d 70 69 6c 65 28 27 5e 28 5b 30 re.compile('^([0
0a60: 2d 39 5d 2b 29 5c 20 28 68 74 74 70 7c 66 74 70 -9]+)\ (http|ftp
0a70: 29 3a 5c 2f 5c 2f 28 5b 2d 5c 77 2e 3a 5d 2b 29 ):\/\/([-\w.:]+)
0a80: 5c 2f 28 5b 5e 20 5d 2a 29 5c 20 28 5b 30 2d 39 \/([^ ]*)\ ([0-9
0a90: 2e 5d 2b 29 5c 2f 28 2d 7c 5b 5c 77 5c 2e 5d 2b .]+)\/(-|[\w\.]+
0aa0: 29 5c 20 28 2d 7c 5c 77 2b 29 5c 20 28 2d 7c 47 )\ (-|\w+)\ (-|G
0ab0: 45 54 7c 48 45 41 44 7c 50 4f 53 54 29 2e 2a 24 ET|HEAD|POST).*$
0ac0: 27 29 0a 0a 09 64 65 66 20 70 72 6f 63 65 73 73 ')...def process
0ad0: 28 73 65 6c 66 2c 20 69 64 2c 20 73 69 74 65 2c (self, id, site,
0ae0: 20 69 70 5f 61 64 64 72 65 73 73 2c 20 75 72 6c ip_address, url
0af0: 5f 70 61 74 68 2c 20 6c 69 6e 65 20 3d 20 4e 6f _path, line = No
0b00: 6e 65 29 3a 0a 09 09 73 65 6c 66 2e 5f 6c 6f 67 ne):...self._log
0b10: 2e 69 6e 66 6f 28 27 74 72 79 69 6e 67 20 7b 7d .info('trying {}
0b20: 5c 6e 27 2e 66 6f 72 6d 61 74 28 73 69 74 65 29 \n'.format(site)
0b30: 29 0a 09 09 72 65 73 75 6c 74 20 3d 20 73 65 6c )...result = sel
0b40: 66 2e 5f 64 62 2e 63 68 65 63 6b 28 73 69 74 65 f._db.check(site
0b50: 2c 20 69 70 5f 61 64 64 72 65 73 73 29 0a 09 09 , ip_address)...
0b60: 72 65 70 6c 79 20 3d 20 4e 6f 6e 65 0a 09 09 66 reply = None...f
0b70: 6f 72 20 72 6f 77 20 69 6e 20 72 65 73 75 6c 74 or row in result
0b80: 3a 0a 09 09 09 69 66 20 72 6f 77 20 21 3d 20 4e :....if row != N
0b90: 6f 6e 65 20 61 6e 64 20 72 6f 77 5b 30 5d 20 21 one and row[0] !
0ba0: 3d 20 4e 6f 6e 65 3a 0a 09 09 09 09 69 66 20 72 = None:.....if r
0bb0: 6f 77 5b 31 5d 20 21 3d 20 4e 6f 6e 65 3a 0a 09 ow[1] != None:..
0bc0: 09 09 09 09 73 65 6c 66 2e 5f 6c 6f 67 2e 69 6e ....self._log.in
0bd0: 66 6f 28 27 74 72 79 69 6e 67 20 72 65 67 65 78 fo('trying regex
0be0: 70 20 22 7b 7d 22 20 76 65 72 73 75 73 20 22 7b p "{}" versus "{
0bf0: 7d 22 5c 6e 27 2e 66 6f 72 6d 61 74 28 72 6f 77 }"\n'.format(row
0c00: 5b 31 5d 2c 20 75 72 6c 5f 70 61 74 68 29 29 0a [1], url_path)).
0c10: 09 09 09 09 09 74 72 79 3a 0a 09 09 09 09 09 09 .....try:.......
0c20: 69 66 20 72 65 2e 63 6f 6d 70 69 6c 65 28 72 6f if re.compile(ro
0c30: 77 5b 31 5d 29 2e 6d 61 74 63 68 28 75 72 6c 5f w[1]).match(url_
0c40: 70 61 74 68 29 3a 0a 09 09 09 09 09 09 09 72 65 path):........re
0c50: 70 6c 79 20 3d 20 72 6f 77 5b 30 5d 2e 66 6f 72 ply = row[0].for
0c60: 6d 61 74 28 75 72 6c 5f 70 61 74 68 29 0a 09 09 mat(url_path)...
0c70: 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 ....else:.......
0c80: 09 63 6f 6e 74 69 6e 75 65 0a 09 09 09 09 09 65 .continue......e
0c90: 78 63 65 70 74 3a 0a 09 09 09 09 09 09 73 65 6c xcept:.......sel
0ca0: 66 2e 5f 6c 6f 67 2e 69 6e 66 6f 28 22 63 61 6e f._log.info("can
0cb0: 27 74 20 63 6f 6d 70 69 6c 65 20 72 65 67 65 78 't compile regex
0cc0: 70 22 29 0a 09 09 09 09 65 6c 73 65 3a 0a 09 09 p").....else:...
0cd0: 09 09 09 72 65 70 6c 79 20 3d 20 72 6f 77 5b 30 ...reply = row[0
0ce0: 5d 2e 66 6f 72 6d 61 74 28 75 72 6c 5f 70 61 74 ].format(url_pat
0cf0: 68 29 0a 09 09 09 69 66 20 72 65 70 6c 79 20 21 h)....if reply !
0d00: 3d 20 4e 6f 6e 65 3a 0a 09 09 09 09 73 65 6c 66 = None:.....self
0d10: 2e 77 72 69 74 65 6c 69 6e 65 28 27 7b 7d 20 7b .writeline('{} {
0d20: 7d 5c 6e 27 2e 66 6f 72 6d 61 74 28 69 64 2c 20 }\n'.format(id,
0d30: 72 65 70 6c 79 29 29 0a 09 09 09 09 72 65 74 75 reply)).....retu
0d40: 72 6e 28 54 72 75 65 29 0a 09 09 73 65 6c 66 2e rn(True)...self.
0d50: 77 72 69 74 65 6c 69 6e 65 28 27 7b 7d 5c 6e 27 writeline('{}\n'
0d60: 2e 66 6f 72 6d 61 74 28 69 64 29 29 0a 0a 09 64 .format(id))...d
0d70: 65 66 20 63 68 65 63 6b 28 73 65 6c 66 2c 20 6c ef check(self, l
0d80: 69 6e 65 29 3a 0a 09 09 72 65 71 75 65 73 74 20 ine):...request
0d90: 3d 20 73 65 6c 66 2e 5f 72 65 71 75 65 73 74 2e = self._request.
0da0: 6d 61 74 63 68 28 6c 69 6e 65 29 0a 09 09 69 66 match(line)...if
0db0: 20 72 65 71 75 65 73 74 3a 0a 09 09 09 69 64 20 request:....id
0dc0: 3d 20 72 65 71 75 65 73 74 2e 67 72 6f 75 70 28 = request.group(
0dd0: 31 29 0a 09 09 09 23 70 72 6f 74 6f 20 3d 20 72 1)....#proto = r
0de0: 65 71 75 65 73 74 2e 67 72 6f 75 70 28 32 29 0a equest.group(2).
0df0: 09 09 09 73 69 74 65 20 3d 20 72 65 71 75 65 73 ...site = reques
0e00: 74 2e 67 72 6f 75 70 28 33 29 0a 09 09 09 75 72 t.group(3)....ur
0e10: 6c 5f 70 61 74 68 20 3d 20 72 65 71 75 65 73 74 l_path = request
0e20: 2e 67 72 6f 75 70 28 34 29 0a 09 09 09 69 70 5f .group(4)....ip_
0e30: 61 64 64 72 65 73 73 20 3d 20 72 65 71 75 65 73 address = reques
0e40: 74 2e 67 72 6f 75 70 28 35 29 0a 09 09 09 73 65 t.group(5)....se
0e50: 6c 66 2e 70 72 6f 63 65 73 73 28 69 64 2c 20 73 lf.process(id, s
0e60: 69 74 65 2c 20 69 70 5f 61 64 64 72 65 73 73 2c ite, ip_address,
0e70: 20 75 72 6c 5f 70 61 74 68 2c 20 6c 69 6e 65 29 url_path, line)
0e80: 0a 09 09 09 72 65 74 75 72 6e 28 54 72 75 65 29 ....return(True)
0e90: 0a 09 09 65 6c 73 65 3a 0a 09 09 09 73 65 6c 66 ...else:....self
0ea0: 2e 5f 6c 6f 67 2e 69 6e 66 6f 28 27 62 61 64 20 ._log.info('bad
0eb0: 72 65 71 75 65 73 74 5c 6e 27 29 0a 09 09 09 73 request\n')....s
0ec0: 65 6c 66 2e 77 72 69 74 65 6c 69 6e 65 28 6c 69 elf.writeline(li
0ed0: 6e 65 29 0a 09 09 09 72 65 74 75 72 6e 28 46 61 ne)....return(Fa
0ee0: 6c 73 65 29 0a 0a 09 64 65 66 20 77 72 69 74 65 lse)...def write
0ef0: 6c 69 6e 65 28 73 65 6c 66 2c 20 73 74 72 69 6e line(self, strin
0f00: 67 29 3a 0a 09 09 73 65 6c 66 2e 5f 6c 6f 67 2e g):...self._log.
0f10: 69 6e 66 6f 28 27 73 65 6e 64 69 6e 67 3a 20 27 info('sending: '
0f20: 20 2b 20 73 74 72 69 6e 67 29 0a 09 09 73 79 73 + string)...sys
0f30: 2e 73 74 64 6f 75 74 2e 77 72 69 74 65 28 73 74 .stdout.write(st
0f40: 72 69 6e 67 29 0a 09 09 73 79 73 2e 73 74 64 6f ring)...sys.stdo
0f50: 75 74 2e 66 6c 75 73 68 28 29 0a 0a 09 64 65 66 ut.flush()...def
0f60: 20 6c 6f 6f 70 28 73 65 6c 66 29 3a 0a 09 09 77 loop(self):...w
0f70: 68 69 6c 65 20 54 72 75 65 3a 0a 09 09 09 6c 69 hile True:....li
0f80: 6e 65 20 3d 20 73 79 73 2e 73 74 64 69 6e 2e 72 ne = sys.stdin.r
0f90: 65 61 64 6c 69 6e 65 28 29 0a 09 09 09 69 66 20 eadline()....if
0fa0: 6c 65 6e 28 6c 69 6e 65 29 20 3d 3d 20 30 3a 0a len(line) == 0:.
0fb0: 09 09 09 09 62 72 65 61 6b 0a 09 09 09 73 65 6c ....break....sel
0fc0: 66 2e 63 68 65 63 6b 28 6c 69 6e 65 29 0a 0a 23 f.check(line)..#
0fd0: 20 74 68 72 65 61 64 65 64 20 63 68 65 63 6b 69 threaded checki
0fe0: 6e 67 20 66 61 63 69 6c 69 74 79 0a 63 6c 61 73 ng facility.clas
0ff0: 73 20 43 68 65 63 6b 65 72 54 68 72 65 61 64 28 s CheckerThread(
1000: 43 68 65 63 6b 65 72 29 3a 0a 09 5f 5f 73 6c 6f Checker):..__slo
1010: 74 73 5f 5f 20 3d 20 66 72 6f 7a 65 6e 73 65 74 ts__ = frozenset
1020: 28 5b 27 5f 6c 6f 63 6b 27 2c 20 27 5f 6c 6f 63 (['_lock', '_loc
1030: 6b 5f 65 78 69 74 27 2c 20 27 5f 6c 6f 63 6b 5f k_exit', '_lock_
1040: 71 75 65 75 65 27 2c 20 27 5f 71 75 65 75 65 27 queue', '_queue'
1050: 5d 29 0a 0a 09 64 65 66 20 5f 5f 69 6e 69 74 5f ])...def __init_
1060: 5f 28 73 65 6c 66 29 3a 0a 09 09 69 6d 70 6f 72 _(self):...impor
1070: 74 20 5f 74 68 72 65 61 64 0a 0a 09 09 23 20 62 t _thread....# b
1080: 61 73 69 63 20 69 6e 69 74 69 61 6c 69 73 61 74 asic initialisat
1090: 69 6f 6e 0a 09 09 43 68 65 63 6b 65 72 2e 5f 5f ion...Checker.__
10a0: 69 6e 69 74 5f 5f 28 73 65 6c 66 29 0a 0a 09 09 init__(self)....
10b0: 23 20 53 70 69 6e 20 6c 6f 63 6b 2e 20 4c 6f 6f # Spin lock. Loo
10c0: 70 20 61 63 71 75 69 72 65 73 20 69 74 20 6f 6e p acquires it on
10d0: 20 73 74 61 72 74 20 74 68 65 6e 20 72 65 6c 65 start then rele
10e0: 61 73 65 73 20 69 74 20 77 68 65 6e 20 68 6f 6c ases it when hol
10f0: 64 69 6e 67 20 71 75 65 75 65 0a 09 09 23 20 6c ding queue...# l
1100: 6f 63 6b 2e 20 54 68 69 73 20 77 61 79 20 74 68 ock. This way th
1110: 65 20 74 68 72 65 61 64 20 70 72 6f 63 65 65 64 e thread proceed
1120: 73 20 77 69 74 68 6f 75 74 20 73 74 6f 70 73 20 s without stops
1130: 77 68 69 6c 65 20 71 75 65 75 65 20 68 61 73 20 while queue has
1140: 64 61 74 61 20 61 6e 64 0a 09 09 23 20 67 65 74 data and...# get
1150: 73 20 73 74 61 6c 6c 65 64 20 77 68 65 6e 20 6e s stalled when n
1160: 6f 20 64 61 74 61 20 70 72 65 73 65 6e 74 2e 20 o data present.
1170: 54 68 65 20 6c 6f 63 6b 20 69 73 20 72 65 6c 65 The lock is rele
1180: 61 73 65 64 20 62 79 20 71 75 65 75 65 20 77 72 ased by queue wr
1190: 69 74 65 72 0a 09 09 23 20 61 66 74 65 72 20 73 iter...# after s
11a0: 74 6f 72 69 6e 67 20 73 6f 6d 65 74 68 69 6e 67 toring something
11b0: 20 69 6e 74 6f 20 74 68 65 20 71 75 65 75 65 0a into the queue.
11c0: 09 09 73 65 6c 66 2e 5f 6c 6f 63 6b 20 3d 20 5f ..self._lock = _
11d0: 74 68 72 65 61 64 2e 61 6c 6c 6f 63 61 74 65 5f thread.allocate_
11e0: 6c 6f 63 6b 28 29 0a 09 09 73 65 6c 66 2e 5f 6c lock()...self._l
11f0: 6f 63 6b 5f 65 78 69 74 20 3d 20 5f 74 68 72 65 ock_exit = _thre
1200: 61 64 2e 61 6c 6c 6f 63 61 74 65 5f 6c 6f 63 6b ad.allocate_lock
1210: 28 29 0a 09 09 73 65 6c 66 2e 5f 6c 6f 63 6b 5f ()...self._lock_
1220: 71 75 65 75 65 20 3d 20 5f 74 68 72 65 61 64 2e queue = _thread.
1230: 61 6c 6c 6f 63 61 74 65 5f 6c 6f 63 6b 28 29 0a allocate_lock().
1240: 09 09 73 65 6c 66 2e 5f 6c 6f 63 6b 2e 61 63 71 ..self._lock.acq
1250: 75 69 72 65 28 29 0a 09 09 73 65 6c 66 2e 5f 71 uire()...self._q
1260: 75 65 75 65 20 3d 20 5b 5d 0a 09 09 5f 74 68 72 ueue = []..._thr
1270: 65 61 64 2e 73 74 61 72 74 5f 6e 65 77 5f 74 68 ead.start_new_th
1280: 72 65 61 64 28 73 65 6c 66 2e 5f 73 74 61 72 74 read(self._start
1290: 2c 20 28 29 29 0a 0a 09 64 65 66 20 5f 73 74 61 , ())...def _sta
12a0: 72 74 28 73 65 6c 66 29 3a 0a 09 09 77 68 69 6c rt(self):...whil
12b0: 65 20 54 72 75 65 3a 0a 09 09 09 73 65 6c 66 2e e True:....self.
12c0: 5f 6c 6f 63 6b 2e 61 63 71 75 69 72 65 28 29 0a _lock.acquire().
12d0: 09 09 09 77 69 74 68 20 73 65 6c 66 2e 5f 6c 6f ...with self._lo
12e0: 63 6b 5f 71 75 65 75 65 3a 0a 09 09 09 09 23 20 ck_queue:.....#
12f0: 79 65 73 20 74 68 69 73 20 73 68 6f 75 6c 64 20 yes this should
1300: 62 65 20 77 72 69 74 74 65 6e 20 74 68 69 73 20 be written this
1310: 77 61 79 2c 20 61 6e 64 20 79 65 73 2c 20 74 68 way, and yes, th
1320: 69 73 20 69 73 20 77 68 79 20 49 20 68 61 74 65 is is why I hate
1330: 20 74 68 72 65 61 64 69 6e 67 0a 09 09 09 09 69 threading.....i
1340: 66 20 6c 65 6e 28 73 65 6c 66 2e 5f 71 75 65 75 f len(self._queu
1350: 65 29 20 3e 20 31 3a 0a 09 09 09 09 09 69 66 20 e) > 1:......if
1360: 73 65 6c 66 2e 5f 6c 6f 63 6b 2e 6c 6f 63 6b 65 self._lock.locke
1370: 64 28 29 3a 0a 09 09 09 09 09 09 73 65 6c 66 2e d():.......self.
1380: 5f 6c 6f 63 6b 2e 72 65 6c 65 61 73 65 28 29 0a _lock.release().
1390: 09 09 09 09 72 65 71 20 3d 20 73 65 6c 66 2e 5f ....req = self._
13a0: 71 75 65 75 65 2e 70 6f 70 28 30 29 0a 09 09 09 queue.pop(0)....
13b0: 43 68 65 63 6b 65 72 2e 70 72 6f 63 65 73 73 28 Checker.process(
13c0: 73 65 6c 66 2c 20 72 65 71 5b 30 5d 2c 20 72 65 self, req[0], re
13d0: 71 5b 31 5d 2c 20 72 65 71 5b 32 5d 2c 20 72 65 q[1], req[2], re
13e0: 71 5b 33 5d 29 0a 09 09 09 77 69 74 68 20 73 65 q[3])....with se
13f0: 6c 66 2e 5f 6c 6f 63 6b 5f 71 75 65 75 65 3a 0a lf._lock_queue:.
1400: 09 09 09 09 69 66 20 6c 65 6e 28 73 65 6c 66 2e ....if len(self.
1410: 5f 71 75 65 75 65 29 20 3d 3d 20 30 3a 0a 09 09 _queue) == 0:...
1420: 09 09 09 69 66 20 73 65 6c 66 2e 5f 6c 6f 63 6b ...if self._lock
1430: 5f 65 78 69 74 2e 6c 6f 63 6b 65 64 28 29 3a 0a _exit.locked():.
1440: 09 09 09 09 09 09 73 65 6c 66 2e 5f 6c 6f 63 6b ......self._lock
1450: 5f 65 78 69 74 2e 72 65 6c 65 61 73 65 28 29 0a _exit.release().
1460: 0a 09 64 65 66 20 70 72 6f 63 65 73 73 28 73 65 ..def process(se
1470: 6c 66 2c 20 69 64 2c 20 73 69 74 65 2c 20 69 70 lf, id, site, ip
1480: 5f 61 64 64 72 65 73 73 2c 20 75 72 6c 5f 70 61 _address, url_pa
1490: 74 68 2c 20 6c 69 6e 65 29 3a 0a 09 09 77 69 74 th, line):...wit
14a0: 68 20 73 65 6c 66 2e 5f 6c 6f 63 6b 5f 71 75 65 h self._lock_que
14b0: 75 65 3a 0a 09 09 09 73 65 6c 66 2e 5f 71 75 65 ue:....self._que
14c0: 75 65 2e 61 70 70 65 6e 64 28 28 69 64 2c 20 73 ue.append((id, s
14d0: 69 74 65 2c 20 69 70 5f 61 64 64 72 65 73 73 2c ite, ip_address,
14e0: 20 75 72 6c 5f 70 61 74 68 29 29 0a 09 09 09 73 url_path))....s
14f0: 65 6c 66 2e 5f 6c 6f 67 2e 69 6e 66 6f 28 27 72 elf._log.info('r
1500: 65 71 75 65 73 74 20 7b 7d 20 71 75 65 75 65 64 equest {} queued
1510: 20 28 7b 7d 29 5c 6e 27 2e 66 6f 72 6d 61 74 28 ({})\n'.format(
1520: 69 64 2c 20 6c 69 6e 65 29 29 0a 09 09 09 69 66 id, line))....if
1530: 20 6e 6f 74 20 73 65 6c 66 2e 5f 6c 6f 63 6b 5f not self._lock_
1540: 65 78 69 74 2e 6c 6f 63 6b 65 64 28 29 3a 0a 09 exit.locked():..
1550: 09 09 09 73 65 6c 66 2e 5f 6c 6f 63 6b 5f 65 78 ...self._lock_ex
1560: 69 74 2e 61 63 71 75 69 72 65 28 29 0a 09 09 09 it.acquire()....
1570: 69 66 20 73 65 6c 66 2e 5f 6c 6f 63 6b 2e 6c 6f if self._lock.lo
1580: 63 6b 65 64 28 29 3a 0a 09 09 09 09 73 65 6c 66 cked():.....self
1590: 2e 5f 6c 6f 63 6b 2e 72 65 6c 65 61 73 65 28 29 ._lock.release()
15a0: 0a 0a 09 64 65 66 20 6c 6f 6f 70 28 73 65 6c 66 ...def loop(self
15b0: 29 3a 0a 09 09 77 68 69 6c 65 20 54 72 75 65 3a ):...while True:
15c0: 0a 09 09 09 6c 69 6e 65 20 3d 20 73 79 73 2e 73 ....line = sys.s
15d0: 74 64 69 6e 2e 72 65 61 64 6c 69 6e 65 28 29 0a tdin.readline().
15e0: 09 09 09 69 66 20 6c 65 6e 28 6c 69 6e 65 29 20 ...if len(line)
15f0: 3d 3d 20 30 3a 0a 09 09 09 09 62 72 65 61 6b 0a == 0:.....break.
1600: 09 09 09 73 65 6c 66 2e 63 68 65 63 6b 28 6c 69 ...self.check(li
1610: 6e 65 29 0a 09 09 73 65 6c 66 2e 5f 6c 6f 63 6b ne)...self._lock
1620: 5f 65 78 69 74 2e 61 63 71 75 69 72 65 28 29 0a _exit.acquire().
1630: 0a 23 20 6b 71 75 65 75 65 20 65 6e 61 62 6c 65 .# kqueue enable
1640: 64 20 63 6c 61 73 73 20 66 6f 72 20 42 53 44 27 d class for BSD'
1650: 73 0a 63 6c 61 73 73 20 43 68 65 63 6b 65 72 4b s.class CheckerK
1660: 71 75 65 75 65 28 43 68 65 63 6b 65 72 29 3a 0a queue(Checker):.
1670: 09 5f 5f 73 6c 6f 74 73 5f 5f 20 3d 20 66 72 6f .__slots__ = fro
1680: 7a 65 6e 73 65 74 28 5b 27 5f 6b 71 27 2c 20 27 zenset(['_kq', '
1690: 5f 73 65 6c 65 63 74 27 2c 20 27 5f 71 75 65 75 _select', '_queu
16a0: 65 27 5d 29 0a 0a 09 64 65 66 20 5f 5f 69 6e 69 e'])...def __ini
16b0: 74 5f 5f 28 73 65 6c 66 29 3a 0a 09 09 23 20 62 t__(self):...# b
16c0: 61 73 69 63 20 69 6e 69 74 69 61 6c 69 73 61 74 asic initialisat
16d0: 69 6f 6e 0a 09 09 43 68 65 63 6b 65 72 2e 5f 5f ion...Checker.__
16e0: 69 6e 69 74 5f 5f 28 73 65 6c 66 29 0a 0a 09 09 init__(self)....
16f0: 23 20 69 6d 70 6f 72 74 69 6e 67 20 73 65 6c 65 # importing sele
1700: 63 74 20 6d 6f 64 75 6c 65 0a 09 09 69 6d 70 6f ct module...impo
1710: 72 74 20 73 65 6c 65 63 74 0a 09 09 73 65 6c 66 rt select...self
1720: 2e 5f 73 65 6c 65 63 74 20 3d 20 73 65 6c 65 63 ._select = selec
1730: 74 0a 0a 09 09 23 20 6b 72 65 61 74 69 6e 67 20 t....# kreating
1740: 6b 71 75 65 75 65 0a 09 09 73 65 6c 66 2e 5f 6b kqueue...self._k
1750: 71 20 3d 20 73 65 6c 66 2e 5f 73 65 6c 65 63 74 q = self._select
1760: 2e 6b 71 75 65 75 65 28 29 0a 09 09 61 73 73 65 .kqueue()...asse
1770: 72 74 20 73 65 6c 66 2e 5f 6b 71 2e 66 69 6c 65 rt self._kq.file
1780: 6e 6f 28 29 20 21 3d 20 2d 31 2c 20 22 46 61 74 no() != -1, "Fat
1790: 61 6c 20 65 72 72 6f 72 3a 20 63 61 6e 27 74 20 al error: can't
17a0: 69 6e 69 74 69 61 6c 69 73 65 20 6b 71 75 65 75 initialise kqueu
17b0: 65 2e 22 0a 0a 09 09 23 20 77 61 74 63 68 69 6e e."....# watchin
17c0: 67 20 73 79 73 2e 73 74 64 69 6e 20 66 6f 72 20 g sys.stdin for
17d0: 64 61 74 61 0a 09 09 73 65 6c 66 2e 5f 6b 71 2e data...self._kq.
17e0: 63 6f 6e 74 72 6f 6c 28 5b 73 65 6c 66 2e 5f 73 control([self._s
17f0: 65 6c 65 63 74 2e 6b 65 76 65 6e 74 28 73 79 73 elect.kevent(sys
1800: 2e 73 74 64 69 6e 2c 20 73 65 6c 66 2e 5f 73 65 .stdin, self._se
1810: 6c 65 63 74 2e 4b 51 5f 46 49 4c 54 45 52 5f 52 lect.KQ_FILTER_R
1820: 45 41 44 2c 20 73 65 6c 66 2e 5f 73 65 6c 65 63 EAD, self._selec
1830: 74 2e 4b 51 5f 45 56 5f 41 44 44 29 5d 2c 20 30 t.KQ_EV_ADD)], 0
1840: 29 0a 0a 09 09 23 20 63 72 65 61 74 69 6e 67 20 )....# creating
1850: 64 61 74 61 20 71 75 65 75 65 0a 09 09 73 65 6c data queue...sel
1860: 66 2e 5f 71 75 65 75 65 20 3d 20 5b 5d 0a 0a 09 f._queue = []...
1870: 64 65 66 20 6c 6f 6f 70 28 73 65 6c 66 29 3a 0a def loop(self):.
1880: 09 09 23 20 57 61 69 74 20 66 6f 72 20 64 61 74 ..# Wait for dat
1890: 61 20 62 79 20 64 65 66 61 75 6c 74 0a 09 09 74 a by default...t
18a0: 69 6d 65 6f 75 74 20 3d 20 4e 6f 6e 65 0a 09 09 imeout = None...
18b0: 65 6f 66 20 3d 20 46 61 6c 73 65 0a 09 09 62 75 eof = False...bu
18c0: 66 66 65 72 20 3d 20 27 27 0a 09 09 77 68 69 6c ffer = ''...whil
18d0: 65 20 54 72 75 65 3a 0a 09 09 09 23 20 63 68 65 e True:....# che
18e0: 63 6b 69 6e 67 20 69 66 20 74 68 65 72 65 20 69 cking if there i
18f0: 73 20 61 6e 79 20 64 61 74 61 20 6f 72 20 77 69 s any data or wi
1900: 74 69 6e 67 20 66 6f 72 20 64 61 74 61 20 74 6f ting for data to
1910: 20 61 72 72 69 76 65 0a 09 09 09 6b 65 76 73 20 arrive....kevs
1920: 3d 20 73 65 6c 66 2e 5f 6b 71 2e 63 6f 6e 74 72 = self._kq.contr
1930: 6f 6c 28 4e 6f 6e 65 2c 20 31 2c 20 74 69 6d 65 ol(None, 1, time
1940: 6f 75 74 29 0a 0a 09 09 09 66 6f 72 20 6b 65 76 out).....for kev
1950: 20 69 6e 20 6b 65 76 73 3a 0a 09 09 09 09 69 66 in kevs:.....if
1960: 20 6b 65 76 2e 66 69 6c 74 65 72 20 3d 3d 20 73 kev.filter == s
1970: 65 6c 66 2e 5f 73 65 6c 65 63 74 2e 4b 51 5f 46 elf._select.KQ_F
1980: 49 4c 54 45 52 5f 52 45 41 44 20 61 6e 64 20 6b ILTER_READ and k
1990: 65 76 2e 64 61 74 61 20 3e 20 30 3a 0a 09 09 09 ev.data > 0:....
19a0: 09 09 23 20 72 65 61 64 69 6e 67 20 64 61 74 61 ..# reading data
19b0: 20 69 6e 0a 09 09 09 09 09 6e 65 77 5f 62 75 66 in......new_buf
19c0: 66 65 72 20 3d 20 73 79 73 2e 73 74 64 69 6e 2e fer = sys.stdin.
19d0: 72 65 61 64 28 6b 65 76 2e 64 61 74 61 29 0a 09 read(kev.data)..
19e0: 09 09 09 09 23 20 69 66 20 6e 6f 20 64 61 74 61 ....# if no data
19f0: 20 77 61 73 20 73 65 6e 74 20 2d 20 77 65 20 68 was sent - we h
1a00: 61 76 65 20 72 65 61 63 68 65 64 20 65 6e 64 20 ave reached end
1a10: 6f 66 20 66 69 6c 65 0a 09 09 09 09 09 69 66 20 of file......if
1a20: 6c 65 6e 28 6e 65 77 5f 62 75 66 66 65 72 29 20 len(new_buffer)
1a30: 3d 3d 20 30 3a 0a 09 09 09 09 09 09 65 6f 66 20 == 0:.......eof
1a40: 3d 20 54 72 75 65 0a 09 09 09 09 09 65 6c 73 65 = True......else
1a50: 3a 0a 09 09 09 09 09 09 23 20 61 64 64 69 6e 67 :.......# adding
1a60: 20 63 75 72 72 65 6e 74 20 62 75 66 66 65 72 20 current buffer
1a70: 74 6f 20 6f 6c 64 20 62 75 66 66 65 72 20 72 65 to old buffer re
1a80: 6d 61 69 6e 73 0a 09 09 09 09 09 09 62 75 66 66 mains.......buff
1a90: 65 72 20 2b 3d 20 6e 65 77 5f 62 75 66 66 65 72 er += new_buffer
1aa0: 0a 09 09 09 09 09 09 23 20 73 70 6c 69 74 74 69 .......# splitti
1ab0: 6e 67 20 74 6f 20 6c 69 6e 65 73 0a 09 09 09 09 ng to lines.....
1ac0: 09 09 6c 69 6e 65 73 20 3d 20 62 75 66 66 65 72 ..lines = buffer
1ad0: 2e 73 70 6c 69 74 28 27 5c 6e 27 29 0a 09 09 09 .split('\n')....
1ae0: 09 09 09 23 20 6c 61 73 74 20 6c 69 6e 65 20 74 ...# last line t
1af0: 68 61 74 20 77 61 73 20 6e 6f 74 20 74 65 72 6d hat was not term
1b00: 69 6e 61 74 65 20 62 79 20 6e 65 77 6c 69 6e 65 inate by newline
1b10: 20 72 65 74 75 72 6e 73 20 74 6f 20 62 75 66 66 returns to buff
1b20: 65 72 0a 09 09 09 09 09 09 62 75 66 66 65 72 20 er.......buffer
1b30: 3d 20 6c 69 6e 65 73 5b 2d 31 5d 0a 09 09 09 09 = lines[-1].....
1b40: 09 09 23 20 61 6e 20 6f 6e 6c 79 20 69 66 20 74 ..# an only if t
1b50: 68 65 72 65 20 77 61 73 20 61 74 20 6c 65 61 73 here was at leas
1b60: 74 20 6f 6e 65 20 6e 65 77 6c 69 6e 65 0a 09 09 t one newline...
1b70: 09 09 09 09 69 66 20 6c 65 6e 28 6c 69 6e 65 73 ....if len(lines
1b80: 29 20 3e 20 31 3a 0a 09 09 09 09 09 09 09 66 6f ) > 1:........fo
1b90: 72 20 6c 69 6e 65 20 69 6e 20 6c 69 6e 65 73 5b r line in lines[
1ba0: 3a 2d 31 5d 3a 0a 09 09 09 09 09 09 09 09 23 20 :-1]:.........#
1bb0: 61 64 64 20 64 61 74 61 20 74 6f 20 74 68 65 20 add data to the
1bc0: 71 75 65 75 65 0a 09 09 09 09 09 09 09 09 69 66 queue.........if
1bd0: 20 73 65 6c 66 2e 63 68 65 63 6b 28 6c 69 6e 65 self.check(line
1be0: 20 2b 20 27 5c 6e 27 29 3a 0a 09 09 09 09 09 09 + '\n'):.......
1bf0: 09 09 09 23 20 64 6f 6e 27 74 20 77 61 69 74 20 ...# don't wait
1c00: 66 6f 72 20 6d 6f 72 65 20 64 61 74 61 2c 20 73 for more data, s
1c10: 74 61 72 74 20 70 72 6f 63 65 73 73 69 6e 67 0a tart processing.
1c20: 09 09 09 09 09 09 09 09 09 74 69 6d 65 6f 75 74 .........timeout
1c30: 20 3d 20 30 0a 0a 09 09 09 09 23 20 64 65 74 65 = 0......# dete
1c40: 63 74 20 65 6e 64 20 6f 66 20 73 74 72 65 61 6d ct end of stream
1c50: 20 61 6e 64 20 65 78 69 74 20 69 66 20 70 6f 73 and exit if pos
1c60: 73 69 62 6c 65 0a 09 09 09 09 69 66 20 6b 65 76 sible.....if kev
1c70: 2e 66 6c 61 67 73 20 3e 3e 20 31 35 20 3d 3d 20 .flags >> 15 ==
1c80: 31 3a 0a 09 09 09 09 09 73 65 6c 66 2e 5f 6b 71 1:......self._kq
1c90: 2e 63 6f 6e 74 72 6f 6c 28 5b 73 65 6c 66 2e 5f .control([self._
1ca0: 73 65 6c 65 63 74 2e 6b 65 76 65 6e 74 28 73 79 select.kevent(sy
1cb0: 73 2e 73 74 64 69 6e 2c 20 73 65 6c 66 2e 5f 73 s.stdin, self._s
1cc0: 65 6c 65 63 74 2e 4b 51 5f 46 49 4c 54 45 52 5f elect.KQ_FILTER_
1cd0: 52 45 41 44 2c 20 73 65 6c 66 2e 5f 73 65 6c 65 READ, self._sele
1ce0: 63 74 2e 4b 51 5f 45 56 5f 44 45 4c 45 54 45 29 ct.KQ_EV_DELETE)
1cf0: 5d 2c 20 30 29 0a 09 09 09 09 09 65 6f 66 20 3d ], 0)......eof =
1d00: 20 54 72 75 65 0a 09 09 09 09 09 23 74 69 6d 65 True......#time
1d10: 6f 75 74 20 3d 20 30 0a 0a 09 09 09 69 66 20 6c out = 0.....if l
1d20: 65 6e 28 6b 65 76 73 29 20 3d 3d 20 30 3a 0a 09 en(kevs) == 0:..
1d30: 09 09 09 69 66 20 6c 65 6e 28 73 65 6c 66 2e 5f ...if len(self._
1d40: 71 75 65 75 65 29 20 3e 20 30 3a 0a 09 09 09 09 queue) > 0:.....
1d50: 09 23 20 67 65 74 20 6f 6e 65 20 72 65 71 75 65 .# get one reque
1d60: 73 74 20 61 6e 64 20 70 72 6f 63 65 73 73 20 69 st and process i
1d70: 74 0a 09 09 09 09 09 72 65 71 20 3d 20 73 65 6c t......req = sel
1d80: 66 2e 5f 71 75 65 75 65 2e 70 6f 70 28 30 29 0a f._queue.pop(0).
1d90: 09 09 09 09 09 43 68 65 63 6b 65 72 2e 70 72 6f .....Checker.pro
1da0: 63 65 73 73 28 73 65 6c 66 2c 20 72 65 71 5b 30 cess(self, req[0
1db0: 5d 2c 20 72 65 71 5b 31 5d 2c 20 72 65 71 5b 32 ], req[1], req[2
1dc0: 5d 2c 20 72 65 71 5b 33 5d 29 0a 09 09 09 09 09 ], req[3])......
1dd0: 69 66 20 6c 65 6e 28 73 65 6c 66 2e 5f 71 75 65 if len(self._que
1de0: 75 65 29 20 3d 3d 20 30 3a 0a 09 09 09 09 09 09 ue) == 0:.......
1df0: 23 20 77 61 69 74 20 66 6f 72 20 64 61 74 61 20 # wait for data
1e00: 2d 20 77 65 20 68 61 76 65 20 6e 6f 74 68 69 6e - we have nothin
1e10: 67 20 74 6f 20 70 72 6f 63 65 73 73 0a 09 09 09 g to process....
1e20: 09 09 09 74 69 6d 65 6f 75 74 20 3d 20 4e 6f 6e ...timeout = Non
1e30: 65 0a 0a 09 09 09 23 20 69 66 20 71 75 65 75 65 e.....# if queue
1e40: 20 69 73 20 65 6d 70 74 79 20 61 6e 64 20 77 65 is empty and we
1e50: 20 72 65 61 63 68 65 64 20 65 6e 64 20 6f 66 20 reached end of
1e60: 73 74 72 65 61 6d 20 2d 20 77 65 20 63 61 6e 20 stream - we can
1e70: 65 78 69 74 0a 09 09 09 69 66 20 6c 65 6e 28 73 exit....if len(s
1e80: 65 6c 66 2e 5f 71 75 65 75 65 29 20 3d 3d 20 30 elf._queue) == 0
1e90: 20 61 6e 64 20 65 6f 66 3a 0a 09 09 09 09 62 72 and eof:.....br
1ea0: 65 61 6b 0a 0a 09 64 65 66 20 70 72 6f 63 65 73 eak...def proces
1eb0: 73 28 73 65 6c 66 2c 20 69 64 2c 20 73 69 74 65 s(self, id, site
1ec0: 2c 20 69 70 5f 61 64 64 72 65 73 73 2c 20 75 72 , ip_address, ur
1ed0: 6c 5f 70 61 74 68 2c 20 6c 69 6e 65 29 3a 0a 09 l_path, line):..
1ee0: 09 23 20 73 69 6d 70 6c 79 20 61 64 64 69 6e 67 .# simply adding
1ef0: 20 64 61 74 61 20 74 6f 20 74 68 65 20 71 75 65 data to the que
1f00: 75 65 0a 09 09 73 65 6c 66 2e 5f 71 75 65 75 65 ue...self._queue
1f10: 2e 61 70 70 65 6e 64 28 28 69 64 2c 20 73 69 74 .append((id, sit
1f20: 65 2c 20 69 70 5f 61 64 64 72 65 73 73 2c 20 75 e, ip_address, u
1f30: 72 6c 5f 70 61 74 68 29 29 0a 09 09 73 65 6c 66 rl_path))...self
1f40: 2e 5f 6c 6f 67 2e 69 6e 66 6f 28 27 72 65 71 75 ._log.info('requ
1f50: 65 73 74 20 7b 7d 20 71 75 65 75 65 64 20 28 7b est {} queued ({
1f60: 7d 29 5c 6e 27 2e 66 6f 72 6d 61 74 28 69 64 2c })\n'.format(id,
1f70: 20 6c 69 6e 65 29 29 0a 0a 23 20 74 68 69 73 20 line))..# this
1f80: 63 6c 61 73 73 65 73 20 70 72 6f 63 65 73 73 65 classes processe
1f90: 73 20 63 6f 6e 66 69 67 20 66 69 6c 65 20 61 6e s config file an
1fa0: 64 20 73 75 62 73 74 69 74 75 74 65 73 20 64 65 d substitutes de
1fb0: 66 61 75 6c 74 20 76 61 6c 75 65 73 0a 63 6c 61 fault values.cla
1fc0: 73 73 20 43 6f 6e 66 69 67 3a 0a 09 5f 5f 73 6c ss Config:..__sl
1fd0: 6f 74 73 5f 5f 20 3d 20 66 72 6f 7a 65 6e 73 65 ots__ = frozense
1fe0: 74 28 5b 27 5f 63 6f 6e 66 69 67 27 2c 20 27 5f t(['_config', '_
1ff0: 64 65 66 61 75 6c 74 27 2c 20 27 5f 73 65 63 74 default', '_sect
2000: 69 6f 6e 27 2c 20 27 6f 70 74 69 6f 6e 73 27 5d ion', 'options']
2010: 29 0a 09 5f 64 65 66 61 75 6c 74 20 3d 20 7b 0a ).._default = {.
2020: 09 09 27 72 65 61 63 74 6f 72 27 3a 20 7b 0a 09 ..'reactor': {..
2030: 09 09 27 72 65 61 63 74 6f 72 27 3a 20 27 74 68 ..'reactor': 'th
2040: 72 65 61 64 27 2c 0a 09 09 7d 2c 0a 09 09 27 6c read',...},...'l
2050: 6f 67 27 3a 20 7b 0a 09 09 09 27 73 69 6c 65 6e og': {....'silen
2060: 74 27 3a 20 27 6e 6f 27 2c 0a 09 09 7d 2c 0a 09 t': 'no',...},..
2070: 09 27 64 61 74 61 62 61 73 65 27 3a 20 7b 0a 09 .'database': {..
2080: 09 09 27 68 6f 73 74 27 3a 20 27 6c 6f 63 61 6c ..'host': 'local
2090: 68 6f 73 74 27 2c 0a 09 09 09 27 64 61 74 61 62 host',....'datab
20a0: 61 73 65 27 3a 20 27 73 71 75 69 64 54 61 67 27 ase': 'squidTag'
20b0: 2c 0a 09 7d 2c 7d 0a 0a 09 23 20 66 75 6e 63 74 ,..},}...# funct
20c0: 69 6f 6e 20 74 6f 20 72 65 61 64 20 69 6e 20 63 ion to read in c
20d0: 6f 6e 66 69 67 20 66 69 6c 65 0a 09 64 65 66 20 onfig file..def
20e0: 5f 5f 69 6e 69 74 5f 5f 28 73 65 6c 66 29 3a 0a __init__(self):.
20f0: 09 09 69 6d 70 6f 72 74 20 63 6f 6e 66 69 67 70 ..import configp
2100: 61 72 73 65 72 2c 20 6f 70 74 70 61 72 73 65 2c arser, optparse,
2110: 20 6f 73 0a 0a 09 09 70 61 72 73 65 72 20 3d 20 os....parser =
2120: 6f 70 74 70 61 72 73 65 2e 4f 70 74 69 6f 6e 50 optparse.OptionP
2130: 61 72 73 65 72 28 29 0a 09 09 70 61 72 73 65 72 arser()...parser
2140: 2e 61 64 64 5f 6f 70 74 69 6f 6e 28 27 2d 63 27 .add_option('-c'
2150: 2c 20 27 2d 2d 63 6f 6e 66 69 67 27 2c 20 64 65 , '--config', de
2160: 73 74 20 3d 20 27 63 6f 6e 66 69 67 27 2c 0a 09 st = 'config',..
2170: 09 09 68 65 6c 70 20 3d 20 27 63 6f 6e 66 69 67 ..help = 'config
2180: 20 66 69 6c 65 20 6c 6f 63 61 74 69 6f 6e 27 2c file location',
2190: 20 6d 65 74 61 76 61 72 20 3d 20 27 46 49 4c 45 metavar = 'FILE
21a0: 27 2c 0a 09 09 09 64 65 66 61 75 6c 74 20 3d 20 ',....default =
21b0: 27 2f 75 73 72 2f 6c 6f 63 61 6c 2f 65 74 63 2f '/usr/local/etc/
21c0: 73 71 75 69 64 2d 74 61 67 67 65 72 2e 63 6f 6e squid-tagger.con
21d0: 66 27 29 0a 09 09 70 61 72 73 65 72 2e 61 64 64 f')...parser.add
21e0: 5f 6f 70 74 69 6f 6e 28 27 2d 64 27 2c 20 27 2d _option('-d', '-
21f0: 2d 64 75 6d 70 27 2c 20 64 65 73 74 20 3d 20 27 -dump', dest = '
2200: 64 75 6d 70 27 2c 0a 09 09 09 68 65 6c 70 20 3d dump',....help =
2210: 20 27 64 75 6d 70 20 64 61 74 61 62 61 73 65 27 'dump database'
2220: 2c 20 61 63 74 69 6f 6e 20 3d 20 27 73 74 6f 72 , action = 'stor
2230: 65 5f 74 72 75 65 27 2c 20 6d 65 74 61 76 61 72 e_true', metavar
2240: 20 3d 20 27 62 6f 6f 6c 27 2c 0a 09 09 09 64 65 = 'bool',....de
2250: 66 61 75 6c 74 20 3d 20 46 61 6c 73 65 29 0a 09 fault = False)..
2260: 09 70 61 72 73 65 72 2e 61 64 64 5f 6f 70 74 69 .parser.add_opti
2270: 6f 6e 28 27 2d 66 27 2c 20 27 2d 2d 66 6c 75 73 on('-f', '--flus
2280: 68 2d 64 61 74 61 62 61 73 65 27 2c 20 64 65 73 h-database', des
2290: 74 20 3d 20 27 66 6c 75 73 68 5f 64 62 27 2c 0a t = 'flush_db',.
22a0: 09 09 09 68 65 6c 70 20 3d 20 27 66 6c 75 73 68 ...help = 'flush
22b0: 20 70 72 65 76 69 6f 75 73 20 64 61 74 61 62 61 previous databa
22c0: 73 65 20 6f 6e 20 6c 6f 61 64 27 2c 20 64 65 66 se on load', def
22d0: 61 75 6c 74 20 3d 20 46 61 6c 73 65 2c 0a 09 09 ault = False,...
22e0: 09 61 63 74 69 6f 6e 20 3d 20 27 73 74 6f 72 65 .action = 'store
22f0: 5f 74 72 75 65 27 2c 20 6d 65 74 61 76 61 72 20 _true', metavar
2300: 3d 20 27 62 6f 6f 6c 27 29 0a 09 09 70 61 72 73 = 'bool')...pars
2310: 65 72 2e 61 64 64 5f 6f 70 74 69 6f 6e 28 27 2d er.add_option('-
2320: 6c 27 2c 20 27 2d 2d 6c 6f 61 64 27 2c 20 64 65 l', '--load', de
2330: 73 74 20 3d 20 27 6c 6f 61 64 27 2c 0a 09 09 09 st = 'load',....
2340: 68 65 6c 70 20 3d 20 27 6c 6f 61 64 20 64 61 74 help = 'load dat
2350: 61 62 61 73 65 27 2c 20 61 63 74 69 6f 6e 20 3d abase', action =
2360: 20 27 73 74 6f 72 65 5f 74 72 75 65 27 2c 20 6d 'store_true', m
2370: 65 74 61 76 61 72 20 3d 20 27 62 6f 6f 6c 27 2c etavar = 'bool',
2380: 0a 09 09 09 64 65 66 61 75 6c 74 20 3d 20 46 61 ....default = Fa
2390: 6c 73 65 29 0a 09 09 70 61 72 73 65 72 2e 61 64 lse)...parser.ad
23a0: 64 5f 6f 70 74 69 6f 6e 28 27 2d 44 27 2c 20 27 d_option('-D', '
23b0: 2d 2d 64 75 6d 70 2d 63 6f 6e 66 27 2c 20 64 65 --dump-conf', de
23c0: 73 74 20 3d 20 27 64 75 6d 70 5f 63 6f 6e 66 27 st = 'dump_conf'
23d0: 2c 0a 09 09 09 68 65 6c 70 20 3d 20 27 64 75 6d ,....help = 'dum
23e0: 70 20 66 69 6c 74 65 72 69 6e 67 20 72 75 6c 65 p filtering rule
23f0: 73 27 2c 20 64 65 66 61 75 6c 74 20 3d 20 46 61 s', default = Fa
2400: 6c 73 65 2c 20 6d 65 74 61 76 61 72 20 3d 20 27 lse, metavar = '
2410: 62 6f 6f 6c 27 2c 0a 09 09 09 61 63 74 69 6f 6e bool',....action
2420: 20 3d 20 27 73 74 6f 72 65 5f 74 72 75 65 27 29 = 'store_true')
2430: 0a 09 09 70 61 72 73 65 72 2e 61 64 64 5f 6f 70 ...parser.add_op
2440: 74 69 6f 6e 28 27 2d 4c 27 2c 20 27 2d 2d 6c 6f tion('-L', '--lo
2450: 61 64 2d 63 6f 6e 66 27 2c 20 64 65 73 74 20 3d ad-conf', dest =
2460: 20 27 6c 6f 61 64 5f 63 6f 6e 66 27 2c 0a 09 09 'load_conf',...
2470: 09 68 65 6c 70 20 3d 20 27 6c 6f 61 64 20 66 69 .help = 'load fi
2480: 6c 74 65 72 69 6e 67 20 72 75 6c 65 73 27 2c 20 ltering rules',
2490: 64 65 66 61 75 6c 74 20 3d 20 46 61 6c 73 65 2c default = False,
24a0: 20 6d 65 74 61 76 61 72 20 3d 20 27 62 6f 6f 6c metavar = 'bool
24b0: 27 2c 0a 09 09 09 61 63 74 69 6f 6e 20 3d 20 27 ',....action = '
24c0: 73 74 6f 72 65 5f 74 72 75 65 27 29 0a 0a 09 09 store_true')....
24d0: 28 73 65 6c 66 2e 6f 70 74 69 6f 6e 73 2c 20 61 (self.options, a
24e0: 72 67 73 29 20 3d 20 70 61 72 73 65 72 2e 70 61 rgs) = parser.pa
24f0: 72 73 65 5f 61 72 67 73 28 29 0a 0a 09 09 61 73 rse_args()....as
2500: 73 65 72 74 20 6f 73 2e 61 63 63 65 73 73 28 73 sert os.access(s
2510: 65 6c 66 2e 6f 70 74 69 6f 6e 73 2e 63 6f 6e 66 elf.options.conf
2520: 69 67 2c 20 6f 73 2e 52 5f 4f 4b 29 2c 20 22 46 ig, os.R_OK), "F
2530: 61 74 61 6c 20 65 72 72 6f 72 3a 20 63 61 6e 27 atal error: can'
2540: 74 20 72 65 61 64 20 7b 7d 22 2e 66 6f 72 6d 61 t read {}".forma
2550: 74 28 73 65 6c 66 2e 6f 70 74 69 6f 6e 73 2e 63 t(self.options.c
2560: 6f 6e 66 69 67 29 0a 0a 09 09 73 65 6c 66 2e 5f onfig)....self._
2570: 63 6f 6e 66 69 67 20 3d 20 63 6f 6e 66 69 67 70 config = configp
2580: 61 72 73 65 72 2e 43 6f 6e 66 69 67 50 61 72 73 arser.ConfigPars
2590: 65 72 28 29 0a 09 09 73 65 6c 66 2e 5f 63 6f 6e er()...self._con
25a0: 66 69 67 2e 72 65 61 64 66 70 28 6f 70 65 6e 28 fig.readfp(open(
25b0: 73 65 6c 66 2e 6f 70 74 69 6f 6e 73 2e 63 6f 6e self.options.con
25c0: 66 69 67 29 29 0a 0a 09 23 20 66 75 6e 63 74 69 fig))...# functi
25d0: 6f 6e 20 74 6f 20 73 65 6c 65 63 74 20 63 6f 6e on to select con
25e0: 66 69 67 20 66 69 6c 65 20 73 65 63 74 69 6f 6e fig file section
25f0: 20 6f 72 20 63 72 65 61 74 65 20 6f 6e 65 0a 09 or create one..
2600: 64 65 66 20 73 65 63 74 69 6f 6e 28 73 65 6c 66 def section(self
2610: 2c 20 73 65 63 74 69 6f 6e 29 3a 0a 09 09 69 66 , section):...if
2620: 20 6e 6f 74 20 73 65 6c 66 2e 5f 63 6f 6e 66 69 not self._confi
2630: 67 2e 68 61 73 5f 73 65 63 74 69 6f 6e 28 73 65 g.has_section(se
2640: 63 74 69 6f 6e 29 3a 0a 09 09 09 73 65 6c 66 2e ction):....self.
2650: 5f 63 6f 6e 66 69 67 2e 61 64 64 5f 73 65 63 74 _config.add_sect
2660: 69 6f 6e 28 73 65 63 74 69 6f 6e 29 0a 09 09 73 ion(section)...s
2670: 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 20 3d 20 73 elf._section = s
2680: 65 63 74 69 6f 6e 0a 0a 09 23 20 66 75 6e 63 74 ection...# funct
2690: 69 6f 6e 20 74 6f 20 67 65 74 20 63 6f 6e 66 69 ion to get confi
26a0: 67 20 70 61 72 61 6d 65 74 65 72 2c 20 69 66 20 g parameter, if
26b0: 70 61 72 61 6d 65 74 65 72 20 64 6f 65 73 6e 27 parameter doesn'
26c0: 74 20 65 78 69 73 74 73 20 74 68 65 20 64 65 66 t exists the def
26d0: 61 75 6c 74 0a 09 23 20 76 61 6c 75 65 20 6f 72 ault..# value or
26e0: 20 4e 6f 6e 65 20 69 73 20 73 75 62 73 74 69 74 None is substit
26f0: 75 74 65 64 0a 09 64 65 66 20 5f 5f 67 65 74 69 uted..def __geti
2700: 74 65 6d 5f 5f 28 73 65 6c 66 2c 20 6e 61 6d 65 tem__(self, name
2710: 29 3a 0a 09 09 69 66 20 6e 6f 74 20 73 65 6c 66 ):...if not self
2720: 2e 5f 63 6f 6e 66 69 67 2e 68 61 73 5f 6f 70 74 ._config.has_opt
2730: 69 6f 6e 28 73 65 6c 66 2e 5f 73 65 63 74 69 6f ion(self._sectio
2740: 6e 2c 20 6e 61 6d 65 29 3a 0a 09 09 09 69 66 20 n, name):....if
2750: 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 20 69 6e self._section in
2760: 20 73 65 6c 66 2e 5f 64 65 66 61 75 6c 74 3a 0a self._default:.
2770: 09 09 09 09 69 66 20 6e 61 6d 65 20 69 6e 20 73 ....if name in s
2780: 65 6c 66 2e 5f 64 65 66 61 75 6c 74 5b 73 65 6c elf._default[sel
2790: 66 2e 5f 73 65 63 74 69 6f 6e 5d 3a 0a 09 09 09 f._section]:....
27a0: 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 73 ..self._config.s
27b0: 65 74 28 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e et(self._section
27c0: 2c 20 6e 61 6d 65 2c 20 73 65 6c 66 2e 5f 64 65 , name, self._de
27d0: 66 61 75 6c 74 5b 73 65 6c 66 2e 5f 73 65 63 74 fault[self._sect
27e0: 69 6f 6e 5d 5b 6e 61 6d 65 5d 29 0a 09 09 09 09 ion][name]).....
27f0: 65 6c 73 65 3a 0a 09 09 09 09 09 73 65 6c 66 2e else:......self.
2800: 5f 63 6f 6e 66 69 67 2e 73 65 74 28 73 65 6c 66 _config.set(self
2810: 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e 61 6d 65 2c ._section, name,
2820: 20 4e 6f 6e 65 29 0a 09 09 09 65 6c 73 65 3a 0a None)....else:.
2830: 09 09 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 ....self._config
2840: 2e 73 65 74 28 73 65 6c 66 2e 5f 73 65 63 74 69 .set(self._secti
2850: 6f 6e 2c 20 6e 61 6d 65 2c 20 4e 6f 6e 65 29 0a on, name, None).
2860: 09 09 72 65 74 75 72 6e 28 73 65 6c 66 2e 5f 63 ..return(self._c
2870: 6f 6e 66 69 67 2e 67 65 74 28 73 65 6c 66 2e 5f onfig.get(self._
2880: 73 65 63 74 69 6f 6e 2c 20 6e 61 6d 65 29 29 0a section, name)).
2890: 0a 23 20 69 6e 69 74 69 61 6c 69 7a 69 6e 67 20 .# initializing
28a0: 61 6e 64 20 72 65 61 64 69 6e 67 20 69 6e 20 63 and reading in c
28b0: 6f 6e 66 69 67 20 66 69 6c 65 0a 63 6f 6e 66 69 onfig file.confi
28c0: 67 20 3d 20 43 6f 6e 66 69 67 28 29 0a 0a 69 66 g = Config()..if
28d0: 20 63 6f 6e 66 69 67 2e 6f 70 74 69 6f 6e 73 2e config.options.
28e0: 64 75 6d 70 20 6f 72 20 63 6f 6e 66 69 67 2e 6f dump or config.o
28f0: 70 74 69 6f 6e 73 2e 6c 6f 61 64 20 6f 72 20 63 ptions.load or c
2900: 6f 6e 66 69 67 2e 6f 70 74 69 6f 6e 73 2e 64 75 onfig.options.du
2910: 6d 70 5f 63 6f 6e 66 20 6f 72 20 63 6f 6e 66 69 mp_conf or confi
2920: 67 2e 6f 70 74 69 6f 6e 73 2e 6c 6f 61 64 5f 63 g.options.load_c
2930: 6f 6e 66 3a 0a 09 69 6d 70 6f 72 74 20 63 73 76 onf:..import csv
2940: 0a 0a 09 74 61 67 64 62 20 3d 20 74 61 67 44 42 ...tagdb = tagDB
2950: 28 29 0a 09 64 61 74 61 5f 66 69 65 6c 64 73 20 ()..data_fields
2960: 3d 20 5b 27 73 69 74 65 27 2c 20 27 74 61 67 27 = ['site', 'tag'
2970: 2c 20 27 72 65 67 65 78 70 27 5d 0a 09 63 6f 6e , 'regexp']..con
2980: 66 5f 66 69 65 6c 64 73 20 3d 20 5b 27 6e 65 74 f_fields = ['net
2990: 6d 61 73 6b 27 2c 20 27 72 65 64 69 72 65 63 74 mask', 'redirect
29a0: 5f 75 72 6c 27 2c 20 27 66 72 6f 6d 5f 77 65 65 _url', 'from_wee
29b0: 6b 64 61 79 27 2c 20 27 74 6f 5f 77 65 65 6b 64 kday', 'to_weekd
29c0: 61 79 27 2c 20 27 66 72 6f 6d 5f 74 69 6d 65 27 ay', 'from_time'
29d0: 2c 20 27 74 6f 5f 74 69 6d 65 27 2c 20 27 74 61 , 'to_time', 'ta
29e0: 67 27 5d 0a 0a 09 69 66 20 63 6f 6e 66 69 67 2e g']...if config.
29f0: 6f 70 74 69 6f 6e 73 2e 64 75 6d 70 20 6f 72 20 options.dump or
2a00: 63 6f 6e 66 69 67 2e 6f 70 74 69 6f 6e 73 2e 64 config.options.d
2a10: 75 6d 70 5f 63 6f 6e 66 3a 0a 09 09 69 66 20 63 ump_conf:...if c
2a20: 6f 6e 66 69 67 2e 6f 70 74 69 6f 6e 73 2e 64 75 onfig.options.du
2a30: 6d 70 3a 0a 09 09 09 64 75 6d 70 20 3d 20 74 61 mp:....dump = ta
2a40: 67 64 62 2e 64 75 6d 70 28 29 0a 09 09 65 6c 69 gdb.dump()...eli
2a50: 66 20 63 6f 6e 66 69 67 2e 6f 70 74 69 6f 6e 73 f config.options
2a60: 2e 64 75 6d 70 5f 63 6f 6e 66 3a 0a 09 09 09 64 .dump_conf:....d
2a70: 75 6d 70 20 3d 20 74 61 67 64 62 2e 64 75 6d 70 ump = tagdb.dump
2a80: 5f 63 6f 6e 66 28 29 0a 0a 09 09 66 6f 72 20 6c _conf()....for l
2a90: 69 6e 65 20 69 6e 20 64 75 6d 70 3a 0a 09 09 09 ine in dump:....
2aa0: 73 79 73 2e 73 74 64 6f 75 74 2e 77 72 69 74 65 sys.stdout.write
2ab0: 28 6c 69 6e 65 2e 64 65 63 6f 64 65 28 27 75 74 (line.decode('ut
2ac0: 66 2d 38 27 29 29 0a 0a 09 65 6c 69 66 20 63 6f f-8'))...elif co
2ad0: 6e 66 69 67 2e 6f 70 74 69 6f 6e 73 2e 6c 6f 61 nfig.options.loa
2ae0: 64 20 6f 72 20 63 6f 6e 66 69 67 2e 6f 70 74 69 d or config.opti
2af0: 6f 6e 73 2e 6c 6f 61 64 5f 63 6f 6e 66 3a 0a 09 ons.load_conf:..
2b00: 09 63 73 76 5f 72 65 61 64 65 72 20 3d 20 63 73 .csv_reader = cs
2b10: 76 2e 72 65 61 64 65 72 28 73 79 73 2e 73 74 64 v.reader(sys.std
2b20: 69 6e 29 0a 09 09 66 69 72 73 74 5f 72 6f 77 20 in)...first_row
2b30: 3d 20 6e 65 78 74 28 63 73 76 5f 72 65 61 64 65 = next(csv_reade
2b40: 72 29 0a 0a 09 09 69 66 20 63 6f 6e 66 69 67 2e r)....if config.
2b50: 6f 70 74 69 6f 6e 73 2e 6c 6f 61 64 3a 0a 09 09 options.load:...
2b60: 09 66 69 65 6c 64 73 20 3d 20 64 61 74 61 5f 66 .fields = data_f
2b70: 69 65 6c 64 73 0a 09 09 09 6c 6f 61 64 20 3d 20 ields....load =
2b80: 74 61 67 64 62 2e 6c 6f 61 64 0a 09 09 65 6c 69 tagdb.load...eli
2b90: 66 20 63 6f 6e 66 69 67 2e 6f 70 74 69 6f 6e 73 f config.options
2ba0: 2e 6c 6f 61 64 5f 63 6f 6e 66 3a 0a 09 09 09 66 .load_conf:....f
2bb0: 69 65 6c 64 73 20 3d 20 63 6f 6e 66 5f 66 69 65 ields = conf_fie
2bc0: 6c 64 73 0a 09 09 09 6c 6f 61 64 20 3d 20 74 61 lds....load = ta
2bd0: 67 64 62 2e 6c 6f 61 64 5f 63 6f 6e 66 0a 0a 09 gdb.load_conf...
2be0: 09 61 73 73 65 72 74 20 66 69 72 73 74 5f 72 6f .assert first_ro
2bf0: 77 20 3d 3d 20 66 69 65 6c 64 73 2c 20 27 46 69 w == fields, 'Fi
2c00: 6c 65 20 6d 75 73 74 20 63 6f 6e 74 61 69 6e 20 le must contain
2c10: 63 73 76 20 64 61 74 61 20 77 69 74 68 20 74 68 csv data with th
2c20: 65 65 73 65 20 63 6f 6c 75 6d 6e 73 3a 20 27 20 eese columns: '
2c30: 2b 20 72 65 70 72 28 66 69 65 6c 64 73 29 0a 09 + repr(fields)..
2c40: 09 6c 6f 61 64 28 63 73 76 5f 72 65 61 64 65 72 .load(csv_reader
2c50: 29 0a 0a 65 6c 73 65 3a 0a 09 23 20 6d 61 69 6e )..else:..# main
2c60: 20 6c 6f 6f 70 0a 09 63 6f 6e 66 69 67 2e 73 65 loop..config.se
2c70: 63 74 69 6f 6e 28 27 72 65 61 63 74 6f 72 27 29 ction('reactor')
2c80: 0a 09 69 66 20 63 6f 6e 66 69 67 5b 27 72 65 61 ..if config['rea
2c90: 63 74 6f 72 27 5d 20 3d 3d 20 27 74 68 72 65 61 ctor'] == 'threa
2ca0: 64 27 3a 0a 09 09 63 68 65 63 6b 65 72 20 3d 20 d':...checker =
2cb0: 43 68 65 63 6b 65 72 54 68 72 65 61 64 28 29 0a CheckerThread().
2cc0: 09 65 6c 69 66 20 63 6f 6e 66 69 67 5b 27 72 65 .elif config['re
2cd0: 61 63 74 6f 72 27 5d 20 3d 3d 20 27 70 6c 61 69 actor'] == 'plai
2ce0: 6e 27 3a 0a 09 09 63 68 65 63 6b 65 72 20 3d 20 n':...checker =
2cf0: 43 68 65 63 6b 65 72 28 29 0a 09 65 6c 69 66 20 Checker()..elif
2d00: 63 6f 6e 66 69 67 5b 27 72 65 61 63 74 6f 72 27 config['reactor'
2d10: 5d 20 3d 3d 20 27 6b 71 75 65 75 65 27 3a 0a 09 ] == 'kqueue':..
2d20: 09 63 68 65 63 6b 65 72 20 3d 20 43 68 65 63 6b .checker = Check
2d30: 65 72 4b 71 75 65 75 65 28 29 0a 0a 09 63 68 65 erKqueue()...che
2d40: 63 6b 65 72 2e 6c 6f 6f 70 28 29 0a cker.loop().