0000: 23 21 2f 75 73 72 2f 62 69 6e 2f 65 6e 76 20 70 #!/usr/bin/env p
0010: 79 74 68 6f 6e 33 2e 31 0a 0a 69 6d 70 6f 72 74 ython3.1..import
0020: 20 70 6f 73 74 67 72 65 73 71 6c 2e 61 70 69 2c postgresql.api,
0030: 20 72 65 2c 20 73 79 73 0a 0a 23 20 77 72 61 70 re, sys..# wrap
0040: 70 65 72 20 61 72 6f 75 6e 64 20 73 79 73 6c 6f per around syslo
0050: 67 2c 20 63 61 6e 20 62 65 20 6d 75 74 65 64 0a g, can be muted.
0060: 63 6c 61 73 73 20 4c 6f 67 67 65 72 3a 0a 09 5f class Logger:.._
0070: 5f 73 6c 6f 74 73 5f 5f 20 3d 20 66 72 6f 7a 65 _slots__ = froze
0080: 6e 73 65 74 28 5b 27 5f 73 79 73 6c 6f 67 27 5d nset(['_syslog']
0090: 29 0a 0a 09 64 65 66 20 5f 5f 69 6e 69 74 5f 5f )...def __init__
00a0: 28 73 65 6c 66 29 3a 0a 09 09 63 6f 6e 66 69 67 (self):...config
00b0: 2e 73 65 63 74 69 6f 6e 28 27 6c 6f 67 27 29 0a .section('log').
00c0: 09 09 69 66 20 63 6f 6e 66 69 67 5b 27 73 69 6c ..if config['sil
00d0: 65 6e 74 27 5d 20 3d 3d 20 27 79 65 73 27 3a 0a ent'] == 'yes':.
00e0: 09 09 09 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 20 ...self._syslog
00f0: 3d 20 4e 6f 6e 65 0a 09 09 65 6c 73 65 3a 0a 09 = None...else:..
0100: 09 09 69 6d 70 6f 72 74 20 73 79 73 6c 6f 67 0a ..import syslog.
0110: 09 09 09 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 20 ...self._syslog
0120: 3d 20 73 79 73 6c 6f 67 0a 09 09 09 73 65 6c 66 = syslog....self
0130: 2e 5f 73 79 73 6c 6f 67 2e 6f 70 65 6e 6c 6f 67 ._syslog.openlog
0140: 28 27 73 71 75 69 64 54 61 67 27 29 0a 0a 09 64 ('squidTag')...d
0150: 65 66 20 69 6e 66 6f 28 73 65 6c 66 2c 20 6d 65 ef info(self, me
0160: 73 73 61 67 65 29 3a 0a 09 09 69 66 20 73 65 6c ssage):...if sel
0170: 66 2e 5f 73 79 73 6c 6f 67 3a 0a 09 09 09 73 65 f._syslog:....se
0180: 6c 66 2e 5f 73 79 73 6c 6f 67 2e 73 79 73 6c 6f lf._syslog.syslo
0190: 67 28 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 2e 4c g(self._syslog.L
01a0: 4f 47 5f 49 4e 46 4f 2c 20 6d 65 73 73 61 67 65 OG_INFO, message
01b0: 29 0a 0a 09 64 65 66 20 6e 6f 74 69 63 65 28 73 )...def notice(s
01c0: 65 6c 66 2c 20 6d 65 73 73 61 67 65 29 3a 0a 09 elf, message):..
01d0: 09 69 66 20 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 .if self._syslog
01e0: 3a 0a 09 09 09 73 65 6c 66 2e 5f 73 79 73 6c 6f :....self._syslo
01f0: 67 2e 73 79 73 6c 6f 67 28 73 65 6c 66 2e 5f 73 g.syslog(self._s
0200: 79 73 6c 6f 67 2e 4c 4f 47 5f 4e 4f 54 49 43 45 yslog.LOG_NOTICE
0210: 2c 20 6d 65 73 73 61 67 65 29 0a 0a 23 20 77 72 , message)..# wr
0220: 61 70 70 65 72 20 61 72 6f 75 6e 64 20 64 61 74 apper around dat
0230: 61 62 61 73 65 0a 63 6c 61 73 73 20 74 61 67 44 abase.class tagD
0240: 42 3a 0a 09 5f 5f 73 6c 6f 74 73 5f 5f 20 3d 20 B:..__slots__ =
0250: 66 72 6f 7a 65 6e 73 65 74 28 28 27 5f 63 68 65 frozenset(('_che
0260: 63 6b 5f 73 74 6d 74 27 2c 20 27 5f 64 62 27 29 ck_stmt', '_db')
0270: 29 0a 0a 09 64 65 66 20 5f 5f 69 6e 69 74 5f 5f )...def __init__
0280: 28 73 65 6c 66 29 3a 0a 09 09 63 6f 6e 66 69 67 (self):...config
0290: 2e 73 65 63 74 69 6f 6e 28 27 64 61 74 61 62 61 .section('databa
02a0: 73 65 27 29 0a 09 09 73 65 6c 66 2e 5f 64 62 20 se')...self._db
02b0: 3d 20 70 6f 73 74 67 72 65 73 71 6c 2e 6f 70 65 = postgresql.ope
02c0: 6e 28 0a 09 09 09 27 70 71 3a 2f 2f 7b 7d 3a 7b n(....'pq://{}:{
02d0: 7d 40 7b 7d 2f 7b 7d 27 2e 66 6f 72 6d 61 74 28 }@{}/{}'.format(
02e0: 0a 09 09 09 09 63 6f 6e 66 69 67 5b 27 75 73 65 .....config['use
02f0: 72 27 5d 2c 0a 09 09 09 09 63 6f 6e 66 69 67 5b r'],.....config[
0300: 27 70 61 73 73 77 6f 72 64 27 5d 2c 0a 09 09 09 'password'],....
0310: 09 63 6f 6e 66 69 67 5b 27 68 6f 73 74 27 5d 2c .config['host'],
0320: 0a 09 09 09 09 63 6f 6e 66 69 67 5b 27 64 61 74 .....config['dat
0330: 61 62 61 73 65 27 5d 2c 0a 09 09 29 20 29 0a 09 abase'],...) )..
0340: 09 73 65 6c 66 2e 5f 63 68 65 63 6b 5f 73 74 6d .self._check_stm
0350: 74 20 3d 20 4e 6f 6e 65 0a 0a 09 64 65 66 20 63 t = None...def c
0360: 68 65 63 6b 28 73 65 6c 66 2c 20 73 69 74 65 2c heck(self, site,
0370: 20 69 70 5f 61 64 64 72 65 73 73 29 3a 0a 09 09 ip_address):...
0380: 69 66 20 73 65 6c 66 2e 5f 63 68 65 63 6b 5f 73 if self._check_s
0390: 74 6d 74 20 3d 3d 20 4e 6f 6e 65 3a 0a 09 09 09 tmt == None:....
03a0: 73 65 6c 66 2e 5f 63 68 65 63 6b 5f 73 74 6d 74 self._check_stmt
03b0: 20 3d 20 73 65 6c 66 2e 5f 64 62 2e 70 72 65 70 = self._db.prep
03c0: 61 72 65 28 22 73 65 6c 65 63 74 20 72 65 64 69 are("select redi
03d0: 72 65 63 74 5f 75 72 6c 2c 20 72 65 67 65 78 70 rect_url, regexp
03e0: 20 66 72 6f 6d 20 73 69 74 65 5f 72 75 6c 65 20 from site_rule
03f0: 77 68 65 72 65 20 73 69 74 65 20 3c 40 20 74 72 where site <@ tr
0400: 69 70 64 6f 6d 61 69 6e 28 24 31 29 20 61 6e 64 ipdomain($1) and
0410: 20 6e 65 74 6d 61 73 6b 20 3e 3e 3d 20 24 32 3a netmask >>= $2:
0420: 3a 74 65 78 74 3a 3a 69 6e 65 74 20 6f 72 64 65 :text::inet orde
0430: 72 20 62 79 20 61 72 72 61 79 5f 6c 65 6e 67 74 r by array_lengt
0440: 68 28 73 69 74 65 2c 20 31 29 20 64 65 73 63 22 h(site, 1) desc"
0450: 29 0a 09 09 72 65 74 75 72 6e 28 73 65 6c 66 2e )...return(self.
0460: 5f 63 68 65 63 6b 5f 73 74 6d 74 28 73 69 74 65 _check_stmt(site
0470: 2c 20 69 70 5f 61 64 64 72 65 73 73 29 29 0a 0a , ip_address))..
0480: 09 64 65 66 20 64 75 6d 70 28 73 65 6c 66 29 3a .def dump(self):
0490: 0a 09 09 72 65 74 75 72 6e 28 73 65 6c 66 2e 5f ...return(self._
04a0: 64 62 2e 70 72 65 70 61 72 65 28 22 63 6f 70 79 db.prepare("copy
04b0: 20 28 73 65 6c 65 63 74 20 75 6e 74 72 69 70 28 (select untrip(
04c0: 73 69 74 65 29 20 61 73 20 73 69 74 65 2c 20 74 site) as site, t
04d0: 61 67 2c 20 72 65 67 65 78 70 20 66 72 6f 6d 20 ag, regexp from
04e0: 75 72 6c 73 20 6f 72 64 65 72 20 62 79 20 73 69 urls order by si
04f0: 74 65 2c 20 74 61 67 29 20 74 6f 20 73 74 64 6f te, tag) to stdo
0500: 75 74 20 63 73 76 20 68 65 61 64 65 72 22 29 28 ut csv header")(
0510: 29 29 0a 0a 09 64 65 66 20 6c 6f 61 64 28 73 65 ))...def load(se
0520: 6c 66 2c 20 64 61 74 61 29 3a 0a 09 09 77 69 74 lf, data):...wit
0530: 68 20 73 65 6c 66 2e 5f 64 62 2e 78 61 63 74 28 h self._db.xact(
0540: 29 3a 0a 09 09 09 69 66 20 63 6f 6e 66 69 67 2e ):....if config.
0550: 6f 70 74 69 6f 6e 73 2e 66 6c 75 73 68 5f 64 62 options.flush_db
0560: 3a 0a 09 09 09 09 73 65 6c 66 2e 5f 64 62 2e 65 :.....self._db.e
0570: 78 65 63 75 74 65 28 27 64 65 6c 65 74 65 20 66 xecute('delete f
0580: 72 6f 6d 20 75 72 6c 73 3b 27 29 0a 09 09 09 69 rom urls;')....i
0590: 6e 73 65 72 74 20 3d 20 73 65 6c 66 2e 5f 64 62 nsert = self._db
05a0: 2e 70 72 65 70 61 72 65 28 22 69 6e 73 65 72 74 .prepare("insert
05b0: 20 69 6e 74 6f 20 75 72 6c 73 20 28 73 69 74 65 into urls (site
05c0: 2c 20 74 61 67 2c 20 72 65 67 65 78 70 29 20 76 , tag, regexp) v
05d0: 61 6c 75 65 73 20 28 74 72 69 70 64 6f 6d 61 69 alues (tripdomai
05e0: 6e 28 24 31 29 2c 20 24 32 3a 3a 74 65 78 74 3a n($1), $2::text:
05f0: 3a 74 65 78 74 5b 5d 2c 20 24 33 29 22 29 0a 09 :text[], $3)")..
0600: 09 09 66 6f 72 20 72 6f 77 20 69 6e 20 64 61 74 ..for row in dat
0610: 61 3a 0a 09 09 09 09 69 66 20 6c 65 6e 28 72 6f a:.....if len(ro
0620: 77 29 20 3d 3d 20 32 3a 0a 09 09 09 09 09 69 6e w) == 2:......in
0630: 73 65 72 74 28 72 6f 77 5b 30 5d 2c 20 72 6f 77 sert(row[0], row
0640: 5b 31 5d 2c 20 4e 6f 6e 65 29 0a 09 09 09 09 65 [1], None).....e
0650: 6c 73 65 3a 0a 09 09 09 09 09 69 6e 73 65 72 74 lse:......insert
0660: 28 72 6f 77 5b 30 5d 2c 20 72 6f 77 5b 31 5d 2c (row[0], row[1],
0670: 20 72 6f 77 5b 32 5d 29 0a 09 09 09 73 65 6c 66 row[2])....self
0680: 2e 5f 64 62 2e 65 78 65 63 75 74 65 28 22 75 70 ._db.execute("up
0690: 64 61 74 65 20 75 72 6c 73 20 73 65 74 20 72 65 date urls set re
06a0: 67 65 78 70 20 3d 20 4e 55 4c 4c 20 77 68 65 72 gexp = NULL wher
06b0: 65 20 72 65 67 65 78 70 20 3d 20 27 27 22 29 0a e regexp = ''").
06c0: 09 09 73 65 6c 66 2e 5f 64 62 2e 65 78 65 63 75 ..self._db.execu
06d0: 74 65 28 27 76 61 63 75 75 6d 20 61 6e 61 6c 79 te('vacuum analy
06e0: 7a 65 20 75 72 6c 73 3b 27 29 0a 0a 09 64 65 66 ze urls;')...def
06f0: 20 6c 6f 61 64 5f 63 6f 6e 66 28 73 65 6c 66 2c load_conf(self,
0700: 20 63 73 76 5f 64 61 74 61 29 3a 0a 09 09 77 69 csv_data):...wi
0710: 74 68 20 73 65 6c 66 2e 5f 64 62 2e 78 61 63 74 th self._db.xact
0720: 28 29 3a 0a 09 09 09 73 65 6c 66 2e 5f 64 62 2e ():....self._db.
0730: 65 78 65 63 75 74 65 28 27 64 65 6c 65 74 65 20 execute('delete
0740: 66 72 6f 6d 20 72 75 6c 65 73 3b 27 29 0a 09 09 from rules;')...
0750: 09 69 6e 73 65 72 74 63 6f 6e 66 20 3d 20 73 65 .insertconf = se
0760: 6c 66 2e 5f 64 62 2e 70 72 65 70 61 72 65 28 22 lf._db.prepare("
0770: 69 6e 73 65 72 74 20 69 6e 74 6f 20 72 75 6c 65 insert into rule
0780: 73 20 28 6e 65 74 6d 61 73 6b 2c 20 72 65 64 69 s (netmask, redi
0790: 72 65 63 74 5f 75 72 6c 2c 20 66 72 6f 6d 5f 77 rect_url, from_w
07a0: 65 65 6b 64 61 79 2c 20 74 6f 5f 77 65 65 6b 64 eekday, to_weekd
07b0: 61 79 2c 20 66 72 6f 6d 5f 74 69 6d 65 2c 20 74 ay, from_time, t
07c0: 6f 5f 74 69 6d 65 2c 20 74 61 67 29 20 76 61 6c o_time, tag) val
07d0: 75 65 73 20 28 24 31 3a 3a 74 65 78 74 3a 3a 63 ues ($1::text::c
07e0: 69 64 72 2c 20 24 32 2c 20 24 33 2c 20 24 34 2c idr, $2, $3, $4,
07f0: 20 24 35 3a 3a 74 65 78 74 3a 3a 74 69 6d 65 2c $5::text::time,
0800: 20 24 36 3a 3a 74 65 78 74 3a 3a 74 69 6d 65 2c $6::text::time,
0810: 20 24 37 3a 3a 74 65 78 74 3a 3a 74 65 78 74 5b $7::text::text[
0820: 5d 29 22 29 0a 09 09 09 66 6f 72 20 72 6f 77 20 ])")....for row
0830: 69 6e 20 63 73 76 5f 64 61 74 61 3a 0a 09 09 09 in csv_data:....
0840: 09 69 6e 73 65 72 74 63 6f 6e 66 28 72 6f 77 5b .insertconf(row[
0850: 30 5d 2c 20 72 6f 77 5b 31 5d 2c 20 69 6e 74 28 0], row[1], int(
0860: 72 6f 77 5b 32 5d 29 2c 20 69 6e 74 28 72 6f 77 row[2]), int(row
0870: 5b 33 5d 29 2c 20 72 6f 77 5b 34 5d 2c 20 72 6f [3]), row[4], ro
0880: 77 5b 35 5d 2c 20 72 6f 77 5b 36 5d 29 0a 09 09 w[5], row[6])...
0890: 73 65 6c 66 2e 5f 64 62 2e 65 78 65 63 75 74 65 self._db.execute
08a0: 28 27 76 61 63 75 75 6d 20 61 6e 61 6c 79 7a 65 ('vacuum analyze
08b0: 20 72 75 6c 65 73 3b 27 29 0a 0a 09 64 65 66 20 rules;')...def
08c0: 64 75 6d 70 5f 63 6f 6e 66 28 73 65 6c 66 29 3a dump_conf(self):
08d0: 0a 09 09 72 65 74 75 72 6e 28 73 65 6c 66 2e 5f ...return(self._
08e0: 64 62 2e 70 72 65 70 61 72 65 28 22 63 6f 70 79 db.prepare("copy
08f0: 20 28 73 65 6c 65 63 74 20 6e 65 74 6d 61 73 6b (select netmask
0900: 2c 20 72 65 64 69 72 65 63 74 5f 75 72 6c 2c 20 , redirect_url,
0910: 66 72 6f 6d 5f 77 65 65 6b 64 61 79 2c 20 74 6f from_weekday, to
0920: 5f 77 65 65 6b 64 61 79 2c 20 66 72 6f 6d 5f 74 _weekday, from_t
0930: 69 6d 65 2c 20 74 6f 5f 74 69 6d 65 2c 20 74 61 ime, to_time, ta
0940: 67 20 66 72 6f 6d 20 72 75 6c 65 73 29 20 74 6f g from rules) to
0950: 20 73 74 64 6f 75 74 20 63 73 76 20 68 65 61 64 stdout csv head
0960: 65 72 22 29 28 29 29 0a 0a 23 20 61 62 73 74 72 er")())..# abstr
0970: 61 63 74 20 63 6c 61 73 73 20 77 69 74 68 20 62 act class with b
0980: 61 73 69 63 20 63 68 65 63 6b 69 6e 67 20 66 75 asic checking fu
0990: 6e 63 74 69 6f 6e 61 6c 69 74 79 0a 63 6c 61 73 nctionality.clas
09a0: 73 20 43 68 65 63 6b 65 72 3a 0a 09 5f 5f 73 6c s Checker:..__sl
09b0: 6f 74 73 5f 5f 20 3d 20 66 72 6f 7a 65 6e 73 65 ots__ = frozense
09c0: 74 28 5b 27 5f 64 62 27 2c 20 27 5f 6c 6f 67 27 t(['_db', '_log'
09d0: 2c 20 27 5f 72 65 71 75 65 73 74 27 5d 29 0a 0a , '_request'])..
09e0: 09 64 65 66 20 5f 5f 69 6e 69 74 5f 5f 28 73 65 .def __init__(se
09f0: 6c 66 29 3a 0a 09 09 73 65 6c 66 2e 5f 64 62 20 lf):...self._db
0a00: 3d 20 74 61 67 44 42 28 29 0a 09 09 73 65 6c 66 = tagDB()...self
0a10: 2e 5f 6c 6f 67 20 3d 20 4c 6f 67 67 65 72 28 29 ._log = Logger()
0a20: 0a 09 09 73 65 6c 66 2e 5f 6c 6f 67 2e 69 6e 66 ...self._log.inf
0a30: 6f 28 27 73 74 61 72 74 65 64 5c 6e 27 29 0a 09 o('started\n')..
0a40: 09 73 65 6c 66 2e 5f 72 65 71 75 65 73 74 20 3d .self._request =
0a50: 20 72 65 2e 63 6f 6d 70 69 6c 65 28 27 5e 28 5b re.compile('^([
0a60: 30 2d 39 5d 2b 29 5c 20 28 68 74 74 70 7c 66 74 0-9]+)\ (http|ft
0a70: 70 29 3a 5c 2f 5c 2f 28 5b 2d 5c 77 2e 3a 5d 2b p):\/\/([-\w.:]+
0a80: 29 5c 2f 28 5b 5e 20 5d 2a 29 5c 20 28 5b 30 2d )\/([^ ]*)\ ([0-
0a90: 39 2e 5d 2b 29 5c 2f 28 2d 7c 5b 5c 77 5c 2e 5d 9.]+)\/(-|[\w\.]
0aa0: 2b 29 5c 20 28 2d 7c 5c 77 2b 29 5c 20 28 2d 7c +)\ (-|\w+)\ (-|
0ab0: 47 45 54 7c 48 45 41 44 7c 50 4f 53 54 29 2e 2a GET|HEAD|POST).*
0ac0: 24 27 29 0a 0a 09 64 65 66 20 70 72 6f 63 65 73 $')...def proces
0ad0: 73 28 73 65 6c 66 2c 20 69 64 2c 20 73 69 74 65 s(self, id, site
0ae0: 2c 20 69 70 5f 61 64 64 72 65 73 73 2c 20 75 72 , ip_address, ur
0af0: 6c 5f 70 61 74 68 2c 20 6c 69 6e 65 20 3d 20 4e l_path, line = N
0b00: 6f 6e 65 29 3a 0a 09 09 73 65 6c 66 2e 5f 6c 6f one):...self._lo
0b10: 67 2e 69 6e 66 6f 28 27 74 72 79 69 6e 67 20 7b g.info('trying {
0b20: 7d 5c 6e 27 2e 66 6f 72 6d 61 74 28 73 69 74 65 }\n'.format(site
0b30: 29 29 0a 09 09 72 65 73 75 6c 74 20 3d 20 73 65 ))...result = se
0b40: 6c 66 2e 5f 64 62 2e 63 68 65 63 6b 28 73 69 74 lf._db.check(sit
0b50: 65 2c 20 69 70 5f 61 64 64 72 65 73 73 29 0a 09 e, ip_address)..
0b60: 09 72 65 70 6c 79 20 3d 20 4e 6f 6e 65 0a 09 09 .reply = None...
0b70: 66 6f 72 20 72 6f 77 20 69 6e 20 72 65 73 75 6c for row in resul
0b80: 74 3a 0a 09 09 09 69 66 20 72 6f 77 20 21 3d 20 t:....if row !=
0b90: 4e 6f 6e 65 20 61 6e 64 20 72 6f 77 5b 30 5d 20 None and row[0]
0ba0: 21 3d 20 4e 6f 6e 65 3a 0a 09 09 09 09 69 66 20 != None:.....if
0bb0: 72 6f 77 5b 31 5d 20 21 3d 20 4e 6f 6e 65 3a 0a row[1] != None:.
0bc0: 09 09 09 09 09 73 65 6c 66 2e 5f 6c 6f 67 2e 69 .....self._log.i
0bd0: 6e 66 6f 28 27 74 72 79 69 6e 67 20 72 65 67 65 nfo('trying rege
0be0: 78 70 20 22 7b 7d 22 20 76 65 72 73 75 73 20 22 xp "{}" versus "
0bf0: 7b 7d 22 5c 6e 27 2e 66 6f 72 6d 61 74 28 72 6f {}"\n'.format(ro
0c00: 77 5b 31 5d 2c 20 75 72 6c 5f 70 61 74 68 29 29 w[1], url_path))
0c10: 0a 09 09 09 09 09 74 72 79 3a 0a 09 09 09 09 09 ......try:......
0c20: 09 69 66 20 72 65 2e 63 6f 6d 70 69 6c 65 28 72 .if re.compile(r
0c30: 6f 77 5b 31 5d 29 2e 6d 61 74 63 68 28 75 72 6c ow[1]).match(url
0c40: 5f 70 61 74 68 29 3a 0a 09 09 09 09 09 09 09 72 _path):........r
0c50: 65 70 6c 79 20 3d 20 72 6f 77 5b 30 5d 2e 66 6f eply = row[0].fo
0c60: 72 6d 61 74 28 75 72 6c 5f 70 61 74 68 29 0a 09 rmat(url_path)..
0c70: 09 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 .....else:......
0c80: 09 09 63 6f 6e 74 69 6e 75 65 0a 09 09 09 09 09 ..continue......
0c90: 65 78 63 65 70 74 3a 0a 09 09 09 09 09 09 73 65 except:.......se
0ca0: 6c 66 2e 5f 6c 6f 67 2e 69 6e 66 6f 28 22 63 61 lf._log.info("ca
0cb0: 6e 27 74 20 63 6f 6d 70 69 6c 65 20 72 65 67 65 n't compile rege
0cc0: 78 70 22 29 0a 09 09 09 09 65 6c 73 65 3a 0a 09 xp").....else:..
0cd0: 09 09 09 09 72 65 70 6c 79 20 3d 20 72 6f 77 5b ....reply = row[
0ce0: 30 5d 2e 66 6f 72 6d 61 74 28 75 72 6c 5f 70 61 0].format(url_pa
0cf0: 74 68 29 0a 09 09 09 69 66 20 72 65 70 6c 79 20 th)....if reply
0d00: 21 3d 20 4e 6f 6e 65 3a 0a 09 09 09 09 73 65 6c != None:.....sel
0d10: 66 2e 77 72 69 74 65 6c 69 6e 65 28 27 7b 7d 20 f.writeline('{}
0d20: 7b 7d 5c 6e 27 2e 66 6f 72 6d 61 74 28 69 64 2c {}\n'.format(id,
0d30: 20 72 65 70 6c 79 29 29 0a 09 09 09 09 72 65 74 reply)).....ret
0d40: 75 72 6e 28 54 72 75 65 29 0a 09 09 73 65 6c 66 urn(True)...self
0d50: 2e 77 72 69 74 65 6c 69 6e 65 28 27 7b 7d 5c 6e .writeline('{}\n
0d60: 27 2e 66 6f 72 6d 61 74 28 69 64 29 29 0a 0a 09 '.format(id))...
0d70: 64 65 66 20 63 68 65 63 6b 28 73 65 6c 66 2c 20 def check(self,
0d80: 6c 69 6e 65 29 3a 0a 09 09 72 65 71 75 65 73 74 line):...request
0d90: 20 3d 20 73 65 6c 66 2e 5f 72 65 71 75 65 73 74 = self._request
0da0: 2e 6d 61 74 63 68 28 6c 69 6e 65 29 0a 09 09 69 .match(line)...i
0db0: 66 20 72 65 71 75 65 73 74 3a 0a 09 09 09 69 64 f request:....id
0dc0: 20 3d 20 72 65 71 75 65 73 74 2e 67 72 6f 75 70 = request.group
0dd0: 28 31 29 0a 09 09 09 23 70 72 6f 74 6f 20 3d 20 (1)....#proto =
0de0: 72 65 71 75 65 73 74 2e 67 72 6f 75 70 28 32 29 request.group(2)
0df0: 0a 09 09 09 73 69 74 65 20 3d 20 72 65 71 75 65 ....site = reque
0e00: 73 74 2e 67 72 6f 75 70 28 33 29 0a 09 09 09 75 st.group(3)....u
0e10: 72 6c 5f 70 61 74 68 20 3d 20 72 65 71 75 65 73 rl_path = reques
0e20: 74 2e 67 72 6f 75 70 28 34 29 0a 09 09 09 69 70 t.group(4)....ip
0e30: 5f 61 64 64 72 65 73 73 20 3d 20 72 65 71 75 65 _address = reque
0e40: 73 74 2e 67 72 6f 75 70 28 35 29 0a 09 09 09 73 st.group(5)....s
0e50: 65 6c 66 2e 70 72 6f 63 65 73 73 28 69 64 2c 20 elf.process(id,
0e60: 73 69 74 65 2c 20 69 70 5f 61 64 64 72 65 73 73 site, ip_address
0e70: 2c 20 75 72 6c 5f 70 61 74 68 2c 20 6c 69 6e 65 , url_path, line
0e80: 29 0a 09 09 09 72 65 74 75 72 6e 28 54 72 75 65 )....return(True
0e90: 29 0a 09 09 65 6c 73 65 3a 0a 09 09 09 73 65 6c )...else:....sel
0ea0: 66 2e 5f 6c 6f 67 2e 69 6e 66 6f 28 27 62 61 64 f._log.info('bad
0eb0: 20 72 65 71 75 65 73 74 5c 6e 27 29 0a 09 09 09 request\n')....
0ec0: 73 65 6c 66 2e 77 72 69 74 65 6c 69 6e 65 28 6c self.writeline(l
0ed0: 69 6e 65 29 0a 09 09 09 72 65 74 75 72 6e 28 46 ine)....return(F
0ee0: 61 6c 73 65 29 0a 0a 09 64 65 66 20 77 72 69 74 alse)...def writ
0ef0: 65 6c 69 6e 65 28 73 65 6c 66 2c 20 73 74 72 69 eline(self, stri
0f00: 6e 67 29 3a 0a 09 09 73 65 6c 66 2e 5f 6c 6f 67 ng):...self._log
0f10: 2e 69 6e 66 6f 28 27 73 65 6e 64 69 6e 67 3a 20 .info('sending:
0f20: 27 20 2b 20 73 74 72 69 6e 67 29 0a 09 09 73 79 ' + string)...sy
0f30: 73 2e 73 74 64 6f 75 74 2e 77 72 69 74 65 28 73 s.stdout.write(s
0f40: 74 72 69 6e 67 29 0a 09 09 73 79 73 2e 73 74 64 tring)...sys.std
0f50: 6f 75 74 2e 66 6c 75 73 68 28 29 0a 0a 09 64 65 out.flush()...de
0f60: 66 20 6c 6f 6f 70 28 73 65 6c 66 29 3a 0a 09 09 f loop(self):...
0f70: 77 68 69 6c 65 20 54 72 75 65 3a 0a 09 09 09 6c while True:....l
0f80: 69 6e 65 20 3d 20 73 79 73 2e 73 74 64 69 6e 2e ine = sys.stdin.
0f90: 72 65 61 64 6c 69 6e 65 28 29 0a 09 09 09 69 66 readline()....if
0fa0: 20 6c 65 6e 28 6c 69 6e 65 29 20 3d 3d 20 30 3a len(line) == 0:
0fb0: 0a 09 09 09 09 62 72 65 61 6b 0a 09 09 09 73 65 .....break....se
0fc0: 6c 66 2e 63 68 65 63 6b 28 6c 69 6e 65 29 0a 0a lf.check(line)..
0fd0: 23 20 74 68 72 65 61 64 65 64 20 63 68 65 63 6b # threaded check
0fe0: 69 6e 67 20 66 61 63 69 6c 69 74 79 0a 63 6c 61 ing facility.cla
0ff0: 73 73 20 43 68 65 63 6b 65 72 54 68 72 65 61 64 ss CheckerThread
1000: 28 43 68 65 63 6b 65 72 29 3a 0a 09 5f 5f 73 6c (Checker):..__sl
1010: 6f 74 73 5f 5f 20 3d 20 66 72 6f 7a 65 6e 73 65 ots__ = frozense
1020: 74 28 5b 27 5f 6c 6f 63 6b 27 2c 20 27 5f 6c 6f t(['_lock', '_lo
1030: 63 6b 5f 65 78 69 74 27 2c 20 27 5f 6c 6f 63 6b ck_exit', '_lock
1040: 5f 71 75 65 75 65 27 2c 20 27 5f 71 75 65 75 65 _queue', '_queue
1050: 27 5d 29 0a 0a 09 64 65 66 20 5f 5f 69 6e 69 74 '])...def __init
1060: 5f 5f 28 73 65 6c 66 29 3a 0a 09 09 69 6d 70 6f __(self):...impo
1070: 72 74 20 5f 74 68 72 65 61 64 0a 0a 09 09 23 20 rt _thread....#
1080: 62 61 73 69 63 20 69 6e 69 74 69 61 6c 69 73 61 basic initialisa
1090: 74 69 6f 6e 0a 09 09 43 68 65 63 6b 65 72 2e 5f tion...Checker._
10a0: 5f 69 6e 69 74 5f 5f 28 73 65 6c 66 29 0a 0a 09 _init__(self)...
10b0: 09 23 20 53 70 69 6e 20 6c 6f 63 6b 2e 20 4c 6f .# Spin lock. Lo
10c0: 6f 70 20 61 63 71 75 69 72 65 73 20 69 74 20 6f op acquires it o
10d0: 6e 20 73 74 61 72 74 20 74 68 65 6e 20 72 65 6c n start then rel
10e0: 65 61 73 65 73 20 69 74 20 77 68 65 6e 20 68 6f eases it when ho
10f0: 6c 64 69 6e 67 20 71 75 65 75 65 0a 09 09 23 20 lding queue...#
1100: 6c 6f 63 6b 2e 20 54 68 69 73 20 77 61 79 20 74 lock. This way t
1110: 68 65 20 74 68 72 65 61 64 20 70 72 6f 63 65 65 he thread procee
1120: 64 73 20 77 69 74 68 6f 75 74 20 73 74 6f 70 73 ds without stops
1130: 20 77 68 69 6c 65 20 71 75 65 75 65 20 68 61 73 while queue has
1140: 20 64 61 74 61 20 61 6e 64 0a 09 09 23 20 67 65 data and...# ge
1150: 74 73 20 73 74 61 6c 6c 65 64 20 77 68 65 6e 20 ts stalled when
1160: 6e 6f 20 64 61 74 61 20 70 72 65 73 65 6e 74 2e no data present.
1170: 20 54 68 65 20 6c 6f 63 6b 20 69 73 20 72 65 6c The lock is rel
1180: 65 61 73 65 64 20 62 79 20 71 75 65 75 65 20 77 eased by queue w
1190: 72 69 74 65 72 0a 09 09 23 20 61 66 74 65 72 20 riter...# after
11a0: 73 74 6f 72 69 6e 67 20 73 6f 6d 65 74 68 69 6e storing somethin
11b0: 67 20 69 6e 74 6f 20 74 68 65 20 71 75 65 75 65 g into the queue
11c0: 0a 09 09 73 65 6c 66 2e 5f 6c 6f 63 6b 20 3d 20 ...self._lock =
11d0: 5f 74 68 72 65 61 64 2e 61 6c 6c 6f 63 61 74 65 _thread.allocate
11e0: 5f 6c 6f 63 6b 28 29 0a 09 09 73 65 6c 66 2e 5f _lock()...self._
11f0: 6c 6f 63 6b 5f 65 78 69 74 20 3d 20 5f 74 68 72 lock_exit = _thr
1200: 65 61 64 2e 61 6c 6c 6f 63 61 74 65 5f 6c 6f 63 ead.allocate_loc
1210: 6b 28 29 0a 09 09 73 65 6c 66 2e 5f 6c 6f 63 6b k()...self._lock
1220: 5f 71 75 65 75 65 20 3d 20 5f 74 68 72 65 61 64 _queue = _thread
1230: 2e 61 6c 6c 6f 63 61 74 65 5f 6c 6f 63 6b 28 29 .allocate_lock()
1240: 0a 09 09 73 65 6c 66 2e 5f 6c 6f 63 6b 2e 61 63 ...self._lock.ac
1250: 71 75 69 72 65 28 29 0a 09 09 73 65 6c 66 2e 5f quire()...self._
1260: 71 75 65 75 65 20 3d 20 5b 5d 0a 09 09 5f 74 68 queue = []..._th
1270: 72 65 61 64 2e 73 74 61 72 74 5f 6e 65 77 5f 74 read.start_new_t
1280: 68 72 65 61 64 28 73 65 6c 66 2e 5f 73 74 61 72 hread(self._star
1290: 74 2c 20 28 29 29 0a 0a 09 64 65 66 20 5f 73 74 t, ())...def _st
12a0: 61 72 74 28 73 65 6c 66 29 3a 0a 09 09 77 68 69 art(self):...whi
12b0: 6c 65 20 54 72 75 65 3a 0a 09 09 09 73 65 6c 66 le True:....self
12c0: 2e 5f 6c 6f 63 6b 2e 61 63 71 75 69 72 65 28 29 ._lock.acquire()
12d0: 0a 09 09 09 77 69 74 68 20 73 65 6c 66 2e 5f 6c ....with self._l
12e0: 6f 63 6b 5f 71 75 65 75 65 3a 0a 09 09 09 09 23 ock_queue:.....#
12f0: 20 79 65 73 20 74 68 69 73 20 73 68 6f 75 6c 64 yes this should
1300: 20 62 65 20 77 72 69 74 74 65 6e 20 74 68 69 73 be written this
1310: 20 77 61 79 2c 20 61 6e 64 20 79 65 73 2c 20 74 way, and yes, t
1320: 68 69 73 20 69 73 20 77 68 79 20 49 20 68 61 74 his is why I hat
1330: 65 20 74 68 72 65 61 64 69 6e 67 0a 09 09 09 09 e threading.....
1340: 69 66 20 6c 65 6e 28 73 65 6c 66 2e 5f 71 75 65 if len(self._que
1350: 75 65 29 20 3e 20 31 3a 0a 09 09 09 09 09 69 66 ue) > 1:......if
1360: 20 73 65 6c 66 2e 5f 6c 6f 63 6b 2e 6c 6f 63 6b self._lock.lock
1370: 65 64 28 29 3a 0a 09 09 09 09 09 09 73 65 6c 66 ed():.......self
1380: 2e 5f 6c 6f 63 6b 2e 72 65 6c 65 61 73 65 28 29 ._lock.release()
1390: 0a 09 09 09 09 72 65 71 20 3d 20 73 65 6c 66 2e .....req = self.
13a0: 5f 71 75 65 75 65 2e 70 6f 70 28 30 29 0a 09 09 _queue.pop(0)...
13b0: 09 43 68 65 63 6b 65 72 2e 70 72 6f 63 65 73 73 .Checker.process
13c0: 28 73 65 6c 66 2c 20 72 65 71 5b 30 5d 2c 20 72 (self, req[0], r
13d0: 65 71 5b 31 5d 2c 20 72 65 71 5b 32 5d 2c 20 72 eq[1], req[2], r
13e0: 65 71 5b 33 5d 29 0a 09 09 09 77 69 74 68 20 73 eq[3])....with s
13f0: 65 6c 66 2e 5f 6c 6f 63 6b 5f 71 75 65 75 65 3a elf._lock_queue:
1400: 0a 09 09 09 09 69 66 20 6c 65 6e 28 73 65 6c 66 .....if len(self
1410: 2e 5f 71 75 65 75 65 29 20 3d 3d 20 30 3a 0a 09 ._queue) == 0:..
1420: 09 09 09 09 69 66 20 73 65 6c 66 2e 5f 6c 6f 63 ....if self._loc
1430: 6b 5f 65 78 69 74 2e 6c 6f 63 6b 65 64 28 29 3a k_exit.locked():
1440: 0a 09 09 09 09 09 09 73 65 6c 66 2e 5f 6c 6f 63 .......self._loc
1450: 6b 5f 65 78 69 74 2e 72 65 6c 65 61 73 65 28 29 k_exit.release()
1460: 0a 0a 09 64 65 66 20 70 72 6f 63 65 73 73 28 73 ...def process(s
1470: 65 6c 66 2c 20 69 64 2c 20 73 69 74 65 2c 20 69 elf, id, site, i
1480: 70 5f 61 64 64 72 65 73 73 2c 20 75 72 6c 5f 70 p_address, url_p
1490: 61 74 68 2c 20 6c 69 6e 65 29 3a 0a 09 09 77 69 ath, line):...wi
14a0: 74 68 20 73 65 6c 66 2e 5f 6c 6f 63 6b 5f 71 75 th self._lock_qu
14b0: 65 75 65 3a 0a 09 09 09 73 65 6c 66 2e 5f 71 75 eue:....self._qu
14c0: 65 75 65 2e 61 70 70 65 6e 64 28 28 69 64 2c 20 eue.append((id,
14d0: 73 69 74 65 2c 20 69 70 5f 61 64 64 72 65 73 73 site, ip_address
14e0: 2c 20 75 72 6c 5f 70 61 74 68 29 29 0a 09 09 09 , url_path))....
14f0: 73 65 6c 66 2e 5f 6c 6f 67 2e 69 6e 66 6f 28 27 self._log.info('
1500: 72 65 71 75 65 73 74 20 7b 7d 20 71 75 65 75 65 request {} queue
1510: 64 20 28 7b 7d 29 5c 6e 27 2e 66 6f 72 6d 61 74 d ({})\n'.format
1520: 28 69 64 2c 20 6c 69 6e 65 29 29 0a 09 09 09 69 (id, line))....i
1530: 66 20 6e 6f 74 20 73 65 6c 66 2e 5f 6c 6f 63 6b f not self._lock
1540: 5f 65 78 69 74 2e 6c 6f 63 6b 65 64 28 29 3a 0a _exit.locked():.
1550: 09 09 09 09 73 65 6c 66 2e 5f 6c 6f 63 6b 5f 65 ....self._lock_e
1560: 78 69 74 2e 61 63 71 75 69 72 65 28 29 0a 09 09 xit.acquire()...
1570: 09 69 66 20 73 65 6c 66 2e 5f 6c 6f 63 6b 2e 6c .if self._lock.l
1580: 6f 63 6b 65 64 28 29 3a 0a 09 09 09 09 73 65 6c ocked():.....sel
1590: 66 2e 5f 6c 6f 63 6b 2e 72 65 6c 65 61 73 65 28 f._lock.release(
15a0: 29 0a 0a 09 64 65 66 20 6c 6f 6f 70 28 73 65 6c )...def loop(sel
15b0: 66 29 3a 0a 09 09 77 68 69 6c 65 20 54 72 75 65 f):...while True
15c0: 3a 0a 09 09 09 6c 69 6e 65 20 3d 20 73 79 73 2e :....line = sys.
15d0: 73 74 64 69 6e 2e 72 65 61 64 6c 69 6e 65 28 29 stdin.readline()
15e0: 0a 09 09 09 69 66 20 6c 65 6e 28 6c 69 6e 65 29 ....if len(line)
15f0: 20 3d 3d 20 30 3a 0a 09 09 09 09 62 72 65 61 6b == 0:.....break
1600: 0a 09 09 09 73 65 6c 66 2e 63 68 65 63 6b 28 6c ....self.check(l
1610: 69 6e 65 29 0a 09 09 73 65 6c 66 2e 5f 6c 6f 63 ine)...self._loc
1620: 6b 5f 65 78 69 74 2e 61 63 71 75 69 72 65 28 29 k_exit.acquire()
1630: 0a 0a 23 20 6b 71 75 65 75 65 20 65 6e 61 62 6c ..# kqueue enabl
1640: 65 64 20 63 6c 61 73 73 20 66 6f 72 20 42 53 44 ed class for BSD
1650: 27 73 0a 63 6c 61 73 73 20 43 68 65 63 6b 65 72 's.class Checker
1660: 4b 71 75 65 75 65 28 43 68 65 63 6b 65 72 29 3a Kqueue(Checker):
1670: 0a 09 5f 5f 73 6c 6f 74 73 5f 5f 20 3d 20 66 72 ..__slots__ = fr
1680: 6f 7a 65 6e 73 65 74 28 5b 27 5f 6b 71 27 2c 20 ozenset(['_kq',
1690: 27 5f 73 65 6c 65 63 74 27 2c 20 27 5f 71 75 65 '_select', '_que
16a0: 75 65 27 5d 29 0a 0a 09 64 65 66 20 5f 5f 69 6e ue'])...def __in
16b0: 69 74 5f 5f 28 73 65 6c 66 29 3a 0a 09 09 23 20 it__(self):...#
16c0: 62 61 73 69 63 20 69 6e 69 74 69 61 6c 69 73 61 basic initialisa
16d0: 74 69 6f 6e 0a 09 09 43 68 65 63 6b 65 72 2e 5f tion...Checker._
16e0: 5f 69 6e 69 74 5f 5f 28 73 65 6c 66 29 0a 0a 09 _init__(self)...
16f0: 09 23 20 69 6d 70 6f 72 74 69 6e 67 20 73 65 6c .# importing sel
1700: 65 63 74 20 6d 6f 64 75 6c 65 0a 09 09 69 6d 70 ect module...imp
1710: 6f 72 74 20 73 65 6c 65 63 74 0a 09 09 73 65 6c ort select...sel
1720: 66 2e 5f 73 65 6c 65 63 74 20 3d 20 73 65 6c 65 f._select = sele
1730: 63 74 0a 0a 09 09 23 20 6b 72 65 61 74 69 6e 67 ct....# kreating
1740: 20 6b 71 75 65 75 65 0a 09 09 73 65 6c 66 2e 5f kqueue...self._
1750: 6b 71 20 3d 20 73 65 6c 66 2e 5f 73 65 6c 65 63 kq = self._selec
1760: 74 2e 6b 71 75 65 75 65 28 29 0a 09 09 61 73 73 t.kqueue()...ass
1770: 65 72 74 20 73 65 6c 66 2e 5f 6b 71 2e 66 69 6c ert self._kq.fil
1780: 65 6e 6f 28 29 20 21 3d 20 2d 31 2c 20 22 46 61 eno() != -1, "Fa
1790: 74 61 6c 20 65 72 72 6f 72 3a 20 63 61 6e 27 74 tal error: can't
17a0: 20 69 6e 69 74 69 61 6c 69 73 65 20 6b 71 75 65 initialise kque
17b0: 75 65 2e 22 0a 0a 09 09 23 20 77 61 74 63 68 69 ue."....# watchi
17c0: 6e 67 20 73 79 73 2e 73 74 64 69 6e 20 66 6f 72 ng sys.stdin for
17d0: 20 64 61 74 61 0a 09 09 73 65 6c 66 2e 5f 6b 71 data...self._kq
17e0: 2e 63 6f 6e 74 72 6f 6c 28 5b 73 65 6c 66 2e 5f .control([self._
17f0: 73 65 6c 65 63 74 2e 6b 65 76 65 6e 74 28 73 79 select.kevent(sy
1800: 73 2e 73 74 64 69 6e 2c 20 73 65 6c 66 2e 5f 73 s.stdin, self._s
1810: 65 6c 65 63 74 2e 4b 51 5f 46 49 4c 54 45 52 5f elect.KQ_FILTER_
1820: 52 45 41 44 2c 20 73 65 6c 66 2e 5f 73 65 6c 65 READ, self._sele
1830: 63 74 2e 4b 51 5f 45 56 5f 41 44 44 29 5d 2c 20 ct.KQ_EV_ADD)],
1840: 30 29 0a 0a 09 09 23 20 63 72 65 61 74 69 6e 67 0)....# creating
1850: 20 64 61 74 61 20 71 75 65 75 65 0a 09 09 73 65 data queue...se
1860: 6c 66 2e 5f 71 75 65 75 65 20 3d 20 5b 5d 0a 0a lf._queue = []..
1870: 09 64 65 66 20 6c 6f 6f 70 28 73 65 6c 66 29 3a .def loop(self):
1880: 0a 09 09 23 20 57 61 69 74 20 66 6f 72 20 64 61 ...# Wait for da
1890: 74 61 20 62 79 20 64 65 66 61 75 6c 74 0a 09 09 ta by default...
18a0: 74 69 6d 65 6f 75 74 20 3d 20 4e 6f 6e 65 0a 09 timeout = None..
18b0: 09 65 6f 66 20 3d 20 46 61 6c 73 65 0a 09 09 62 .eof = False...b
18c0: 75 66 66 65 72 20 3d 20 27 27 0a 09 09 77 68 69 uffer = ''...whi
18d0: 6c 65 20 54 72 75 65 3a 0a 09 09 09 23 20 63 68 le True:....# ch
18e0: 65 63 6b 69 6e 67 20 69 66 20 74 68 65 72 65 20 ecking if there
18f0: 69 73 20 61 6e 79 20 64 61 74 61 20 6f 72 20 77 is any data or w
1900: 69 74 69 6e 67 20 66 6f 72 20 64 61 74 61 20 74 iting for data t
1910: 6f 20 61 72 72 69 76 65 0a 09 09 09 6b 65 76 73 o arrive....kevs
1920: 20 3d 20 73 65 6c 66 2e 5f 6b 71 2e 63 6f 6e 74 = self._kq.cont
1930: 72 6f 6c 28 4e 6f 6e 65 2c 20 31 2c 20 74 69 6d rol(None, 1, tim
1940: 65 6f 75 74 29 0a 0a 09 09 09 66 6f 72 20 6b 65 eout).....for ke
1950: 76 20 69 6e 20 6b 65 76 73 3a 0a 09 09 09 09 69 v in kevs:.....i
1960: 66 20 6b 65 76 2e 66 69 6c 74 65 72 20 3d 3d 20 f kev.filter ==
1970: 73 65 6c 66 2e 5f 73 65 6c 65 63 74 2e 4b 51 5f self._select.KQ_
1980: 46 49 4c 54 45 52 5f 52 45 41 44 20 61 6e 64 20 FILTER_READ and
1990: 6b 65 76 2e 64 61 74 61 20 3e 20 30 3a 0a 09 09 kev.data > 0:...
19a0: 09 09 09 23 20 72 65 61 64 69 6e 67 20 64 61 74 ...# reading dat
19b0: 61 20 69 6e 0a 09 09 09 09 09 6e 65 77 5f 62 75 a in......new_bu
19c0: 66 66 65 72 20 3d 20 73 79 73 2e 73 74 64 69 6e ffer = sys.stdin
19d0: 2e 72 65 61 64 28 6b 65 76 2e 64 61 74 61 29 0a .read(kev.data).
19e0: 09 09 09 09 09 23 20 69 66 20 6e 6f 20 64 61 74 .....# if no dat
19f0: 61 20 77 61 73 20 73 65 6e 74 20 2d 20 77 65 20 a was sent - we
1a00: 68 61 76 65 20 72 65 61 63 68 65 64 20 65 6e 64 have reached end
1a10: 20 6f 66 20 66 69 6c 65 0a 09 09 09 09 09 69 66 of file......if
1a20: 20 6c 65 6e 28 6e 65 77 5f 62 75 66 66 65 72 29 len(new_buffer)
1a30: 20 3d 3d 20 30 3a 0a 09 09 09 09 09 09 65 6f 66 == 0:.......eof
1a40: 20 3d 20 54 72 75 65 0a 09 09 09 09 09 65 6c 73 = True......els
1a50: 65 3a 0a 09 09 09 09 09 09 23 20 61 64 64 69 6e e:.......# addin
1a60: 67 20 63 75 72 72 65 6e 74 20 62 75 66 66 65 72 g current buffer
1a70: 20 74 6f 20 6f 6c 64 20 62 75 66 66 65 72 20 72 to old buffer r
1a80: 65 6d 61 69 6e 73 0a 09 09 09 09 09 09 62 75 66 emains.......buf
1a90: 66 65 72 20 2b 3d 20 6e 65 77 5f 62 75 66 66 65 fer += new_buffe
1aa0: 72 0a 09 09 09 09 09 09 23 20 73 70 6c 69 74 74 r.......# splitt
1ab0: 69 6e 67 20 74 6f 20 6c 69 6e 65 73 0a 09 09 09 ing to lines....
1ac0: 09 09 09 6c 69 6e 65 73 20 3d 20 62 75 66 66 65 ...lines = buffe
1ad0: 72 2e 73 70 6c 69 74 28 27 5c 6e 27 29 0a 09 09 r.split('\n')...
1ae0: 09 09 09 09 23 20 6c 61 73 74 20 6c 69 6e 65 20 ....# last line
1af0: 74 68 61 74 20 77 61 73 20 6e 6f 74 20 74 65 72 that was not ter
1b00: 6d 69 6e 61 74 65 20 62 79 20 6e 65 77 6c 69 6e minate by newlin
1b10: 65 20 72 65 74 75 72 6e 73 20 74 6f 20 62 75 66 e returns to buf
1b20: 66 65 72 0a 09 09 09 09 09 09 62 75 66 66 65 72 fer.......buffer
1b30: 20 3d 20 6c 69 6e 65 73 5b 2d 31 5d 0a 09 09 09 = lines[-1]....
1b40: 09 09 09 23 20 61 6e 20 6f 6e 6c 79 20 69 66 20 ...# an only if
1b50: 74 68 65 72 65 20 77 61 73 20 61 74 20 6c 65 61 there was at lea
1b60: 73 74 20 6f 6e 65 20 6e 65 77 6c 69 6e 65 0a 09 st one newline..
1b70: 09 09 09 09 09 69 66 20 6c 65 6e 28 6c 69 6e 65 .....if len(line
1b80: 73 29 20 3e 20 31 3a 0a 09 09 09 09 09 09 09 66 s) > 1:........f
1b90: 6f 72 20 6c 69 6e 65 20 69 6e 20 6c 69 6e 65 73 or line in lines
1ba0: 5b 3a 2d 31 5d 3a 0a 09 09 09 09 09 09 09 09 23 [:-1]:.........#
1bb0: 20 61 64 64 20 64 61 74 61 20 74 6f 20 74 68 65 add data to the
1bc0: 20 71 75 65 75 65 0a 09 09 09 09 09 09 09 09 69 queue.........i
1bd0: 66 20 73 65 6c 66 2e 63 68 65 63 6b 28 6c 69 6e f self.check(lin
1be0: 65 20 2b 20 27 5c 6e 27 29 3a 0a 09 09 09 09 09 e + '\n'):......
1bf0: 09 09 09 09 23 20 64 6f 6e 27 74 20 77 61 69 74 ....# don't wait
1c00: 20 66 6f 72 20 6d 6f 72 65 20 64 61 74 61 2c 20 for more data,
1c10: 73 74 61 72 74 20 70 72 6f 63 65 73 73 69 6e 67 start processing
1c20: 0a 09 09 09 09 09 09 09 09 09 74 69 6d 65 6f 75 ..........timeou
1c30: 74 20 3d 20 30 0a 0a 09 09 09 09 23 20 64 65 74 t = 0......# det
1c40: 65 63 74 20 65 6e 64 20 6f 66 20 73 74 72 65 61 ect end of strea
1c50: 6d 20 61 6e 64 20 65 78 69 74 20 69 66 20 70 6f m and exit if po
1c60: 73 73 69 62 6c 65 0a 09 09 09 09 69 66 20 6b 65 ssible.....if ke
1c70: 76 2e 66 6c 61 67 73 20 3e 3e 20 31 35 20 3d 3d v.flags >> 15 ==
1c80: 20 31 3a 0a 09 09 09 09 09 73 65 6c 66 2e 5f 6b 1:......self._k
1c90: 71 2e 63 6f 6e 74 72 6f 6c 28 5b 73 65 6c 66 2e q.control([self.
1ca0: 5f 73 65 6c 65 63 74 2e 6b 65 76 65 6e 74 28 73 _select.kevent(s
1cb0: 79 73 2e 73 74 64 69 6e 2c 20 73 65 6c 66 2e 5f ys.stdin, self._
1cc0: 73 65 6c 65 63 74 2e 4b 51 5f 46 49 4c 54 45 52 select.KQ_FILTER
1cd0: 5f 52 45 41 44 2c 20 73 65 6c 66 2e 5f 73 65 6c _READ, self._sel
1ce0: 65 63 74 2e 4b 51 5f 45 56 5f 44 45 4c 45 54 45 ect.KQ_EV_DELETE
1cf0: 29 5d 2c 20 30 29 0a 09 09 09 09 09 65 6f 66 20 )], 0)......eof
1d00: 3d 20 54 72 75 65 0a 09 09 09 09 09 23 74 69 6d = True......#tim
1d10: 65 6f 75 74 20 3d 20 30 0a 0a 09 09 09 69 66 20 eout = 0.....if
1d20: 6c 65 6e 28 6b 65 76 73 29 20 3d 3d 20 30 3a 0a len(kevs) == 0:.
1d30: 09 09 09 09 69 66 20 6c 65 6e 28 73 65 6c 66 2e ....if len(self.
1d40: 5f 71 75 65 75 65 29 20 3e 20 30 3a 0a 09 09 09 _queue) > 0:....
1d50: 09 09 23 20 67 65 74 20 6f 6e 65 20 72 65 71 75 ..# get one requ
1d60: 65 73 74 20 61 6e 64 20 70 72 6f 63 65 73 73 20 est and process
1d70: 69 74 0a 09 09 09 09 09 72 65 71 20 3d 20 73 65 it......req = se
1d80: 6c 66 2e 5f 71 75 65 75 65 2e 70 6f 70 28 30 29 lf._queue.pop(0)
1d90: 0a 09 09 09 09 09 43 68 65 63 6b 65 72 2e 70 72 ......Checker.pr
1da0: 6f 63 65 73 73 28 73 65 6c 66 2c 20 72 65 71 5b ocess(self, req[
1db0: 30 5d 2c 20 72 65 71 5b 31 5d 2c 20 72 65 71 5b 0], req[1], req[
1dc0: 32 5d 2c 20 72 65 71 5b 33 5d 29 0a 09 09 09 09 2], req[3]).....
1dd0: 09 69 66 20 6c 65 6e 28 73 65 6c 66 2e 5f 71 75 .if len(self._qu
1de0: 65 75 65 29 20 3d 3d 20 30 3a 0a 09 09 09 09 09 eue) == 0:......
1df0: 09 23 20 77 61 69 74 20 66 6f 72 20 64 61 74 61 .# wait for data
1e00: 20 2d 20 77 65 20 68 61 76 65 20 6e 6f 74 68 69 - we have nothi
1e10: 6e 67 20 74 6f 20 70 72 6f 63 65 73 73 0a 09 09 ng to process...
1e20: 09 09 09 09 74 69 6d 65 6f 75 74 20 3d 20 4e 6f ....timeout = No
1e30: 6e 65 0a 0a 09 09 09 23 20 69 66 20 71 75 65 75 ne.....# if queu
1e40: 65 20 69 73 20 65 6d 70 74 79 20 61 6e 64 20 77 e is empty and w
1e50: 65 20 72 65 61 63 68 65 64 20 65 6e 64 20 6f 66 e reached end of
1e60: 20 73 74 72 65 61 6d 20 2d 20 77 65 20 63 61 6e stream - we can
1e70: 20 65 78 69 74 0a 09 09 09 69 66 20 6c 65 6e 28 exit....if len(
1e80: 73 65 6c 66 2e 5f 71 75 65 75 65 29 20 3d 3d 20 self._queue) ==
1e90: 30 20 61 6e 64 20 65 6f 66 3a 0a 09 09 09 09 62 0 and eof:.....b
1ea0: 72 65 61 6b 0a 0a 09 64 65 66 20 70 72 6f 63 65 reak...def proce
1eb0: 73 73 28 73 65 6c 66 2c 20 69 64 2c 20 73 69 74 ss(self, id, sit
1ec0: 65 2c 20 69 70 5f 61 64 64 72 65 73 73 2c 20 75 e, ip_address, u
1ed0: 72 6c 5f 70 61 74 68 2c 20 6c 69 6e 65 29 3a 0a rl_path, line):.
1ee0: 09 09 23 20 73 69 6d 70 6c 79 20 61 64 64 69 6e ..# simply addin
1ef0: 67 20 64 61 74 61 20 74 6f 20 74 68 65 20 71 75 g data to the qu
1f00: 65 75 65 0a 09 09 73 65 6c 66 2e 5f 71 75 65 75 eue...self._queu
1f10: 65 2e 61 70 70 65 6e 64 28 28 69 64 2c 20 73 69 e.append((id, si
1f20: 74 65 2c 20 69 70 5f 61 64 64 72 65 73 73 2c 20 te, ip_address,
1f30: 75 72 6c 5f 70 61 74 68 29 29 0a 09 09 73 65 6c url_path))...sel
1f40: 66 2e 5f 6c 6f 67 2e 69 6e 66 6f 28 27 72 65 71 f._log.info('req
1f50: 75 65 73 74 20 7b 7d 20 71 75 65 75 65 64 20 28 uest {} queued (
1f60: 7b 7d 29 5c 6e 27 2e 66 6f 72 6d 61 74 28 69 64 {})\n'.format(id
1f70: 2c 20 6c 69 6e 65 29 29 0a 0a 23 20 74 68 69 73 , line))..# this
1f80: 20 63 6c 61 73 73 65 73 20 70 72 6f 63 65 73 73 classes process
1f90: 65 73 20 63 6f 6e 66 69 67 20 66 69 6c 65 20 61 es config file a
1fa0: 6e 64 20 73 75 62 73 74 69 74 75 74 65 73 20 64 nd substitutes d
1fb0: 65 66 61 75 6c 74 20 76 61 6c 75 65 73 0a 63 6c efault values.cl
1fc0: 61 73 73 20 43 6f 6e 66 69 67 3a 0a 09 5f 5f 73 ass Config:..__s
1fd0: 6c 6f 74 73 5f 5f 20 3d 20 66 72 6f 7a 65 6e 73 lots__ = frozens
1fe0: 65 74 28 5b 27 5f 63 6f 6e 66 69 67 27 2c 20 27 et(['_config', '
1ff0: 5f 64 65 66 61 75 6c 74 27 2c 20 27 5f 73 65 63 _default', '_sec
2000: 74 69 6f 6e 27 2c 20 27 6f 70 74 69 6f 6e 73 27 tion', 'options'
2010: 5d 29 0a 09 5f 64 65 66 61 75 6c 74 20 3d 20 7b ]).._default = {
2020: 0a 09 09 27 72 65 61 63 74 6f 72 27 3a 20 7b 0a ...'reactor': {.
2030: 09 09 09 27 72 65 61 63 74 6f 72 27 3a 20 27 74 ...'reactor': 't
2040: 68 72 65 61 64 27 2c 0a 09 09 7d 2c 0a 09 09 27 hread',...},...'
2050: 6c 6f 67 27 3a 20 7b 0a 09 09 09 27 73 69 6c 65 log': {....'sile
2060: 6e 74 27 3a 20 27 6e 6f 27 2c 0a 09 09 7d 2c 0a nt': 'no',...},.
2070: 09 09 27 64 61 74 61 62 61 73 65 27 3a 20 7b 0a ..'database': {.
2080: 09 09 09 27 68 6f 73 74 27 3a 20 27 6c 6f 63 61 ...'host': 'loca
2090: 6c 68 6f 73 74 27 2c 0a 09 09 09 27 64 61 74 61 lhost',....'data
20a0: 62 61 73 65 27 3a 20 27 73 71 75 69 64 54 61 67 base': 'squidTag
20b0: 27 2c 0a 09 7d 2c 7d 0a 0a 09 23 20 66 75 6e 63 ',..},}...# func
20c0: 74 69 6f 6e 20 74 6f 20 72 65 61 64 20 69 6e 20 tion to read in
20d0: 63 6f 6e 66 69 67 20 66 69 6c 65 0a 09 64 65 66 config file..def
20e0: 20 5f 5f 69 6e 69 74 5f 5f 28 73 65 6c 66 29 3a __init__(self):
20f0: 0a 09 09 69 6d 70 6f 72 74 20 63 6f 6e 66 69 67 ...import config
2100: 70 61 72 73 65 72 2c 20 6f 70 74 70 61 72 73 65 parser, optparse
2110: 2c 20 6f 73 0a 0a 09 09 70 61 72 73 65 72 20 3d , os....parser =
2120: 20 6f 70 74 70 61 72 73 65 2e 4f 70 74 69 6f 6e optparse.Option
2130: 50 61 72 73 65 72 28 29 0a 09 09 70 61 72 73 65 Parser()...parse
2140: 72 2e 61 64 64 5f 6f 70 74 69 6f 6e 28 27 2d 63 r.add_option('-c
2150: 27 2c 20 27 2d 2d 63 6f 6e 66 69 67 27 2c 20 64 ', '--config', d
2160: 65 73 74 20 3d 20 27 63 6f 6e 66 69 67 27 2c 0a est = 'config',.
2170: 09 09 09 68 65 6c 70 20 3d 20 27 63 6f 6e 66 69 ...help = 'confi
2180: 67 20 66 69 6c 65 20 6c 6f 63 61 74 69 6f 6e 27 g file location'
2190: 2c 20 6d 65 74 61 76 61 72 20 3d 20 27 46 49 4c , metavar = 'FIL
21a0: 45 27 2c 0a 09 09 09 64 65 66 61 75 6c 74 20 3d E',....default =
21b0: 20 27 2f 75 73 72 2f 6c 6f 63 61 6c 2f 65 74 63 '/usr/local/etc
21c0: 2f 73 71 75 69 64 2d 74 61 67 67 65 72 2e 63 6f /squid-tagger.co
21d0: 6e 66 27 29 0a 09 09 70 61 72 73 65 72 2e 61 64 nf')...parser.ad
21e0: 64 5f 6f 70 74 69 6f 6e 28 27 2d 64 27 2c 20 27 d_option('-d', '
21f0: 2d 2d 64 75 6d 70 27 2c 20 64 65 73 74 20 3d 20 --dump', dest =
2200: 27 64 75 6d 70 27 2c 0a 09 09 09 68 65 6c 70 20 'dump',....help
2210: 3d 20 27 64 75 6d 70 20 64 61 74 61 62 61 73 65 = 'dump database
2220: 27 2c 20 61 63 74 69 6f 6e 20 3d 20 27 73 74 6f ', action = 'sto
2230: 72 65 5f 74 72 75 65 27 2c 20 6d 65 74 61 76 61 re_true', metava
2240: 72 20 3d 20 27 62 6f 6f 6c 27 2c 0a 09 09 09 64 r = 'bool',....d
2250: 65 66 61 75 6c 74 20 3d 20 46 61 6c 73 65 29 0a efault = False).
2260: 09 09 70 61 72 73 65 72 2e 61 64 64 5f 6f 70 74 ..parser.add_opt
2270: 69 6f 6e 28 27 2d 66 27 2c 20 27 2d 2d 66 6c 75 ion('-f', '--flu
2280: 73 68 2d 64 61 74 61 62 61 73 65 27 2c 20 64 65 sh-database', de
2290: 73 74 20 3d 20 27 66 6c 75 73 68 5f 64 62 27 2c st = 'flush_db',
22a0: 0a 09 09 09 68 65 6c 70 20 3d 20 27 66 6c 75 73 ....help = 'flus
22b0: 68 20 70 72 65 76 69 6f 75 73 20 64 61 74 61 62 h previous datab
22c0: 61 73 65 20 6f 6e 20 6c 6f 61 64 27 2c 20 64 65 ase on load', de
22d0: 66 61 75 6c 74 20 3d 20 46 61 6c 73 65 2c 0a 09 fault = False,..
22e0: 09 09 61 63 74 69 6f 6e 20 3d 20 27 73 74 6f 72 ..action = 'stor
22f0: 65 5f 74 72 75 65 27 2c 20 6d 65 74 61 76 61 72 e_true', metavar
2300: 20 3d 20 27 62 6f 6f 6c 27 29 0a 09 09 70 61 72 = 'bool')...par
2310: 73 65 72 2e 61 64 64 5f 6f 70 74 69 6f 6e 28 27 ser.add_option('
2320: 2d 6c 27 2c 20 27 2d 2d 6c 6f 61 64 27 2c 20 64 -l', '--load', d
2330: 65 73 74 20 3d 20 27 6c 6f 61 64 27 2c 0a 09 09 est = 'load',...
2340: 09 68 65 6c 70 20 3d 20 27 6c 6f 61 64 20 64 61 .help = 'load da
2350: 74 61 62 61 73 65 27 2c 20 61 63 74 69 6f 6e 20 tabase', action
2360: 3d 20 27 73 74 6f 72 65 5f 74 72 75 65 27 2c 20 = 'store_true',
2370: 6d 65 74 61 76 61 72 20 3d 20 27 62 6f 6f 6c 27 metavar = 'bool'
2380: 2c 0a 09 09 09 64 65 66 61 75 6c 74 20 3d 20 46 ,....default = F
2390: 61 6c 73 65 29 0a 09 09 70 61 72 73 65 72 2e 61 alse)...parser.a
23a0: 64 64 5f 6f 70 74 69 6f 6e 28 27 2d 44 27 2c 20 dd_option('-D',
23b0: 27 2d 2d 64 75 6d 70 2d 63 6f 6e 66 27 2c 20 64 '--dump-conf', d
23c0: 65 73 74 20 3d 20 27 64 75 6d 70 5f 63 6f 6e 66 est = 'dump_conf
23d0: 27 2c 0a 09 09 09 68 65 6c 70 20 3d 20 27 64 75 ',....help = 'du
23e0: 6d 70 20 66 69 6c 74 65 72 69 6e 67 20 72 75 6c mp filtering rul
23f0: 65 73 27 2c 20 64 65 66 61 75 6c 74 20 3d 20 46 es', default = F
2400: 61 6c 73 65 2c 20 6d 65 74 61 76 61 72 20 3d 20 alse, metavar =
2410: 27 62 6f 6f 6c 27 2c 0a 09 09 09 61 63 74 69 6f 'bool',....actio
2420: 6e 20 3d 20 27 73 74 6f 72 65 5f 74 72 75 65 27 n = 'store_true'
2430: 29 0a 09 09 70 61 72 73 65 72 2e 61 64 64 5f 6f )...parser.add_o
2440: 70 74 69 6f 6e 28 27 2d 4c 27 2c 20 27 2d 2d 6c ption('-L', '--l
2450: 6f 61 64 2d 63 6f 6e 66 27 2c 20 64 65 73 74 20 oad-conf', dest
2460: 3d 20 27 6c 6f 61 64 5f 63 6f 6e 66 27 2c 0a 09 = 'load_conf',..
2470: 09 09 68 65 6c 70 20 3d 20 27 6c 6f 61 64 20 66 ..help = 'load f
2480: 69 6c 74 65 72 69 6e 67 20 72 75 6c 65 73 27 2c iltering rules',
2490: 20 64 65 66 61 75 6c 74 20 3d 20 46 61 6c 73 65 default = False
24a0: 2c 20 6d 65 74 61 76 61 72 20 3d 20 27 62 6f 6f , metavar = 'boo
24b0: 6c 27 2c 0a 09 09 09 61 63 74 69 6f 6e 20 3d 20 l',....action =
24c0: 27 73 74 6f 72 65 5f 74 72 75 65 27 29 0a 0a 09 'store_true')...
24d0: 09 28 73 65 6c 66 2e 6f 70 74 69 6f 6e 73 2c 20 .(self.options,
24e0: 61 72 67 73 29 20 3d 20 70 61 72 73 65 72 2e 70 args) = parser.p
24f0: 61 72 73 65 5f 61 72 67 73 28 29 0a 0a 09 09 61 arse_args()....a
2500: 73 73 65 72 74 20 6f 73 2e 61 63 63 65 73 73 28 ssert os.access(
2510: 73 65 6c 66 2e 6f 70 74 69 6f 6e 73 2e 63 6f 6e self.options.con
2520: 66 69 67 2c 20 6f 73 2e 52 5f 4f 4b 29 2c 20 22 fig, os.R_OK), "
2530: 46 61 74 61 6c 20 65 72 72 6f 72 3a 20 63 61 6e Fatal error: can
2540: 27 74 20 72 65 61 64 20 7b 7d 22 2e 66 6f 72 6d 't read {}".form
2550: 61 74 28 73 65 6c 66 2e 6f 70 74 69 6f 6e 73 2e at(self.options.
2560: 63 6f 6e 66 69 67 29 0a 0a 09 09 73 65 6c 66 2e config)....self.
2570: 5f 63 6f 6e 66 69 67 20 3d 20 63 6f 6e 66 69 67 _config = config
2580: 70 61 72 73 65 72 2e 43 6f 6e 66 69 67 50 61 72 parser.ConfigPar
2590: 73 65 72 28 29 0a 09 09 73 65 6c 66 2e 5f 63 6f ser()...self._co
25a0: 6e 66 69 67 2e 72 65 61 64 66 70 28 6f 70 65 6e nfig.readfp(open
25b0: 28 73 65 6c 66 2e 6f 70 74 69 6f 6e 73 2e 63 6f (self.options.co
25c0: 6e 66 69 67 29 29 0a 0a 09 23 20 66 75 6e 63 74 nfig))...# funct
25d0: 69 6f 6e 20 74 6f 20 73 65 6c 65 63 74 20 63 6f ion to select co
25e0: 6e 66 69 67 20 66 69 6c 65 20 73 65 63 74 69 6f nfig file sectio
25f0: 6e 20 6f 72 20 63 72 65 61 74 65 20 6f 6e 65 0a n or create one.
2600: 09 64 65 66 20 73 65 63 74 69 6f 6e 28 73 65 6c .def section(sel
2610: 66 2c 20 73 65 63 74 69 6f 6e 29 3a 0a 09 09 69 f, section):...i
2620: 66 20 6e 6f 74 20 73 65 6c 66 2e 5f 63 6f 6e 66 f not self._conf
2630: 69 67 2e 68 61 73 5f 73 65 63 74 69 6f 6e 28 73 ig.has_section(s
2640: 65 63 74 69 6f 6e 29 3a 0a 09 09 09 73 65 6c 66 ection):....self
2650: 2e 5f 63 6f 6e 66 69 67 2e 61 64 64 5f 73 65 63 ._config.add_sec
2660: 74 69 6f 6e 28 73 65 63 74 69 6f 6e 29 0a 09 09 tion(section)...
2670: 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 20 3d 20 self._section =
2680: 73 65 63 74 69 6f 6e 0a 0a 09 23 20 66 75 6e 63 section...# func
2690: 74 69 6f 6e 20 74 6f 20 67 65 74 20 63 6f 6e 66 tion to get conf
26a0: 69 67 20 70 61 72 61 6d 65 74 65 72 2c 20 69 66 ig parameter, if
26b0: 20 70 61 72 61 6d 65 74 65 72 20 64 6f 65 73 6e parameter doesn
26c0: 27 74 20 65 78 69 73 74 73 20 74 68 65 20 64 65 't exists the de
26d0: 66 61 75 6c 74 0a 09 23 20 76 61 6c 75 65 20 6f fault..# value o
26e0: 72 20 4e 6f 6e 65 20 69 73 20 73 75 62 73 74 69 r None is substi
26f0: 74 75 74 65 64 0a 09 64 65 66 20 5f 5f 67 65 74 tuted..def __get
2700: 69 74 65 6d 5f 5f 28 73 65 6c 66 2c 20 6e 61 6d item__(self, nam
2710: 65 29 3a 0a 09 09 69 66 20 6e 6f 74 20 73 65 6c e):...if not sel
2720: 66 2e 5f 63 6f 6e 66 69 67 2e 68 61 73 5f 6f 70 f._config.has_op
2730: 74 69 6f 6e 28 73 65 6c 66 2e 5f 73 65 63 74 69 tion(self._secti
2740: 6f 6e 2c 20 6e 61 6d 65 29 3a 0a 09 09 09 69 66 on, name):....if
2750: 20 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 20 69 self._section i
2760: 6e 20 73 65 6c 66 2e 5f 64 65 66 61 75 6c 74 3a n self._default:
2770: 0a 09 09 09 09 69 66 20 6e 61 6d 65 20 69 6e 20 .....if name in
2780: 73 65 6c 66 2e 5f 64 65 66 61 75 6c 74 5b 73 65 self._default[se
2790: 6c 66 2e 5f 73 65 63 74 69 6f 6e 5d 3a 0a 09 09 lf._section]:...
27a0: 09 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e ...self._config.
27b0: 73 65 74 28 73 65 6c 66 2e 5f 73 65 63 74 69 6f set(self._sectio
27c0: 6e 2c 20 6e 61 6d 65 2c 20 73 65 6c 66 2e 5f 64 n, name, self._d
27d0: 65 66 61 75 6c 74 5b 73 65 6c 66 2e 5f 73 65 63 efault[self._sec
27e0: 74 69 6f 6e 5d 5b 6e 61 6d 65 5d 29 0a 09 09 09 tion][name])....
27f0: 09 65 6c 73 65 3a 0a 09 09 09 09 09 73 65 6c 66 .else:......self
2800: 2e 5f 63 6f 6e 66 69 67 2e 73 65 74 28 73 65 6c ._config.set(sel
2810: 66 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e 61 6d 65 f._section, name
2820: 2c 20 4e 6f 6e 65 29 0a 09 09 09 65 6c 73 65 3a , None)....else:
2830: 0a 09 09 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 .....self._confi
2840: 67 2e 73 65 74 28 73 65 6c 66 2e 5f 73 65 63 74 g.set(self._sect
2850: 69 6f 6e 2c 20 6e 61 6d 65 2c 20 4e 6f 6e 65 29 ion, name, None)
2860: 0a 09 09 72 65 74 75 72 6e 28 73 65 6c 66 2e 5f ...return(self._
2870: 63 6f 6e 66 69 67 2e 67 65 74 28 73 65 6c 66 2e config.get(self.
2880: 5f 73 65 63 74 69 6f 6e 2c 20 6e 61 6d 65 29 29 _section, name))
2890: 0a 0a 23 20 69 6e 69 74 69 61 6c 69 7a 69 6e 67 ..# initializing
28a0: 20 61 6e 64 20 72 65 61 64 69 6e 67 20 69 6e 20 and reading in
28b0: 63 6f 6e 66 69 67 20 66 69 6c 65 0a 63 6f 6e 66 config file.conf
28c0: 69 67 20 3d 20 43 6f 6e 66 69 67 28 29 0a 0a 69 ig = Config()..i
28d0: 66 20 63 6f 6e 66 69 67 2e 6f 70 74 69 6f 6e 73 f config.options
28e0: 2e 64 75 6d 70 20 6f 72 20 63 6f 6e 66 69 67 2e .dump or config.
28f0: 6f 70 74 69 6f 6e 73 2e 6c 6f 61 64 20 6f 72 20 options.load or
2900: 63 6f 6e 66 69 67 2e 6f 70 74 69 6f 6e 73 2e 64 config.options.d
2910: 75 6d 70 5f 63 6f 6e 66 20 6f 72 20 63 6f 6e 66 ump_conf or conf
2920: 69 67 2e 6f 70 74 69 6f 6e 73 2e 6c 6f 61 64 5f ig.options.load_
2930: 63 6f 6e 66 3a 0a 09 69 6d 70 6f 72 74 20 63 73 conf:..import cs
2940: 76 0a 0a 09 74 61 67 64 62 20 3d 20 74 61 67 44 v...tagdb = tagD
2950: 42 28 29 0a 09 64 61 74 61 5f 66 69 65 6c 64 73 B()..data_fields
2960: 20 3d 20 5b 27 73 69 74 65 27 2c 20 27 74 61 67 = ['site', 'tag
2970: 27 2c 20 27 72 65 67 65 78 70 27 5d 0a 09 63 6f ', 'regexp']..co
2980: 6e 66 5f 66 69 65 6c 64 73 20 3d 20 5b 27 6e 65 nf_fields = ['ne
2990: 74 6d 61 73 6b 27 2c 20 27 72 65 64 69 72 65 63 tmask', 'redirec
29a0: 74 5f 75 72 6c 27 2c 20 27 66 72 6f 6d 5f 77 65 t_url', 'from_we
29b0: 65 6b 64 61 79 27 2c 20 27 74 6f 5f 77 65 65 6b ekday', 'to_week
29c0: 64 61 79 27 2c 20 27 66 72 6f 6d 5f 74 69 6d 65 day', 'from_time
29d0: 27 2c 20 27 74 6f 5f 74 69 6d 65 27 2c 20 27 74 ', 'to_time', 't
29e0: 61 67 27 5d 0a 0a 09 69 66 20 63 6f 6e 66 69 67 ag']...if config
29f0: 2e 6f 70 74 69 6f 6e 73 2e 64 75 6d 70 20 6f 72 .options.dump or
2a00: 20 63 6f 6e 66 69 67 2e 6f 70 74 69 6f 6e 73 2e config.options.
2a10: 64 75 6d 70 5f 63 6f 6e 66 3a 0a 09 09 69 66 20 dump_conf:...if
2a20: 63 6f 6e 66 69 67 2e 6f 70 74 69 6f 6e 73 2e 64 config.options.d
2a30: 75 6d 70 3a 0a 09 09 09 64 75 6d 70 20 3d 20 74 ump:....dump = t
2a40: 61 67 64 62 2e 64 75 6d 70 28 29 0a 09 09 65 6c agdb.dump()...el
2a50: 69 66 20 63 6f 6e 66 69 67 2e 6f 70 74 69 6f 6e if config.option
2a60: 73 2e 64 75 6d 70 5f 63 6f 6e 66 3a 0a 09 09 09 s.dump_conf:....
2a70: 64 75 6d 70 20 3d 20 74 61 67 64 62 2e 64 75 6d dump = tagdb.dum
2a80: 70 5f 63 6f 6e 66 28 29 0a 0a 09 09 66 6f 72 20 p_conf()....for
2a90: 6c 69 6e 65 20 69 6e 20 64 75 6d 70 3a 0a 09 09 line in dump:...
2aa0: 09 73 79 73 2e 73 74 64 6f 75 74 2e 77 72 69 74 .sys.stdout.writ
2ab0: 65 28 6c 69 6e 65 2e 64 65 63 6f 64 65 28 27 75 e(line.decode('u
2ac0: 74 66 2d 38 27 29 29 0a 0a 09 65 6c 69 66 20 63 tf-8'))...elif c
2ad0: 6f 6e 66 69 67 2e 6f 70 74 69 6f 6e 73 2e 6c 6f onfig.options.lo
2ae0: 61 64 20 6f 72 20 63 6f 6e 66 69 67 2e 6f 70 74 ad or config.opt
2af0: 69 6f 6e 73 2e 6c 6f 61 64 5f 63 6f 6e 66 3a 0a ions.load_conf:.
2b00: 09 09 63 73 76 5f 72 65 61 64 65 72 20 3d 20 63 ..csv_reader = c
2b10: 73 76 2e 72 65 61 64 65 72 28 73 79 73 2e 73 74 sv.reader(sys.st
2b20: 64 69 6e 29 0a 09 09 66 69 72 73 74 5f 72 6f 77 din)...first_row
2b30: 20 3d 20 6e 65 78 74 28 63 73 76 5f 72 65 61 64 = next(csv_read
2b40: 65 72 29 0a 0a 09 09 69 66 20 63 6f 6e 66 69 67 er)....if config
2b50: 2e 6f 70 74 69 6f 6e 73 2e 6c 6f 61 64 3a 0a 09 .options.load:..
2b60: 09 09 66 69 65 6c 64 73 20 3d 20 64 61 74 61 5f ..fields = data_
2b70: 66 69 65 6c 64 73 0a 09 09 09 6c 6f 61 64 20 3d fields....load =
2b80: 20 74 61 67 64 62 2e 6c 6f 61 64 0a 09 09 65 6c tagdb.load...el
2b90: 69 66 20 63 6f 6e 66 69 67 2e 6f 70 74 69 6f 6e if config.option
2ba0: 73 2e 6c 6f 61 64 5f 63 6f 6e 66 3a 0a 09 09 09 s.load_conf:....
2bb0: 66 69 65 6c 64 73 20 3d 20 63 6f 6e 66 5f 66 69 fields = conf_fi
2bc0: 65 6c 64 73 0a 09 09 09 6c 6f 61 64 20 3d 20 74 elds....load = t
2bd0: 61 67 64 62 2e 6c 6f 61 64 5f 63 6f 6e 66 0a 0a agdb.load_conf..
2be0: 09 09 61 73 73 65 72 74 20 66 69 72 73 74 5f 72 ..assert first_r
2bf0: 6f 77 20 3d 3d 20 66 69 65 6c 64 73 2c 20 27 46 ow == fields, 'F
2c00: 69 6c 65 20 6d 75 73 74 20 63 6f 6e 74 61 69 6e ile must contain
2c10: 20 63 73 76 20 64 61 74 61 20 77 69 74 68 20 74 csv data with t
2c20: 68 65 65 73 65 20 63 6f 6c 75 6d 6e 73 3a 20 27 heese columns: '
2c30: 20 2b 20 72 65 70 72 28 66 69 65 6c 64 73 29 0a + repr(fields).
2c40: 09 09 6c 6f 61 64 28 63 73 76 5f 72 65 61 64 65 ..load(csv_reade
2c50: 72 29 0a 0a 65 6c 73 65 3a 0a 09 23 20 6d 61 69 r)..else:..# mai
2c60: 6e 20 6c 6f 6f 70 0a 09 63 6f 6e 66 69 67 2e 73 n loop..config.s
2c70: 65 63 74 69 6f 6e 28 27 72 65 61 63 74 6f 72 27 ection('reactor'
2c80: 29 0a 09 69 66 20 63 6f 6e 66 69 67 5b 27 72 65 )..if config['re
2c90: 61 63 74 6f 72 27 5d 20 3d 3d 20 27 74 68 72 65 actor'] == 'thre
2ca0: 61 64 27 3a 0a 09 09 63 68 65 63 6b 65 72 20 3d ad':...checker =
2cb0: 20 43 68 65 63 6b 65 72 54 68 72 65 61 64 28 29 CheckerThread()
2cc0: 0a 09 65 6c 69 66 20 63 6f 6e 66 69 67 5b 27 72 ..elif config['r
2cd0: 65 61 63 74 6f 72 27 5d 20 3d 3d 20 27 70 6c 61 eactor'] == 'pla
2ce0: 69 6e 27 3a 0a 09 09 63 68 65 63 6b 65 72 20 3d in':...checker =
2cf0: 20 43 68 65 63 6b 65 72 28 29 0a 09 65 6c 69 66 Checker()..elif
2d00: 20 63 6f 6e 66 69 67 5b 27 72 65 61 63 74 6f 72 config['reactor
2d10: 27 5d 20 3d 3d 20 27 6b 71 75 65 75 65 27 3a 0a '] == 'kqueue':.
2d20: 09 09 63 68 65 63 6b 65 72 20 3d 20 43 68 65 63 ..checker = Chec
2d30: 6b 65 72 4b 71 75 65 75 65 28 29 0a 0a 09 63 68 kerKqueue()...ch
2d40: 65 63 6b 65 72 2e 6c 6f 6f 70 28 29 0a ecker.loop().