0000: 23 21 2f 75 73 72 2f 62 69 6e 2f 65 6e 76 20 70 #!/usr/bin/env p
0010: 79 74 68 6f 6e 33 2e 31 0a 0a 69 6d 70 6f 72 74 ython3.1..import
0020: 20 70 6f 73 74 67 72 65 73 71 6c 2e 61 70 69 2c postgresql.api,
0030: 20 72 65 2c 20 73 79 73 0a 0a 23 20 77 72 61 70 re, sys..# wrap
0040: 70 65 72 20 61 72 6f 75 6e 64 20 73 79 73 6c 6f per around syslo
0050: 67 2c 20 63 61 6e 20 62 65 20 6d 75 74 65 64 0a g, can be muted.
0060: 63 6c 61 73 73 20 4c 6f 67 67 65 72 3a 0a 09 5f class Logger:.._
0070: 5f 73 6c 6f 74 73 5f 5f 20 3d 20 66 72 6f 7a 65 _slots__ = froze
0080: 6e 73 65 74 28 5b 27 5f 73 79 73 6c 6f 67 27 5d nset(['_syslog']
0090: 29 0a 0a 09 64 65 66 20 5f 5f 69 6e 69 74 5f 5f )...def __init__
00a0: 28 73 65 6c 66 29 3a 0a 09 09 63 6f 6e 66 69 67 (self):...config
00b0: 2e 73 65 63 74 69 6f 6e 28 27 6c 6f 67 27 29 0a .section('log').
00c0: 09 09 69 66 20 63 6f 6e 66 69 67 5b 27 73 69 6c ..if config['sil
00d0: 65 6e 74 27 5d 20 3d 3d 20 27 79 65 73 27 3a 0a ent'] == 'yes':.
00e0: 09 09 09 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 20 ...self._syslog
00f0: 3d 20 4e 6f 6e 65 0a 09 09 65 6c 73 65 3a 0a 09 = None...else:..
0100: 09 09 69 6d 70 6f 72 74 20 73 79 73 6c 6f 67 0a ..import syslog.
0110: 09 09 09 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 20 ...self._syslog
0120: 3d 20 73 79 73 6c 6f 67 0a 09 09 09 73 65 6c 66 = syslog....self
0130: 2e 5f 73 79 73 6c 6f 67 2e 6f 70 65 6e 6c 6f 67 ._syslog.openlog
0140: 28 27 73 71 75 69 64 54 61 67 27 29 0a 0a 09 64 ('squidTag')...d
0150: 65 66 20 69 6e 66 6f 28 73 65 6c 66 2c 20 6d 65 ef info(self, me
0160: 73 73 61 67 65 29 3a 0a 09 09 69 66 20 73 65 6c ssage):...if sel
0170: 66 2e 5f 73 79 73 6c 6f 67 3a 0a 09 09 09 73 65 f._syslog:....se
0180: 6c 66 2e 5f 73 79 73 6c 6f 67 2e 73 79 73 6c 6f lf._syslog.syslo
0190: 67 28 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 2e 4c g(self._syslog.L
01a0: 4f 47 5f 49 4e 46 4f 2c 20 6d 65 73 73 61 67 65 OG_INFO, message
01b0: 29 0a 0a 09 64 65 66 20 6e 6f 74 69 63 65 28 73 )...def notice(s
01c0: 65 6c 66 2c 20 6d 65 73 73 61 67 65 29 3a 0a 09 elf, message):..
01d0: 09 69 66 20 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 .if self._syslog
01e0: 3a 0a 09 09 09 73 65 6c 66 2e 5f 73 79 73 6c 6f :....self._syslo
01f0: 67 2e 73 79 73 6c 6f 67 28 73 65 6c 66 2e 5f 73 g.syslog(self._s
0200: 79 73 6c 6f 67 2e 4c 4f 47 5f 4e 4f 54 49 43 45 yslog.LOG_NOTICE
0210: 2c 20 6d 65 73 73 61 67 65 29 0a 0a 23 20 77 72 , message)..# wr
0220: 61 70 70 65 72 20 61 72 6f 75 6e 64 20 64 61 74 apper around dat
0230: 61 62 61 73 65 0a 63 6c 61 73 73 20 74 61 67 44 abase.class tagD
0240: 42 3a 0a 09 5f 5f 73 6c 6f 74 73 5f 5f 20 3d 20 B:..__slots__ =
0250: 66 72 6f 7a 65 6e 73 65 74 28 28 27 5f 63 68 65 frozenset(('_che
0260: 63 6b 5f 73 74 6d 74 27 2c 20 27 5f 64 62 27 29 ck_stmt', '_db')
0270: 29 0a 0a 09 64 65 66 20 5f 5f 69 6e 69 74 5f 5f )...def __init__
0280: 28 73 65 6c 66 29 3a 0a 09 09 63 6f 6e 66 69 67 (self):...config
0290: 2e 73 65 63 74 69 6f 6e 28 27 64 61 74 61 62 61 .section('databa
02a0: 73 65 27 29 0a 09 09 73 65 6c 66 2e 5f 64 62 20 se')...self._db
02b0: 3d 20 70 6f 73 74 67 72 65 73 71 6c 2e 6f 70 65 = postgresql.ope
02c0: 6e 28 0a 09 09 09 27 70 71 3a 2f 2f 7b 7d 3a 7b n(....'pq://{}:{
02d0: 7d 40 7b 7d 2f 7b 7d 27 2e 66 6f 72 6d 61 74 28 }@{}/{}'.format(
02e0: 0a 09 09 09 09 63 6f 6e 66 69 67 5b 27 75 73 65 .....config['use
02f0: 72 27 5d 2c 0a 09 09 09 09 63 6f 6e 66 69 67 5b r'],.....config[
0300: 27 70 61 73 73 77 6f 72 64 27 5d 2c 0a 09 09 09 'password'],....
0310: 09 63 6f 6e 66 69 67 5b 27 68 6f 73 74 27 5d 2c .config['host'],
0320: 0a 09 09 09 09 63 6f 6e 66 69 67 5b 27 64 61 74 .....config['dat
0330: 61 62 61 73 65 27 5d 2c 0a 09 09 29 20 29 0a 09 abase'],...) )..
0340: 09 73 65 6c 66 2e 5f 63 68 65 63 6b 5f 73 74 6d .self._check_stm
0350: 74 20 3d 20 4e 6f 6e 65 0a 0a 09 64 65 66 20 63 t = None...def c
0360: 68 65 63 6b 28 73 65 6c 66 2c 20 73 69 74 65 2c heck(self, site,
0370: 20 69 70 5f 61 64 64 72 65 73 73 29 3a 0a 09 09 ip_address):...
0380: 69 66 20 73 65 6c 66 2e 5f 63 68 65 63 6b 5f 73 if self._check_s
0390: 74 6d 74 20 3d 3d 20 4e 6f 6e 65 3a 0a 09 09 09 tmt == None:....
03a0: 73 65 6c 66 2e 5f 63 68 65 63 6b 5f 73 74 6d 74 self._check_stmt
03b0: 20 3d 20 73 65 6c 66 2e 5f 64 62 2e 70 72 65 70 = self._db.prep
03c0: 61 72 65 28 22 73 65 6c 65 63 74 20 72 65 64 69 are("select redi
03d0: 72 65 63 74 5f 75 72 6c 2c 20 72 65 67 65 78 70 rect_url, regexp
03e0: 20 66 72 6f 6d 20 73 69 74 65 5f 72 75 6c 65 20 from site_rule
03f0: 77 68 65 72 65 20 73 69 74 65 20 3c 40 20 74 72 where site <@ tr
0400: 69 70 64 6f 6d 61 69 6e 28 24 31 29 20 61 6e 64 ipdomain($1) and
0410: 20 6e 65 74 6d 61 73 6b 20 3e 3e 20 24 32 3a 3a netmask >> $2::
0420: 74 65 78 74 3a 3a 69 6e 65 74 20 6f 72 64 65 72 text::inet order
0430: 20 62 79 20 61 72 72 61 79 5f 6c 65 6e 67 74 68 by array_length
0440: 28 73 69 74 65 2c 20 31 29 20 64 65 73 63 22 29 (site, 1) desc")
0450: 0a 09 09 72 65 74 75 72 6e 28 73 65 6c 66 2e 5f ...return(self._
0460: 63 68 65 63 6b 5f 73 74 6d 74 28 73 69 74 65 2c check_stmt(site,
0470: 20 69 70 5f 61 64 64 72 65 73 73 29 29 0a 0a 09 ip_address))...
0480: 64 65 66 20 64 75 6d 70 28 73 65 6c 66 29 3a 0a def dump(self):.
0490: 09 09 72 65 74 75 72 6e 28 73 65 6c 66 2e 5f 64 ..return(self._d
04a0: 62 2e 70 72 65 70 61 72 65 28 22 73 65 6c 65 63 b.prepare("selec
04b0: 74 20 75 6e 74 72 69 70 28 73 69 74 65 29 2c 20 t untrip(site),
04c0: 74 61 67 2c 20 72 65 67 65 78 70 20 66 72 6f 6d tag, regexp from
04d0: 20 75 72 6c 73 20 6e 61 74 75 72 61 6c 20 6a 6f urls natural jo
04e0: 69 6e 20 73 69 74 65 20 6e 61 74 75 72 61 6c 20 in site natural
04f0: 6a 6f 69 6e 20 74 61 67 20 6f 72 64 65 72 20 62 join tag order b
0500: 79 20 73 69 74 65 2c 20 74 61 67 22 29 28 29 29 y site, tag")())
0510: 0a 0a 09 64 65 66 20 6c 6f 61 64 28 73 65 6c 66 ...def load(self
0520: 2c 20 63 73 76 5f 64 61 74 61 29 3a 0a 09 09 77 , csv_data):...w
0530: 69 74 68 20 73 65 6c 66 2e 5f 64 62 2e 78 61 63 ith self._db.xac
0540: 74 28 29 3a 0a 09 09 09 69 66 20 63 6f 6e 66 69 t():....if confi
0550: 67 2e 6f 70 74 69 6f 6e 73 2e 66 6c 75 73 68 5f g.options.flush_
0560: 64 62 3a 0a 09 09 09 09 73 65 6c 66 2e 5f 64 62 db:.....self._db
0570: 2e 65 78 65 63 75 74 65 28 27 64 65 6c 65 74 65 .execute('delete
0580: 20 66 72 6f 6d 20 75 72 6c 73 3b 27 29 0a 09 09 from urls;')...
0590: 09 09 69 66 20 63 6f 6e 66 69 67 2e 6f 70 74 69 ..if config.opti
05a0: 6f 6e 73 2e 66 6c 75 73 68 5f 73 69 74 65 3a 0a ons.flush_site:.
05b0: 09 09 09 09 09 73 65 6c 66 2e 5f 64 62 2e 65 78 .....self._db.ex
05c0: 65 63 75 74 65 28 27 64 65 6c 65 74 65 20 66 72 ecute('delete fr
05d0: 6f 6d 20 73 69 74 65 3b 27 29 3b 0a 09 09 09 69 om site;');....i
05e0: 6e 73 65 72 74 72 65 67 20 3d 20 73 65 6c 66 2e nsertreg = self.
05f0: 5f 64 62 2e 70 72 65 70 61 72 65 28 22 73 65 6c _db.prepare("sel
0600: 65 63 74 20 73 65 74 28 24 31 2c 20 24 32 2c 20 ect set($1, $2,
0610: 24 33 29 22 29 0a 09 09 09 69 6e 73 65 72 74 20 $3)")....insert
0620: 3d 20 73 65 6c 66 2e 5f 64 62 2e 70 72 65 70 61 = self._db.prepa
0630: 72 65 28 22 73 65 6c 65 63 74 20 73 65 74 28 24 re("select set($
0640: 31 2c 20 24 32 29 22 29 0a 09 09 09 66 6f 72 20 1, $2)")....for
0650: 72 6f 77 20 69 6e 20 63 73 76 5f 64 61 74 61 3a row in csv_data:
0660: 0a 09 09 09 09 69 66 20 6c 65 6e 28 72 6f 77 5b .....if len(row[
0670: 32 5d 29 20 3e 20 30 3a 0a 09 09 09 09 09 69 6e 2]) > 0:......in
0680: 73 65 72 74 72 65 67 28 72 6f 77 5b 30 5d 2c 20 sertreg(row[0],
0690: 72 6f 77 5b 31 5d 2c 20 72 6f 77 5b 32 5d 29 0a row[1], row[2]).
06a0: 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 69 ....else:......i
06b0: 6e 73 65 72 74 28 72 6f 77 5b 30 5d 2c 20 72 6f nsert(row[0], ro
06c0: 77 5b 31 5d 29 0a 09 09 73 65 6c 66 2e 5f 64 62 w[1])...self._db
06d0: 2e 65 78 65 63 75 74 65 28 27 76 61 63 75 75 6d .execute('vacuum
06e0: 20 61 6e 61 6c 79 7a 65 20 73 69 74 65 3b 27 29 analyze site;')
06f0: 0a 09 09 73 65 6c 66 2e 5f 64 62 2e 65 78 65 63 ...self._db.exec
0700: 75 74 65 28 27 76 61 63 75 75 6d 20 61 6e 61 6c ute('vacuum anal
0710: 79 7a 65 20 75 72 6c 73 3b 27 29 0a 0a 09 64 65 yze urls;')...de
0720: 66 20 6c 6f 61 64 5f 63 6f 6e 66 28 73 65 6c 66 f load_conf(self
0730: 2c 20 63 73 76 5f 64 61 74 61 29 3a 0a 09 09 77 , csv_data):...w
0740: 69 74 68 20 73 65 6c 66 2e 5f 64 62 2e 78 61 63 ith self._db.xac
0750: 74 28 29 3a 0a 09 09 09 73 65 6c 66 2e 5f 64 62 t():....self._db
0760: 2e 65 78 65 63 75 74 65 28 27 64 65 6c 65 74 65 .execute('delete
0770: 20 66 72 6f 6d 20 72 75 6c 65 73 3b 27 29 0a 09 from rules;')..
0780: 09 09 69 6e 73 65 72 74 63 6f 6e 66 20 3d 20 73 ..insertconf = s
0790: 65 6c 66 2e 5f 64 62 2e 70 72 65 70 61 72 65 28 elf._db.prepare(
07a0: 22 69 6e 73 65 72 74 20 69 6e 74 6f 20 72 75 6c "insert into rul
07b0: 65 73 20 28 6e 65 74 6d 61 73 6b 2c 20 72 65 64 es (netmask, red
07c0: 69 72 65 63 74 5f 75 72 6c 2c 20 66 72 6f 6d 5f irect_url, from_
07d0: 77 65 65 6b 64 61 79 2c 20 74 6f 5f 77 65 65 6b weekday, to_week
07e0: 64 61 79 2c 20 66 72 6f 6d 5f 74 69 6d 65 2c 20 day, from_time,
07f0: 74 6f 5f 74 69 6d 65 2c 20 69 64 5f 74 61 67 29 to_time, id_tag)
0800: 20 76 61 6c 75 65 73 20 28 24 31 3a 3a 74 65 78 values ($1::tex
0810: 74 3a 3a 63 69 64 72 2c 20 24 32 2c 20 24 33 2c t::cidr, $2, $3,
0820: 20 24 34 2c 20 24 35 3a 3a 74 65 78 74 3a 3a 74 $4, $5::text::t
0830: 69 6d 65 2c 20 24 36 3a 3a 74 65 78 74 3a 3a 74 ime, $6::text::t
0840: 69 6d 65 2c 20 67 65 74 5f 74 61 67 28 24 37 3a ime, get_tag($7:
0850: 3a 74 65 78 74 3a 3a 74 65 78 74 5b 5d 29 29 22 :text::text[]))"
0860: 29 0a 09 09 09 66 6f 72 20 72 6f 77 20 69 6e 20 )....for row in
0870: 63 73 76 5f 64 61 74 61 3a 0a 09 09 09 09 69 6e csv_data:.....in
0880: 73 65 72 74 63 6f 6e 66 28 72 6f 77 5b 30 5d 2c sertconf(row[0],
0890: 20 72 6f 77 5b 31 5d 2c 20 69 6e 74 28 72 6f 77 row[1], int(row
08a0: 5b 32 5d 29 2c 20 69 6e 74 28 72 6f 77 5b 33 5d [2]), int(row[3]
08b0: 29 2c 20 72 6f 77 5b 34 5d 2c 20 72 6f 77 5b 35 ), row[4], row[5
08c0: 5d 2c 20 72 6f 77 5b 36 5d 29 0a 09 09 73 65 6c ], row[6])...sel
08d0: 66 2e 5f 64 62 2e 65 78 65 63 75 74 65 28 27 76 f._db.execute('v
08e0: 61 63 75 75 6d 20 61 6e 61 6c 79 7a 65 20 72 75 acuum analyze ru
08f0: 6c 65 73 3b 27 29 0a 0a 09 64 65 66 20 64 75 6d les;')...def dum
0900: 70 5f 63 6f 6e 66 28 73 65 6c 66 29 3a 0a 09 09 p_conf(self):...
0910: 72 65 74 75 72 6e 28 73 65 6c 66 2e 5f 64 62 2e return(self._db.
0920: 70 72 65 70 61 72 65 28 22 73 65 6c 65 63 74 20 prepare("select
0930: 6e 65 74 6d 61 73 6b 2c 20 72 65 64 69 72 65 63 netmask, redirec
0940: 74 5f 75 72 6c 2c 20 66 72 6f 6d 5f 77 65 65 6b t_url, from_week
0950: 64 61 79 2c 20 74 6f 5f 77 65 65 6b 64 61 79 2c day, to_weekday,
0960: 20 66 72 6f 6d 5f 74 69 6d 65 2c 20 74 6f 5f 74 from_time, to_t
0970: 69 6d 65 2c 20 74 61 67 20 66 72 6f 6d 20 72 75 ime, tag from ru
0980: 6c 65 73 20 6e 61 74 75 72 61 6c 20 6a 6f 69 6e les natural join
0990: 20 74 61 67 22 29 28 29 29 0a 0a 23 20 61 62 73 tag")())..# abs
09a0: 74 72 61 63 74 20 63 6c 61 73 73 20 77 69 74 68 tract class with
09b0: 20 62 61 73 69 63 20 63 68 65 63 6b 69 6e 67 20 basic checking
09c0: 66 75 6e 63 74 69 6f 6e 61 6c 69 74 79 0a 63 6c functionality.cl
09d0: 61 73 73 20 43 68 65 63 6b 65 72 3a 0a 09 5f 5f ass Checker:..__
09e0: 73 6c 6f 74 73 5f 5f 20 3d 20 66 72 6f 7a 65 6e slots__ = frozen
09f0: 73 65 74 28 5b 27 5f 64 62 27 2c 20 27 5f 6c 6f set(['_db', '_lo
0a00: 67 27 5d 29 0a 0a 09 64 65 66 20 5f 5f 69 6e 69 g'])...def __ini
0a10: 74 5f 5f 28 73 65 6c 66 29 3a 0a 09 09 73 65 6c t__(self):...sel
0a20: 66 2e 5f 64 62 20 3d 20 74 61 67 44 42 28 29 0a f._db = tagDB().
0a30: 09 09 73 65 6c 66 2e 5f 6c 6f 67 20 3d 20 4c 6f ..self._log = Lo
0a40: 67 67 65 72 28 29 0a 09 09 73 65 6c 66 2e 5f 6c gger()...self._l
0a50: 6f 67 2e 69 6e 66 6f 28 27 73 74 61 72 74 65 64 og.info('started
0a60: 5c 6e 27 29 0a 0a 09 64 65 66 20 70 72 6f 63 65 \n')...def proce
0a70: 73 73 28 73 65 6c 66 2c 20 69 64 2c 20 73 69 74 ss(self, id, sit
0a80: 65 2c 20 69 70 5f 61 64 64 72 65 73 73 2c 20 75 e, ip_address, u
0a90: 72 6c 5f 70 61 74 68 2c 20 6c 69 6e 65 20 3d 20 rl_path, line =
0aa0: 4e 6f 6e 65 29 3a 0a 09 09 73 65 6c 66 2e 5f 6c None):...self._l
0ab0: 6f 67 2e 69 6e 66 6f 28 27 74 72 79 69 6e 67 20 og.info('trying
0ac0: 7b 7d 5c 6e 27 2e 66 6f 72 6d 61 74 28 73 69 74 {}\n'.format(sit
0ad0: 65 29 29 0a 09 09 72 65 73 75 6c 74 20 3d 20 73 e))...result = s
0ae0: 65 6c 66 2e 5f 64 62 2e 63 68 65 63 6b 28 73 69 elf._db.check(si
0af0: 74 65 2c 20 69 70 5f 61 64 64 72 65 73 73 29 0a te, ip_address).
0b00: 09 09 72 65 70 6c 79 20 3d 20 27 2d 27 0a 09 09 ..reply = '-'...
0b10: 66 6f 72 20 72 6f 77 20 69 6e 20 72 65 73 75 6c for row in resul
0b20: 74 3a 0a 09 09 09 69 66 20 72 6f 77 20 21 3d 20 t:....if row !=
0b30: 4e 6f 6e 65 20 61 6e 64 20 72 6f 77 5b 30 5d 20 None and row[0]
0b40: 21 3d 20 4e 6f 6e 65 3a 0a 09 09 09 09 69 66 20 != None:.....if
0b50: 72 6f 77 5b 31 5d 20 21 3d 20 4e 6f 6e 65 3a 0a row[1] != None:.
0b60: 09 09 09 09 09 73 65 6c 66 2e 5f 6c 6f 67 2e 69 .....self._log.i
0b70: 6e 66 6f 28 27 74 72 79 69 6e 67 20 72 65 67 65 nfo('trying rege
0b80: 78 70 20 22 7b 7d 22 20 76 65 72 73 75 73 20 22 xp "{}" versus "
0b90: 7b 7d 22 5c 6e 27 2e 66 6f 72 6d 61 74 28 72 6f {}"\n'.format(ro
0ba0: 77 5b 31 5d 2c 20 75 72 6c 5f 70 61 74 68 29 29 w[1], url_path))
0bb0: 0a 09 09 09 09 09 74 72 79 3a 0a 09 09 09 09 09 ......try:......
0bc0: 09 69 66 20 72 65 2e 63 6f 6d 70 69 6c 65 28 72 .if re.compile(r
0bd0: 6f 77 5b 31 5d 29 2e 6d 61 74 63 68 28 75 72 6c ow[1]).match(url
0be0: 5f 70 61 74 68 29 3a 0a 09 09 09 09 09 09 09 72 _path):........r
0bf0: 65 70 6c 79 20 3d 20 72 6f 77 5b 30 5d 2e 66 6f eply = row[0].fo
0c00: 72 6d 61 74 28 75 72 6c 5f 70 61 74 68 29 0a 09 rmat(url_path)..
0c10: 09 09 09 09 09 09 62 72 65 61 6b 0a 09 09 09 09 ......break.....
0c20: 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 09 63 ..else:........c
0c30: 6f 6e 74 69 6e 75 65 0a 09 09 09 09 09 65 78 63 ontinue......exc
0c40: 65 70 74 3a 0a 09 09 09 09 09 09 73 65 6c 66 2e ept:.......self.
0c50: 5f 6c 6f 67 2e 69 6e 66 6f 28 22 63 61 6e 27 74 _log.info("can't
0c60: 20 63 6f 6d 70 69 6c 65 20 72 65 67 65 78 70 22 compile regexp"
0c70: 29 0a 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 ).....else:.....
0c80: 09 72 65 70 6c 79 20 3d 20 72 6f 77 5b 30 5d 2e .reply = row[0].
0c90: 66 6f 72 6d 61 74 28 75 72 6c 5f 70 61 74 68 29 format(url_path)
0ca0: 0a 09 09 09 09 09 62 72 65 61 6b 0a 09 09 73 65 ......break...se
0cb0: 6c 66 2e 77 72 69 74 65 6c 69 6e 65 28 27 7b 7d lf.writeline('{}
0cc0: 20 7b 7d 5c 6e 27 2e 66 6f 72 6d 61 74 28 69 64 {}\n'.format(id
0cd0: 2c 20 72 65 70 6c 79 29 29 0a 0a 09 64 65 66 20 , reply))...def
0ce0: 63 68 65 63 6b 28 73 65 6c 66 2c 20 6c 69 6e 65 check(self, line
0cf0: 29 3a 0a 09 09 72 65 71 75 65 73 74 20 3d 20 72 ):...request = r
0d00: 65 2e 63 6f 6d 70 69 6c 65 28 27 5e 28 5b 30 2d e.compile('^([0-
0d10: 39 5d 2b 29 5c 20 28 68 74 74 70 7c 66 74 70 29 9]+)\ (http|ftp)
0d20: 3a 5c 2f 5c 2f 28 5b 2d 5c 77 2e 3a 5d 2b 29 5c :\/\/([-\w.:]+)\
0d30: 2f 28 5b 5e 20 5d 2a 29 5c 20 28 5b 30 2d 39 2e /([^ ]*)\ ([0-9.
0d40: 5d 2b 29 5c 2f 28 2d 7c 5b 5c 77 5c 2e 5d 2b 29 ]+)\/(-|[\w\.]+)
0d50: 5c 20 28 2d 7c 5c 77 2b 29 5c 20 28 2d 7c 47 45 \ (-|\w+)\ (-|GE
0d60: 54 7c 48 45 41 44 7c 50 4f 53 54 29 2e 2a 24 27 T|HEAD|POST).*$'
0d70: 29 2e 6d 61 74 63 68 28 6c 69 6e 65 29 0a 09 09 ).match(line)...
0d80: 69 66 20 72 65 71 75 65 73 74 3a 0a 09 09 09 69 if request:....i
0d90: 64 20 3d 20 72 65 71 75 65 73 74 2e 67 72 6f 75 d = request.grou
0da0: 70 28 31 29 0a 09 09 09 23 70 72 6f 74 6f 20 3d p(1)....#proto =
0db0: 20 72 65 71 75 65 73 74 2e 67 72 6f 75 70 28 32 request.group(2
0dc0: 29 0a 09 09 09 73 69 74 65 20 3d 20 72 65 71 75 )....site = requ
0dd0: 65 73 74 2e 67 72 6f 75 70 28 33 29 0a 09 09 09 est.group(3)....
0de0: 75 72 6c 5f 70 61 74 68 20 3d 20 72 65 71 75 65 url_path = reque
0df0: 73 74 2e 67 72 6f 75 70 28 34 29 0a 09 09 09 69 st.group(4)....i
0e00: 70 5f 61 64 64 72 65 73 73 20 3d 20 72 65 71 75 p_address = requ
0e10: 65 73 74 2e 67 72 6f 75 70 28 35 29 0a 09 09 09 est.group(5)....
0e20: 73 65 6c 66 2e 70 72 6f 63 65 73 73 28 69 64 2c self.process(id,
0e30: 20 73 69 74 65 2c 20 69 70 5f 61 64 64 72 65 73 site, ip_addres
0e40: 73 2c 20 75 72 6c 5f 70 61 74 68 2c 20 6c 69 6e s, url_path, lin
0e50: 65 29 0a 09 09 09 72 65 74 75 72 6e 28 54 72 75 e)....return(Tru
0e60: 65 29 0a 09 09 65 6c 73 65 3a 0a 09 09 09 73 65 e)...else:....se
0e70: 6c 66 2e 5f 6c 6f 67 2e 69 6e 66 6f 28 27 62 61 lf._log.info('ba
0e80: 64 20 72 65 71 75 65 73 74 5c 6e 27 29 0a 09 09 d request\n')...
0e90: 09 73 65 6c 66 2e 77 72 69 74 65 6c 69 6e 65 28 .self.writeline(
0ea0: 6c 69 6e 65 29 0a 09 09 09 72 65 74 75 72 6e 28 line)....return(
0eb0: 46 61 6c 73 65 29 0a 0a 09 64 65 66 20 77 72 69 False)...def wri
0ec0: 74 65 6c 69 6e 65 28 73 65 6c 66 2c 20 73 74 72 teline(self, str
0ed0: 69 6e 67 29 3a 0a 09 09 73 65 6c 66 2e 5f 6c 6f ing):...self._lo
0ee0: 67 2e 69 6e 66 6f 28 27 73 65 6e 64 69 6e 67 3a g.info('sending:
0ef0: 20 27 20 2b 20 73 74 72 69 6e 67 29 0a 09 09 73 ' + string)...s
0f00: 79 73 2e 73 74 64 6f 75 74 2e 77 72 69 74 65 28 ys.stdout.write(
0f10: 73 74 72 69 6e 67 29 0a 09 09 73 79 73 2e 73 74 string)...sys.st
0f20: 64 6f 75 74 2e 66 6c 75 73 68 28 29 0a 0a 09 64 dout.flush()...d
0f30: 65 66 20 6c 6f 6f 70 28 73 65 6c 66 29 3a 0a 09 ef loop(self):..
0f40: 09 77 68 69 6c 65 20 54 72 75 65 3a 0a 09 09 09 .while True:....
0f50: 6c 69 6e 65 20 3d 20 73 79 73 2e 73 74 64 69 6e line = sys.stdin
0f60: 2e 72 65 61 64 6c 69 6e 65 28 29 0a 09 09 09 69 .readline()....i
0f70: 66 20 6c 65 6e 28 6c 69 6e 65 29 20 3d 3d 20 30 f len(line) == 0
0f80: 3a 0a 09 09 09 09 62 72 65 61 6b 0a 09 09 09 73 :.....break....s
0f90: 65 6c 66 2e 63 68 65 63 6b 28 6c 69 6e 65 29 0a elf.check(line).
0fa0: 0a 23 20 74 68 72 65 61 64 65 64 20 63 68 65 63 .# threaded chec
0fb0: 6b 69 6e 67 20 66 61 63 69 6c 69 74 79 0a 63 6c king facility.cl
0fc0: 61 73 73 20 43 68 65 63 6b 65 72 54 68 72 65 61 ass CheckerThrea
0fd0: 64 28 43 68 65 63 6b 65 72 29 3a 0a 09 5f 5f 73 d(Checker):..__s
0fe0: 6c 6f 74 73 5f 5f 20 3d 20 66 72 6f 7a 65 6e 73 lots__ = frozens
0ff0: 65 74 28 5b 27 5f 6c 6f 63 6b 27 2c 20 27 5f 6c et(['_lock', '_l
1000: 6f 63 6b 5f 65 78 69 74 27 2c 20 27 5f 6c 6f 63 ock_exit', '_loc
1010: 6b 5f 71 75 65 75 65 27 2c 20 27 5f 71 75 65 75 k_queue', '_queu
1020: 65 27 5d 29 0a 0a 09 64 65 66 20 5f 5f 69 6e 69 e'])...def __ini
1030: 74 5f 5f 28 73 65 6c 66 29 3a 0a 09 09 69 6d 70 t__(self):...imp
1040: 6f 72 74 20 5f 74 68 72 65 61 64 0a 0a 09 09 23 ort _thread....#
1050: 20 62 61 73 69 63 20 69 6e 69 74 69 61 6c 69 73 basic initialis
1060: 61 74 69 6f 6e 0a 09 09 43 68 65 63 6b 65 72 2e ation...Checker.
1070: 5f 5f 69 6e 69 74 5f 5f 28 73 65 6c 66 29 0a 0a __init__(self)..
1080: 09 09 23 20 53 70 69 6e 20 6c 6f 63 6b 2e 20 4c ..# Spin lock. L
1090: 6f 6f 70 20 61 63 71 75 69 72 65 73 20 69 74 20 oop acquires it
10a0: 6f 6e 20 73 74 61 72 74 20 74 68 65 6e 20 72 65 on start then re
10b0: 6c 65 61 73 65 73 20 69 74 20 77 68 65 6e 20 68 leases it when h
10c0: 6f 6c 64 69 6e 67 20 71 75 65 75 65 0a 09 09 23 olding queue...#
10d0: 20 6c 6f 63 6b 2e 20 54 68 69 73 20 77 61 79 20 lock. This way
10e0: 74 68 65 20 74 68 72 65 61 64 20 70 72 6f 63 65 the thread proce
10f0: 65 64 73 20 77 69 74 68 6f 75 74 20 73 74 6f 70 eds without stop
1100: 73 20 77 68 69 6c 65 20 71 75 65 75 65 20 68 61 s while queue ha
1110: 73 20 64 61 74 61 20 61 6e 64 0a 09 09 23 20 67 s data and...# g
1120: 65 74 73 20 73 74 61 6c 6c 65 64 20 77 68 65 6e ets stalled when
1130: 20 6e 6f 20 64 61 74 61 20 70 72 65 73 65 6e 74 no data present
1140: 2e 20 54 68 65 20 6c 6f 63 6b 20 69 73 20 72 65 . The lock is re
1150: 6c 65 61 73 65 64 20 62 79 20 71 75 65 75 65 20 leased by queue
1160: 77 72 69 74 65 72 0a 09 09 23 20 61 66 74 65 72 writer...# after
1170: 20 73 74 6f 72 69 6e 67 20 73 6f 6d 65 74 68 69 storing somethi
1180: 6e 67 20 69 6e 74 6f 20 74 68 65 20 71 75 65 75 ng into the queu
1190: 65 0a 09 09 73 65 6c 66 2e 5f 6c 6f 63 6b 20 3d e...self._lock =
11a0: 20 5f 74 68 72 65 61 64 2e 61 6c 6c 6f 63 61 74 _thread.allocat
11b0: 65 5f 6c 6f 63 6b 28 29 0a 09 09 73 65 6c 66 2e e_lock()...self.
11c0: 5f 6c 6f 63 6b 5f 65 78 69 74 20 3d 20 5f 74 68 _lock_exit = _th
11d0: 72 65 61 64 2e 61 6c 6c 6f 63 61 74 65 5f 6c 6f read.allocate_lo
11e0: 63 6b 28 29 0a 09 09 73 65 6c 66 2e 5f 6c 6f 63 ck()...self._loc
11f0: 6b 5f 71 75 65 75 65 20 3d 20 5f 74 68 72 65 61 k_queue = _threa
1200: 64 2e 61 6c 6c 6f 63 61 74 65 5f 6c 6f 63 6b 28 d.allocate_lock(
1210: 29 0a 09 09 73 65 6c 66 2e 5f 6c 6f 63 6b 2e 61 )...self._lock.a
1220: 63 71 75 69 72 65 28 29 0a 09 09 73 65 6c 66 2e cquire()...self.
1230: 5f 71 75 65 75 65 20 3d 20 5b 5d 0a 09 09 5f 74 _queue = []..._t
1240: 68 72 65 61 64 2e 73 74 61 72 74 5f 6e 65 77 5f hread.start_new_
1250: 74 68 72 65 61 64 28 73 65 6c 66 2e 5f 73 74 61 thread(self._sta
1260: 72 74 2c 20 28 29 29 0a 0a 09 64 65 66 20 5f 73 rt, ())...def _s
1270: 74 61 72 74 28 73 65 6c 66 29 3a 0a 09 09 77 68 tart(self):...wh
1280: 69 6c 65 20 54 72 75 65 3a 0a 09 09 09 73 65 6c ile True:....sel
1290: 66 2e 5f 6c 6f 63 6b 2e 61 63 71 75 69 72 65 28 f._lock.acquire(
12a0: 29 0a 09 09 09 77 69 74 68 20 73 65 6c 66 2e 5f )....with self._
12b0: 6c 6f 63 6b 5f 71 75 65 75 65 3a 0a 09 09 09 09 lock_queue:.....
12c0: 23 20 79 65 73 20 74 68 69 73 20 73 68 6f 75 6c # yes this shoul
12d0: 64 20 62 65 20 77 72 69 74 74 65 6e 20 74 68 69 d be written thi
12e0: 73 20 77 61 79 2c 20 61 6e 64 20 79 65 73 2c 20 s way, and yes,
12f0: 74 68 69 73 20 69 73 20 77 68 79 20 49 20 68 61 this is why I ha
1300: 74 65 20 74 68 72 65 61 64 69 6e 67 0a 09 09 09 te threading....
1310: 09 69 66 20 6c 65 6e 28 73 65 6c 66 2e 5f 71 75 .if len(self._qu
1320: 65 75 65 29 20 3e 20 31 3a 0a 09 09 09 09 09 69 eue) > 1:......i
1330: 66 20 73 65 6c 66 2e 5f 6c 6f 63 6b 2e 6c 6f 63 f self._lock.loc
1340: 6b 65 64 28 29 3a 0a 09 09 09 09 09 09 73 65 6c ked():.......sel
1350: 66 2e 5f 6c 6f 63 6b 2e 72 65 6c 65 61 73 65 28 f._lock.release(
1360: 29 0a 09 09 09 09 72 65 71 20 3d 20 73 65 6c 66 ).....req = self
1370: 2e 5f 71 75 65 75 65 2e 70 6f 70 28 30 29 0a 09 ._queue.pop(0)..
1380: 09 09 43 68 65 63 6b 65 72 2e 70 72 6f 63 65 73 ..Checker.proces
1390: 73 28 73 65 6c 66 2c 20 72 65 71 5b 30 5d 2c 20 s(self, req[0],
13a0: 72 65 71 5b 31 5d 2c 20 72 65 71 5b 32 5d 2c 20 req[1], req[2],
13b0: 72 65 71 5b 33 5d 29 0a 09 09 09 77 69 74 68 20 req[3])....with
13c0: 73 65 6c 66 2e 5f 6c 6f 63 6b 5f 71 75 65 75 65 self._lock_queue
13d0: 3a 0a 09 09 09 09 69 66 20 6c 65 6e 28 73 65 6c :.....if len(sel
13e0: 66 2e 5f 71 75 65 75 65 29 20 3d 3d 20 30 3a 0a f._queue) == 0:.
13f0: 09 09 09 09 09 69 66 20 73 65 6c 66 2e 5f 6c 6f .....if self._lo
1400: 63 6b 5f 65 78 69 74 2e 6c 6f 63 6b 65 64 28 29 ck_exit.locked()
1410: 3a 0a 09 09 09 09 09 09 73 65 6c 66 2e 5f 6c 6f :.......self._lo
1420: 63 6b 5f 65 78 69 74 2e 72 65 6c 65 61 73 65 28 ck_exit.release(
1430: 29 0a 0a 09 64 65 66 20 70 72 6f 63 65 73 73 28 )...def process(
1440: 73 65 6c 66 2c 20 69 64 2c 20 73 69 74 65 2c 20 self, id, site,
1450: 69 70 5f 61 64 64 72 65 73 73 2c 20 75 72 6c 5f ip_address, url_
1460: 70 61 74 68 2c 20 6c 69 6e 65 29 3a 0a 09 09 77 path, line):...w
1470: 69 74 68 20 73 65 6c 66 2e 5f 6c 6f 63 6b 5f 71 ith self._lock_q
1480: 75 65 75 65 3a 0a 09 09 09 73 65 6c 66 2e 5f 71 ueue:....self._q
1490: 75 65 75 65 2e 61 70 70 65 6e 64 28 28 69 64 2c ueue.append((id,
14a0: 20 73 69 74 65 2c 20 69 70 5f 61 64 64 72 65 73 site, ip_addres
14b0: 73 2c 20 75 72 6c 5f 70 61 74 68 29 29 0a 09 09 s, url_path))...
14c0: 09 73 65 6c 66 2e 5f 6c 6f 67 2e 69 6e 66 6f 28 .self._log.info(
14d0: 27 72 65 71 75 65 73 74 20 7b 7d 20 71 75 65 75 'request {} queu
14e0: 65 64 20 28 7b 7d 29 5c 6e 27 2e 66 6f 72 6d 61 ed ({})\n'.forma
14f0: 74 28 69 64 2c 20 6c 69 6e 65 29 29 0a 09 09 09 t(id, line))....
1500: 69 66 20 6e 6f 74 20 73 65 6c 66 2e 5f 6c 6f 63 if not self._loc
1510: 6b 5f 65 78 69 74 2e 6c 6f 63 6b 65 64 28 29 3a k_exit.locked():
1520: 0a 09 09 09 09 73 65 6c 66 2e 5f 6c 6f 63 6b 5f .....self._lock_
1530: 65 78 69 74 2e 61 63 71 75 69 72 65 28 29 0a 09 exit.acquire()..
1540: 09 09 69 66 20 73 65 6c 66 2e 5f 6c 6f 63 6b 2e ..if self._lock.
1550: 6c 6f 63 6b 65 64 28 29 3a 0a 09 09 09 09 73 65 locked():.....se
1560: 6c 66 2e 5f 6c 6f 63 6b 2e 72 65 6c 65 61 73 65 lf._lock.release
1570: 28 29 0a 0a 09 64 65 66 20 6c 6f 6f 70 28 73 65 ()...def loop(se
1580: 6c 66 29 3a 0a 09 09 77 68 69 6c 65 20 54 72 75 lf):...while Tru
1590: 65 3a 0a 09 09 09 6c 69 6e 65 20 3d 20 73 79 73 e:....line = sys
15a0: 2e 73 74 64 69 6e 2e 72 65 61 64 6c 69 6e 65 28 .stdin.readline(
15b0: 29 0a 09 09 09 69 66 20 6c 65 6e 28 6c 69 6e 65 )....if len(line
15c0: 29 20 3d 3d 20 30 3a 0a 09 09 09 09 62 72 65 61 ) == 0:.....brea
15d0: 6b 0a 09 09 09 73 65 6c 66 2e 63 68 65 63 6b 28 k....self.check(
15e0: 6c 69 6e 65 29 0a 09 09 73 65 6c 66 2e 5f 6c 6f line)...self._lo
15f0: 63 6b 5f 65 78 69 74 2e 61 63 71 75 69 72 65 28 ck_exit.acquire(
1600: 29 0a 0a 23 20 6b 71 75 65 75 65 20 65 6e 61 62 )..# kqueue enab
1610: 6c 65 64 20 63 6c 61 73 73 20 66 6f 72 20 42 53 led class for BS
1620: 44 27 73 0a 63 6c 61 73 73 20 43 68 65 63 6b 65 D's.class Checke
1630: 72 4b 71 75 65 75 65 28 43 68 65 63 6b 65 72 29 rKqueue(Checker)
1640: 3a 0a 09 5f 5f 73 6c 6f 74 73 5f 5f 20 3d 20 66 :..__slots__ = f
1650: 72 6f 7a 65 6e 73 65 74 28 5b 27 5f 6b 71 27 2c rozenset(['_kq',
1660: 20 27 5f 73 65 6c 65 63 74 27 2c 20 27 5f 71 75 '_select', '_qu
1670: 65 75 65 27 5d 29 0a 0a 09 64 65 66 20 5f 5f 69 eue'])...def __i
1680: 6e 69 74 5f 5f 28 73 65 6c 66 29 3a 0a 09 09 23 nit__(self):...#
1690: 20 62 61 73 69 63 20 69 6e 69 74 69 61 6c 69 73 basic initialis
16a0: 61 74 69 6f 6e 0a 09 09 43 68 65 63 6b 65 72 2e ation...Checker.
16b0: 5f 5f 69 6e 69 74 5f 5f 28 73 65 6c 66 29 0a 0a __init__(self)..
16c0: 09 09 23 20 69 6d 70 6f 72 74 69 6e 67 20 73 65 ..# importing se
16d0: 6c 65 63 74 20 6d 6f 64 75 6c 65 0a 09 09 69 6d lect module...im
16e0: 70 6f 72 74 20 73 65 6c 65 63 74 0a 09 09 73 65 port select...se
16f0: 6c 66 2e 5f 73 65 6c 65 63 74 20 3d 20 73 65 6c lf._select = sel
1700: 65 63 74 0a 0a 09 09 23 20 6b 72 65 61 74 69 6e ect....# kreatin
1710: 67 20 6b 71 75 65 75 65 0a 09 09 73 65 6c 66 2e g kqueue...self.
1720: 5f 6b 71 20 3d 20 73 65 6c 66 2e 5f 73 65 6c 65 _kq = self._sele
1730: 63 74 2e 6b 71 75 65 75 65 28 29 0a 09 09 61 73 ct.kqueue()...as
1740: 73 65 72 74 20 73 65 6c 66 2e 5f 6b 71 2e 66 69 sert self._kq.fi
1750: 6c 65 6e 6f 28 29 20 21 3d 20 2d 31 2c 20 22 46 leno() != -1, "F
1760: 61 74 61 6c 20 65 72 72 6f 72 3a 20 63 61 6e 27 atal error: can'
1770: 74 20 69 6e 69 74 69 61 6c 69 73 65 20 6b 71 75 t initialise kqu
1780: 65 75 65 2e 22 0a 0a 09 09 23 20 77 61 74 63 68 eue."....# watch
1790: 69 6e 67 20 73 79 73 2e 73 74 64 69 6e 20 66 6f ing sys.stdin fo
17a0: 72 20 64 61 74 61 0a 09 09 73 65 6c 66 2e 5f 6b r data...self._k
17b0: 71 2e 63 6f 6e 74 72 6f 6c 28 5b 73 65 6c 66 2e q.control([self.
17c0: 5f 73 65 6c 65 63 74 2e 6b 65 76 65 6e 74 28 73 _select.kevent(s
17d0: 79 73 2e 73 74 64 69 6e 2c 20 73 65 6c 66 2e 5f ys.stdin, self._
17e0: 73 65 6c 65 63 74 2e 4b 51 5f 46 49 4c 54 45 52 select.KQ_FILTER
17f0: 5f 52 45 41 44 2c 20 73 65 6c 66 2e 5f 73 65 6c _READ, self._sel
1800: 65 63 74 2e 4b 51 5f 45 56 5f 41 44 44 29 5d 2c ect.KQ_EV_ADD)],
1810: 20 30 29 0a 0a 09 09 23 20 63 72 65 61 74 69 6e 0)....# creatin
1820: 67 20 64 61 74 61 20 71 75 65 75 65 0a 09 09 73 g data queue...s
1830: 65 6c 66 2e 5f 71 75 65 75 65 20 3d 20 5b 5d 0a elf._queue = [].
1840: 0a 09 64 65 66 20 6c 6f 6f 70 28 73 65 6c 66 29 ..def loop(self)
1850: 3a 0a 09 09 23 20 57 61 69 74 20 66 6f 72 20 64 :...# Wait for d
1860: 61 74 61 20 62 79 20 64 65 66 61 75 6c 74 0a 09 ata by default..
1870: 09 74 69 6d 65 6f 75 74 20 3d 20 4e 6f 6e 65 0a .timeout = None.
1880: 09 09 65 6f 66 20 3d 20 46 61 6c 73 65 0a 09 09 ..eof = False...
1890: 62 75 66 66 65 72 20 3d 20 27 27 0a 09 09 77 68 buffer = ''...wh
18a0: 69 6c 65 20 54 72 75 65 3a 0a 09 09 09 23 20 63 ile True:....# c
18b0: 68 65 63 6b 69 6e 67 20 69 66 20 74 68 65 72 65 hecking if there
18c0: 20 69 73 20 61 6e 79 20 64 61 74 61 20 6f 72 20 is any data or
18d0: 77 69 74 69 6e 67 20 66 6f 72 20 64 61 74 61 20 witing for data
18e0: 74 6f 20 61 72 72 69 76 65 0a 09 09 09 6b 65 76 to arrive....kev
18f0: 73 20 3d 20 73 65 6c 66 2e 5f 6b 71 2e 63 6f 6e s = self._kq.con
1900: 74 72 6f 6c 28 4e 6f 6e 65 2c 20 31 2c 20 74 69 trol(None, 1, ti
1910: 6d 65 6f 75 74 29 0a 0a 09 09 09 66 6f 72 20 6b meout).....for k
1920: 65 76 20 69 6e 20 6b 65 76 73 3a 0a 09 09 09 09 ev in kevs:.....
1930: 69 66 20 6b 65 76 2e 66 69 6c 74 65 72 20 3d 3d if kev.filter ==
1940: 20 73 65 6c 66 2e 5f 73 65 6c 65 63 74 2e 4b 51 self._select.KQ
1950: 5f 46 49 4c 54 45 52 5f 52 45 41 44 20 61 6e 64 _FILTER_READ and
1960: 20 6b 65 76 2e 64 61 74 61 20 3e 20 30 3a 0a 09 kev.data > 0:..
1970: 09 09 09 09 23 20 72 65 61 64 69 6e 67 20 64 61 ....# reading da
1980: 74 61 20 69 6e 0a 09 09 09 09 09 6e 65 77 5f 62 ta in......new_b
1990: 75 66 66 65 72 20 3d 20 73 79 73 2e 73 74 64 69 uffer = sys.stdi
19a0: 6e 2e 72 65 61 64 28 6b 65 76 2e 64 61 74 61 29 n.read(kev.data)
19b0: 0a 09 09 09 09 09 23 20 69 66 20 6e 6f 20 64 61 ......# if no da
19c0: 74 61 20 77 61 73 20 73 65 6e 74 20 2d 20 77 65 ta was sent - we
19d0: 20 68 61 76 65 20 72 65 61 63 68 65 64 20 65 6e have reached en
19e0: 64 20 6f 66 20 66 69 6c 65 0a 09 09 09 09 09 69 d of file......i
19f0: 66 20 6c 65 6e 28 6e 65 77 5f 62 75 66 66 65 72 f len(new_buffer
1a00: 29 20 3d 3d 20 30 3a 0a 09 09 09 09 09 09 65 6f ) == 0:.......eo
1a10: 66 20 3d 20 54 72 75 65 0a 09 09 09 09 09 65 6c f = True......el
1a20: 73 65 3a 0a 09 09 09 09 09 09 23 20 61 64 64 69 se:.......# addi
1a30: 6e 67 20 63 75 72 72 65 6e 74 20 62 75 66 66 65 ng current buffe
1a40: 72 20 74 6f 20 6f 6c 64 20 62 75 66 66 65 72 20 r to old buffer
1a50: 72 65 6d 61 69 6e 73 0a 09 09 09 09 09 09 62 75 remains.......bu
1a60: 66 66 65 72 20 2b 3d 20 6e 65 77 5f 62 75 66 66 ffer += new_buff
1a70: 65 72 0a 09 09 09 09 09 09 23 20 73 70 6c 69 74 er.......# split
1a80: 74 69 6e 67 20 74 6f 20 6c 69 6e 65 73 0a 09 09 ting to lines...
1a90: 09 09 09 09 6c 69 6e 65 73 20 3d 20 62 75 66 66 ....lines = buff
1aa0: 65 72 2e 73 70 6c 69 74 28 27 5c 6e 27 29 0a 09 er.split('\n')..
1ab0: 09 09 09 09 09 23 20 6c 61 73 74 20 6c 69 6e 65 .....# last line
1ac0: 20 74 68 61 74 20 77 61 73 20 6e 6f 74 20 74 65 that was not te
1ad0: 72 6d 69 6e 61 74 65 20 62 79 20 6e 65 77 6c 69 rminate by newli
1ae0: 6e 65 20 72 65 74 75 72 6e 73 20 74 6f 20 62 75 ne returns to bu
1af0: 66 66 65 72 0a 09 09 09 09 09 09 62 75 66 66 65 ffer.......buffe
1b00: 72 20 3d 20 6c 69 6e 65 73 5b 2d 31 5d 0a 09 09 r = lines[-1]...
1b10: 09 09 09 09 23 20 61 6e 20 6f 6e 6c 79 20 69 66 ....# an only if
1b20: 20 74 68 65 72 65 20 77 61 73 20 61 74 20 6c 65 there was at le
1b30: 61 73 74 20 6f 6e 65 20 6e 65 77 6c 69 6e 65 0a ast one newline.
1b40: 09 09 09 09 09 09 69 66 20 6c 65 6e 28 6c 69 6e ......if len(lin
1b50: 65 73 29 20 3e 20 31 3a 0a 09 09 09 09 09 09 09 es) > 1:........
1b60: 66 6f 72 20 6c 69 6e 65 20 69 6e 20 6c 69 6e 65 for line in line
1b70: 73 5b 3a 2d 31 5d 3a 0a 09 09 09 09 09 09 09 09 s[:-1]:.........
1b80: 23 20 61 64 64 20 64 61 74 61 20 74 6f 20 74 68 # add data to th
1b90: 65 20 71 75 65 75 65 0a 09 09 09 09 09 09 09 09 e queue.........
1ba0: 69 66 20 73 65 6c 66 2e 63 68 65 63 6b 28 6c 69 if self.check(li
1bb0: 6e 65 20 2b 20 27 5c 6e 27 29 3a 0a 09 09 09 09 ne + '\n'):.....
1bc0: 09 09 09 09 09 23 20 64 6f 6e 27 74 20 77 61 69 .....# don't wai
1bd0: 74 20 66 6f 72 20 6d 6f 72 65 20 64 61 74 61 2c t for more data,
1be0: 20 73 74 61 72 74 20 70 72 6f 63 65 73 73 69 6e start processin
1bf0: 67 0a 09 09 09 09 09 09 09 09 09 74 69 6d 65 6f g..........timeo
1c00: 75 74 20 3d 20 30 0a 0a 09 09 09 09 23 20 64 65 ut = 0......# de
1c10: 74 65 63 74 20 65 6e 64 20 6f 66 20 73 74 72 65 tect end of stre
1c20: 61 6d 20 61 6e 64 20 65 78 69 74 20 69 66 20 70 am and exit if p
1c30: 6f 73 73 69 62 6c 65 0a 09 09 09 09 69 66 20 6b ossible.....if k
1c40: 65 76 2e 66 6c 61 67 73 20 3e 3e 20 31 35 20 3d ev.flags >> 15 =
1c50: 3d 20 31 3a 0a 09 09 09 09 09 73 65 6c 66 2e 5f = 1:......self._
1c60: 6b 71 2e 63 6f 6e 74 72 6f 6c 28 5b 73 65 6c 66 kq.control([self
1c70: 2e 5f 73 65 6c 65 63 74 2e 6b 65 76 65 6e 74 28 ._select.kevent(
1c80: 73 79 73 2e 73 74 64 69 6e 2c 20 73 65 6c 66 2e sys.stdin, self.
1c90: 5f 73 65 6c 65 63 74 2e 4b 51 5f 46 49 4c 54 45 _select.KQ_FILTE
1ca0: 52 5f 52 45 41 44 2c 20 73 65 6c 66 2e 5f 73 65 R_READ, self._se
1cb0: 6c 65 63 74 2e 4b 51 5f 45 56 5f 44 45 4c 45 54 lect.KQ_EV_DELET
1cc0: 45 29 5d 2c 20 30 29 0a 09 09 09 09 09 65 6f 66 E)], 0)......eof
1cd0: 20 3d 20 54 72 75 65 0a 0a 09 09 09 69 66 20 6c = True.....if l
1ce0: 65 6e 28 6b 65 76 73 29 20 3d 3d 20 30 3a 0a 09 en(kevs) == 0:..
1cf0: 09 09 09 69 66 20 6c 65 6e 28 73 65 6c 66 2e 5f ...if len(self._
1d00: 71 75 65 75 65 29 20 3e 20 30 3a 0a 09 09 09 09 queue) > 0:.....
1d10: 09 23 20 67 65 74 20 6f 6e 65 20 72 65 71 75 65 .# get one reque
1d20: 73 74 20 61 6e 64 20 70 72 6f 63 65 73 73 20 69 st and process i
1d30: 74 0a 09 09 09 09 09 72 65 71 20 3d 20 73 65 6c t......req = sel
1d40: 66 2e 5f 71 75 65 75 65 2e 70 6f 70 28 30 29 0a f._queue.pop(0).
1d50: 09 09 09 09 09 43 68 65 63 6b 65 72 2e 70 72 6f .....Checker.pro
1d60: 63 65 73 73 28 73 65 6c 66 2c 20 72 65 71 5b 30 cess(self, req[0
1d70: 5d 2c 20 72 65 71 5b 31 5d 2c 20 72 65 71 5b 32 ], req[1], req[2
1d80: 5d 2c 20 72 65 71 5b 33 5d 29 0a 09 09 09 09 09 ], req[3])......
1d90: 69 66 20 6c 65 6e 28 73 65 6c 66 2e 5f 71 75 65 if len(self._que
1da0: 75 65 29 20 3d 3d 20 30 3a 0a 09 09 09 09 09 09 ue) == 0:.......
1db0: 23 20 77 61 69 74 20 66 6f 72 20 64 61 74 61 20 # wait for data
1dc0: 2d 20 77 65 20 68 61 76 65 20 6e 6f 74 68 69 6e - we have nothin
1dd0: 67 20 74 6f 20 70 72 6f 63 65 73 73 0a 09 09 09 g to process....
1de0: 09 09 09 74 69 6d 65 6f 75 74 20 3d 20 4e 6f 6e ...timeout = Non
1df0: 65 0a 0a 09 09 09 23 20 69 66 20 71 75 65 75 65 e.....# if queue
1e00: 20 69 73 20 65 6d 70 74 79 20 61 6e 64 20 77 65 is empty and we
1e10: 20 72 65 61 63 68 65 64 20 65 6e 64 20 6f 66 20 reached end of
1e20: 73 74 72 65 61 6d 20 2d 20 77 65 20 63 61 6e 20 stream - we can
1e30: 65 78 69 74 0a 09 09 09 69 66 20 6c 65 6e 28 73 exit....if len(s
1e40: 65 6c 66 2e 5f 71 75 65 75 65 29 20 3d 3d 20 30 elf._queue) == 0
1e50: 20 61 6e 64 20 65 6f 66 3a 0a 09 09 09 09 62 72 and eof:.....br
1e60: 65 61 6b 0a 0a 09 64 65 66 20 70 72 6f 63 65 73 eak...def proces
1e70: 73 28 73 65 6c 66 2c 20 69 64 2c 20 73 69 74 65 s(self, id, site
1e80: 2c 20 69 70 5f 61 64 64 72 65 73 73 2c 20 75 72 , ip_address, ur
1e90: 6c 5f 70 61 74 68 2c 20 6c 69 6e 65 29 3a 0a 09 l_path, line):..
1ea0: 09 23 20 73 69 6d 70 6c 79 20 61 64 64 69 6e 67 .# simply adding
1eb0: 20 64 61 74 61 20 74 6f 20 74 68 65 20 71 75 65 data to the que
1ec0: 75 65 0a 09 09 73 65 6c 66 2e 5f 71 75 65 75 65 ue...self._queue
1ed0: 2e 61 70 70 65 6e 64 28 28 69 64 2c 20 73 69 74 .append((id, sit
1ee0: 65 2c 20 69 70 5f 61 64 64 72 65 73 73 2c 20 75 e, ip_address, u
1ef0: 72 6c 5f 70 61 74 68 29 29 0a 09 09 73 65 6c 66 rl_path))...self
1f00: 2e 5f 6c 6f 67 2e 69 6e 66 6f 28 27 72 65 71 75 ._log.info('requ
1f10: 65 73 74 20 7b 7d 20 71 75 65 75 65 64 20 28 7b est {} queued ({
1f20: 7d 29 5c 6e 27 2e 66 6f 72 6d 61 74 28 69 64 2c })\n'.format(id,
1f30: 20 6c 69 6e 65 29 29 0a 0a 23 20 74 68 69 73 20 line))..# this
1f40: 63 6c 61 73 73 65 73 20 70 72 6f 63 65 73 73 65 classes processe
1f50: 73 20 63 6f 6e 66 69 67 20 66 69 6c 65 20 61 6e s config file an
1f60: 64 20 73 75 62 73 74 69 74 75 74 65 73 20 64 65 d substitutes de
1f70: 66 61 75 6c 74 20 76 61 6c 75 65 73 0a 63 6c 61 fault values.cla
1f80: 73 73 20 43 6f 6e 66 69 67 3a 0a 09 5f 5f 73 6c ss Config:..__sl
1f90: 6f 74 73 5f 5f 20 3d 20 66 72 6f 7a 65 6e 73 65 ots__ = frozense
1fa0: 74 28 5b 27 5f 63 6f 6e 66 69 67 27 2c 20 27 5f t(['_config', '_
1fb0: 64 65 66 61 75 6c 74 27 2c 20 27 5f 73 65 63 74 default', '_sect
1fc0: 69 6f 6e 27 2c 20 27 6f 70 74 69 6f 6e 73 27 5d ion', 'options']
1fd0: 29 0a 09 5f 64 65 66 61 75 6c 74 20 3d 20 7b 0a ).._default = {.
1fe0: 09 09 27 72 65 61 63 74 6f 72 27 3a 20 7b 0a 09 ..'reactor': {..
1ff0: 09 09 27 72 65 61 63 74 6f 72 27 3a 20 27 74 68 ..'reactor': 'th
2000: 72 65 61 64 27 2c 0a 09 09 7d 2c 0a 09 09 27 6c read',...},...'l
2010: 6f 67 27 3a 20 7b 0a 09 09 09 27 73 69 6c 65 6e og': {....'silen
2020: 74 27 3a 20 27 6e 6f 27 2c 0a 09 09 7d 2c 0a 09 t': 'no',...},..
2030: 09 27 64 61 74 61 62 61 73 65 27 3a 20 7b 0a 09 .'database': {..
2040: 09 09 27 68 6f 73 74 27 3a 20 27 6c 6f 63 61 6c ..'host': 'local
2050: 68 6f 73 74 27 2c 0a 09 09 09 27 64 61 74 61 62 host',....'datab
2060: 61 73 65 27 3a 20 27 73 71 75 69 64 54 61 67 27 ase': 'squidTag'
2070: 2c 0a 09 7d 2c 7d 0a 0a 09 23 20 66 75 6e 63 74 ,..},}...# funct
2080: 69 6f 6e 20 74 6f 20 72 65 61 64 20 69 6e 20 63 ion to read in c
2090: 6f 6e 66 69 67 20 66 69 6c 65 0a 09 64 65 66 20 onfig file..def
20a0: 5f 5f 69 6e 69 74 5f 5f 28 73 65 6c 66 29 3a 0a __init__(self):.
20b0: 09 09 69 6d 70 6f 72 74 20 63 6f 6e 66 69 67 70 ..import configp
20c0: 61 72 73 65 72 2c 20 6f 70 74 70 61 72 73 65 2c arser, optparse,
20d0: 20 6f 73 0a 0a 09 09 70 61 72 73 65 72 20 3d 20 os....parser =
20e0: 6f 70 74 70 61 72 73 65 2e 4f 70 74 69 6f 6e 50 optparse.OptionP
20f0: 61 72 73 65 72 28 29 0a 09 09 70 61 72 73 65 72 arser()...parser
2100: 2e 61 64 64 5f 6f 70 74 69 6f 6e 28 27 2d 63 27 .add_option('-c'
2110: 2c 20 27 2d 2d 63 6f 6e 66 69 67 27 2c 20 64 65 , '--config', de
2120: 73 74 20 3d 20 27 63 6f 6e 66 69 67 27 2c 0a 09 st = 'config',..
2130: 09 09 68 65 6c 70 20 3d 20 27 63 6f 6e 66 69 67 ..help = 'config
2140: 20 66 69 6c 65 20 6c 6f 63 61 74 69 6f 6e 27 2c file location',
2150: 20 6d 65 74 61 76 61 72 20 3d 20 27 46 49 4c 45 metavar = 'FILE
2160: 27 2c 0a 09 09 09 64 65 66 61 75 6c 74 20 3d 20 ',....default =
2170: 27 2f 75 73 72 2f 6c 6f 63 61 6c 2f 65 74 63 2f '/usr/local/etc/
2180: 73 71 75 69 64 2d 74 61 67 67 65 72 2e 63 6f 6e squid-tagger.con
2190: 66 27 29 0a 09 09 70 61 72 73 65 72 2e 61 64 64 f')...parser.add
21a0: 5f 6f 70 74 69 6f 6e 28 27 2d 64 27 2c 20 27 2d _option('-d', '-
21b0: 2d 64 75 6d 70 27 2c 20 64 65 73 74 20 3d 20 27 -dump', dest = '
21c0: 64 75 6d 70 27 2c 0a 09 09 09 68 65 6c 70 20 3d dump',....help =
21d0: 20 27 64 75 6d 70 20 64 61 74 61 62 61 73 65 27 'dump database'
21e0: 2c 20 61 63 74 69 6f 6e 20 3d 20 27 73 74 6f 72 , action = 'stor
21f0: 65 5f 74 72 75 65 27 2c 20 6d 65 74 61 76 61 72 e_true', metavar
2200: 20 3d 20 27 62 6f 6f 6c 27 2c 0a 09 09 09 64 65 = 'bool',....de
2210: 66 61 75 6c 74 20 3d 20 46 61 6c 73 65 29 0a 09 fault = False)..
2220: 09 70 61 72 73 65 72 2e 61 64 64 5f 6f 70 74 69 .parser.add_opti
2230: 6f 6e 28 27 2d 66 27 2c 20 27 2d 2d 66 6c 75 73 on('-f', '--flus
2240: 68 2d 64 61 74 61 62 61 73 65 27 2c 20 64 65 73 h-database', des
2250: 74 20 3d 20 27 66 6c 75 73 68 5f 64 62 27 2c 0a t = 'flush_db',.
2260: 09 09 09 68 65 6c 70 20 3d 20 27 66 6c 75 73 68 ...help = 'flush
2270: 20 70 72 65 76 69 6f 75 73 20 64 61 74 61 62 61 previous databa
2280: 73 65 20 6f 6e 20 6c 6f 61 64 27 2c 20 64 65 66 se on load', def
2290: 61 75 6c 74 20 3d 20 46 61 6c 73 65 2c 0a 09 09 ault = False,...
22a0: 09 61 63 74 69 6f 6e 20 3d 20 27 73 74 6f 72 65 .action = 'store
22b0: 5f 74 72 75 65 27 2c 20 6d 65 74 61 76 61 72 20 _true', metavar
22c0: 3d 20 27 62 6f 6f 6c 27 29 0a 09 09 70 61 72 73 = 'bool')...pars
22d0: 65 72 2e 61 64 64 5f 6f 70 74 69 6f 6e 28 27 2d er.add_option('-
22e0: 46 27 2c 20 27 2d 2d 66 6c 75 73 68 2d 73 69 74 F', '--flush-sit
22f0: 65 27 2c 20 64 65 73 74 20 3d 20 27 66 6c 75 73 e', dest = 'flus
2300: 68 5f 73 69 74 65 27 2c 0a 09 09 09 68 65 6c 70 h_site',....help
2310: 20 3d 20 27 77 68 65 6e 20 66 6c 75 73 68 69 6e = 'when flushin
2320: 67 20 70 72 65 76 69 6f 75 73 20 64 74 61 62 61 g previous dtaba
2330: 73 65 20 66 6c 75 73 68 20 73 69 74 65 20 69 6e se flush site in
2340: 64 65 78 20 74 6f 6f 27 2c 0a 09 09 09 61 63 74 dex too',....act
2350: 69 6f 6e 20 3d 20 27 73 74 6f 72 65 5f 74 72 75 ion = 'store_tru
2360: 65 27 2c 20 64 65 66 61 75 6c 74 20 3d 20 46 61 e', default = Fa
2370: 6c 73 65 2c 20 6d 65 74 61 76 61 72 20 3d 20 27 lse, metavar = '
2380: 62 6f 6f 6c 27 29 0a 09 09 70 61 72 73 65 72 2e bool')...parser.
2390: 61 64 64 5f 6f 70 74 69 6f 6e 28 27 2d 6c 27 2c add_option('-l',
23a0: 20 27 2d 2d 6c 6f 61 64 27 2c 20 64 65 73 74 20 '--load', dest
23b0: 3d 20 27 6c 6f 61 64 27 2c 0a 09 09 09 68 65 6c = 'load',....hel
23c0: 70 20 3d 20 27 6c 6f 61 64 20 64 61 74 61 62 61 p = 'load databa
23d0: 73 65 27 2c 20 61 63 74 69 6f 6e 20 3d 20 27 73 se', action = 's
23e0: 74 6f 72 65 5f 74 72 75 65 27 2c 20 6d 65 74 61 tore_true', meta
23f0: 76 61 72 20 3d 20 27 62 6f 6f 6c 27 2c 0a 09 09 var = 'bool',...
2400: 09 64 65 66 61 75 6c 74 20 3d 20 46 61 6c 73 65 .default = False
2410: 29 0a 09 09 70 61 72 73 65 72 2e 61 64 64 5f 6f )...parser.add_o
2420: 70 74 69 6f 6e 28 27 2d 44 27 2c 20 27 2d 2d 64 ption('-D', '--d
2430: 75 6d 70 2d 63 6f 6e 66 27 2c 20 64 65 73 74 20 ump-conf', dest
2440: 3d 20 27 64 75 6d 70 5f 63 6f 6e 66 27 2c 0a 09 = 'dump_conf',..
2450: 09 09 68 65 6c 70 20 3d 20 27 64 75 6d 70 20 66 ..help = 'dump f
2460: 69 6c 74 65 72 69 6e 67 20 72 75 6c 65 73 27 2c iltering rules',
2470: 20 64 65 66 61 75 6c 74 20 3d 20 46 61 6c 73 65 default = False
2480: 2c 20 6d 65 74 61 76 61 72 20 3d 20 27 62 6f 6f , metavar = 'boo
2490: 6c 27 2c 0a 09 09 09 61 63 74 69 6f 6e 20 3d 20 l',....action =
24a0: 27 73 74 6f 72 65 5f 74 72 75 65 27 29 0a 09 09 'store_true')...
24b0: 70 61 72 73 65 72 2e 61 64 64 5f 6f 70 74 69 6f parser.add_optio
24c0: 6e 28 27 2d 4c 27 2c 20 27 2d 2d 6c 6f 61 64 2d n('-L', '--load-
24d0: 63 6f 6e 66 27 2c 20 64 65 73 74 20 3d 20 27 6c conf', dest = 'l
24e0: 6f 61 64 5f 63 6f 6e 66 27 2c 0a 09 09 09 68 65 oad_conf',....he
24f0: 6c 70 20 3d 20 27 6c 6f 61 64 20 66 69 6c 74 65 lp = 'load filte
2500: 72 69 6e 67 20 72 75 6c 65 73 27 2c 20 64 65 66 ring rules', def
2510: 61 75 6c 74 20 3d 20 46 61 6c 73 65 2c 20 6d 65 ault = False, me
2520: 74 61 76 61 72 20 3d 20 27 62 6f 6f 6c 27 2c 0a tavar = 'bool',.
2530: 09 09 09 61 63 74 69 6f 6e 20 3d 20 27 73 74 6f ...action = 'sto
2540: 72 65 5f 74 72 75 65 27 29 0a 0a 09 09 28 73 65 re_true')....(se
2550: 6c 66 2e 6f 70 74 69 6f 6e 73 2c 20 61 72 67 73 lf.options, args
2560: 29 20 3d 20 70 61 72 73 65 72 2e 70 61 72 73 65 ) = parser.parse
2570: 5f 61 72 67 73 28 29 0a 0a 09 09 61 73 73 65 72 _args()....asser
2580: 74 20 6f 73 2e 61 63 63 65 73 73 28 73 65 6c 66 t os.access(self
2590: 2e 6f 70 74 69 6f 6e 73 2e 63 6f 6e 66 69 67 2c .options.config,
25a0: 20 6f 73 2e 52 5f 4f 4b 29 2c 20 22 46 61 74 61 os.R_OK), "Fata
25b0: 6c 20 65 72 72 6f 72 3a 20 63 61 6e 27 74 20 72 l error: can't r
25c0: 65 61 64 20 7b 7d 22 2e 66 6f 72 6d 61 74 28 73 ead {}".format(s
25d0: 65 6c 66 2e 6f 70 74 69 6f 6e 73 2e 63 6f 6e 66 elf.options.conf
25e0: 69 67 29 0a 0a 09 09 73 65 6c 66 2e 5f 63 6f 6e ig)....self._con
25f0: 66 69 67 20 3d 20 63 6f 6e 66 69 67 70 61 72 73 fig = configpars
2600: 65 72 2e 43 6f 6e 66 69 67 50 61 72 73 65 72 28 er.ConfigParser(
2610: 29 0a 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 )...self._config
2620: 2e 72 65 61 64 66 70 28 6f 70 65 6e 28 73 65 6c .readfp(open(sel
2630: 66 2e 6f 70 74 69 6f 6e 73 2e 63 6f 6e 66 69 67 f.options.config
2640: 29 29 0a 0a 09 23 20 66 75 6e 63 74 69 6f 6e 20 ))...# function
2650: 74 6f 20 73 65 6c 65 63 74 20 63 6f 6e 66 69 67 to select config
2660: 20 66 69 6c 65 20 73 65 63 74 69 6f 6e 20 6f 72 file section or
2670: 20 63 72 65 61 74 65 20 6f 6e 65 0a 09 64 65 66 create one..def
2680: 20 73 65 63 74 69 6f 6e 28 73 65 6c 66 2c 20 73 section(self, s
2690: 65 63 74 69 6f 6e 29 3a 0a 09 09 69 66 20 6e 6f ection):...if no
26a0: 74 20 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 68 t self._config.h
26b0: 61 73 5f 73 65 63 74 69 6f 6e 28 73 65 63 74 69 as_section(secti
26c0: 6f 6e 29 3a 0a 09 09 09 73 65 6c 66 2e 5f 63 6f on):....self._co
26d0: 6e 66 69 67 2e 61 64 64 5f 73 65 63 74 69 6f 6e nfig.add_section
26e0: 28 73 65 63 74 69 6f 6e 29 0a 09 09 73 65 6c 66 (section)...self
26f0: 2e 5f 73 65 63 74 69 6f 6e 20 3d 20 73 65 63 74 ._section = sect
2700: 69 6f 6e 0a 0a 09 23 20 66 75 6e 63 74 69 6f 6e ion...# function
2710: 20 74 6f 20 67 65 74 20 63 6f 6e 66 69 67 20 70 to get config p
2720: 61 72 61 6d 65 74 65 72 2c 20 69 66 20 70 61 72 arameter, if par
2730: 61 6d 65 74 65 72 20 64 6f 65 73 6e 27 74 20 65 ameter doesn't e
2740: 78 69 73 74 73 20 74 68 65 20 64 65 66 61 75 6c xists the defaul
2750: 74 0a 09 23 20 76 61 6c 75 65 20 6f 72 20 4e 6f t..# value or No
2760: 6e 65 20 69 73 20 73 75 62 73 74 69 74 75 74 65 ne is substitute
2770: 64 0a 09 64 65 66 20 5f 5f 67 65 74 69 74 65 6d d..def __getitem
2780: 5f 5f 28 73 65 6c 66 2c 20 6e 61 6d 65 29 3a 0a __(self, name):.
2790: 09 09 69 66 20 6e 6f 74 20 73 65 6c 66 2e 5f 63 ..if not self._c
27a0: 6f 6e 66 69 67 2e 68 61 73 5f 6f 70 74 69 6f 6e onfig.has_option
27b0: 28 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 2c 20 (self._section,
27c0: 6e 61 6d 65 29 3a 0a 09 09 09 69 66 20 73 65 6c name):....if sel
27d0: 66 2e 5f 73 65 63 74 69 6f 6e 20 69 6e 20 73 65 f._section in se
27e0: 6c 66 2e 5f 64 65 66 61 75 6c 74 3a 0a 09 09 09 lf._default:....
27f0: 09 69 66 20 6e 61 6d 65 20 69 6e 20 73 65 6c 66 .if name in self
2800: 2e 5f 64 65 66 61 75 6c 74 5b 73 65 6c 66 2e 5f ._default[self._
2810: 73 65 63 74 69 6f 6e 5d 3a 0a 09 09 09 09 09 73 section]:......s
2820: 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 73 65 74 28 elf._config.set(
2830: 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e self._section, n
2840: 61 6d 65 2c 20 73 65 6c 66 2e 5f 64 65 66 61 75 ame, self._defau
2850: 6c 74 5b 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e lt[self._section
2860: 5d 5b 6e 61 6d 65 5d 29 0a 09 09 09 09 65 6c 73 ][name]).....els
2870: 65 3a 0a 09 09 09 09 09 73 65 6c 66 2e 5f 63 6f e:......self._co
2880: 6e 66 69 67 2e 73 65 74 28 73 65 6c 66 2e 5f 73 nfig.set(self._s
2890: 65 63 74 69 6f 6e 2c 20 6e 61 6d 65 2c 20 4e 6f ection, name, No
28a0: 6e 65 29 0a 09 09 09 65 6c 73 65 3a 0a 09 09 09 ne)....else:....
28b0: 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 73 65 .self._config.se
28c0: 74 28 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 2c t(self._section,
28d0: 20 6e 61 6d 65 2c 20 4e 6f 6e 65 29 0a 09 09 72 name, None)...r
28e0: 65 74 75 72 6e 28 73 65 6c 66 2e 5f 63 6f 6e 66 eturn(self._conf
28f0: 69 67 2e 67 65 74 28 73 65 6c 66 2e 5f 73 65 63 ig.get(self._sec
2900: 74 69 6f 6e 2c 20 6e 61 6d 65 29 29 0a 0a 23 20 tion, name))..#
2910: 69 6e 69 74 69 61 6c 69 7a 69 6e 67 20 61 6e 64 initializing and
2920: 20 72 65 61 64 69 6e 67 20 69 6e 20 63 6f 6e 66 reading in conf
2930: 69 67 20 66 69 6c 65 0a 63 6f 6e 66 69 67 20 3d ig file.config =
2940: 20 43 6f 6e 66 69 67 28 29 0a 0a 69 66 20 63 6f Config()..if co
2950: 6e 66 69 67 2e 6f 70 74 69 6f 6e 73 2e 64 75 6d nfig.options.dum
2960: 70 20 6f 72 20 63 6f 6e 66 69 67 2e 6f 70 74 69 p or config.opti
2970: 6f 6e 73 2e 6c 6f 61 64 20 6f 72 20 63 6f 6e 66 ons.load or conf
2980: 69 67 2e 6f 70 74 69 6f 6e 73 2e 64 75 6d 70 5f ig.options.dump_
2990: 63 6f 6e 66 20 6f 72 20 63 6f 6e 66 69 67 2e 6f conf or config.o
29a0: 70 74 69 6f 6e 73 2e 6c 6f 61 64 5f 63 6f 6e 66 ptions.load_conf
29b0: 3a 0a 09 69 6d 70 6f 72 74 20 63 73 76 0a 0a 09 :..import csv...
29c0: 74 61 67 64 62 20 3d 20 74 61 67 44 42 28 29 0a tagdb = tagDB().
29d0: 09 64 61 74 61 5f 66 69 65 6c 64 73 20 3d 20 5b .data_fields = [
29e0: 27 73 69 74 65 27 2c 20 27 74 61 67 73 27 2c 20 'site', 'tags',
29f0: 27 72 65 67 65 78 70 27 5d 0a 09 63 6f 6e 66 5f 'regexp']..conf_
2a00: 66 69 65 6c 64 73 20 3d 20 5b 27 6e 65 74 6d 61 fields = ['netma
2a10: 73 6b 27 2c 20 27 72 65 64 69 72 65 63 74 5f 75 sk', 'redirect_u
2a20: 72 6c 27 2c 20 27 66 72 6f 6d 5f 77 65 65 6b 64 rl', 'from_weekd
2a30: 61 79 27 2c 20 27 74 6f 5f 77 65 65 6b 64 61 79 ay', 'to_weekday
2a40: 27 2c 20 27 66 72 6f 6d 5f 74 69 6d 65 27 2c 20 ', 'from_time',
2a50: 27 74 6f 5f 74 69 6d 65 27 2c 20 27 74 61 67 27 'to_time', 'tag'
2a60: 5d 0a 0a 09 69 66 20 63 6f 6e 66 69 67 2e 6f 70 ]...if config.op
2a70: 74 69 6f 6e 73 2e 64 75 6d 70 20 6f 72 20 63 6f tions.dump or co
2a80: 6e 66 69 67 2e 6f 70 74 69 6f 6e 73 2e 64 75 6d nfig.options.dum
2a90: 70 5f 63 6f 6e 66 3a 0a 09 09 63 73 76 5f 77 72 p_conf:...csv_wr
2aa0: 69 74 65 72 20 3d 20 63 73 76 2e 77 72 69 74 65 iter = csv.write
2ab0: 72 28 73 79 73 2e 73 74 64 6f 75 74 29 0a 09 09 r(sys.stdout)...
2ac0: 69 66 20 63 6f 6e 66 69 67 2e 6f 70 74 69 6f 6e if config.option
2ad0: 73 2e 64 75 6d 70 3a 0a 09 09 09 23 20 64 75 6d s.dump:....# dum
2ae0: 70 69 6e 67 20 64 61 74 61 62 61 73 65 0a 09 09 ping database...
2af0: 09 63 73 76 5f 77 72 69 74 65 72 2e 77 72 69 74 .csv_writer.writ
2b00: 65 72 6f 77 28 64 61 74 61 5f 66 69 65 6c 64 73 erow(data_fields
2b10: 29 0a 09 09 09 66 6f 72 20 72 6f 77 20 69 6e 20 )....for row in
2b20: 74 61 67 64 62 2e 64 75 6d 70 28 29 3a 0a 09 09 tagdb.dump():...
2b30: 09 09 63 73 76 5f 77 72 69 74 65 72 2e 77 72 69 ..csv_writer.wri
2b40: 74 65 72 6f 77 28 5b 72 6f 77 5b 30 5d 2c 20 27 terow([row[0], '
2b50: 7b 27 20 2b 20 27 2c 27 2e 6a 6f 69 6e 28 72 6f {' + ','.join(ro
2b60: 77 5b 31 5d 29 20 2b 20 27 7d 27 2c 20 72 6f 77 w[1]) + '}', row
2b70: 5b 32 5d 5d 29 0a 0a 09 09 65 6c 69 66 20 63 6f [2]])....elif co
2b80: 6e 66 69 67 2e 6f 70 74 69 6f 6e 73 2e 64 75 6d nfig.options.dum
2b90: 70 5f 63 6f 6e 66 3a 0a 09 09 09 23 20 64 75 6d p_conf:....# dum
2ba0: 70 69 6e 67 20 72 75 6c 65 73 0a 09 09 09 63 73 ping rules....cs
2bb0: 76 5f 77 72 69 74 65 72 2e 77 72 69 74 65 72 6f v_writer.writero
2bc0: 77 28 63 6f 6e 66 5f 66 69 65 6c 64 73 29 0a 09 w(conf_fields)..
2bd0: 09 09 66 6f 72 20 72 6f 77 20 69 6e 20 74 61 67 ..for row in tag
2be0: 64 62 2e 64 75 6d 70 5f 63 6f 6e 66 28 29 3a 0a db.dump_conf():.
2bf0: 09 09 09 09 63 73 76 5f 77 72 69 74 65 72 2e 77 ....csv_writer.w
2c00: 72 69 74 65 72 6f 77 28 5b 72 6f 77 5b 30 5d 2c riterow([row[0],
2c10: 20 72 6f 77 5b 31 5d 2c 20 72 6f 77 5b 32 5d 2c row[1], row[2],
2c20: 20 72 6f 77 5b 33 5d 2c 20 72 6f 77 5b 34 5d 2c row[3], row[4],
2c30: 20 72 6f 77 5b 35 5d 2c 20 27 7b 27 20 2b 20 27 row[5], '{' + '
2c40: 2c 27 2e 6a 6f 69 6e 28 72 6f 77 5b 36 5d 29 20 ,'.join(row[6])
2c50: 2b 20 27 7d 27 5d 29 0a 0a 09 65 6c 69 66 20 63 + '}'])...elif c
2c60: 6f 6e 66 69 67 2e 6f 70 74 69 6f 6e 73 2e 6c 6f onfig.options.lo
2c70: 61 64 20 6f 72 20 63 6f 6e 66 69 67 2e 6f 70 74 ad or config.opt
2c80: 69 6f 6e 73 2e 6c 6f 61 64 5f 63 6f 6e 66 3a 0a ions.load_conf:.
2c90: 09 09 63 73 76 5f 72 65 61 64 65 72 20 3d 20 63 ..csv_reader = c
2ca0: 73 76 2e 72 65 61 64 65 72 28 73 79 73 2e 73 74 sv.reader(sys.st
2cb0: 64 69 6e 29 0a 09 09 66 69 72 73 74 5f 72 6f 77 din)...first_row
2cc0: 20 3d 20 6e 65 78 74 28 63 73 76 5f 72 65 61 64 = next(csv_read
2cd0: 65 72 29 0a 0a 09 09 69 66 20 63 6f 6e 66 69 67 er)....if config
2ce0: 2e 6f 70 74 69 6f 6e 73 2e 6c 6f 61 64 3a 0a 09 .options.load:..
2cf0: 09 09 23 20 6c 6f 61 64 69 6e 67 20 64 61 74 61 ..# loading data
2d00: 62 61 73 65 0a 09 09 09 61 73 73 65 72 74 20 66 base....assert f
2d10: 69 72 73 74 5f 72 6f 77 20 3d 3d 20 64 61 74 61 irst_row == data
2d20: 5f 66 69 65 6c 64 73 2c 20 27 46 69 6c 65 20 6d _fields, 'File m
2d30: 75 73 74 20 63 6f 6e 74 61 69 6e 20 63 73 76 20 ust contain csv
2d40: 64 61 74 61 20 77 69 74 68 20 74 68 65 65 73 65 data with theese
2d50: 20 63 6f 6c 75 6d 6e 73 3a 20 27 20 2b 20 64 61 columns: ' + da
2d60: 74 61 5f 66 69 65 6c 64 73 0a 0a 09 09 09 74 61 ta_fields.....ta
2d70: 67 64 62 2e 6c 6f 61 64 28 63 73 76 5f 72 65 61 gdb.load(csv_rea
2d80: 64 65 72 29 0a 0a 09 09 65 6c 69 66 20 63 6f 6e der)....elif con
2d90: 66 69 67 2e 6f 70 74 69 6f 6e 73 2e 6c 6f 61 64 fig.options.load
2da0: 5f 63 6f 6e 66 3a 0a 09 09 09 23 20 6c 6f 61 64 _conf:....# load
2db0: 69 6e 67 20 64 61 74 61 62 61 73 65 0a 09 09 09 ing database....
2dc0: 61 73 73 65 72 74 20 66 69 72 73 74 5f 72 6f 77 assert first_row
2dd0: 20 3d 3d 20 63 6f 6e 66 5f 66 69 65 6c 64 73 2c == conf_fields,
2de0: 20 27 46 69 6c 65 20 6d 75 73 74 20 63 6f 6e 74 'File must cont
2df0: 61 69 6e 20 63 73 76 20 64 61 74 61 20 77 69 74 ain csv data wit
2e00: 68 20 74 68 65 65 73 65 20 63 6f 6c 75 6d 6e 73 h theese columns
2e10: 3a 20 27 20 2b 20 63 6f 6e 66 5f 66 69 65 6c 64 : ' + conf_field
2e20: 73 0a 0a 09 09 09 74 61 67 64 62 2e 6c 6f 61 64 s.....tagdb.load
2e30: 5f 63 6f 6e 66 28 63 73 76 5f 72 65 61 64 65 72 _conf(csv_reader
2e40: 29 0a 0a 65 6c 73 65 3a 0a 09 23 20 6d 61 69 6e )..else:..# main
2e50: 20 6c 6f 6f 70 0a 09 63 6f 6e 66 69 67 2e 73 65 loop..config.se
2e60: 63 74 69 6f 6e 28 27 72 65 61 63 74 6f 72 27 29 ction('reactor')
2e70: 0a 09 69 66 20 63 6f 6e 66 69 67 5b 27 72 65 61 ..if config['rea
2e80: 63 74 6f 72 27 5d 20 3d 3d 20 27 74 68 72 65 61 ctor'] == 'threa
2e90: 64 27 3a 0a 09 09 63 68 65 63 6b 65 72 20 3d 20 d':...checker =
2ea0: 43 68 65 63 6b 65 72 54 68 72 65 61 64 28 29 0a CheckerThread().
2eb0: 09 65 6c 69 66 20 63 6f 6e 66 69 67 5b 27 72 65 .elif config['re
2ec0: 61 63 74 6f 72 27 5d 20 3d 3d 20 27 70 6c 61 69 actor'] == 'plai
2ed0: 6e 27 3a 0a 09 09 63 68 65 63 6b 65 72 20 3d 20 n':...checker =
2ee0: 43 68 65 63 6b 65 72 28 29 0a 09 65 6c 69 66 20 Checker()..elif
2ef0: 63 6f 6e 66 69 67 5b 27 72 65 61 63 74 6f 72 27 config['reactor'
2f00: 5d 20 3d 3d 20 27 6b 71 75 65 75 65 27 3a 0a 09 ] == 'kqueue':..
2f10: 09 63 68 65 63 6b 65 72 20 3d 20 43 68 65 63 6b .checker = Check
2f20: 65 72 4b 71 75 65 75 65 28 29 0a 0a 09 63 68 65 erKqueue()...che
2f30: 63 6b 65 72 2e 6c 6f 6f 70 28 29 0a cker.loop().