0000: 23 21 2f 75 73 72 2f 62 69 6e 2f 65 6e 76 20 70 #!/usr/bin/env p
0010: 79 74 68 6f 6e 33 2e 31 0a 0a 69 6d 70 6f 72 74 ython3.1..import
0020: 20 70 6f 73 74 67 72 65 73 71 6c 2e 61 70 69 2c postgresql.api,
0030: 20 72 65 2c 20 73 79 73 0a 0a 23 20 77 72 61 70 re, sys..# wrap
0040: 70 65 72 20 61 72 6f 75 6e 64 20 73 79 73 6c 6f per around syslo
0050: 67 2c 20 63 61 6e 20 62 65 20 6d 75 74 65 64 0a g, can be muted.
0060: 63 6c 61 73 73 20 4c 6f 67 67 65 72 3a 0a 09 5f class Logger:.._
0070: 5f 73 6c 6f 74 73 5f 5f 20 3d 20 66 72 6f 7a 65 _slots__ = froze
0080: 6e 73 65 74 28 5b 27 5f 73 79 73 6c 6f 67 27 5d nset(['_syslog']
0090: 29 0a 0a 09 64 65 66 20 5f 5f 69 6e 69 74 5f 5f )...def __init__
00a0: 28 73 65 6c 66 29 3a 0a 09 09 63 6f 6e 66 69 67 (self):...config
00b0: 2e 73 65 63 74 69 6f 6e 28 27 6c 6f 67 27 29 0a .section('log').
00c0: 09 09 69 66 20 63 6f 6e 66 69 67 5b 27 73 69 6c ..if config['sil
00d0: 65 6e 74 27 5d 20 3d 3d 20 27 79 65 73 27 3a 0a ent'] == 'yes':.
00e0: 09 09 09 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 20 ...self._syslog
00f0: 3d 20 4e 6f 6e 65 0a 09 09 65 6c 73 65 3a 0a 09 = None...else:..
0100: 09 09 69 6d 70 6f 72 74 20 73 79 73 6c 6f 67 0a ..import syslog.
0110: 09 09 09 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 20 ...self._syslog
0120: 3d 20 73 79 73 6c 6f 67 0a 09 09 09 73 65 6c 66 = syslog....self
0130: 2e 5f 73 79 73 6c 6f 67 2e 6f 70 65 6e 6c 6f 67 ._syslog.openlog
0140: 28 27 73 71 75 69 64 54 61 67 27 29 0a 0a 09 64 ('squidTag')...d
0150: 65 66 20 69 6e 66 6f 28 73 65 6c 66 2c 20 6d 65 ef info(self, me
0160: 73 73 61 67 65 29 3a 0a 09 09 69 66 20 73 65 6c ssage):...if sel
0170: 66 2e 5f 73 79 73 6c 6f 67 3a 0a 09 09 09 73 65 f._syslog:....se
0180: 6c 66 2e 5f 73 79 73 6c 6f 67 2e 73 79 73 6c 6f lf._syslog.syslo
0190: 67 28 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 2e 4c g(self._syslog.L
01a0: 4f 47 5f 49 4e 46 4f 2c 20 6d 65 73 73 61 67 65 OG_INFO, message
01b0: 29 0a 0a 09 64 65 66 20 6e 6f 74 69 63 65 28 73 )...def notice(s
01c0: 65 6c 66 2c 20 6d 65 73 73 61 67 65 29 3a 0a 09 elf, message):..
01d0: 09 69 66 20 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 .if self._syslog
01e0: 3a 0a 09 09 09 73 65 6c 66 2e 5f 73 79 73 6c 6f :....self._syslo
01f0: 67 2e 73 79 73 6c 6f 67 28 73 65 6c 66 2e 5f 73 g.syslog(self._s
0200: 79 73 6c 6f 67 2e 4c 4f 47 5f 4e 4f 54 49 43 45 yslog.LOG_NOTICE
0210: 2c 20 6d 65 73 73 61 67 65 29 0a 0a 23 20 77 72 , message)..# wr
0220: 61 70 70 65 72 20 61 72 6f 75 6e 64 20 64 61 74 apper around dat
0230: 61 62 61 73 65 0a 63 6c 61 73 73 20 74 61 67 44 abase.class tagD
0240: 42 3a 0a 09 5f 5f 73 6c 6f 74 73 5f 5f 20 3d 20 B:..__slots__ =
0250: 66 72 6f 7a 65 6e 73 65 74 28 28 27 5f 63 68 65 frozenset(('_che
0260: 63 6b 5f 73 74 6d 74 27 2c 20 27 5f 64 62 27 2c ck_stmt', '_db',
0270: 20 27 5f 64 75 6d 70 5f 73 74 6d 74 27 29 29 0a '_dump_stmt')).
0280: 0a 09 64 65 66 20 5f 5f 69 6e 69 74 5f 5f 28 73 ..def __init__(s
0290: 65 6c 66 29 3a 0a 09 09 63 6f 6e 66 69 67 2e 73 elf):...config.s
02a0: 65 63 74 69 6f 6e 28 27 64 61 74 61 62 61 73 65 ection('database
02b0: 27 29 0a 09 09 73 65 6c 66 2e 5f 64 62 20 3d 20 ')...self._db =
02c0: 70 6f 73 74 67 72 65 73 71 6c 2e 6f 70 65 6e 28 postgresql.open(
02d0: 0a 09 09 09 27 70 71 3a 2f 2f 7b 7d 3a 7b 7d 40 ....'pq://{}:{}@
02e0: 7b 7d 2f 7b 7d 27 2e 66 6f 72 6d 61 74 28 0a 09 {}/{}'.format(..
02f0: 09 09 09 63 6f 6e 66 69 67 5b 27 75 73 65 72 27 ...config['user'
0300: 5d 2c 0a 09 09 09 09 63 6f 6e 66 69 67 5b 27 70 ],.....config['p
0310: 61 73 73 77 6f 72 64 27 5d 2c 0a 09 09 09 09 63 assword'],.....c
0320: 6f 6e 66 69 67 5b 27 68 6f 73 74 27 5d 2c 0a 09 onfig['host'],..
0330: 09 09 09 63 6f 6e 66 69 67 5b 27 64 61 74 61 62 ...config['datab
0340: 61 73 65 27 5d 2c 0a 09 09 29 20 29 0a 09 09 73 ase'],...) )...s
0350: 65 6c 66 2e 5f 63 68 65 63 6b 5f 73 74 6d 74 20 elf._check_stmt
0360: 3d 20 4e 6f 6e 65 0a 09 09 73 65 6c 66 2e 5f 64 = None...self._d
0370: 75 6d 70 5f 73 74 6d 74 20 3d 20 4e 6f 6e 65 0a ump_stmt = None.
0380: 0a 09 64 65 66 20 63 68 65 63 6b 28 73 65 6c 66 ..def check(self
0390: 2c 20 73 69 74 65 2c 20 69 70 5f 61 64 64 72 65 , site, ip_addre
03a0: 73 73 29 3a 0a 09 09 69 66 20 73 65 6c 66 2e 5f ss):...if self._
03b0: 63 68 65 63 6b 5f 73 74 6d 74 20 3d 3d 20 4e 6f check_stmt == No
03c0: 6e 65 3a 0a 09 09 09 73 65 6c 66 2e 5f 63 68 65 ne:....self._che
03d0: 63 6b 5f 73 74 6d 74 20 3d 20 73 65 6c 66 2e 5f ck_stmt = self._
03e0: 64 62 2e 70 72 65 70 61 72 65 28 22 73 65 6c 65 db.prepare("sele
03f0: 63 74 20 72 65 64 69 72 65 63 74 5f 75 72 6c 2c ct redirect_url,
0400: 20 72 65 67 65 78 70 20 66 72 6f 6d 20 73 69 74 regexp from sit
0410: 65 5f 72 75 6c 65 20 77 68 65 72 65 20 73 69 74 e_rule where sit
0420: 65 20 3c 40 20 74 72 69 70 64 6f 6d 61 69 6e 28 e <@ tripdomain(
0430: 24 31 29 20 61 6e 64 20 6e 65 74 6d 61 73 6b 20 $1) and netmask
0440: 3e 3e 20 24 32 3a 3a 74 65 78 74 3a 3a 69 6e 65 >> $2::text::ine
0450: 74 20 6f 72 64 65 72 20 62 79 20 61 72 72 61 79 t order by array
0460: 5f 6c 65 6e 67 74 68 28 73 69 74 65 2c 20 31 29 _length(site, 1)
0470: 20 64 65 73 63 22 29 0a 09 09 72 65 74 75 72 6e desc")...return
0480: 28 73 65 6c 66 2e 5f 63 68 65 63 6b 5f 73 74 6d (self._check_stm
0490: 74 28 73 69 74 65 2c 20 69 70 5f 61 64 64 72 65 t(site, ip_addre
04a0: 73 73 29 29 0a 0a 09 64 65 66 20 64 75 6d 70 28 ss))...def dump(
04b0: 73 65 6c 66 29 3a 0a 09 09 69 66 20 73 65 6c 66 self):...if self
04c0: 2e 5f 64 75 6d 70 5f 73 74 6d 74 20 3d 3d 20 4e ._dump_stmt == N
04d0: 6f 6e 65 3a 0a 09 09 09 73 65 6c 66 2e 5f 64 75 one:....self._du
04e0: 6d 70 5f 73 74 6d 74 20 3d 20 73 65 6c 66 2e 5f mp_stmt = self._
04f0: 64 62 2e 70 72 65 70 61 72 65 28 22 73 65 6c 65 db.prepare("sele
0500: 63 74 20 75 6e 74 72 69 70 28 73 69 74 65 29 2c ct untrip(site),
0510: 20 74 61 67 2c 20 72 65 67 65 78 70 20 66 72 6f tag, regexp fro
0520: 6d 20 75 72 6c 73 20 6e 61 74 75 72 61 6c 20 6a m urls natural j
0530: 6f 69 6e 20 73 69 74 65 20 6e 61 74 75 72 61 6c oin site natural
0540: 20 6a 6f 69 6e 20 74 61 67 20 6f 72 64 65 72 20 join tag order
0550: 62 79 20 73 69 74 65 2c 20 74 61 67 22 29 0a 09 by site, tag")..
0560: 09 72 65 74 75 72 6e 28 73 65 6c 66 2e 5f 64 75 .return(self._du
0570: 6d 70 5f 73 74 6d 74 28 29 29 0a 0a 09 64 65 66 mp_stmt())...def
0580: 20 6c 6f 61 64 28 73 65 6c 66 2c 20 63 73 76 5f load(self, csv_
0590: 64 61 74 61 29 3a 0a 09 09 77 69 74 68 20 73 65 data):...with se
05a0: 6c 66 2e 5f 64 62 2e 78 61 63 74 28 29 3a 0a 09 lf._db.xact():..
05b0: 09 09 69 66 20 63 6f 6e 66 69 67 2e 6f 70 74 69 ..if config.opti
05c0: 6f 6e 73 2e 66 6c 75 73 68 5f 64 62 3a 0a 09 09 ons.flush_db:...
05d0: 09 09 73 65 6c 66 2e 5f 64 62 2e 65 78 65 63 75 ..self._db.execu
05e0: 74 65 28 27 64 65 6c 65 74 65 20 66 72 6f 6d 20 te('delete from
05f0: 75 72 6c 73 3b 27 29 0a 09 09 09 09 69 66 20 63 urls;').....if c
0600: 6f 6e 66 69 67 2e 6f 70 74 69 6f 6e 73 2e 66 6c onfig.options.fl
0610: 75 73 68 5f 73 69 74 65 3a 0a 09 09 09 09 09 73 ush_site:......s
0620: 65 6c 66 2e 5f 64 62 2e 65 78 65 63 75 74 65 28 elf._db.execute(
0630: 27 64 65 6c 65 74 65 20 66 72 6f 6d 20 73 69 74 'delete from sit
0640: 65 3b 27 29 3b 0a 09 09 09 69 6e 73 65 72 74 72 e;');....insertr
0650: 65 67 20 3d 20 73 65 6c 66 2e 5f 64 62 2e 70 72 eg = self._db.pr
0660: 65 70 61 72 65 28 22 73 65 6c 65 63 74 20 73 65 epare("select se
0670: 74 28 24 31 2c 20 24 32 2c 20 24 33 29 22 29 0a t($1, $2, $3)").
0680: 09 09 09 69 6e 73 65 72 74 20 3d 20 73 65 6c 66 ...insert = self
0690: 2e 5f 64 62 2e 70 72 65 70 61 72 65 28 22 73 65 ._db.prepare("se
06a0: 6c 65 63 74 20 73 65 74 28 24 31 2c 20 24 32 29 lect set($1, $2)
06b0: 22 29 0a 09 09 09 66 6f 72 20 72 6f 77 20 69 6e ")....for row in
06c0: 20 63 73 76 5f 64 61 74 61 3a 0a 09 09 09 09 69 csv_data:.....i
06d0: 66 20 6c 65 6e 28 72 6f 77 5b 32 5d 29 20 3e 20 f len(row[2]) >
06e0: 30 3a 0a 09 09 09 09 09 69 6e 73 65 72 74 72 65 0:......insertre
06f0: 67 28 72 6f 77 5b 30 5d 2c 20 72 6f 77 5b 31 5d g(row[0], row[1]
0700: 2c 20 72 6f 77 5b 32 5d 29 0a 09 09 09 09 65 6c , row[2]).....el
0710: 73 65 3a 0a 09 09 09 09 09 69 6e 73 65 72 74 28 se:......insert(
0720: 72 6f 77 5b 30 5d 2c 20 72 6f 77 5b 31 5d 29 0a row[0], row[1]).
0730: 09 09 73 65 6c 66 2e 5f 64 62 2e 65 78 65 63 75 ..self._db.execu
0740: 74 65 28 27 76 61 63 75 75 6d 20 61 6e 61 6c 79 te('vacuum analy
0750: 7a 65 20 73 69 74 65 3b 27 29 0a 09 09 73 65 6c ze site;')...sel
0760: 66 2e 5f 64 62 2e 65 78 65 63 75 74 65 28 27 76 f._db.execute('v
0770: 61 63 75 75 6d 20 61 6e 61 6c 79 7a 65 20 75 72 acuum analyze ur
0780: 6c 73 3b 27 29 0a 0a 23 20 61 62 73 74 72 61 63 ls;')..# abstrac
0790: 74 20 63 6c 61 73 73 20 77 69 74 68 20 62 61 73 t class with bas
07a0: 69 63 20 63 68 65 63 6b 69 6e 67 20 66 75 6e 63 ic checking func
07b0: 74 69 6f 6e 61 6c 69 74 79 0a 63 6c 61 73 73 20 tionality.class
07c0: 43 68 65 63 6b 65 72 3a 0a 09 5f 5f 73 6c 6f 74 Checker:..__slot
07d0: 73 5f 5f 20 3d 20 66 72 6f 7a 65 6e 73 65 74 28 s__ = frozenset(
07e0: 5b 27 5f 64 62 27 2c 20 27 5f 6c 6f 67 27 5d 29 ['_db', '_log'])
07f0: 0a 0a 09 64 65 66 20 5f 5f 69 6e 69 74 5f 5f 28 ...def __init__(
0800: 73 65 6c 66 29 3a 0a 09 09 73 65 6c 66 2e 5f 64 self):...self._d
0810: 62 20 3d 20 74 61 67 44 42 28 29 0a 09 09 73 65 b = tagDB()...se
0820: 6c 66 2e 5f 6c 6f 67 20 3d 20 4c 6f 67 67 65 72 lf._log = Logger
0830: 28 29 0a 09 09 73 65 6c 66 2e 5f 6c 6f 67 2e 69 ()...self._log.i
0840: 6e 66 6f 28 27 73 74 61 72 74 65 64 5c 6e 27 29 nfo('started\n')
0850: 0a 0a 09 64 65 66 20 70 72 6f 63 65 73 73 28 73 ...def process(s
0860: 65 6c 66 2c 20 69 64 2c 20 73 69 74 65 2c 20 69 elf, id, site, i
0870: 70 5f 61 64 64 72 65 73 73 2c 20 75 72 6c 5f 70 p_address, url_p
0880: 61 74 68 2c 20 6c 69 6e 65 20 3d 20 4e 6f 6e 65 ath, line = None
0890: 29 3a 0a 09 09 73 65 6c 66 2e 5f 6c 6f 67 2e 69 ):...self._log.i
08a0: 6e 66 6f 28 27 74 72 79 69 6e 67 20 7b 7d 5c 6e nfo('trying {}\n
08b0: 27 2e 66 6f 72 6d 61 74 28 73 69 74 65 29 29 0a '.format(site)).
08c0: 09 09 72 65 73 75 6c 74 20 3d 20 73 65 6c 66 2e ..result = self.
08d0: 5f 64 62 2e 63 68 65 63 6b 28 73 69 74 65 2c 20 _db.check(site,
08e0: 69 70 5f 61 64 64 72 65 73 73 29 0a 09 09 72 65 ip_address)...re
08f0: 70 6c 79 20 3d 20 27 2d 27 0a 09 09 66 6f 72 20 ply = '-'...for
0900: 72 6f 77 20 69 6e 20 72 65 73 75 6c 74 3a 0a 09 row in result:..
0910: 09 09 69 66 20 72 6f 77 20 21 3d 20 4e 6f 6e 65 ..if row != None
0920: 20 61 6e 64 20 72 6f 77 5b 30 5d 20 21 3d 20 4e and row[0] != N
0930: 6f 6e 65 3a 0a 09 09 09 09 69 66 20 72 6f 77 5b one:.....if row[
0940: 31 5d 20 21 3d 20 4e 6f 6e 65 3a 0a 09 09 09 09 1] != None:.....
0950: 09 73 65 6c 66 2e 5f 6c 6f 67 2e 69 6e 66 6f 28 .self._log.info(
0960: 27 74 72 79 69 6e 67 20 72 65 67 65 78 70 20 22 'trying regexp "
0970: 7b 7d 22 20 76 65 72 73 75 73 20 22 7b 7d 22 5c {}" versus "{}"\
0980: 6e 27 2e 66 6f 72 6d 61 74 28 72 6f 77 5b 31 5d n'.format(row[1]
0990: 2c 20 75 72 6c 5f 70 61 74 68 29 29 0a 09 09 09 , url_path))....
09a0: 09 09 74 72 79 3a 0a 09 09 09 09 09 09 69 66 20 ..try:.......if
09b0: 72 65 2e 63 6f 6d 70 69 6c 65 28 72 6f 77 5b 31 re.compile(row[1
09c0: 5d 29 2e 6d 61 74 63 68 28 75 72 6c 5f 70 61 74 ]).match(url_pat
09d0: 68 29 3a 0a 09 09 09 09 09 09 09 72 65 70 6c 79 h):........reply
09e0: 20 3d 20 72 6f 77 5b 30 5d 2e 66 6f 72 6d 61 74 = row[0].format
09f0: 28 75 72 6c 5f 70 61 74 68 29 0a 09 09 09 09 09 (url_path)......
0a00: 09 09 62 72 65 61 6b 0a 09 09 09 09 09 09 65 6c ..break.......el
0a10: 73 65 3a 0a 09 09 09 09 09 09 09 63 6f 6e 74 69 se:........conti
0a20: 6e 75 65 0a 09 09 09 09 09 65 78 63 65 70 74 3a nue......except:
0a30: 0a 09 09 09 09 09 09 73 65 6c 66 2e 5f 6c 6f 67 .......self._log
0a40: 2e 69 6e 66 6f 28 22 63 61 6e 27 74 20 63 6f 6d .info("can't com
0a50: 70 69 6c 65 20 72 65 67 65 78 70 22 29 0a 09 09 pile regexp")...
0a60: 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 72 65 70 ..else:......rep
0a70: 6c 79 20 3d 20 72 6f 77 5b 30 5d 2e 66 6f 72 6d ly = row[0].form
0a80: 61 74 28 75 72 6c 5f 70 61 74 68 29 0a 09 09 09 at(url_path)....
0a90: 09 09 62 72 65 61 6b 0a 09 09 73 65 6c 66 2e 77 ..break...self.w
0aa0: 72 69 74 65 6c 69 6e 65 28 27 7b 7d 20 7b 7d 5c riteline('{} {}\
0ab0: 6e 27 2e 66 6f 72 6d 61 74 28 69 64 2c 20 72 65 n'.format(id, re
0ac0: 70 6c 79 29 29 0a 0a 09 64 65 66 20 63 68 65 63 ply))...def chec
0ad0: 6b 28 73 65 6c 66 2c 20 6c 69 6e 65 29 3a 0a 09 k(self, line):..
0ae0: 09 72 65 71 75 65 73 74 20 3d 20 72 65 2e 63 6f .request = re.co
0af0: 6d 70 69 6c 65 28 27 5e 28 5b 30 2d 39 5d 2b 29 mpile('^([0-9]+)
0b00: 5c 20 28 68 74 74 70 7c 66 74 70 29 3a 5c 2f 5c \ (http|ftp):\/\
0b10: 2f 28 5b 2d 5c 77 2e 3a 5d 2b 29 5c 2f 28 5b 5e /([-\w.:]+)\/([^
0b20: 20 5d 2a 29 5c 20 28 5b 30 2d 39 2e 5d 2b 29 5c ]*)\ ([0-9.]+)\
0b30: 2f 28 2d 7c 5b 5c 77 5c 2e 5d 2b 29 5c 20 28 2d /(-|[\w\.]+)\ (-
0b40: 7c 5c 77 2b 29 5c 20 28 2d 7c 47 45 54 7c 48 45 |\w+)\ (-|GET|HE
0b50: 41 44 7c 50 4f 53 54 29 2e 2a 24 27 29 2e 6d 61 AD|POST).*$').ma
0b60: 74 63 68 28 6c 69 6e 65 29 0a 09 09 69 66 20 72 tch(line)...if r
0b70: 65 71 75 65 73 74 3a 0a 09 09 09 69 64 20 3d 20 equest:....id =
0b80: 72 65 71 75 65 73 74 2e 67 72 6f 75 70 28 31 29 request.group(1)
0b90: 0a 09 09 09 23 70 72 6f 74 6f 20 3d 20 72 65 71 ....#proto = req
0ba0: 75 65 73 74 2e 67 72 6f 75 70 28 32 29 0a 09 09 uest.group(2)...
0bb0: 09 73 69 74 65 20 3d 20 72 65 71 75 65 73 74 2e .site = request.
0bc0: 67 72 6f 75 70 28 33 29 0a 09 09 09 75 72 6c 5f group(3)....url_
0bd0: 70 61 74 68 20 3d 20 72 65 71 75 65 73 74 2e 67 path = request.g
0be0: 72 6f 75 70 28 34 29 0a 09 09 09 69 70 5f 61 64 roup(4)....ip_ad
0bf0: 64 72 65 73 73 20 3d 20 72 65 71 75 65 73 74 2e dress = request.
0c00: 67 72 6f 75 70 28 35 29 0a 09 09 09 73 65 6c 66 group(5)....self
0c10: 2e 70 72 6f 63 65 73 73 28 69 64 2c 20 73 69 74 .process(id, sit
0c20: 65 2c 20 69 70 5f 61 64 64 72 65 73 73 2c 20 75 e, ip_address, u
0c30: 72 6c 5f 70 61 74 68 2c 20 6c 69 6e 65 29 0a 09 rl_path, line)..
0c40: 09 09 72 65 74 75 72 6e 28 54 72 75 65 29 0a 09 ..return(True)..
0c50: 09 65 6c 73 65 3a 0a 09 09 09 73 65 6c 66 2e 5f .else:....self._
0c60: 6c 6f 67 2e 69 6e 66 6f 28 27 62 61 64 20 72 65 log.info('bad re
0c70: 71 75 65 73 74 5c 6e 27 29 0a 09 09 09 73 65 6c quest\n')....sel
0c80: 66 2e 77 72 69 74 65 6c 69 6e 65 28 6c 69 6e 65 f.writeline(line
0c90: 29 0a 09 09 09 72 65 74 75 72 6e 28 46 61 6c 73 )....return(Fals
0ca0: 65 29 0a 0a 09 64 65 66 20 77 72 69 74 65 6c 69 e)...def writeli
0cb0: 6e 65 28 73 65 6c 66 2c 20 73 74 72 69 6e 67 29 ne(self, string)
0cc0: 3a 0a 09 09 73 65 6c 66 2e 5f 6c 6f 67 2e 69 6e :...self._log.in
0cd0: 66 6f 28 27 73 65 6e 64 69 6e 67 3a 20 27 20 2b fo('sending: ' +
0ce0: 20 73 74 72 69 6e 67 29 0a 09 09 73 79 73 2e 73 string)...sys.s
0cf0: 74 64 6f 75 74 2e 77 72 69 74 65 28 73 74 72 69 tdout.write(stri
0d00: 6e 67 29 0a 09 09 73 79 73 2e 73 74 64 6f 75 74 ng)...sys.stdout
0d10: 2e 66 6c 75 73 68 28 29 0a 0a 09 64 65 66 20 6c .flush()...def l
0d20: 6f 6f 70 28 73 65 6c 66 29 3a 0a 09 09 77 68 69 oop(self):...whi
0d30: 6c 65 20 54 72 75 65 3a 0a 09 09 09 6c 69 6e 65 le True:....line
0d40: 20 3d 20 73 79 73 2e 73 74 64 69 6e 2e 72 65 61 = sys.stdin.rea
0d50: 64 6c 69 6e 65 28 29 0a 09 09 09 69 66 20 6c 65 dline()....if le
0d60: 6e 28 6c 69 6e 65 29 20 3d 3d 20 30 3a 0a 09 09 n(line) == 0:...
0d70: 09 09 62 72 65 61 6b 0a 09 09 09 73 65 6c 66 2e ..break....self.
0d80: 63 68 65 63 6b 28 6c 69 6e 65 29 0a 0a 23 20 74 check(line)..# t
0d90: 68 72 65 61 64 65 64 20 63 68 65 63 6b 69 6e 67 hreaded checking
0da0: 20 66 61 63 69 6c 69 74 79 0a 63 6c 61 73 73 20 facility.class
0db0: 43 68 65 63 6b 65 72 54 68 72 65 61 64 28 43 68 CheckerThread(Ch
0dc0: 65 63 6b 65 72 29 3a 0a 09 5f 5f 73 6c 6f 74 73 ecker):..__slots
0dd0: 5f 5f 20 3d 20 66 72 6f 7a 65 6e 73 65 74 28 5b __ = frozenset([
0de0: 27 5f 6c 6f 63 6b 27 2c 20 27 5f 6c 6f 63 6b 5f '_lock', '_lock_
0df0: 65 78 69 74 27 2c 20 27 5f 6c 6f 63 6b 5f 71 75 exit', '_lock_qu
0e00: 65 75 65 27 2c 20 27 5f 71 75 65 75 65 27 5d 29 eue', '_queue'])
0e10: 0a 0a 09 64 65 66 20 5f 5f 69 6e 69 74 5f 5f 28 ...def __init__(
0e20: 73 65 6c 66 29 3a 0a 09 09 69 6d 70 6f 72 74 20 self):...import
0e30: 5f 74 68 72 65 61 64 0a 0a 09 09 23 20 62 61 73 _thread....# bas
0e40: 69 63 20 69 6e 69 74 69 61 6c 69 73 61 74 69 6f ic initialisatio
0e50: 6e 0a 09 09 43 68 65 63 6b 65 72 2e 5f 5f 69 6e n...Checker.__in
0e60: 69 74 5f 5f 28 73 65 6c 66 29 0a 0a 09 09 23 20 it__(self)....#
0e70: 53 70 69 6e 20 6c 6f 63 6b 2e 20 4c 6f 6f 70 20 Spin lock. Loop
0e80: 61 63 71 75 69 72 65 73 20 69 74 20 6f 6e 20 73 acquires it on s
0e90: 74 61 72 74 20 74 68 65 6e 20 72 65 6c 65 61 73 tart then releas
0ea0: 65 73 20 69 74 20 77 68 65 6e 20 68 6f 6c 64 69 es it when holdi
0eb0: 6e 67 20 71 75 65 75 65 0a 09 09 23 20 6c 6f 63 ng queue...# loc
0ec0: 6b 2e 20 54 68 69 73 20 77 61 79 20 74 68 65 20 k. This way the
0ed0: 74 68 72 65 61 64 20 70 72 6f 63 65 65 64 73 20 thread proceeds
0ee0: 77 69 74 68 6f 75 74 20 73 74 6f 70 73 20 77 68 without stops wh
0ef0: 69 6c 65 20 71 75 65 75 65 20 68 61 73 20 64 61 ile queue has da
0f00: 74 61 20 61 6e 64 0a 09 09 23 20 67 65 74 73 20 ta and...# gets
0f10: 73 74 61 6c 6c 65 64 20 77 68 65 6e 20 6e 6f 20 stalled when no
0f20: 64 61 74 61 20 70 72 65 73 65 6e 74 2e 20 54 68 data present. Th
0f30: 65 20 6c 6f 63 6b 20 69 73 20 72 65 6c 65 61 73 e lock is releas
0f40: 65 64 20 62 79 20 71 75 65 75 65 20 77 72 69 74 ed by queue writ
0f50: 65 72 0a 09 09 23 20 61 66 74 65 72 20 73 74 6f er...# after sto
0f60: 72 69 6e 67 20 73 6f 6d 65 74 68 69 6e 67 20 69 ring something i
0f70: 6e 74 6f 20 74 68 65 20 71 75 65 75 65 0a 09 09 nto the queue...
0f80: 73 65 6c 66 2e 5f 6c 6f 63 6b 20 3d 20 5f 74 68 self._lock = _th
0f90: 72 65 61 64 2e 61 6c 6c 6f 63 61 74 65 5f 6c 6f read.allocate_lo
0fa0: 63 6b 28 29 0a 09 09 73 65 6c 66 2e 5f 6c 6f 63 ck()...self._loc
0fb0: 6b 5f 65 78 69 74 20 3d 20 5f 74 68 72 65 61 64 k_exit = _thread
0fc0: 2e 61 6c 6c 6f 63 61 74 65 5f 6c 6f 63 6b 28 29 .allocate_lock()
0fd0: 0a 09 09 73 65 6c 66 2e 5f 6c 6f 63 6b 5f 71 75 ...self._lock_qu
0fe0: 65 75 65 20 3d 20 5f 74 68 72 65 61 64 2e 61 6c eue = _thread.al
0ff0: 6c 6f 63 61 74 65 5f 6c 6f 63 6b 28 29 0a 09 09 locate_lock()...
1000: 73 65 6c 66 2e 5f 6c 6f 63 6b 2e 61 63 71 75 69 self._lock.acqui
1010: 72 65 28 29 0a 09 09 73 65 6c 66 2e 5f 71 75 65 re()...self._que
1020: 75 65 20 3d 20 5b 5d 0a 09 09 5f 74 68 72 65 61 ue = []..._threa
1030: 64 2e 73 74 61 72 74 5f 6e 65 77 5f 74 68 72 65 d.start_new_thre
1040: 61 64 28 73 65 6c 66 2e 5f 73 74 61 72 74 2c 20 ad(self._start,
1050: 28 29 29 0a 0a 09 64 65 66 20 5f 73 74 61 72 74 ())...def _start
1060: 28 73 65 6c 66 29 3a 0a 09 09 77 68 69 6c 65 20 (self):...while
1070: 54 72 75 65 3a 0a 09 09 09 73 65 6c 66 2e 5f 6c True:....self._l
1080: 6f 63 6b 2e 61 63 71 75 69 72 65 28 29 0a 09 09 ock.acquire()...
1090: 09 77 69 74 68 20 73 65 6c 66 2e 5f 6c 6f 63 6b .with self._lock
10a0: 5f 71 75 65 75 65 3a 0a 09 09 09 09 23 20 79 65 _queue:.....# ye
10b0: 73 20 74 68 69 73 20 73 68 6f 75 6c 64 20 62 65 s this should be
10c0: 20 77 72 69 74 74 65 6e 20 74 68 69 73 20 77 61 written this wa
10d0: 79 2c 20 61 6e 64 20 79 65 73 2c 20 74 68 69 73 y, and yes, this
10e0: 20 69 73 20 77 68 79 20 49 20 68 61 74 65 20 74 is why I hate t
10f0: 68 72 65 61 64 69 6e 67 0a 09 09 09 09 69 66 20 hreading.....if
1100: 6c 65 6e 28 73 65 6c 66 2e 5f 71 75 65 75 65 29 len(self._queue)
1110: 20 3e 20 31 3a 0a 09 09 09 09 09 69 66 20 73 65 > 1:......if se
1120: 6c 66 2e 5f 6c 6f 63 6b 2e 6c 6f 63 6b 65 64 28 lf._lock.locked(
1130: 29 3a 0a 09 09 09 09 09 09 73 65 6c 66 2e 5f 6c ):.......self._l
1140: 6f 63 6b 2e 72 65 6c 65 61 73 65 28 29 0a 09 09 ock.release()...
1150: 09 09 72 65 71 20 3d 20 73 65 6c 66 2e 5f 71 75 ..req = self._qu
1160: 65 75 65 2e 70 6f 70 28 30 29 0a 09 09 09 43 68 eue.pop(0)....Ch
1170: 65 63 6b 65 72 2e 70 72 6f 63 65 73 73 28 73 65 ecker.process(se
1180: 6c 66 2c 20 72 65 71 5b 30 5d 2c 20 72 65 71 5b lf, req[0], req[
1190: 31 5d 2c 20 72 65 71 5b 32 5d 2c 20 72 65 71 5b 1], req[2], req[
11a0: 33 5d 29 0a 09 09 09 77 69 74 68 20 73 65 6c 66 3])....with self
11b0: 2e 5f 6c 6f 63 6b 5f 71 75 65 75 65 3a 0a 09 09 ._lock_queue:...
11c0: 09 09 69 66 20 6c 65 6e 28 73 65 6c 66 2e 5f 71 ..if len(self._q
11d0: 75 65 75 65 29 20 3d 3d 20 30 3a 0a 09 09 09 09 ueue) == 0:.....
11e0: 09 69 66 20 73 65 6c 66 2e 5f 6c 6f 63 6b 5f 65 .if self._lock_e
11f0: 78 69 74 2e 6c 6f 63 6b 65 64 28 29 3a 0a 09 09 xit.locked():...
1200: 09 09 09 09 73 65 6c 66 2e 5f 6c 6f 63 6b 5f 65 ....self._lock_e
1210: 78 69 74 2e 72 65 6c 65 61 73 65 28 29 0a 0a 09 xit.release()...
1220: 64 65 66 20 70 72 6f 63 65 73 73 28 73 65 6c 66 def process(self
1230: 2c 20 69 64 2c 20 73 69 74 65 2c 20 69 70 5f 61 , id, site, ip_a
1240: 64 64 72 65 73 73 2c 20 75 72 6c 5f 70 61 74 68 ddress, url_path
1250: 2c 20 6c 69 6e 65 29 3a 0a 09 09 77 69 74 68 20 , line):...with
1260: 73 65 6c 66 2e 5f 6c 6f 63 6b 5f 71 75 65 75 65 self._lock_queue
1270: 3a 0a 09 09 09 73 65 6c 66 2e 5f 71 75 65 75 65 :....self._queue
1280: 2e 61 70 70 65 6e 64 28 28 69 64 2c 20 73 69 74 .append((id, sit
1290: 65 2c 20 69 70 5f 61 64 64 72 65 73 73 2c 20 75 e, ip_address, u
12a0: 72 6c 5f 70 61 74 68 29 29 0a 09 09 09 73 65 6c rl_path))....sel
12b0: 66 2e 5f 6c 6f 67 2e 69 6e 66 6f 28 27 72 65 71 f._log.info('req
12c0: 75 65 73 74 20 7b 7d 20 71 75 65 75 65 64 20 28 uest {} queued (
12d0: 7b 7d 29 5c 6e 27 2e 66 6f 72 6d 61 74 28 69 64 {})\n'.format(id
12e0: 2c 20 6c 69 6e 65 29 29 0a 09 09 09 69 66 20 6e , line))....if n
12f0: 6f 74 20 73 65 6c 66 2e 5f 6c 6f 63 6b 5f 65 78 ot self._lock_ex
1300: 69 74 2e 6c 6f 63 6b 65 64 28 29 3a 0a 09 09 09 it.locked():....
1310: 09 73 65 6c 66 2e 5f 6c 6f 63 6b 5f 65 78 69 74 .self._lock_exit
1320: 2e 61 63 71 75 69 72 65 28 29 0a 09 09 09 69 66 .acquire()....if
1330: 20 73 65 6c 66 2e 5f 6c 6f 63 6b 2e 6c 6f 63 6b self._lock.lock
1340: 65 64 28 29 3a 0a 09 09 09 09 73 65 6c 66 2e 5f ed():.....self._
1350: 6c 6f 63 6b 2e 72 65 6c 65 61 73 65 28 29 0a 0a lock.release()..
1360: 09 64 65 66 20 6c 6f 6f 70 28 73 65 6c 66 29 3a .def loop(self):
1370: 0a 09 09 77 68 69 6c 65 20 54 72 75 65 3a 0a 09 ...while True:..
1380: 09 09 6c 69 6e 65 20 3d 20 73 79 73 2e 73 74 64 ..line = sys.std
1390: 69 6e 2e 72 65 61 64 6c 69 6e 65 28 29 0a 09 09 in.readline()...
13a0: 09 69 66 20 6c 65 6e 28 6c 69 6e 65 29 20 3d 3d .if len(line) ==
13b0: 20 30 3a 0a 09 09 09 09 62 72 65 61 6b 0a 09 09 0:.....break...
13c0: 09 73 65 6c 66 2e 63 68 65 63 6b 28 6c 69 6e 65 .self.check(line
13d0: 29 0a 09 09 73 65 6c 66 2e 5f 6c 6f 63 6b 5f 65 )...self._lock_e
13e0: 78 69 74 2e 61 63 71 75 69 72 65 28 29 0a 0a 23 xit.acquire()..#
13f0: 20 6b 71 75 65 75 65 20 65 6e 61 62 6c 65 64 20 kqueue enabled
1400: 63 6c 61 73 73 20 66 6f 72 20 42 53 44 27 73 0a class for BSD's.
1410: 63 6c 61 73 73 20 43 68 65 63 6b 65 72 4b 71 75 class CheckerKqu
1420: 65 75 65 28 43 68 65 63 6b 65 72 29 3a 0a 09 5f eue(Checker):.._
1430: 5f 73 6c 6f 74 73 5f 5f 20 3d 20 66 72 6f 7a 65 _slots__ = froze
1440: 6e 73 65 74 28 5b 27 5f 6b 71 27 2c 20 27 5f 73 nset(['_kq', '_s
1450: 65 6c 65 63 74 27 2c 20 27 5f 71 75 65 75 65 27 elect', '_queue'
1460: 5d 29 0a 0a 09 64 65 66 20 5f 5f 69 6e 69 74 5f ])...def __init_
1470: 5f 28 73 65 6c 66 29 3a 0a 09 09 23 20 62 61 73 _(self):...# bas
1480: 69 63 20 69 6e 69 74 69 61 6c 69 73 61 74 69 6f ic initialisatio
1490: 6e 0a 09 09 43 68 65 63 6b 65 72 2e 5f 5f 69 6e n...Checker.__in
14a0: 69 74 5f 5f 28 73 65 6c 66 29 0a 0a 09 09 23 20 it__(self)....#
14b0: 69 6d 70 6f 72 74 69 6e 67 20 73 65 6c 65 63 74 importing select
14c0: 20 6d 6f 64 75 6c 65 0a 09 09 69 6d 70 6f 72 74 module...import
14d0: 20 73 65 6c 65 63 74 0a 09 09 73 65 6c 66 2e 5f select...self._
14e0: 73 65 6c 65 63 74 20 3d 20 73 65 6c 65 63 74 0a select = select.
14f0: 0a 09 09 23 20 6b 72 65 61 74 69 6e 67 20 6b 71 ...# kreating kq
1500: 75 65 75 65 0a 09 09 73 65 6c 66 2e 5f 6b 71 20 ueue...self._kq
1510: 3d 20 73 65 6c 66 2e 5f 73 65 6c 65 63 74 2e 6b = self._select.k
1520: 71 75 65 75 65 28 29 0a 09 09 61 73 73 65 72 74 queue()...assert
1530: 20 73 65 6c 66 2e 5f 6b 71 2e 66 69 6c 65 6e 6f self._kq.fileno
1540: 28 29 20 21 3d 20 2d 31 2c 20 22 46 61 74 61 6c () != -1, "Fatal
1550: 20 65 72 72 6f 72 3a 20 63 61 6e 27 74 20 69 6e error: can't in
1560: 69 74 69 61 6c 69 73 65 20 6b 71 75 65 75 65 2e itialise kqueue.
1570: 22 0a 0a 09 09 23 20 77 61 74 63 68 69 6e 67 20 "....# watching
1580: 73 79 73 2e 73 74 64 69 6e 20 66 6f 72 20 64 61 sys.stdin for da
1590: 74 61 0a 09 09 73 65 6c 66 2e 5f 6b 71 2e 63 6f ta...self._kq.co
15a0: 6e 74 72 6f 6c 28 5b 73 65 6c 66 2e 5f 73 65 6c ntrol([self._sel
15b0: 65 63 74 2e 6b 65 76 65 6e 74 28 73 79 73 2e 73 ect.kevent(sys.s
15c0: 74 64 69 6e 2c 20 73 65 6c 66 2e 5f 73 65 6c 65 tdin, self._sele
15d0: 63 74 2e 4b 51 5f 46 49 4c 54 45 52 5f 52 45 41 ct.KQ_FILTER_REA
15e0: 44 2c 20 73 65 6c 66 2e 5f 73 65 6c 65 63 74 2e D, self._select.
15f0: 4b 51 5f 45 56 5f 41 44 44 29 5d 2c 20 30 29 0a KQ_EV_ADD)], 0).
1600: 0a 09 09 23 20 63 72 65 61 74 69 6e 67 20 64 61 ...# creating da
1610: 74 61 20 71 75 65 75 65 0a 09 09 73 65 6c 66 2e ta queue...self.
1620: 5f 71 75 65 75 65 20 3d 20 5b 5d 0a 0a 09 64 65 _queue = []...de
1630: 66 20 6c 6f 6f 70 28 73 65 6c 66 29 3a 0a 09 09 f loop(self):...
1640: 23 20 57 61 69 74 20 66 6f 72 20 64 61 74 61 20 # Wait for data
1650: 62 79 20 64 65 66 61 75 6c 74 0a 09 09 74 69 6d by default...tim
1660: 65 6f 75 74 20 3d 20 4e 6f 6e 65 0a 09 09 65 6f eout = None...eo
1670: 66 20 3d 20 46 61 6c 73 65 0a 09 09 62 75 66 66 f = False...buff
1680: 65 72 20 3d 20 27 27 0a 09 09 77 68 69 6c 65 20 er = ''...while
1690: 54 72 75 65 3a 0a 09 09 09 23 20 63 68 65 63 6b True:....# check
16a0: 69 6e 67 20 69 66 20 74 68 65 72 65 20 69 73 20 ing if there is
16b0: 61 6e 79 20 64 61 74 61 20 6f 72 20 77 69 74 69 any data or witi
16c0: 6e 67 20 66 6f 72 20 64 61 74 61 20 74 6f 20 61 ng for data to a
16d0: 72 72 69 76 65 0a 09 09 09 6b 65 76 73 20 3d 20 rrive....kevs =
16e0: 73 65 6c 66 2e 5f 6b 71 2e 63 6f 6e 74 72 6f 6c self._kq.control
16f0: 28 4e 6f 6e 65 2c 20 31 2c 20 74 69 6d 65 6f 75 (None, 1, timeou
1700: 74 29 0a 0a 09 09 09 66 6f 72 20 6b 65 76 20 69 t).....for kev i
1710: 6e 20 6b 65 76 73 3a 0a 09 09 09 09 69 66 20 6b n kevs:.....if k
1720: 65 76 2e 66 69 6c 74 65 72 20 3d 3d 20 73 65 6c ev.filter == sel
1730: 66 2e 5f 73 65 6c 65 63 74 2e 4b 51 5f 46 49 4c f._select.KQ_FIL
1740: 54 45 52 5f 52 45 41 44 20 61 6e 64 20 6b 65 76 TER_READ and kev
1750: 2e 64 61 74 61 20 3e 20 30 3a 0a 09 09 09 09 09 .data > 0:......
1760: 23 20 72 65 61 64 69 6e 67 20 64 61 74 61 20 69 # reading data i
1770: 6e 0a 09 09 09 09 09 6e 65 77 5f 62 75 66 66 65 n......new_buffe
1780: 72 20 3d 20 73 79 73 2e 73 74 64 69 6e 2e 72 65 r = sys.stdin.re
1790: 61 64 28 6b 65 76 2e 64 61 74 61 29 0a 09 09 09 ad(kev.data)....
17a0: 09 09 23 20 69 66 20 6e 6f 20 64 61 74 61 20 77 ..# if no data w
17b0: 61 73 20 73 65 6e 74 20 2d 20 77 65 20 68 61 76 as sent - we hav
17c0: 65 20 72 65 61 63 68 65 64 20 65 6e 64 20 6f 66 e reached end of
17d0: 20 66 69 6c 65 0a 09 09 09 09 09 69 66 20 6c 65 file......if le
17e0: 6e 28 6e 65 77 5f 62 75 66 66 65 72 29 20 3d 3d n(new_buffer) ==
17f0: 20 30 3a 0a 09 09 09 09 09 09 65 6f 66 20 3d 20 0:.......eof =
1800: 54 72 75 65 0a 09 09 09 09 09 65 6c 73 65 3a 0a True......else:.
1810: 09 09 09 09 09 09 23 20 61 64 64 69 6e 67 20 63 ......# adding c
1820: 75 72 72 65 6e 74 20 62 75 66 66 65 72 20 74 6f urrent buffer to
1830: 20 6f 6c 64 20 62 75 66 66 65 72 20 72 65 6d 61 old buffer rema
1840: 69 6e 73 0a 09 09 09 09 09 09 62 75 66 66 65 72 ins.......buffer
1850: 20 2b 3d 20 6e 65 77 5f 62 75 66 66 65 72 0a 09 += new_buffer..
1860: 09 09 09 09 09 23 20 73 70 6c 69 74 74 69 6e 67 .....# splitting
1870: 20 74 6f 20 6c 69 6e 65 73 0a 09 09 09 09 09 09 to lines.......
1880: 6c 69 6e 65 73 20 3d 20 62 75 66 66 65 72 2e 73 lines = buffer.s
1890: 70 6c 69 74 28 27 5c 6e 27 29 0a 09 09 09 09 09 plit('\n')......
18a0: 09 23 20 6c 61 73 74 20 6c 69 6e 65 20 74 68 61 .# last line tha
18b0: 74 20 77 61 73 20 6e 6f 74 20 74 65 72 6d 69 6e t was not termin
18c0: 61 74 65 20 62 79 20 6e 65 77 6c 69 6e 65 20 72 ate by newline r
18d0: 65 74 75 72 6e 73 20 74 6f 20 62 75 66 66 65 72 eturns to buffer
18e0: 0a 09 09 09 09 09 09 62 75 66 66 65 72 20 3d 20 .......buffer =
18f0: 6c 69 6e 65 73 5b 2d 31 5d 0a 09 09 09 09 09 09 lines[-1].......
1900: 23 20 61 6e 20 6f 6e 6c 79 20 69 66 20 74 68 65 # an only if the
1910: 72 65 20 77 61 73 20 61 74 20 6c 65 61 73 74 20 re was at least
1920: 6f 6e 65 20 6e 65 77 6c 69 6e 65 0a 09 09 09 09 one newline.....
1930: 09 09 69 66 20 6c 65 6e 28 6c 69 6e 65 73 29 20 ..if len(lines)
1940: 3e 20 31 3a 0a 09 09 09 09 09 09 09 66 6f 72 20 > 1:........for
1950: 6c 69 6e 65 20 69 6e 20 6c 69 6e 65 73 5b 3a 2d line in lines[:-
1960: 31 5d 3a 0a 09 09 09 09 09 09 09 09 23 20 61 64 1]:.........# ad
1970: 64 20 64 61 74 61 20 74 6f 20 74 68 65 20 71 75 d data to the qu
1980: 65 75 65 0a 09 09 09 09 09 09 09 09 69 66 20 73 eue.........if s
1990: 65 6c 66 2e 63 68 65 63 6b 28 6c 69 6e 65 20 2b elf.check(line +
19a0: 20 27 5c 6e 27 29 3a 0a 09 09 09 09 09 09 09 09 '\n'):.........
19b0: 09 23 20 64 6f 6e 27 74 20 77 61 69 74 20 66 6f .# don't wait fo
19c0: 72 20 6d 6f 72 65 20 64 61 74 61 2c 20 73 74 61 r more data, sta
19d0: 72 74 20 70 72 6f 63 65 73 73 69 6e 67 0a 09 09 rt processing...
19e0: 09 09 09 09 09 09 09 74 69 6d 65 6f 75 74 20 3d .......timeout =
19f0: 20 30 0a 0a 09 09 09 09 23 20 64 65 74 65 63 74 0......# detect
1a00: 20 65 6e 64 20 6f 66 20 73 74 72 65 61 6d 20 61 end of stream a
1a10: 6e 64 20 65 78 69 74 20 69 66 20 70 6f 73 73 69 nd exit if possi
1a20: 62 6c 65 0a 09 09 09 09 69 66 20 6b 65 76 2e 66 ble.....if kev.f
1a30: 6c 61 67 73 20 3e 3e 20 31 35 20 3d 3d 20 31 3a lags >> 15 == 1:
1a40: 0a 09 09 09 09 09 73 65 6c 66 2e 5f 6b 71 2e 63 ......self._kq.c
1a50: 6f 6e 74 72 6f 6c 28 5b 73 65 6c 66 2e 5f 73 65 ontrol([self._se
1a60: 6c 65 63 74 2e 6b 65 76 65 6e 74 28 73 79 73 2e lect.kevent(sys.
1a70: 73 74 64 69 6e 2c 20 73 65 6c 66 2e 5f 73 65 6c stdin, self._sel
1a80: 65 63 74 2e 4b 51 5f 46 49 4c 54 45 52 5f 52 45 ect.KQ_FILTER_RE
1a90: 41 44 2c 20 73 65 6c 66 2e 5f 73 65 6c 65 63 74 AD, self._select
1aa0: 2e 4b 51 5f 45 56 5f 44 45 4c 45 54 45 29 5d 2c .KQ_EV_DELETE)],
1ab0: 20 30 29 0a 09 09 09 09 09 65 6f 66 20 3d 20 54 0)......eof = T
1ac0: 72 75 65 0a 0a 09 09 09 69 66 20 6c 65 6e 28 6b rue.....if len(k
1ad0: 65 76 73 29 20 3d 3d 20 30 3a 0a 09 09 09 09 69 evs) == 0:.....i
1ae0: 66 20 6c 65 6e 28 73 65 6c 66 2e 5f 71 75 65 75 f len(self._queu
1af0: 65 29 20 3e 20 30 3a 0a 09 09 09 09 09 23 20 67 e) > 0:......# g
1b00: 65 74 20 6f 6e 65 20 72 65 71 75 65 73 74 20 61 et one request a
1b10: 6e 64 20 70 72 6f 63 65 73 73 20 69 74 0a 09 09 nd process it...
1b20: 09 09 09 72 65 71 20 3d 20 73 65 6c 66 2e 5f 71 ...req = self._q
1b30: 75 65 75 65 2e 70 6f 70 28 30 29 0a 09 09 09 09 ueue.pop(0).....
1b40: 09 43 68 65 63 6b 65 72 2e 70 72 6f 63 65 73 73 .Checker.process
1b50: 28 73 65 6c 66 2c 20 72 65 71 5b 30 5d 2c 20 72 (self, req[0], r
1b60: 65 71 5b 31 5d 2c 20 72 65 71 5b 32 5d 2c 20 72 eq[1], req[2], r
1b70: 65 71 5b 33 5d 29 0a 09 09 09 09 09 69 66 20 6c eq[3])......if l
1b80: 65 6e 28 73 65 6c 66 2e 5f 71 75 65 75 65 29 20 en(self._queue)
1b90: 3d 3d 20 30 3a 0a 09 09 09 09 09 09 23 20 77 61 == 0:.......# wa
1ba0: 69 74 20 66 6f 72 20 64 61 74 61 20 2d 20 77 65 it for data - we
1bb0: 20 68 61 76 65 20 6e 6f 74 68 69 6e 67 20 74 6f have nothing to
1bc0: 20 70 72 6f 63 65 73 73 0a 09 09 09 09 09 09 74 process.......t
1bd0: 69 6d 65 6f 75 74 20 3d 20 4e 6f 6e 65 0a 0a 09 imeout = None...
1be0: 09 09 23 20 69 66 20 71 75 65 75 65 20 69 73 20 ..# if queue is
1bf0: 65 6d 70 74 79 20 61 6e 64 20 77 65 20 72 65 61 empty and we rea
1c00: 63 68 65 64 20 65 6e 64 20 6f 66 20 73 74 72 65 ched end of stre
1c10: 61 6d 20 2d 20 77 65 20 63 61 6e 20 65 78 69 74 am - we can exit
1c20: 0a 09 09 09 69 66 20 6c 65 6e 28 73 65 6c 66 2e ....if len(self.
1c30: 5f 71 75 65 75 65 29 20 3d 3d 20 30 20 61 6e 64 _queue) == 0 and
1c40: 20 65 6f 66 3a 0a 09 09 09 09 62 72 65 61 6b 0a eof:.....break.
1c50: 0a 09 64 65 66 20 70 72 6f 63 65 73 73 28 73 65 ..def process(se
1c60: 6c 66 2c 20 69 64 2c 20 73 69 74 65 2c 20 69 70 lf, id, site, ip
1c70: 5f 61 64 64 72 65 73 73 2c 20 75 72 6c 5f 70 61 _address, url_pa
1c80: 74 68 2c 20 6c 69 6e 65 29 3a 0a 09 09 23 20 73 th, line):...# s
1c90: 69 6d 70 6c 79 20 61 64 64 69 6e 67 20 64 61 74 imply adding dat
1ca0: 61 20 74 6f 20 74 68 65 20 71 75 65 75 65 0a 09 a to the queue..
1cb0: 09 73 65 6c 66 2e 5f 71 75 65 75 65 2e 61 70 70 .self._queue.app
1cc0: 65 6e 64 28 28 69 64 2c 20 73 69 74 65 2c 20 69 end((id, site, i
1cd0: 70 5f 61 64 64 72 65 73 73 2c 20 75 72 6c 5f 70 p_address, url_p
1ce0: 61 74 68 29 29 0a 09 09 73 65 6c 66 2e 5f 6c 6f ath))...self._lo
1cf0: 67 2e 69 6e 66 6f 28 27 72 65 71 75 65 73 74 20 g.info('request
1d00: 7b 7d 20 71 75 65 75 65 64 20 28 7b 7d 29 5c 6e {} queued ({})\n
1d10: 27 2e 66 6f 72 6d 61 74 28 69 64 2c 20 6c 69 6e '.format(id, lin
1d20: 65 29 29 0a 0a 23 20 74 68 69 73 20 63 6c 61 73 e))..# this clas
1d30: 73 65 73 20 70 72 6f 63 65 73 73 65 73 20 63 6f ses processes co
1d40: 6e 66 69 67 20 66 69 6c 65 20 61 6e 64 20 73 75 nfig file and su
1d50: 62 73 74 69 74 75 74 65 73 20 64 65 66 61 75 6c bstitutes defaul
1d60: 74 20 76 61 6c 75 65 73 0a 63 6c 61 73 73 20 43 t values.class C
1d70: 6f 6e 66 69 67 3a 0a 09 5f 5f 73 6c 6f 74 73 5f onfig:..__slots_
1d80: 5f 20 3d 20 66 72 6f 7a 65 6e 73 65 74 28 5b 27 _ = frozenset(['
1d90: 5f 63 6f 6e 66 69 67 27 2c 20 27 5f 64 65 66 61 _config', '_defa
1da0: 75 6c 74 27 2c 20 27 5f 73 65 63 74 69 6f 6e 27 ult', '_section'
1db0: 2c 20 27 6f 70 74 69 6f 6e 73 27 5d 29 0a 09 5f , 'options']).._
1dc0: 64 65 66 61 75 6c 74 20 3d 20 7b 0a 09 09 27 72 default = {...'r
1dd0: 65 61 63 74 6f 72 27 3a 20 7b 0a 09 09 09 27 72 eactor': {....'r
1de0: 65 61 63 74 6f 72 27 3a 20 27 74 68 72 65 61 64 eactor': 'thread
1df0: 27 2c 0a 09 09 7d 2c 0a 09 09 27 6c 6f 67 27 3a ',...},...'log':
1e00: 20 7b 0a 09 09 09 27 73 69 6c 65 6e 74 27 3a 20 {....'silent':
1e10: 27 6e 6f 27 2c 0a 09 09 7d 2c 0a 09 09 27 64 61 'no',...},...'da
1e20: 74 61 62 61 73 65 27 3a 20 7b 0a 09 09 09 27 68 tabase': {....'h
1e30: 6f 73 74 27 3a 20 27 6c 6f 63 61 6c 68 6f 73 74 ost': 'localhost
1e40: 27 2c 0a 09 09 09 27 64 61 74 61 62 61 73 65 27 ',....'database'
1e50: 3a 20 27 73 71 75 69 64 54 61 67 27 2c 0a 09 7d : 'squidTag',..}
1e60: 2c 7d 0a 0a 09 23 20 66 75 6e 63 74 69 6f 6e 20 ,}...# function
1e70: 74 6f 20 72 65 61 64 20 69 6e 20 63 6f 6e 66 69 to read in confi
1e80: 67 20 66 69 6c 65 0a 09 64 65 66 20 5f 5f 69 6e g file..def __in
1e90: 69 74 5f 5f 28 73 65 6c 66 29 3a 0a 09 09 69 6d it__(self):...im
1ea0: 70 6f 72 74 20 63 6f 6e 66 69 67 70 61 72 73 65 port configparse
1eb0: 72 2c 20 6f 70 74 70 61 72 73 65 2c 20 6f 73 0a r, optparse, os.
1ec0: 0a 09 09 70 61 72 73 65 72 20 3d 20 6f 70 74 70 ...parser = optp
1ed0: 61 72 73 65 2e 4f 70 74 69 6f 6e 50 61 72 73 65 arse.OptionParse
1ee0: 72 28 29 0a 09 09 70 61 72 73 65 72 2e 61 64 64 r()...parser.add
1ef0: 5f 6f 70 74 69 6f 6e 28 27 2d 63 27 2c 20 27 2d _option('-c', '-
1f00: 2d 63 6f 6e 66 69 67 27 2c 20 64 65 73 74 20 3d -config', dest =
1f10: 20 27 63 6f 6e 66 69 67 27 2c 0a 09 09 09 68 65 'config',....he
1f20: 6c 70 20 3d 20 27 63 6f 6e 66 69 67 20 66 69 6c lp = 'config fil
1f30: 65 20 6c 6f 63 61 74 69 6f 6e 27 2c 20 6d 65 74 e location', met
1f40: 61 76 61 72 20 3d 20 27 46 49 4c 45 27 2c 0a 09 avar = 'FILE',..
1f50: 09 09 64 65 66 61 75 6c 74 20 3d 20 27 2f 75 73 ..default = '/us
1f60: 72 2f 6c 6f 63 61 6c 2f 65 74 63 2f 73 71 75 69 r/local/etc/squi
1f70: 64 2d 74 61 67 67 65 72 2e 63 6f 6e 66 27 29 0a d-tagger.conf').
1f80: 09 09 70 61 72 73 65 72 2e 61 64 64 5f 6f 70 74 ..parser.add_opt
1f90: 69 6f 6e 28 27 2d 64 27 2c 20 27 2d 2d 64 75 6d ion('-d', '--dum
1fa0: 70 27 2c 20 64 65 73 74 20 3d 20 27 64 75 6d 70 p', dest = 'dump
1fb0: 27 2c 0a 09 09 09 68 65 6c 70 20 3d 20 27 64 75 ',....help = 'du
1fc0: 6d 70 20 64 61 74 61 62 61 73 65 27 2c 20 61 63 mp database', ac
1fd0: 74 69 6f 6e 20 3d 20 27 73 74 6f 72 65 5f 74 72 tion = 'store_tr
1fe0: 75 65 27 2c 20 6d 65 74 61 76 61 72 20 3d 20 27 ue', metavar = '
1ff0: 62 6f 6f 6c 27 2c 0a 09 09 09 64 65 66 61 75 6c bool',....defaul
2000: 74 20 3d 20 46 61 6c 73 65 29 0a 09 09 70 61 72 t = False)...par
2010: 73 65 72 2e 61 64 64 5f 6f 70 74 69 6f 6e 28 27 ser.add_option('
2020: 2d 66 27 2c 20 27 2d 2d 66 6c 75 73 68 2d 64 61 -f', '--flush-da
2030: 74 61 62 61 73 65 27 2c 20 64 65 73 74 20 3d 20 tabase', dest =
2040: 27 66 6c 75 73 68 5f 64 62 27 2c 0a 09 09 09 68 'flush_db',....h
2050: 65 6c 70 20 3d 20 27 66 6c 75 73 68 20 70 72 65 elp = 'flush pre
2060: 76 69 6f 75 73 20 64 61 74 61 62 61 73 65 20 6f vious database o
2070: 6e 20 6c 6f 61 64 27 2c 20 64 65 66 61 75 6c 74 n load', default
2080: 20 3d 20 46 61 6c 73 65 2c 0a 09 09 09 61 63 74 = False,....act
2090: 69 6f 6e 20 3d 20 27 73 74 6f 72 65 5f 74 72 75 ion = 'store_tru
20a0: 65 27 2c 20 6d 65 74 61 76 61 72 20 3d 20 27 62 e', metavar = 'b
20b0: 6f 6f 6c 27 29 0a 09 09 70 61 72 73 65 72 2e 61 ool')...parser.a
20c0: 64 64 5f 6f 70 74 69 6f 6e 28 27 2d 46 27 2c 20 dd_option('-F',
20d0: 27 2d 2d 66 6c 75 73 68 2d 73 69 74 65 27 2c 20 '--flush-site',
20e0: 64 65 73 74 20 3d 20 27 66 6c 75 73 68 5f 73 69 dest = 'flush_si
20f0: 74 65 27 2c 0a 09 09 09 68 65 6c 70 20 3d 20 27 te',....help = '
2100: 77 68 65 6e 20 66 6c 75 73 68 69 6e 67 20 70 72 when flushing pr
2110: 65 76 69 6f 75 73 20 64 74 61 62 61 73 65 20 66 evious dtabase f
2120: 6c 75 73 68 20 73 69 74 65 20 69 6e 64 65 78 20 lush site index
2130: 74 6f 6f 27 2c 0a 09 09 09 61 63 74 69 6f 6e 20 too',....action
2140: 3d 20 27 73 74 6f 72 65 5f 74 72 75 65 27 2c 20 = 'store_true',
2150: 64 65 66 61 75 6c 74 20 3d 20 46 61 6c 73 65 2c default = False,
2160: 20 6d 65 74 61 76 61 72 20 3d 20 27 62 6f 6f 6c metavar = 'bool
2170: 27 29 0a 09 09 70 61 72 73 65 72 2e 61 64 64 5f ')...parser.add_
2180: 6f 70 74 69 6f 6e 28 27 2d 6c 27 2c 20 27 2d 2d option('-l', '--
2190: 6c 6f 61 64 27 2c 20 64 65 73 74 20 3d 20 27 6c load', dest = 'l
21a0: 6f 61 64 27 2c 0a 09 09 09 68 65 6c 70 20 3d 20 oad',....help =
21b0: 27 6c 6f 61 64 20 64 61 74 61 62 61 73 65 27 2c 'load database',
21c0: 20 61 63 74 69 6f 6e 20 3d 20 27 73 74 6f 72 65 action = 'store
21d0: 5f 74 72 75 65 27 2c 20 6d 65 74 61 76 61 72 20 _true', metavar
21e0: 3d 20 27 62 6f 6f 6c 27 2c 0a 09 09 09 64 65 66 = 'bool',....def
21f0: 61 75 6c 74 20 3d 20 46 61 6c 73 65 29 0a 0a 09 ault = False)...
2200: 09 28 73 65 6c 66 2e 6f 70 74 69 6f 6e 73 2c 20 .(self.options,
2210: 61 72 67 73 29 20 3d 20 70 61 72 73 65 72 2e 70 args) = parser.p
2220: 61 72 73 65 5f 61 72 67 73 28 29 0a 0a 09 09 61 arse_args()....a
2230: 73 73 65 72 74 20 6f 73 2e 61 63 63 65 73 73 28 ssert os.access(
2240: 73 65 6c 66 2e 6f 70 74 69 6f 6e 73 2e 63 6f 6e self.options.con
2250: 66 69 67 2c 20 6f 73 2e 52 5f 4f 4b 29 2c 20 22 fig, os.R_OK), "
2260: 46 61 74 61 6c 20 65 72 72 6f 72 3a 20 63 61 6e Fatal error: can
2270: 27 74 20 72 65 61 64 20 7b 7d 22 2e 66 6f 72 6d 't read {}".form
2280: 61 74 28 73 65 6c 66 2e 6f 70 74 69 6f 6e 73 2e at(self.options.
2290: 63 6f 6e 66 69 67 29 0a 0a 09 09 73 65 6c 66 2e config)....self.
22a0: 5f 63 6f 6e 66 69 67 20 3d 20 63 6f 6e 66 69 67 _config = config
22b0: 70 61 72 73 65 72 2e 43 6f 6e 66 69 67 50 61 72 parser.ConfigPar
22c0: 73 65 72 28 29 0a 09 09 73 65 6c 66 2e 5f 63 6f ser()...self._co
22d0: 6e 66 69 67 2e 72 65 61 64 66 70 28 6f 70 65 6e nfig.readfp(open
22e0: 28 73 65 6c 66 2e 6f 70 74 69 6f 6e 73 2e 63 6f (self.options.co
22f0: 6e 66 69 67 29 29 0a 0a 09 23 20 66 75 6e 63 74 nfig))...# funct
2300: 69 6f 6e 20 74 6f 20 73 65 6c 65 63 74 20 63 6f ion to select co
2310: 6e 66 69 67 20 66 69 6c 65 20 73 65 63 74 69 6f nfig file sectio
2320: 6e 20 6f 72 20 63 72 65 61 74 65 20 6f 6e 65 0a n or create one.
2330: 09 64 65 66 20 73 65 63 74 69 6f 6e 28 73 65 6c .def section(sel
2340: 66 2c 20 73 65 63 74 69 6f 6e 29 3a 0a 09 09 69 f, section):...i
2350: 66 20 6e 6f 74 20 73 65 6c 66 2e 5f 63 6f 6e 66 f not self._conf
2360: 69 67 2e 68 61 73 5f 73 65 63 74 69 6f 6e 28 73 ig.has_section(s
2370: 65 63 74 69 6f 6e 29 3a 0a 09 09 09 73 65 6c 66 ection):....self
2380: 2e 5f 63 6f 6e 66 69 67 2e 61 64 64 5f 73 65 63 ._config.add_sec
2390: 74 69 6f 6e 28 73 65 63 74 69 6f 6e 29 0a 09 09 tion(section)...
23a0: 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 20 3d 20 self._section =
23b0: 73 65 63 74 69 6f 6e 0a 0a 09 23 20 66 75 6e 63 section...# func
23c0: 74 69 6f 6e 20 74 6f 20 67 65 74 20 63 6f 6e 66 tion to get conf
23d0: 69 67 20 70 61 72 61 6d 65 74 65 72 2c 20 69 66 ig parameter, if
23e0: 20 70 61 72 61 6d 65 74 65 72 20 64 6f 65 73 6e parameter doesn
23f0: 27 74 20 65 78 69 73 74 73 20 74 68 65 20 64 65 't exists the de
2400: 66 61 75 6c 74 0a 09 23 20 76 61 6c 75 65 20 6f fault..# value o
2410: 72 20 4e 6f 6e 65 20 69 73 20 73 75 62 73 74 69 r None is substi
2420: 74 75 74 65 64 0a 09 64 65 66 20 5f 5f 67 65 74 tuted..def __get
2430: 69 74 65 6d 5f 5f 28 73 65 6c 66 2c 20 6e 61 6d item__(self, nam
2440: 65 29 3a 0a 09 09 69 66 20 6e 6f 74 20 73 65 6c e):...if not sel
2450: 66 2e 5f 63 6f 6e 66 69 67 2e 68 61 73 5f 6f 70 f._config.has_op
2460: 74 69 6f 6e 28 73 65 6c 66 2e 5f 73 65 63 74 69 tion(self._secti
2470: 6f 6e 2c 20 6e 61 6d 65 29 3a 0a 09 09 09 69 66 on, name):....if
2480: 20 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 20 69 self._section i
2490: 6e 20 73 65 6c 66 2e 5f 64 65 66 61 75 6c 74 3a n self._default:
24a0: 0a 09 09 09 09 69 66 20 6e 61 6d 65 20 69 6e 20 .....if name in
24b0: 73 65 6c 66 2e 5f 64 65 66 61 75 6c 74 5b 73 65 self._default[se
24c0: 6c 66 2e 5f 73 65 63 74 69 6f 6e 5d 3a 0a 09 09 lf._section]:...
24d0: 09 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e ...self._config.
24e0: 73 65 74 28 73 65 6c 66 2e 5f 73 65 63 74 69 6f set(self._sectio
24f0: 6e 2c 20 6e 61 6d 65 2c 20 73 65 6c 66 2e 5f 64 n, name, self._d
2500: 65 66 61 75 6c 74 5b 73 65 6c 66 2e 5f 73 65 63 efault[self._sec
2510: 74 69 6f 6e 5d 5b 6e 61 6d 65 5d 29 0a 09 09 09 tion][name])....
2520: 09 65 6c 73 65 3a 0a 09 09 09 09 09 73 65 6c 66 .else:......self
2530: 2e 5f 63 6f 6e 66 69 67 2e 73 65 74 28 73 65 6c ._config.set(sel
2540: 66 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e 61 6d 65 f._section, name
2550: 2c 20 4e 6f 6e 65 29 0a 09 09 09 65 6c 73 65 3a , None)....else:
2560: 0a 09 09 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 .....self._confi
2570: 67 2e 73 65 74 28 73 65 6c 66 2e 5f 73 65 63 74 g.set(self._sect
2580: 69 6f 6e 2c 20 6e 61 6d 65 2c 20 4e 6f 6e 65 29 ion, name, None)
2590: 0a 09 09 72 65 74 75 72 6e 28 73 65 6c 66 2e 5f ...return(self._
25a0: 63 6f 6e 66 69 67 2e 67 65 74 28 73 65 6c 66 2e config.get(self.
25b0: 5f 73 65 63 74 69 6f 6e 2c 20 6e 61 6d 65 29 29 _section, name))
25c0: 0a 0a 23 20 69 6e 69 74 69 61 6c 69 7a 69 6e 67 ..# initializing
25d0: 20 61 6e 64 20 72 65 61 64 69 6e 67 20 69 6e 20 and reading in
25e0: 63 6f 6e 66 69 67 20 66 69 6c 65 0a 63 6f 6e 66 config file.conf
25f0: 69 67 20 3d 20 43 6f 6e 66 69 67 28 29 0a 0a 69 ig = Config()..i
2600: 66 20 63 6f 6e 66 69 67 2e 6f 70 74 69 6f 6e 73 f config.options
2610: 2e 64 75 6d 70 3a 0a 09 23 20 64 75 6d 70 69 6e .dump:..# dumpin
2620: 67 20 64 61 74 61 62 61 73 65 0a 09 69 6d 70 6f g database..impo
2630: 72 74 20 63 73 76 0a 0a 09 74 61 67 64 62 20 3d rt csv...tagdb =
2640: 20 74 61 67 44 42 28 29 0a 0a 09 63 73 76 5f 77 tagDB()...csv_w
2650: 72 69 74 65 72 20 3d 20 63 73 76 2e 77 72 69 74 riter = csv.writ
2660: 65 72 28 73 79 73 2e 73 74 64 6f 75 74 29 0a 09 er(sys.stdout)..
2670: 63 73 76 5f 77 72 69 74 65 72 2e 77 72 69 74 65 csv_writer.write
2680: 72 6f 77 28 5b 27 73 69 74 65 27 2c 20 27 74 61 row(['site', 'ta
2690: 67 73 27 2c 20 27 72 65 67 65 78 70 27 5d 29 0a gs', 'regexp']).
26a0: 09 66 6f 72 20 72 6f 77 20 69 6e 20 74 61 67 64 .for row in tagd
26b0: 62 2e 64 75 6d 70 28 29 3a 0a 09 09 63 73 76 5f b.dump():...csv_
26c0: 77 72 69 74 65 72 2e 77 72 69 74 65 72 6f 77 28 writer.writerow(
26d0: 5b 72 6f 77 5b 30 5d 2c 20 27 7b 27 20 2b 20 27 [row[0], '{' + '
26e0: 2c 27 2e 6a 6f 69 6e 28 72 6f 77 5b 31 5d 29 20 ,'.join(row[1])
26f0: 2b 20 27 7d 27 2c 20 72 6f 77 5b 32 5d 5d 29 0a + '}', row[2]]).
2700: 0a 65 6c 69 66 20 63 6f 6e 66 69 67 2e 6f 70 74 .elif config.opt
2710: 69 6f 6e 73 2e 6c 6f 61 64 3a 0a 09 23 20 6c 6f ions.load:..# lo
2720: 61 64 69 6e 67 20 64 61 74 61 62 61 73 65 0a 09 ading database..
2730: 69 6d 70 6f 72 74 20 63 73 76 0a 0a 09 74 61 67 import csv...tag
2740: 64 62 20 3d 20 74 61 67 44 42 28 29 0a 0a 09 63 db = tagDB()...c
2750: 73 76 5f 72 65 61 64 65 72 20 3d 20 63 73 76 2e sv_reader = csv.
2760: 72 65 61 64 65 72 28 73 79 73 2e 73 74 64 69 6e reader(sys.stdin
2770: 29 0a 09 66 69 72 73 74 5f 72 6f 77 20 3d 20 6e )..first_row = n
2780: 65 78 74 28 63 73 76 5f 72 65 61 64 65 72 29 0a ext(csv_reader).
2790: 0a 09 61 73 73 65 72 74 20 66 69 72 73 74 5f 72 ..assert first_r
27a0: 6f 77 20 3d 3d 20 5b 27 73 69 74 65 27 2c 20 27 ow == ['site', '
27b0: 74 61 67 73 27 2c 20 27 72 65 67 65 78 70 27 5d tags', 'regexp']
27c0: 2c 20 27 46 69 6c 65 20 6d 75 73 74 20 63 6f 6e , 'File must con
27d0: 74 61 69 6e 20 63 73 76 20 64 61 74 61 20 77 69 tain csv data wi
27e0: 74 68 20 74 68 72 65 65 20 63 6f 6c 75 6d 6e 73 th three columns
27f0: 3a 20 22 73 69 74 65 22 2c 20 22 74 61 67 73 22 : "site", "tags"
2800: 20 61 6e 64 20 22 72 65 67 65 78 70 22 2e 27 0a and "regexp".'.
2810: 0a 09 74 61 67 64 62 2e 6c 6f 61 64 28 63 73 76 ..tagdb.load(csv
2820: 5f 72 65 61 64 65 72 29 0a 0a 65 6c 73 65 3a 0a _reader)..else:.
2830: 09 23 20 6d 61 69 6e 20 6c 6f 6f 70 0a 09 63 6f .# main loop..co
2840: 6e 66 69 67 2e 73 65 63 74 69 6f 6e 28 27 72 65 nfig.section('re
2850: 61 63 74 6f 72 27 29 0a 09 69 66 20 63 6f 6e 66 actor')..if conf
2860: 69 67 5b 27 72 65 61 63 74 6f 72 27 5d 20 3d 3d ig['reactor'] ==
2870: 20 27 74 68 72 65 61 64 27 3a 0a 09 09 63 68 65 'thread':...che
2880: 63 6b 65 72 20 3d 20 43 68 65 63 6b 65 72 54 68 cker = CheckerTh
2890: 72 65 61 64 28 29 0a 09 65 6c 69 66 20 63 6f 6e read()..elif con
28a0: 66 69 67 5b 27 72 65 61 63 74 6f 72 27 5d 20 3d fig['reactor'] =
28b0: 3d 20 27 70 6c 61 69 6e 27 3a 0a 09 09 63 68 65 = 'plain':...che
28c0: 63 6b 65 72 20 3d 20 43 68 65 63 6b 65 72 28 29 cker = Checker()
28d0: 0a 09 65 6c 69 66 20 63 6f 6e 66 69 67 5b 27 72 ..elif config['r
28e0: 65 61 63 74 6f 72 27 5d 20 3d 3d 20 27 6b 71 75 eactor'] == 'kqu
28f0: 65 75 65 27 3a 0a 09 09 63 68 65 63 6b 65 72 20 eue':...checker
2900: 3d 20 43 68 65 63 6b 65 72 4b 71 75 65 75 65 28 = CheckerKqueue(
2910: 29 0a 0a 09 63 68 65 63 6b 65 72 2e 6c 6f 6f 70 )...checker.loop
2920: 28 29 0a ().