0000: 23 21 2f 75 73 72 2f 62 69 6e 2f 65 6e 76 20 70 #!/usr/bin/env p
0010: 79 74 68 6f 6e 33 2e 31 0a 0a 69 6d 70 6f 72 74 ython3.1..import
0020: 20 70 6f 73 74 67 72 65 73 71 6c 2e 61 70 69 2c postgresql.api,
0030: 20 72 65 2c 20 73 79 73 0a 0a 23 20 77 72 61 70 re, sys..# wrap
0040: 70 65 72 20 61 72 6f 75 6e 64 20 73 79 73 6c 6f per around syslo
0050: 67 2c 20 63 61 6e 20 62 65 20 6d 75 74 65 64 0a g, can be muted.
0060: 63 6c 61 73 73 20 4c 6f 67 67 65 72 3a 0a 09 5f class Logger:.._
0070: 5f 73 6c 6f 74 73 5f 5f 20 3d 20 66 72 6f 7a 65 _slots__ = froze
0080: 6e 73 65 74 28 5b 27 5f 73 79 73 6c 6f 67 27 5d nset(['_syslog']
0090: 29 0a 0a 09 64 65 66 20 5f 5f 69 6e 69 74 5f 5f )...def __init__
00a0: 28 73 65 6c 66 29 3a 0a 09 09 63 6f 6e 66 69 67 (self):...config
00b0: 2e 73 65 63 74 69 6f 6e 28 27 6c 6f 67 27 29 0a .section('log').
00c0: 09 09 69 66 20 63 6f 6e 66 69 67 5b 27 73 69 6c ..if config['sil
00d0: 65 6e 74 27 5d 20 3d 3d 20 27 79 65 73 27 3a 0a ent'] == 'yes':.
00e0: 09 09 09 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 20 ...self._syslog
00f0: 3d 20 4e 6f 6e 65 0a 09 09 65 6c 73 65 3a 0a 09 = None...else:..
0100: 09 09 69 6d 70 6f 72 74 20 73 79 73 6c 6f 67 0a ..import syslog.
0110: 09 09 09 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 20 ...self._syslog
0120: 3d 20 73 79 73 6c 6f 67 0a 09 09 09 73 65 6c 66 = syslog....self
0130: 2e 5f 73 79 73 6c 6f 67 2e 6f 70 65 6e 6c 6f 67 ._syslog.openlog
0140: 28 27 73 71 75 69 64 54 61 67 27 29 0a 0a 09 64 ('squidTag')...d
0150: 65 66 20 69 6e 66 6f 28 73 65 6c 66 2c 20 6d 65 ef info(self, me
0160: 73 73 61 67 65 29 3a 0a 09 09 69 66 20 73 65 6c ssage):...if sel
0170: 66 2e 5f 73 79 73 6c 6f 67 3a 0a 09 09 09 73 65 f._syslog:....se
0180: 6c 66 2e 5f 73 79 73 6c 6f 67 2e 73 79 73 6c 6f lf._syslog.syslo
0190: 67 28 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 2e 4c g(self._syslog.L
01a0: 4f 47 5f 49 4e 46 4f 2c 20 6d 65 73 73 61 67 65 OG_INFO, message
01b0: 29 0a 0a 09 64 65 66 20 6e 6f 74 69 63 65 28 73 )...def notice(s
01c0: 65 6c 66 2c 20 6d 65 73 73 61 67 65 29 3a 0a 09 elf, message):..
01d0: 09 69 66 20 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 .if self._syslog
01e0: 3a 0a 09 09 09 73 65 6c 66 2e 5f 73 79 73 6c 6f :....self._syslo
01f0: 67 2e 73 79 73 6c 6f 67 28 73 65 6c 66 2e 5f 73 g.syslog(self._s
0200: 79 73 6c 6f 67 2e 4c 4f 47 5f 4e 4f 54 49 43 45 yslog.LOG_NOTICE
0210: 2c 20 6d 65 73 73 61 67 65 29 0a 0a 23 20 77 72 , message)..# wr
0220: 61 70 70 65 72 20 61 72 6f 75 6e 64 20 64 61 74 apper around dat
0230: 61 62 61 73 65 0a 63 6c 61 73 73 20 74 61 67 44 abase.class tagD
0240: 42 3a 0a 09 5f 5f 73 6c 6f 74 73 5f 5f 20 3d 20 B:..__slots__ =
0250: 66 72 6f 7a 65 6e 73 65 74 28 28 27 5f 63 68 65 frozenset(('_che
0260: 63 6b 5f 73 74 6d 74 27 2c 20 27 5f 64 62 27 2c ck_stmt', '_db',
0270: 20 27 5f 64 75 6d 70 5f 73 74 6d 74 27 29 29 0a '_dump_stmt')).
0280: 0a 09 64 65 66 20 5f 5f 69 6e 69 74 5f 5f 28 73 ..def __init__(s
0290: 65 6c 66 29 3a 0a 09 09 63 6f 6e 66 69 67 2e 73 elf):...config.s
02a0: 65 63 74 69 6f 6e 28 27 64 61 74 61 62 61 73 65 ection('database
02b0: 27 29 0a 09 09 73 65 6c 66 2e 5f 64 62 20 3d 20 ')...self._db =
02c0: 70 6f 73 74 67 72 65 73 71 6c 2e 6f 70 65 6e 28 postgresql.open(
02d0: 0a 09 09 09 27 70 71 3a 2f 2f 7b 7d 3a 7b 7d 40 ....'pq://{}:{}@
02e0: 7b 7d 2f 7b 7d 27 2e 66 6f 72 6d 61 74 28 0a 09 {}/{}'.format(..
02f0: 09 09 09 63 6f 6e 66 69 67 5b 27 75 73 65 72 27 ...config['user'
0300: 5d 2c 0a 09 09 09 09 63 6f 6e 66 69 67 5b 27 70 ],.....config['p
0310: 61 73 73 77 6f 72 64 27 5d 2c 0a 09 09 09 09 63 assword'],.....c
0320: 6f 6e 66 69 67 5b 27 68 6f 73 74 27 5d 2c 0a 09 onfig['host'],..
0330: 09 09 09 63 6f 6e 66 69 67 5b 27 64 61 74 61 62 ...config['datab
0340: 61 73 65 27 5d 2c 0a 09 09 29 20 29 0a 09 09 73 ase'],...) )...s
0350: 65 6c 66 2e 5f 63 68 65 63 6b 5f 73 74 6d 74 20 elf._check_stmt
0360: 3d 20 4e 6f 6e 65 0a 09 09 73 65 6c 66 2e 5f 64 = None...self._d
0370: 75 6d 70 5f 73 74 6d 74 20 3d 20 4e 6f 6e 65 0a ump_stmt = None.
0380: 0a 09 64 65 66 20 63 68 65 63 6b 28 73 65 6c 66 ..def check(self
0390: 2c 20 73 69 74 65 2c 20 69 70 5f 61 64 64 72 65 , site, ip_addre
03a0: 73 73 29 3a 0a 09 09 69 66 20 73 65 6c 66 2e 5f ss):...if self._
03b0: 63 68 65 63 6b 5f 73 74 6d 74 20 3d 3d 20 4e 6f check_stmt == No
03c0: 6e 65 3a 0a 09 09 09 73 65 6c 66 2e 5f 63 68 65 ne:....self._che
03d0: 63 6b 5f 73 74 6d 74 20 3d 20 73 65 6c 66 2e 5f ck_stmt = self._
03e0: 64 62 2e 70 72 65 70 61 72 65 28 22 73 65 6c 65 db.prepare("sele
03f0: 63 74 20 72 65 64 69 72 65 63 74 5f 75 72 6c 2c ct redirect_url,
0400: 20 72 65 67 65 78 70 20 66 72 6f 6d 20 73 69 74 regexp from sit
0410: 65 5f 72 75 6c 65 20 77 68 65 72 65 20 73 69 74 e_rule where sit
0420: 65 20 3c 40 20 74 72 69 70 64 6f 6d 61 69 6e 28 e <@ tripdomain(
0430: 24 31 29 20 61 6e 64 20 6e 65 74 6d 61 73 6b 20 $1) and netmask
0440: 3e 3e 20 24 32 3a 3a 74 65 78 74 3a 3a 69 6e 65 >> $2::text::ine
0450: 74 20 6f 72 64 65 72 20 62 79 20 61 72 72 61 79 t order by array
0460: 5f 6c 65 6e 67 74 68 28 73 69 74 65 2c 20 31 29 _length(site, 1)
0470: 20 64 65 73 63 22 29 0a 09 09 72 65 74 75 72 6e desc")...return
0480: 28 73 65 6c 66 2e 5f 63 68 65 63 6b 5f 73 74 6d (self._check_stm
0490: 74 28 73 69 74 65 2c 20 69 70 5f 61 64 64 72 65 t(site, ip_addre
04a0: 73 73 29 29 0a 0a 09 64 65 66 20 64 75 6d 70 28 ss))...def dump(
04b0: 73 65 6c 66 29 3a 0a 09 09 69 66 20 73 65 6c 66 self):...if self
04c0: 2e 5f 64 75 6d 70 5f 73 74 6d 74 20 3d 3d 20 4e ._dump_stmt == N
04d0: 6f 6e 65 3a 0a 09 09 09 73 65 6c 66 2e 5f 64 75 one:....self._du
04e0: 6d 70 5f 73 74 6d 74 20 3d 20 73 65 6c 66 2e 5f mp_stmt = self._
04f0: 64 62 2e 70 72 65 70 61 72 65 28 22 73 65 6c 65 db.prepare("sele
0500: 63 74 20 75 6e 74 72 69 70 28 73 69 74 65 29 2c ct untrip(site),
0510: 20 74 61 67 2c 20 72 65 67 65 78 70 20 66 72 6f tag, regexp fro
0520: 6d 20 75 72 6c 73 20 6e 61 74 75 72 61 6c 20 6a m urls natural j
0530: 6f 69 6e 20 73 69 74 65 20 6e 61 74 75 72 61 6c oin site natural
0540: 20 6a 6f 69 6e 20 74 61 67 20 6f 72 64 65 72 20 join tag order
0550: 62 79 20 73 69 74 65 2c 20 74 61 67 22 29 0a 09 by site, tag")..
0560: 09 72 65 74 75 72 6e 28 73 65 6c 66 2e 5f 64 75 .return(self._du
0570: 6d 70 5f 73 74 6d 74 28 29 29 0a 0a 23 20 61 62 mp_stmt())..# ab
0580: 73 74 72 61 63 74 20 63 6c 61 73 73 20 77 69 74 stract class wit
0590: 68 20 62 61 73 69 63 20 63 68 65 63 6b 69 6e 67 h basic checking
05a0: 20 66 75 6e 63 74 69 6f 6e 61 6c 69 74 79 0a 63 functionality.c
05b0: 6c 61 73 73 20 43 68 65 63 6b 65 72 3a 0a 09 5f lass Checker:.._
05c0: 5f 73 6c 6f 74 73 5f 5f 20 3d 20 66 72 6f 7a 65 _slots__ = froze
05d0: 6e 73 65 74 28 5b 27 5f 64 62 27 2c 20 27 5f 6c nset(['_db', '_l
05e0: 6f 67 27 5d 29 0a 0a 09 64 65 66 20 5f 5f 69 6e og'])...def __in
05f0: 69 74 5f 5f 28 73 65 6c 66 29 3a 0a 09 09 73 65 it__(self):...se
0600: 6c 66 2e 5f 64 62 20 3d 20 74 61 67 44 42 28 29 lf._db = tagDB()
0610: 0a 09 09 73 65 6c 66 2e 5f 6c 6f 67 20 3d 20 4c ...self._log = L
0620: 6f 67 67 65 72 28 29 0a 09 09 73 65 6c 66 2e 5f ogger()...self._
0630: 6c 6f 67 2e 69 6e 66 6f 28 27 73 74 61 72 74 65 log.info('starte
0640: 64 5c 6e 27 29 0a 0a 09 64 65 66 20 70 72 6f 63 d\n')...def proc
0650: 65 73 73 28 73 65 6c 66 2c 20 69 64 2c 20 73 69 ess(self, id, si
0660: 74 65 2c 20 69 70 5f 61 64 64 72 65 73 73 2c 20 te, ip_address,
0670: 75 72 6c 5f 70 61 74 68 2c 20 6c 69 6e 65 20 3d url_path, line =
0680: 20 4e 6f 6e 65 29 3a 0a 09 09 73 65 6c 66 2e 5f None):...self._
0690: 6c 6f 67 2e 69 6e 66 6f 28 27 74 72 79 69 6e 67 log.info('trying
06a0: 20 7b 7d 5c 6e 27 2e 66 6f 72 6d 61 74 28 73 69 {}\n'.format(si
06b0: 74 65 29 29 0a 09 09 72 65 73 75 6c 74 20 3d 20 te))...result =
06c0: 73 65 6c 66 2e 5f 64 62 2e 63 68 65 63 6b 28 73 self._db.check(s
06d0: 69 74 65 2c 20 69 70 5f 61 64 64 72 65 73 73 29 ite, ip_address)
06e0: 0a 09 09 23 72 65 70 6c 79 20 3d 20 27 7b 7d 3a ...#reply = '{}:
06f0: 2f 2f 7b 7d 2f 7b 7d 27 2e 66 6f 72 6d 61 74 28 //{}/{}'.format(
0700: 72 65 71 5b 34 5d 2c 20 72 65 71 5b 31 5d 2c 20 req[4], req[1],
0710: 72 65 71 5b 33 5d 29 0a 09 09 72 65 70 6c 79 20 req[3])...reply
0720: 3d 20 27 2d 27 0a 09 09 66 6f 72 20 72 6f 77 20 = '-'...for row
0730: 69 6e 20 72 65 73 75 6c 74 3a 0a 09 09 09 69 66 in result:....if
0740: 20 72 6f 77 20 21 3d 20 4e 6f 6e 65 20 61 6e 64 row != None and
0750: 20 72 6f 77 5b 30 5d 20 21 3d 20 4e 6f 6e 65 3a row[0] != None:
0760: 0a 09 09 09 09 69 66 20 72 6f 77 5b 31 5d 20 21 .....if row[1] !
0770: 3d 20 4e 6f 6e 65 3a 0a 09 09 09 09 09 73 65 6c = None:......sel
0780: 66 2e 5f 6c 6f 67 2e 69 6e 66 6f 28 27 74 72 79 f._log.info('try
0790: 69 6e 67 20 72 65 67 65 78 70 20 22 7b 7d 22 20 ing regexp "{}"
07a0: 76 65 72 73 75 73 20 22 7b 7d 22 5c 6e 27 2e 66 versus "{}"\n'.f
07b0: 6f 72 6d 61 74 28 72 6f 77 5b 31 5d 2c 20 75 72 ormat(row[1], ur
07c0: 6c 5f 70 61 74 68 29 29 0a 09 09 09 09 09 74 72 l_path))......tr
07d0: 79 3a 0a 09 09 09 09 09 09 69 66 20 72 65 2e 63 y:.......if re.c
07e0: 6f 6d 70 69 6c 65 28 72 6f 77 5b 31 5d 29 2e 6d ompile(row[1]).m
07f0: 61 74 63 68 28 75 72 6c 5f 70 61 74 68 29 3a 0a atch(url_path):.
0800: 09 09 09 09 09 09 09 72 65 70 6c 79 20 3d 20 72 .......reply = r
0810: 6f 77 5b 30 5d 2e 66 6f 72 6d 61 74 28 75 72 6c ow[0].format(url
0820: 5f 70 61 74 68 29 0a 09 09 09 09 09 09 09 62 72 _path)........br
0830: 65 61 6b 0a 09 09 09 09 09 09 65 6c 73 65 3a 0a eak.......else:.
0840: 09 09 09 09 09 09 09 63 6f 6e 74 69 6e 75 65 0a .......continue.
0850: 09 09 09 09 09 65 78 63 65 70 74 3a 0a 09 09 09 .....except:....
0860: 09 09 09 73 65 6c 66 2e 5f 6c 6f 67 2e 69 6e 66 ...self._log.inf
0870: 6f 28 22 63 61 6e 27 74 20 63 6f 6d 70 69 6c 65 o("can't compile
0880: 20 72 65 67 65 78 70 22 29 0a 09 09 09 09 65 6c regexp").....el
0890: 73 65 3a 0a 09 09 09 09 09 72 65 70 6c 79 20 3d se:......reply =
08a0: 20 72 6f 77 5b 30 5d 2e 66 6f 72 6d 61 74 28 75 row[0].format(u
08b0: 72 6c 5f 70 61 74 68 29 0a 09 09 09 09 09 62 72 rl_path)......br
08c0: 65 61 6b 0a 09 09 73 65 6c 66 2e 77 72 69 74 65 eak...self.write
08d0: 6c 69 6e 65 28 27 7b 7d 20 7b 7d 5c 6e 27 2e 66 line('{} {}\n'.f
08e0: 6f 72 6d 61 74 28 69 64 2c 20 72 65 70 6c 79 29 ormat(id, reply)
08f0: 29 0a 0a 09 64 65 66 20 63 68 65 63 6b 28 73 65 )...def check(se
0900: 6c 66 2c 20 6c 69 6e 65 29 3a 0a 09 09 72 65 71 lf, line):...req
0910: 75 65 73 74 20 3d 20 72 65 2e 63 6f 6d 70 69 6c uest = re.compil
0920: 65 28 27 5e 28 5b 30 2d 39 5d 2b 29 5c 20 28 68 e('^([0-9]+)\ (h
0930: 74 74 70 7c 66 74 70 29 3a 5c 2f 5c 2f 28 5b 2d ttp|ftp):\/\/([-
0940: 5c 77 2e 3a 5d 2b 29 5c 2f 28 5b 5e 20 5d 2a 29 \w.:]+)\/([^ ]*)
0950: 5c 20 28 5b 30 2d 39 2e 5d 2b 29 5c 2f 28 2d 7c \ ([0-9.]+)\/(-|
0960: 5b 5c 77 5c 2e 5d 2b 29 5c 20 28 2d 7c 5c 77 2b [\w\.]+)\ (-|\w+
0970: 29 5c 20 28 2d 7c 47 45 54 7c 48 45 41 44 7c 50 )\ (-|GET|HEAD|P
0980: 4f 53 54 29 2e 2a 24 27 29 2e 6d 61 74 63 68 28 OST).*$').match(
0990: 6c 69 6e 65 29 0a 09 09 69 66 20 72 65 71 75 65 line)...if reque
09a0: 73 74 3a 0a 09 09 09 69 64 20 3d 20 72 65 71 75 st:....id = requ
09b0: 65 73 74 2e 67 72 6f 75 70 28 31 29 0a 09 09 09 est.group(1)....
09c0: 23 70 72 6f 74 6f 20 3d 20 72 65 71 75 65 73 74 #proto = request
09d0: 2e 67 72 6f 75 70 28 32 29 0a 09 09 09 73 69 74 .group(2)....sit
09e0: 65 20 3d 20 72 65 71 75 65 73 74 2e 67 72 6f 75 e = request.grou
09f0: 70 28 33 29 0a 09 09 09 75 72 6c 5f 70 61 74 68 p(3)....url_path
0a00: 20 3d 20 72 65 71 75 65 73 74 2e 67 72 6f 75 70 = request.group
0a10: 28 34 29 0a 09 09 09 69 70 5f 61 64 64 72 65 73 (4)....ip_addres
0a20: 73 20 3d 20 72 65 71 75 65 73 74 2e 67 72 6f 75 s = request.grou
0a30: 70 28 35 29 0a 09 09 09 73 65 6c 66 2e 70 72 6f p(5)....self.pro
0a40: 63 65 73 73 28 69 64 2c 20 73 69 74 65 2c 20 69 cess(id, site, i
0a50: 70 5f 61 64 64 72 65 73 73 2c 20 75 72 6c 5f 70 p_address, url_p
0a60: 61 74 68 2c 20 6c 69 6e 65 29 0a 09 09 09 72 65 ath, line)....re
0a70: 74 75 72 6e 28 54 72 75 65 29 0a 09 09 65 6c 73 turn(True)...els
0a80: 65 3a 0a 09 09 09 73 65 6c 66 2e 5f 6c 6f 67 2e e:....self._log.
0a90: 69 6e 66 6f 28 27 62 61 64 20 72 65 71 75 65 73 info('bad reques
0aa0: 74 5c 6e 27 29 0a 09 09 09 73 65 6c 66 2e 77 72 t\n')....self.wr
0ab0: 69 74 65 6c 69 6e 65 28 6c 69 6e 65 29 0a 09 09 iteline(line)...
0ac0: 09 72 65 74 75 72 6e 28 46 61 6c 73 65 29 0a 0a .return(False)..
0ad0: 09 64 65 66 20 77 72 69 74 65 6c 69 6e 65 28 73 .def writeline(s
0ae0: 65 6c 66 2c 20 73 74 72 69 6e 67 29 3a 0a 09 09 elf, string):...
0af0: 73 65 6c 66 2e 5f 6c 6f 67 2e 69 6e 66 6f 28 27 self._log.info('
0b00: 73 65 6e 64 69 6e 67 3a 20 27 20 2b 20 73 74 72 sending: ' + str
0b10: 69 6e 67 29 0a 09 09 73 79 73 2e 73 74 64 6f 75 ing)...sys.stdou
0b20: 74 2e 77 72 69 74 65 28 73 74 72 69 6e 67 29 0a t.write(string).
0b30: 09 09 73 79 73 2e 73 74 64 6f 75 74 2e 66 6c 75 ..sys.stdout.flu
0b40: 73 68 28 29 0a 0a 09 64 65 66 20 6c 6f 6f 70 28 sh()...def loop(
0b50: 73 65 6c 66 29 3a 0a 09 09 77 68 69 6c 65 20 54 self):...while T
0b60: 72 75 65 3a 0a 09 09 09 6c 69 6e 65 20 3d 20 73 rue:....line = s
0b70: 79 73 2e 73 74 64 69 6e 2e 72 65 61 64 6c 69 6e ys.stdin.readlin
0b80: 65 28 29 0a 09 09 09 69 66 20 6c 65 6e 28 6c 69 e()....if len(li
0b90: 6e 65 29 20 3d 3d 20 30 3a 0a 09 09 09 09 62 72 ne) == 0:.....br
0ba0: 65 61 6b 0a 09 09 09 73 65 6c 66 2e 63 68 65 63 eak....self.chec
0bb0: 6b 28 6c 69 6e 65 29 0a 0a 23 20 74 68 72 65 61 k(line)..# threa
0bc0: 64 65 64 20 63 68 65 63 6b 69 6e 67 20 66 61 63 ded checking fac
0bd0: 69 6c 69 74 79 0a 63 6c 61 73 73 20 43 68 65 63 ility.class Chec
0be0: 6b 65 72 54 68 72 65 61 64 28 43 68 65 63 6b 65 kerThread(Checke
0bf0: 72 29 3a 0a 09 5f 5f 73 6c 6f 74 73 5f 5f 20 3d r):..__slots__ =
0c00: 20 66 72 6f 7a 65 6e 73 65 74 28 5b 27 5f 6c 6f frozenset(['_lo
0c10: 63 6b 27 2c 20 27 5f 6c 6f 63 6b 5f 65 78 69 74 ck', '_lock_exit
0c20: 27 2c 20 27 5f 6c 6f 63 6b 5f 71 75 65 75 65 27 ', '_lock_queue'
0c30: 2c 20 27 5f 71 75 65 75 65 27 5d 29 0a 0a 09 64 , '_queue'])...d
0c40: 65 66 20 5f 5f 69 6e 69 74 5f 5f 28 73 65 6c 66 ef __init__(self
0c50: 29 3a 0a 09 09 69 6d 70 6f 72 74 20 5f 74 68 72 ):...import _thr
0c60: 65 61 64 0a 0a 09 09 23 20 62 61 73 69 63 20 69 ead....# basic i
0c70: 6e 69 74 69 61 6c 69 73 61 74 69 6f 6e 0a 09 09 nitialisation...
0c80: 43 68 65 63 6b 65 72 2e 5f 5f 69 6e 69 74 5f 5f Checker.__init__
0c90: 28 73 65 6c 66 29 0a 0a 09 09 23 20 53 70 69 6e (self)....# Spin
0ca0: 20 6c 6f 63 6b 2e 20 4c 6f 6f 70 20 61 63 71 75 lock. Loop acqu
0cb0: 69 72 65 73 20 69 74 20 6f 6e 20 73 74 61 72 74 ires it on start
0cc0: 20 74 68 65 6e 20 72 65 6c 65 61 73 65 73 20 69 then releases i
0cd0: 74 20 77 68 65 6e 20 68 6f 6c 64 69 6e 67 20 71 t when holding q
0ce0: 75 65 75 65 0a 09 09 23 20 6c 6f 63 6b 2e 20 54 ueue...# lock. T
0cf0: 68 69 73 20 77 61 79 20 74 68 65 20 74 68 72 65 his way the thre
0d00: 61 64 20 70 72 6f 63 65 65 64 73 20 77 69 74 68 ad proceeds with
0d10: 6f 75 74 20 73 74 6f 70 73 20 77 68 69 6c 65 20 out stops while
0d20: 71 75 65 75 65 20 68 61 73 20 64 61 74 61 20 61 queue has data a
0d30: 6e 64 0a 09 09 23 20 67 65 74 73 20 73 74 61 6c nd...# gets stal
0d40: 6c 65 64 20 77 68 65 6e 20 6e 6f 20 64 61 74 61 led when no data
0d50: 20 70 72 65 73 65 6e 74 2e 20 54 68 65 20 6c 6f present. The lo
0d60: 63 6b 20 69 73 20 72 65 6c 65 61 73 65 64 20 62 ck is released b
0d70: 79 20 71 75 65 75 65 20 77 72 69 74 65 72 0a 09 y queue writer..
0d80: 09 23 20 61 66 74 65 72 20 73 74 6f 72 69 6e 67 .# after storing
0d90: 20 73 6f 6d 65 74 68 69 6e 67 20 69 6e 74 6f 20 something into
0da0: 74 68 65 20 71 75 65 75 65 0a 09 09 73 65 6c 66 the queue...self
0db0: 2e 5f 6c 6f 63 6b 20 3d 20 5f 74 68 72 65 61 64 ._lock = _thread
0dc0: 2e 61 6c 6c 6f 63 61 74 65 5f 6c 6f 63 6b 28 29 .allocate_lock()
0dd0: 0a 09 09 73 65 6c 66 2e 5f 6c 6f 63 6b 5f 65 78 ...self._lock_ex
0de0: 69 74 20 3d 20 5f 74 68 72 65 61 64 2e 61 6c 6c it = _thread.all
0df0: 6f 63 61 74 65 5f 6c 6f 63 6b 28 29 0a 09 09 73 ocate_lock()...s
0e00: 65 6c 66 2e 5f 6c 6f 63 6b 5f 71 75 65 75 65 20 elf._lock_queue
0e10: 3d 20 5f 74 68 72 65 61 64 2e 61 6c 6c 6f 63 61 = _thread.alloca
0e20: 74 65 5f 6c 6f 63 6b 28 29 0a 09 09 73 65 6c 66 te_lock()...self
0e30: 2e 5f 6c 6f 63 6b 2e 61 63 71 75 69 72 65 28 29 ._lock.acquire()
0e40: 0a 09 09 73 65 6c 66 2e 5f 71 75 65 75 65 20 3d ...self._queue =
0e50: 20 5b 5d 0a 09 09 5f 74 68 72 65 61 64 2e 73 74 []..._thread.st
0e60: 61 72 74 5f 6e 65 77 5f 74 68 72 65 61 64 28 73 art_new_thread(s
0e70: 65 6c 66 2e 5f 73 74 61 72 74 2c 20 28 29 29 0a elf._start, ()).
0e80: 0a 09 64 65 66 20 5f 73 74 61 72 74 28 73 65 6c ..def _start(sel
0e90: 66 29 3a 0a 09 09 77 68 69 6c 65 20 54 72 75 65 f):...while True
0ea0: 3a 0a 09 09 09 73 65 6c 66 2e 5f 6c 6f 63 6b 2e :....self._lock.
0eb0: 61 63 71 75 69 72 65 28 29 0a 09 09 09 77 69 74 acquire()....wit
0ec0: 68 20 73 65 6c 66 2e 5f 6c 6f 63 6b 5f 71 75 65 h self._lock_que
0ed0: 75 65 3a 0a 09 09 09 09 23 20 79 65 73 20 74 68 ue:.....# yes th
0ee0: 69 73 20 73 68 6f 75 6c 64 20 62 65 20 77 72 69 is should be wri
0ef0: 74 74 65 6e 20 74 68 69 73 20 77 61 79 2c 20 61 tten this way, a
0f00: 6e 64 20 79 65 73 2c 20 74 68 69 73 20 69 73 20 nd yes, this is
0f10: 77 68 79 20 49 20 68 61 74 65 20 74 68 72 65 61 why I hate threa
0f20: 64 69 6e 67 0a 09 09 09 09 69 66 20 6c 65 6e 28 ding.....if len(
0f30: 73 65 6c 66 2e 5f 71 75 65 75 65 29 20 3e 20 31 self._queue) > 1
0f40: 3a 0a 09 09 09 09 09 69 66 20 73 65 6c 66 2e 5f :......if self._
0f50: 6c 6f 63 6b 2e 6c 6f 63 6b 65 64 28 29 3a 0a 09 lock.locked():..
0f60: 09 09 09 09 09 73 65 6c 66 2e 5f 6c 6f 63 6b 2e .....self._lock.
0f70: 72 65 6c 65 61 73 65 28 29 0a 09 09 09 09 72 65 release().....re
0f80: 71 20 3d 20 73 65 6c 66 2e 5f 71 75 65 75 65 2e q = self._queue.
0f90: 70 6f 70 28 30 29 0a 09 09 09 43 68 65 63 6b 65 pop(0)....Checke
0fa0: 72 2e 70 72 6f 63 65 73 73 28 73 65 6c 66 2c 20 r.process(self,
0fb0: 72 65 71 5b 30 5d 2c 20 72 65 71 5b 31 5d 2c 20 req[0], req[1],
0fc0: 72 65 71 5b 32 5d 2c 20 72 65 71 5b 33 5d 29 0a req[2], req[3]).
0fd0: 09 09 09 77 69 74 68 20 73 65 6c 66 2e 5f 6c 6f ...with self._lo
0fe0: 63 6b 5f 71 75 65 75 65 3a 0a 09 09 09 09 69 66 ck_queue:.....if
0ff0: 20 6c 65 6e 28 73 65 6c 66 2e 5f 71 75 65 75 65 len(self._queue
1000: 29 20 3d 3d 20 30 3a 0a 09 09 09 09 09 69 66 20 ) == 0:......if
1010: 73 65 6c 66 2e 5f 6c 6f 63 6b 5f 65 78 69 74 2e self._lock_exit.
1020: 6c 6f 63 6b 65 64 28 29 3a 0a 09 09 09 09 09 09 locked():.......
1030: 73 65 6c 66 2e 5f 6c 6f 63 6b 5f 65 78 69 74 2e self._lock_exit.
1040: 72 65 6c 65 61 73 65 28 29 0a 0a 09 64 65 66 20 release()...def
1050: 70 72 6f 63 65 73 73 28 73 65 6c 66 2c 20 69 64 process(self, id
1060: 2c 20 73 69 74 65 2c 20 69 70 5f 61 64 64 72 65 , site, ip_addre
1070: 73 73 2c 20 75 72 6c 5f 70 61 74 68 2c 20 6c 69 ss, url_path, li
1080: 6e 65 29 3a 0a 09 09 77 69 74 68 20 73 65 6c 66 ne):...with self
1090: 2e 5f 6c 6f 63 6b 5f 71 75 65 75 65 3a 0a 09 09 ._lock_queue:...
10a0: 09 73 65 6c 66 2e 5f 71 75 65 75 65 2e 61 70 70 .self._queue.app
10b0: 65 6e 64 28 28 69 64 2c 20 73 69 74 65 2c 20 69 end((id, site, i
10c0: 70 5f 61 64 64 72 65 73 73 2c 20 75 72 6c 5f 70 p_address, url_p
10d0: 61 74 68 29 29 0a 09 09 09 73 65 6c 66 2e 5f 6c ath))....self._l
10e0: 6f 67 2e 69 6e 66 6f 28 27 72 65 71 75 65 73 74 og.info('request
10f0: 20 7b 7d 20 71 75 65 75 65 64 20 28 7b 7d 29 5c {} queued ({})\
1100: 6e 27 2e 66 6f 72 6d 61 74 28 69 64 2c 20 6c 69 n'.format(id, li
1110: 6e 65 29 29 0a 09 09 09 69 66 20 6e 6f 74 20 73 ne))....if not s
1120: 65 6c 66 2e 5f 6c 6f 63 6b 5f 65 78 69 74 2e 6c elf._lock_exit.l
1130: 6f 63 6b 65 64 28 29 3a 0a 09 09 09 09 73 65 6c ocked():.....sel
1140: 66 2e 5f 6c 6f 63 6b 5f 65 78 69 74 2e 61 63 71 f._lock_exit.acq
1150: 75 69 72 65 28 29 0a 09 09 09 69 66 20 73 65 6c uire()....if sel
1160: 66 2e 5f 6c 6f 63 6b 2e 6c 6f 63 6b 65 64 28 29 f._lock.locked()
1170: 3a 0a 09 09 09 09 73 65 6c 66 2e 5f 6c 6f 63 6b :.....self._lock
1180: 2e 72 65 6c 65 61 73 65 28 29 0a 0a 09 64 65 66 .release()...def
1190: 20 6c 6f 6f 70 28 73 65 6c 66 29 3a 0a 09 09 77 loop(self):...w
11a0: 68 69 6c 65 20 54 72 75 65 3a 0a 09 09 09 6c 69 hile True:....li
11b0: 6e 65 20 3d 20 73 79 73 2e 73 74 64 69 6e 2e 72 ne = sys.stdin.r
11c0: 65 61 64 6c 69 6e 65 28 29 0a 09 09 09 69 66 20 eadline()....if
11d0: 6c 65 6e 28 6c 69 6e 65 29 20 3d 3d 20 30 3a 0a len(line) == 0:.
11e0: 09 09 09 09 62 72 65 61 6b 0a 09 09 09 73 65 6c ....break....sel
11f0: 66 2e 63 68 65 63 6b 28 6c 69 6e 65 29 0a 09 09 f.check(line)...
1200: 73 65 6c 66 2e 5f 6c 6f 63 6b 5f 65 78 69 74 2e self._lock_exit.
1210: 61 63 71 75 69 72 65 28 29 0a 0a 23 20 6b 71 75 acquire()..# kqu
1220: 65 75 65 20 65 6e 61 62 6c 65 64 20 63 6c 61 73 eue enabled clas
1230: 73 20 66 6f 72 20 42 53 44 27 73 0a 63 6c 61 73 s for BSD's.clas
1240: 73 20 43 68 65 63 6b 65 72 4b 71 75 65 75 65 28 s CheckerKqueue(
1250: 43 68 65 63 6b 65 72 29 3a 0a 09 5f 5f 73 6c 6f Checker):..__slo
1260: 74 73 5f 5f 20 3d 20 66 72 6f 7a 65 6e 73 65 74 ts__ = frozenset
1270: 28 5b 27 5f 6b 71 27 2c 20 27 5f 73 65 6c 65 63 (['_kq', '_selec
1280: 74 27 2c 20 27 5f 71 75 65 75 65 27 5d 29 0a 0a t', '_queue'])..
1290: 09 64 65 66 20 5f 5f 69 6e 69 74 5f 5f 28 73 65 .def __init__(se
12a0: 6c 66 29 3a 0a 09 09 23 20 62 61 73 69 63 20 69 lf):...# basic i
12b0: 6e 69 74 69 61 6c 69 73 61 74 69 6f 6e 0a 09 09 nitialisation...
12c0: 43 68 65 63 6b 65 72 2e 5f 5f 69 6e 69 74 5f 5f Checker.__init__
12d0: 28 73 65 6c 66 29 0a 0a 09 09 23 20 69 6d 70 6f (self)....# impo
12e0: 72 74 69 6e 67 20 73 65 6c 65 63 74 20 6d 6f 64 rting select mod
12f0: 75 6c 65 0a 09 09 69 6d 70 6f 72 74 20 73 65 6c ule...import sel
1300: 65 63 74 0a 09 09 73 65 6c 66 2e 5f 73 65 6c 65 ect...self._sele
1310: 63 74 20 3d 20 73 65 6c 65 63 74 0a 0a 09 09 23 ct = select....#
1320: 20 6b 72 65 61 74 69 6e 67 20 6b 71 75 65 75 65 kreating kqueue
1330: 0a 09 09 73 65 6c 66 2e 5f 6b 71 20 3d 20 73 65 ...self._kq = se
1340: 6c 66 2e 5f 73 65 6c 65 63 74 2e 6b 71 75 65 75 lf._select.kqueu
1350: 65 28 29 0a 09 09 61 73 73 65 72 74 20 73 65 6c e()...assert sel
1360: 66 2e 5f 6b 71 2e 66 69 6c 65 6e 6f 28 29 20 21 f._kq.fileno() !
1370: 3d 20 2d 31 2c 20 22 46 61 74 61 6c 20 65 72 72 = -1, "Fatal err
1380: 6f 72 3a 20 63 61 6e 27 74 20 69 6e 69 74 69 61 or: can't initia
1390: 6c 69 73 65 20 6b 71 75 65 75 65 2e 22 0a 0a 09 lise kqueue."...
13a0: 09 23 20 77 61 74 63 68 69 6e 67 20 73 79 73 2e .# watching sys.
13b0: 73 74 64 69 6e 20 66 6f 72 20 64 61 74 61 0a 09 stdin for data..
13c0: 09 73 65 6c 66 2e 5f 6b 71 2e 63 6f 6e 74 72 6f .self._kq.contro
13d0: 6c 28 5b 73 65 6c 66 2e 5f 73 65 6c 65 63 74 2e l([self._select.
13e0: 6b 65 76 65 6e 74 28 73 79 73 2e 73 74 64 69 6e kevent(sys.stdin
13f0: 2c 20 73 65 6c 66 2e 5f 73 65 6c 65 63 74 2e 4b , self._select.K
1400: 51 5f 46 49 4c 54 45 52 5f 52 45 41 44 2c 20 73 Q_FILTER_READ, s
1410: 65 6c 66 2e 5f 73 65 6c 65 63 74 2e 4b 51 5f 45 elf._select.KQ_E
1420: 56 5f 41 44 44 29 5d 2c 20 30 29 0a 0a 09 09 23 V_ADD)], 0)....#
1430: 20 63 72 65 61 74 69 6e 67 20 64 61 74 61 20 71 creating data q
1440: 75 65 75 65 0a 09 09 73 65 6c 66 2e 5f 71 75 65 ueue...self._que
1450: 75 65 20 3d 20 5b 5d 0a 0a 09 64 65 66 20 6c 6f ue = []...def lo
1460: 6f 70 28 73 65 6c 66 29 3a 0a 09 09 23 20 57 61 op(self):...# Wa
1470: 69 74 20 66 6f 72 20 64 61 74 61 20 62 79 20 64 it for data by d
1480: 65 66 61 75 6c 74 0a 09 09 74 69 6d 65 6f 75 74 efault...timeout
1490: 20 3d 20 4e 6f 6e 65 0a 09 09 65 6f 66 20 3d 20 = None...eof =
14a0: 46 61 6c 73 65 0a 09 09 62 75 66 66 65 72 20 3d False...buffer =
14b0: 20 27 27 0a 09 09 77 68 69 6c 65 20 54 72 75 65 ''...while True
14c0: 3a 0a 09 09 09 23 20 63 68 65 63 6b 69 6e 67 20 :....# checking
14d0: 69 66 20 74 68 65 72 65 20 69 73 20 61 6e 79 20 if there is any
14e0: 64 61 74 61 20 6f 72 20 77 69 74 69 6e 67 20 66 data or witing f
14f0: 6f 72 20 64 61 74 61 20 74 6f 20 61 72 72 69 76 or data to arriv
1500: 65 0a 09 09 09 6b 65 76 73 20 3d 20 73 65 6c 66 e....kevs = self
1510: 2e 5f 6b 71 2e 63 6f 6e 74 72 6f 6c 28 4e 6f 6e ._kq.control(Non
1520: 65 2c 20 31 2c 20 74 69 6d 65 6f 75 74 29 0a 0a e, 1, timeout)..
1530: 09 09 09 66 6f 72 20 6b 65 76 20 69 6e 20 6b 65 ...for kev in ke
1540: 76 73 3a 0a 09 09 09 09 69 66 20 6b 65 76 2e 66 vs:.....if kev.f
1550: 69 6c 74 65 72 20 3d 3d 20 73 65 6c 66 2e 5f 73 ilter == self._s
1560: 65 6c 65 63 74 2e 4b 51 5f 46 49 4c 54 45 52 5f elect.KQ_FILTER_
1570: 52 45 41 44 20 61 6e 64 20 6b 65 76 2e 64 61 74 READ and kev.dat
1580: 61 20 3e 20 30 3a 0a 09 09 09 09 09 23 20 72 65 a > 0:......# re
1590: 61 64 69 6e 67 20 64 61 74 61 20 69 6e 0a 09 09 ading data in...
15a0: 09 09 09 6e 65 77 5f 62 75 66 66 65 72 20 3d 20 ...new_buffer =
15b0: 73 79 73 2e 73 74 64 69 6e 2e 72 65 61 64 28 6b sys.stdin.read(k
15c0: 65 76 2e 64 61 74 61 29 0a 09 09 09 09 09 23 20 ev.data)......#
15d0: 69 66 20 6e 6f 20 64 61 74 61 20 77 61 73 20 73 if no data was s
15e0: 65 6e 74 20 2d 20 77 65 20 68 61 76 65 20 72 65 ent - we have re
15f0: 61 63 68 65 64 20 65 6e 64 20 6f 66 20 66 69 6c ached end of fil
1600: 65 0a 09 09 09 09 09 69 66 20 6c 65 6e 28 6e 65 e......if len(ne
1610: 77 5f 62 75 66 66 65 72 29 20 3d 3d 20 30 3a 0a w_buffer) == 0:.
1620: 09 09 09 09 09 09 65 6f 66 20 3d 20 54 72 75 65 ......eof = True
1630: 0a 09 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 ......else:.....
1640: 09 09 23 20 61 64 64 69 6e 67 20 63 75 72 72 65 ..# adding curre
1650: 6e 74 20 62 75 66 66 65 72 20 74 6f 20 6f 6c 64 nt buffer to old
1660: 20 62 75 66 66 65 72 20 72 65 6d 61 69 6e 73 0a buffer remains.
1670: 09 09 09 09 09 09 62 75 66 66 65 72 20 2b 3d 20 ......buffer +=
1680: 6e 65 77 5f 62 75 66 66 65 72 0a 09 09 09 09 09 new_buffer......
1690: 09 23 20 73 70 6c 69 74 74 69 6e 67 20 74 6f 20 .# splitting to
16a0: 6c 69 6e 65 73 0a 09 09 09 09 09 09 6c 69 6e 65 lines.......line
16b0: 73 20 3d 20 62 75 66 66 65 72 2e 73 70 6c 69 74 s = buffer.split
16c0: 28 27 5c 6e 27 29 0a 09 09 09 09 09 09 23 20 6c ('\n').......# l
16d0: 61 73 74 20 6c 69 6e 65 20 74 68 61 74 20 77 61 ast line that wa
16e0: 73 20 6e 6f 74 20 74 65 72 6d 69 6e 61 74 65 20 s not terminate
16f0: 62 79 20 6e 65 77 6c 69 6e 65 20 72 65 74 75 72 by newline retur
1700: 6e 73 20 74 6f 20 62 75 66 66 65 72 0a 09 09 09 ns to buffer....
1710: 09 09 09 62 75 66 66 65 72 20 3d 20 6c 69 6e 65 ...buffer = line
1720: 73 5b 2d 31 5d 0a 09 09 09 09 09 09 23 20 61 6e s[-1].......# an
1730: 20 6f 6e 6c 79 20 69 66 20 74 68 65 72 65 20 77 only if there w
1740: 61 73 20 61 74 20 6c 65 61 73 74 20 6f 6e 65 20 as at least one
1750: 6e 65 77 6c 69 6e 65 0a 09 09 09 09 09 09 69 66 newline.......if
1760: 20 6c 65 6e 28 6c 69 6e 65 73 29 20 3e 20 31 3a len(lines) > 1:
1770: 0a 09 09 09 09 09 09 09 66 6f 72 20 6c 69 6e 65 ........for line
1780: 20 69 6e 20 6c 69 6e 65 73 5b 3a 2d 31 5d 3a 0a in lines[:-1]:.
1790: 09 09 09 09 09 09 09 09 23 20 61 64 64 20 64 61 ........# add da
17a0: 74 61 20 74 6f 20 74 68 65 20 71 75 65 75 65 0a ta to the queue.
17b0: 09 09 09 09 09 09 09 09 69 66 20 73 65 6c 66 2e ........if self.
17c0: 63 68 65 63 6b 28 6c 69 6e 65 20 2b 20 27 5c 6e check(line + '\n
17d0: 27 29 3a 0a 09 09 09 09 09 09 09 09 09 23 20 64 '):..........# d
17e0: 6f 6e 27 74 20 77 61 69 74 20 66 6f 72 20 6d 6f on't wait for mo
17f0: 72 65 20 64 61 74 61 2c 20 73 74 61 72 74 20 70 re data, start p
1800: 72 6f 63 65 73 73 69 6e 67 0a 09 09 09 09 09 09 rocessing.......
1810: 09 09 09 74 69 6d 65 6f 75 74 20 3d 20 30 0a 0a ...timeout = 0..
1820: 09 09 09 09 23 20 64 65 74 65 63 74 20 65 6e 64 ....# detect end
1830: 20 6f 66 20 73 74 72 65 61 6d 20 61 6e 64 20 65 of stream and e
1840: 78 69 74 20 69 66 20 70 6f 73 73 69 62 6c 65 0a xit if possible.
1850: 09 09 09 09 69 66 20 6b 65 76 2e 66 6c 61 67 73 ....if kev.flags
1860: 20 3e 3e 20 31 35 20 3d 3d 20 31 3a 0a 09 09 09 >> 15 == 1:....
1870: 09 09 73 65 6c 66 2e 5f 6b 71 2e 63 6f 6e 74 72 ..self._kq.contr
1880: 6f 6c 28 5b 73 65 6c 66 2e 5f 73 65 6c 65 63 74 ol([self._select
1890: 2e 6b 65 76 65 6e 74 28 73 79 73 2e 73 74 64 69 .kevent(sys.stdi
18a0: 6e 2c 20 73 65 6c 66 2e 5f 73 65 6c 65 63 74 2e n, self._select.
18b0: 4b 51 5f 46 49 4c 54 45 52 5f 52 45 41 44 2c 20 KQ_FILTER_READ,
18c0: 73 65 6c 66 2e 5f 73 65 6c 65 63 74 2e 4b 51 5f self._select.KQ_
18d0: 45 56 5f 44 45 4c 45 54 45 29 5d 2c 20 30 29 0a EV_DELETE)], 0).
18e0: 09 09 09 09 09 65 6f 66 20 3d 20 54 72 75 65 0a .....eof = True.
18f0: 0a 09 09 09 69 66 20 6c 65 6e 28 6b 65 76 73 29 ....if len(kevs)
1900: 20 3d 3d 20 30 3a 0a 09 09 09 09 69 66 20 6c 65 == 0:.....if le
1910: 6e 28 73 65 6c 66 2e 5f 71 75 65 75 65 29 20 3e n(self._queue) >
1920: 20 30 3a 0a 09 09 09 09 09 23 20 67 65 74 20 6f 0:......# get o
1930: 6e 65 20 72 65 71 75 65 73 74 20 61 6e 64 20 70 ne request and p
1940: 72 6f 63 65 73 73 20 69 74 0a 09 09 09 09 09 72 rocess it......r
1950: 65 71 20 3d 20 73 65 6c 66 2e 5f 71 75 65 75 65 eq = self._queue
1960: 2e 70 6f 70 28 30 29 0a 09 09 09 09 09 43 68 65 .pop(0)......Che
1970: 63 6b 65 72 2e 70 72 6f 63 65 73 73 28 73 65 6c cker.process(sel
1980: 66 2c 20 72 65 71 5b 30 5d 2c 20 72 65 71 5b 31 f, req[0], req[1
1990: 5d 2c 20 72 65 71 5b 32 5d 2c 20 72 65 71 5b 33 ], req[2], req[3
19a0: 5d 29 0a 09 09 09 09 09 69 66 20 6c 65 6e 28 73 ])......if len(s
19b0: 65 6c 66 2e 5f 71 75 65 75 65 29 20 3d 3d 20 30 elf._queue) == 0
19c0: 3a 0a 09 09 09 09 09 09 23 20 77 61 69 74 20 66 :.......# wait f
19d0: 6f 72 20 64 61 74 61 20 2d 20 77 65 20 68 61 76 or data - we hav
19e0: 65 20 6e 6f 74 68 69 6e 67 20 74 6f 20 70 72 6f e nothing to pro
19f0: 63 65 73 73 0a 09 09 09 09 09 09 74 69 6d 65 6f cess.......timeo
1a00: 75 74 20 3d 20 4e 6f 6e 65 0a 0a 09 09 09 23 20 ut = None.....#
1a10: 69 66 20 71 75 65 75 65 20 69 73 20 65 6d 70 74 if queue is empt
1a20: 79 20 61 6e 64 20 77 65 20 72 65 61 63 68 65 64 y and we reached
1a30: 20 65 6e 64 20 6f 66 20 73 74 72 65 61 6d 20 2d end of stream -
1a40: 20 77 65 20 63 61 6e 20 65 78 69 74 0a 09 09 09 we can exit....
1a50: 69 66 20 6c 65 6e 28 73 65 6c 66 2e 5f 71 75 65 if len(self._que
1a60: 75 65 29 20 3d 3d 20 30 20 61 6e 64 20 65 6f 66 ue) == 0 and eof
1a70: 3a 0a 09 09 09 09 62 72 65 61 6b 0a 0a 09 64 65 :.....break...de
1a80: 66 20 70 72 6f 63 65 73 73 28 73 65 6c 66 2c 20 f process(self,
1a90: 69 64 2c 20 73 69 74 65 2c 20 69 70 5f 61 64 64 id, site, ip_add
1aa0: 72 65 73 73 2c 20 75 72 6c 5f 70 61 74 68 2c 20 ress, url_path,
1ab0: 6c 69 6e 65 29 3a 0a 09 09 23 20 73 69 6d 70 6c line):...# simpl
1ac0: 79 20 61 64 64 69 6e 67 20 64 61 74 61 20 74 6f y adding data to
1ad0: 20 74 68 65 20 71 75 65 75 65 0a 09 09 73 65 6c the queue...sel
1ae0: 66 2e 5f 71 75 65 75 65 2e 61 70 70 65 6e 64 28 f._queue.append(
1af0: 28 69 64 2c 20 73 69 74 65 2c 20 69 70 5f 61 64 (id, site, ip_ad
1b00: 64 72 65 73 73 2c 20 75 72 6c 5f 70 61 74 68 29 dress, url_path)
1b10: 29 0a 09 09 73 65 6c 66 2e 5f 6c 6f 67 2e 69 6e )...self._log.in
1b20: 66 6f 28 27 72 65 71 75 65 73 74 20 7b 7d 20 71 fo('request {} q
1b30: 75 65 75 65 64 20 28 7b 7d 29 5c 6e 27 2e 66 6f ueued ({})\n'.fo
1b40: 72 6d 61 74 28 69 64 2c 20 6c 69 6e 65 29 29 0a rmat(id, line)).
1b50: 0a 23 20 74 68 69 73 20 63 6c 61 73 73 65 73 20 .# this classes
1b60: 70 72 6f 63 65 73 73 65 73 20 63 6f 6e 66 69 67 processes config
1b70: 20 66 69 6c 65 20 61 6e 64 20 73 75 62 73 74 69 file and substi
1b80: 74 75 74 65 73 20 64 65 66 61 75 6c 74 20 76 61 tutes default va
1b90: 6c 75 65 73 0a 63 6c 61 73 73 20 43 6f 6e 66 69 lues.class Confi
1ba0: 67 3a 0a 09 5f 5f 73 6c 6f 74 73 5f 5f 20 3d 20 g:..__slots__ =
1bb0: 66 72 6f 7a 65 6e 73 65 74 28 5b 27 5f 63 6f 6e frozenset(['_con
1bc0: 66 69 67 27 2c 20 27 5f 64 65 66 61 75 6c 74 27 fig', '_default'
1bd0: 2c 20 27 5f 73 65 63 74 69 6f 6e 27 2c 20 27 6f , '_section', 'o
1be0: 70 74 69 6f 6e 73 27 5d 29 0a 09 5f 64 65 66 61 ptions']).._defa
1bf0: 75 6c 74 20 3d 20 7b 0a 09 09 27 72 65 61 63 74 ult = {...'react
1c00: 6f 72 27 3a 20 7b 0a 09 09 09 27 72 65 61 63 74 or': {....'react
1c10: 6f 72 27 3a 20 27 74 68 72 65 61 64 27 2c 0a 09 or': 'thread',..
1c20: 09 7d 2c 0a 09 09 27 6c 6f 67 27 3a 20 7b 0a 09 .},...'log': {..
1c30: 09 09 27 73 69 6c 65 6e 74 27 3a 20 27 6e 6f 27 ..'silent': 'no'
1c40: 2c 0a 09 09 7d 2c 0a 09 09 27 64 61 74 61 62 61 ,...},...'databa
1c50: 73 65 27 3a 20 7b 0a 09 09 09 27 68 6f 73 74 27 se': {....'host'
1c60: 3a 20 27 6c 6f 63 61 6c 68 6f 73 74 27 2c 0a 09 : 'localhost',..
1c70: 09 09 27 64 61 74 61 62 61 73 65 27 3a 20 27 73 ..'database': 's
1c80: 71 75 69 64 54 61 67 27 2c 0a 09 7d 2c 7d 0a 0a quidTag',..},}..
1c90: 09 23 20 66 75 6e 63 74 69 6f 6e 20 74 6f 20 72 .# function to r
1ca0: 65 61 64 20 69 6e 20 63 6f 6e 66 69 67 20 66 69 ead in config fi
1cb0: 6c 65 0a 09 64 65 66 20 5f 5f 69 6e 69 74 5f 5f le..def __init__
1cc0: 28 73 65 6c 66 29 3a 0a 09 09 69 6d 70 6f 72 74 (self):...import
1cd0: 20 63 6f 6e 66 69 67 70 61 72 73 65 72 2c 20 6f configparser, o
1ce0: 70 74 70 61 72 73 65 2c 20 6f 73 0a 0a 09 09 70 ptparse, os....p
1cf0: 61 72 73 65 72 20 3d 20 6f 70 74 70 61 72 73 65 arser = optparse
1d00: 2e 4f 70 74 69 6f 6e 50 61 72 73 65 72 28 29 0a .OptionParser().
1d10: 09 09 70 61 72 73 65 72 2e 61 64 64 5f 6f 70 74 ..parser.add_opt
1d20: 69 6f 6e 28 27 2d 63 27 2c 20 27 2d 2d 63 6f 6e ion('-c', '--con
1d30: 66 69 67 27 2c 20 64 65 73 74 20 3d 20 27 63 6f fig', dest = 'co
1d40: 6e 66 69 67 27 2c 0a 09 09 09 68 65 6c 70 20 3d nfig',....help =
1d50: 20 27 63 6f 6e 66 69 67 20 66 69 6c 65 20 6c 6f 'config file lo
1d60: 63 61 74 69 6f 6e 27 2c 20 6d 65 74 61 76 61 72 cation', metavar
1d70: 20 3d 20 27 46 49 4c 45 27 2c 0a 09 09 09 64 65 = 'FILE',....de
1d80: 66 61 75 6c 74 20 3d 20 27 2f 75 73 72 2f 6c 6f fault = '/usr/lo
1d90: 63 61 6c 2f 65 74 63 2f 73 71 75 69 64 2d 74 61 cal/etc/squid-ta
1da0: 67 67 65 72 2e 63 6f 6e 66 27 29 0a 09 09 70 61 gger.conf')...pa
1db0: 72 73 65 72 2e 61 64 64 5f 6f 70 74 69 6f 6e 28 rser.add_option(
1dc0: 27 2d 64 27 2c 20 27 2d 2d 64 75 6d 70 27 2c 20 '-d', '--dump',
1dd0: 64 65 73 74 20 3d 20 27 64 75 6d 70 27 2c 0a 09 dest = 'dump',..
1de0: 09 09 68 65 6c 70 20 3d 20 27 64 75 6d 70 20 64 ..help = 'dump d
1df0: 61 74 61 62 61 73 65 27 2c 20 61 63 74 69 6f 6e atabase', action
1e00: 20 3d 20 27 73 74 6f 72 65 5f 74 72 75 65 27 2c = 'store_true',
1e10: 20 6d 65 74 61 76 61 72 20 3d 20 27 62 6f 6f 6c metavar = 'bool
1e20: 27 2c 0a 09 09 09 64 65 66 61 75 6c 74 20 3d 20 ',....default =
1e30: 46 61 6c 73 65 29 0a 0a 09 09 28 73 65 6c 66 2e False)....(self.
1e40: 6f 70 74 69 6f 6e 73 2c 20 61 72 67 73 29 20 3d options, args) =
1e50: 20 70 61 72 73 65 72 2e 70 61 72 73 65 5f 61 72 parser.parse_ar
1e60: 67 73 28 29 0a 0a 09 09 61 73 73 65 72 74 20 6f gs()....assert o
1e70: 73 2e 61 63 63 65 73 73 28 73 65 6c 66 2e 6f 70 s.access(self.op
1e80: 74 69 6f 6e 73 2e 63 6f 6e 66 69 67 2c 20 6f 73 tions.config, os
1e90: 2e 52 5f 4f 4b 29 2c 20 22 46 61 74 61 6c 20 65 .R_OK), "Fatal e
1ea0: 72 72 6f 72 3a 20 63 61 6e 27 74 20 72 65 61 64 rror: can't read
1eb0: 20 7b 7d 22 2e 66 6f 72 6d 61 74 28 73 65 6c 66 {}".format(self
1ec0: 2e 6f 70 74 69 6f 6e 73 2e 63 6f 6e 66 69 67 29 .options.config)
1ed0: 0a 0a 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 ....self._config
1ee0: 20 3d 20 63 6f 6e 66 69 67 70 61 72 73 65 72 2e = configparser.
1ef0: 43 6f 6e 66 69 67 50 61 72 73 65 72 28 29 0a 09 ConfigParser()..
1f00: 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 72 65 .self._config.re
1f10: 61 64 66 70 28 6f 70 65 6e 28 73 65 6c 66 2e 6f adfp(open(self.o
1f20: 70 74 69 6f 6e 73 2e 63 6f 6e 66 69 67 29 29 0a ptions.config)).
1f30: 0a 09 23 20 66 75 6e 63 74 69 6f 6e 20 74 6f 20 ..# function to
1f40: 73 65 6c 65 63 74 20 63 6f 6e 66 69 67 20 66 69 select config fi
1f50: 6c 65 20 73 65 63 74 69 6f 6e 20 6f 72 20 63 72 le section or cr
1f60: 65 61 74 65 20 6f 6e 65 0a 09 64 65 66 20 73 65 eate one..def se
1f70: 63 74 69 6f 6e 28 73 65 6c 66 2c 20 73 65 63 74 ction(self, sect
1f80: 69 6f 6e 29 3a 0a 09 09 69 66 20 6e 6f 74 20 73 ion):...if not s
1f90: 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 68 61 73 5f elf._config.has_
1fa0: 73 65 63 74 69 6f 6e 28 73 65 63 74 69 6f 6e 29 section(section)
1fb0: 3a 0a 09 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 :....self._confi
1fc0: 67 2e 61 64 64 5f 73 65 63 74 69 6f 6e 28 73 65 g.add_section(se
1fd0: 63 74 69 6f 6e 29 0a 09 09 73 65 6c 66 2e 5f 73 ction)...self._s
1fe0: 65 63 74 69 6f 6e 20 3d 20 73 65 63 74 69 6f 6e ection = section
1ff0: 0a 0a 09 23 20 66 75 6e 63 74 69 6f 6e 20 74 6f ...# function to
2000: 20 67 65 74 20 63 6f 6e 66 69 67 20 70 61 72 61 get config para
2010: 6d 65 74 65 72 2c 20 69 66 20 70 61 72 61 6d 65 meter, if parame
2020: 74 65 72 20 64 6f 65 73 6e 27 74 20 65 78 69 73 ter doesn't exis
2030: 74 73 20 74 68 65 20 64 65 66 61 75 6c 74 0a 09 ts the default..
2040: 23 20 76 61 6c 75 65 20 6f 72 20 4e 6f 6e 65 20 # value or None
2050: 69 73 20 73 75 62 73 74 69 74 75 74 65 64 0a 09 is substituted..
2060: 64 65 66 20 5f 5f 67 65 74 69 74 65 6d 5f 5f 28 def __getitem__(
2070: 73 65 6c 66 2c 20 6e 61 6d 65 29 3a 0a 09 09 69 self, name):...i
2080: 66 20 6e 6f 74 20 73 65 6c 66 2e 5f 63 6f 6e 66 f not self._conf
2090: 69 67 2e 68 61 73 5f 6f 70 74 69 6f 6e 28 73 65 ig.has_option(se
20a0: 6c 66 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e 61 6d lf._section, nam
20b0: 65 29 3a 0a 09 09 09 69 66 20 73 65 6c 66 2e 5f e):....if self._
20c0: 73 65 63 74 69 6f 6e 20 69 6e 20 73 65 6c 66 2e section in self.
20d0: 5f 64 65 66 61 75 6c 74 3a 0a 09 09 09 09 69 66 _default:.....if
20e0: 20 6e 61 6d 65 20 69 6e 20 73 65 6c 66 2e 5f 64 name in self._d
20f0: 65 66 61 75 6c 74 5b 73 65 6c 66 2e 5f 73 65 63 efault[self._sec
2100: 74 69 6f 6e 5d 3a 0a 09 09 09 09 09 73 65 6c 66 tion]:......self
2110: 2e 5f 63 6f 6e 66 69 67 2e 73 65 74 28 73 65 6c ._config.set(sel
2120: 66 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e 61 6d 65 f._section, name
2130: 2c 20 73 65 6c 66 2e 5f 64 65 66 61 75 6c 74 5b , self._default[
2140: 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 5d 5b 6e self._section][n
2150: 61 6d 65 5d 29 0a 09 09 09 09 65 6c 73 65 3a 0a ame]).....else:.
2160: 09 09 09 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 .....self._confi
2170: 67 2e 73 65 74 28 73 65 6c 66 2e 5f 73 65 63 74 g.set(self._sect
2180: 69 6f 6e 2c 20 6e 61 6d 65 2c 20 4e 6f 6e 65 29 ion, name, None)
2190: 0a 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 73 65 ....else:.....se
21a0: 6c 66 2e 5f 63 6f 6e 66 69 67 2e 73 65 74 28 73 lf._config.set(s
21b0: 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e 61 elf._section, na
21c0: 6d 65 2c 20 4e 6f 6e 65 29 0a 09 09 72 65 74 75 me, None)...retu
21d0: 72 6e 28 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e rn(self._config.
21e0: 67 65 74 28 73 65 6c 66 2e 5f 73 65 63 74 69 6f get(self._sectio
21f0: 6e 2c 20 6e 61 6d 65 29 29 0a 0a 23 20 69 6e 69 n, name))..# ini
2200: 74 69 61 6c 69 7a 69 6e 67 20 61 6e 64 20 72 65 tializing and re
2210: 61 64 69 6e 67 20 69 6e 20 63 6f 6e 66 69 67 20 ading in config
2220: 66 69 6c 65 0a 63 6f 6e 66 69 67 20 3d 20 43 6f file.config = Co
2230: 6e 66 69 67 28 29 0a 0a 69 66 20 63 6f 6e 66 69 nfig()..if confi
2240: 67 2e 6f 70 74 69 6f 6e 73 2e 64 75 6d 70 3a 0a g.options.dump:.
2250: 09 23 20 64 75 6d 70 69 6e 67 20 64 61 74 61 62 .# dumping datab
2260: 61 73 65 0a 09 69 6d 70 6f 72 74 20 63 73 76 0a ase..import csv.
2270: 0a 09 74 61 67 64 62 20 3d 20 74 61 67 44 42 28 ..tagdb = tagDB(
2280: 29 0a 0a 09 63 73 76 5f 77 72 69 74 65 72 20 3d )...csv_writer =
2290: 20 63 73 76 2e 77 72 69 74 65 72 28 73 79 73 2e csv.writer(sys.
22a0: 73 74 64 6f 75 74 29 0a 09 63 73 76 5f 77 72 69 stdout)..csv_wri
22b0: 74 65 72 2e 77 72 69 74 65 72 6f 77 28 5b 27 73 ter.writerow(['s
22c0: 69 74 65 27 2c 20 27 74 61 67 73 27 2c 20 27 72 ite', 'tags', 'r
22d0: 65 67 65 78 70 27 5d 29 0a 09 66 6f 72 20 72 6f egexp'])..for ro
22e0: 77 20 69 6e 20 74 61 67 64 62 2e 64 75 6d 70 28 w in tagdb.dump(
22f0: 29 3a 0a 09 09 63 73 76 5f 77 72 69 74 65 72 2e ):...csv_writer.
2300: 77 72 69 74 65 72 6f 77 28 5b 72 6f 77 5b 30 5d writerow([row[0]
2310: 2c 20 27 7b 27 20 2b 20 27 2c 27 2e 6a 6f 69 6e , '{' + ','.join
2320: 28 72 6f 77 5b 31 5d 29 20 2b 20 27 7d 27 2c 20 (row[1]) + '}',
2330: 72 6f 77 5b 32 5d 5d 29 0a 0a 65 6c 73 65 3a 0a row[2]])..else:.
2340: 09 23 20 6d 61 69 6e 20 6c 6f 6f 70 0a 09 63 6f .# main loop..co
2350: 6e 66 69 67 2e 73 65 63 74 69 6f 6e 28 27 72 65 nfig.section('re
2360: 61 63 74 6f 72 27 29 0a 09 69 66 20 63 6f 6e 66 actor')..if conf
2370: 69 67 5b 27 72 65 61 63 74 6f 72 27 5d 20 3d 3d ig['reactor'] ==
2380: 20 27 74 68 72 65 61 64 27 3a 0a 09 09 63 68 65 'thread':...che
2390: 63 6b 65 72 20 3d 20 43 68 65 63 6b 65 72 54 68 cker = CheckerTh
23a0: 72 65 61 64 28 29 0a 09 65 6c 69 66 20 63 6f 6e read()..elif con
23b0: 66 69 67 5b 27 72 65 61 63 74 6f 72 27 5d 20 3d fig['reactor'] =
23c0: 3d 20 27 70 6c 61 69 6e 27 3a 0a 09 09 63 68 65 = 'plain':...che
23d0: 63 6b 65 72 20 3d 20 43 68 65 63 6b 65 72 28 29 cker = Checker()
23e0: 0a 09 65 6c 69 66 20 63 6f 6e 66 69 67 5b 27 72 ..elif config['r
23f0: 65 61 63 74 6f 72 27 5d 20 3d 3d 20 27 6b 71 75 eactor'] == 'kqu
2400: 65 75 65 27 3a 0a 09 09 63 68 65 63 6b 65 72 20 eue':...checker
2410: 3d 20 43 68 65 63 6b 65 72 4b 71 75 65 75 65 28 = CheckerKqueue(
2420: 29 0a 0a 09 63 68 65 63 6b 65 72 2e 6c 6f 6f 70 )...checker.loop
2430: 28 29 0a ().