0000: 23 21 2f 75 73 72 2f 62 69 6e 2f 65 6e 76 20 70 #!/usr/bin/env p
0010: 79 74 68 6f 6e 33 2e 31 0a 0a 69 6d 70 6f 72 74 ython3.1..import
0020: 20 63 6f 6e 66 69 67 70 61 72 73 65 72 2c 20 6f configparser, o
0030: 70 74 70 61 72 73 65 2c 20 6f 73 2c 20 70 6f 73 ptparse, os, pos
0040: 74 67 72 65 73 71 6c 2e 61 70 69 2c 20 72 65 2c tgresql.api, re,
0050: 20 73 79 73 2c 20 5f 74 68 72 65 61 64 0a 0a 23 sys, _thread..#
0060: 20 77 72 61 70 70 65 72 20 61 72 6f 75 6e 64 20 wrapper around
0070: 73 79 73 6c 6f 67 2c 20 63 61 6e 20 62 65 20 6d syslog, can be m
0080: 75 74 65 64 0a 63 6c 61 73 73 20 4c 6f 67 67 65 uted.class Logge
0090: 72 3a 0a 09 5f 5f 73 6c 6f 74 73 5f 5f 20 3d 20 r:..__slots__ =
00a0: 66 72 6f 7a 65 6e 73 65 74 28 5b 27 5f 73 79 73 frozenset(['_sys
00b0: 6c 6f 67 27 5d 29 0a 0a 09 64 65 66 20 5f 5f 69 log'])...def __i
00c0: 6e 69 74 5f 5f 28 73 65 6c 66 29 3a 0a 09 09 63 nit__(self):...c
00d0: 6f 6e 66 69 67 2e 73 65 63 74 69 6f 6e 28 27 6c onfig.section('l
00e0: 6f 67 27 29 0a 09 09 69 66 20 63 6f 6e 66 69 67 og')...if config
00f0: 5b 27 73 69 6c 65 6e 74 27 5d 20 3d 3d 20 27 79 ['silent'] == 'y
0100: 65 73 27 3a 0a 09 09 09 73 65 6c 66 2e 5f 73 79 es':....self._sy
0110: 73 6c 6f 67 20 3d 20 4e 6f 6e 65 0a 09 09 65 6c slog = None...el
0120: 73 65 3a 0a 09 09 09 69 6d 70 6f 72 74 20 73 79 se:....import sy
0130: 73 6c 6f 67 0a 09 09 09 73 65 6c 66 2e 5f 73 79 slog....self._sy
0140: 73 6c 6f 67 20 3d 20 73 79 73 6c 6f 67 0a 09 09 slog = syslog...
0150: 09 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 2e 6f 70 .self._syslog.op
0160: 65 6e 6c 6f 67 28 27 73 71 75 69 64 54 61 67 27 enlog('squidTag'
0170: 29 0a 0a 09 64 65 66 20 69 6e 66 6f 28 73 65 6c )...def info(sel
0180: 66 2c 20 6d 65 73 73 61 67 65 29 3a 0a 09 09 69 f, message):...i
0190: 66 20 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 3a 0a f self._syslog:.
01a0: 09 09 09 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 2e ...self._syslog.
01b0: 73 79 73 6c 6f 67 28 73 65 6c 66 2e 5f 73 79 73 syslog(self._sys
01c0: 6c 6f 67 2e 4c 4f 47 5f 49 4e 46 4f 2c 20 6d 65 log.LOG_INFO, me
01d0: 73 73 61 67 65 29 0a 0a 09 64 65 66 20 6e 6f 74 ssage)...def not
01e0: 69 63 65 28 73 65 6c 66 2c 20 6d 65 73 73 61 67 ice(self, messag
01f0: 65 29 3a 0a 09 09 69 66 20 73 65 6c 66 2e 5f 73 e):...if self._s
0200: 79 73 6c 6f 67 3a 0a 09 09 09 73 65 6c 66 2e 5f yslog:....self._
0210: 73 79 73 6c 6f 67 2e 73 79 73 6c 6f 67 28 73 65 syslog.syslog(se
0220: 6c 66 2e 5f 73 79 73 6c 6f 67 2e 4c 4f 47 5f 4e lf._syslog.LOG_N
0230: 4f 54 49 43 45 2c 20 6d 65 73 73 61 67 65 29 0a OTICE, message).
0240: 0a 23 20 77 72 61 70 70 65 72 20 61 72 6f 75 6e .# wrapper aroun
0250: 64 20 64 61 74 61 62 61 73 65 0a 63 6c 61 73 73 d database.class
0260: 20 74 61 67 44 42 3a 0a 09 5f 5f 73 6c 6f 74 73 tagDB:..__slots
0270: 5f 5f 20 3d 20 66 72 6f 7a 65 6e 73 65 74 28 28 __ = frozenset((
0280: 27 5f 63 68 65 63 6b 5f 73 74 6d 74 27 2c 20 27 '_check_stmt', '
0290: 5f 64 62 27 29 29 0a 0a 09 64 65 66 20 5f 5f 69 _db'))...def __i
02a0: 6e 69 74 5f 5f 28 73 65 6c 66 29 3a 0a 09 09 63 nit__(self):...c
02b0: 6f 6e 66 69 67 2e 73 65 63 74 69 6f 6e 28 27 64 onfig.section('d
02c0: 61 74 61 62 61 73 65 27 29 0a 09 09 73 65 6c 66 atabase')...self
02d0: 2e 5f 64 62 20 3d 20 70 6f 73 74 67 72 65 73 71 ._db = postgresq
02e0: 6c 2e 6f 70 65 6e 28 0a 09 09 09 27 70 71 3a 2f l.open(....'pq:/
02f0: 2f 7b 7d 3a 7b 7d 40 7b 7d 2f 7b 7d 27 2e 66 6f /{}:{}@{}/{}'.fo
0300: 72 6d 61 74 28 0a 09 09 09 09 63 6f 6e 66 69 67 rmat(.....config
0310: 5b 27 75 73 65 72 27 5d 2c 0a 09 09 09 09 63 6f ['user'],.....co
0320: 6e 66 69 67 5b 27 70 61 73 73 77 6f 72 64 27 5d nfig['password']
0330: 2c 0a 09 09 09 09 63 6f 6e 66 69 67 5b 27 68 6f ,.....config['ho
0340: 73 74 27 5d 2c 0a 09 09 09 09 63 6f 6e 66 69 67 st'],.....config
0350: 5b 27 64 61 74 61 62 61 73 65 27 5d 2c 0a 09 09 ['database'],...
0360: 29 20 29 0a 09 09 73 65 6c 66 2e 5f 63 68 65 63 ) )...self._chec
0370: 6b 5f 73 74 6d 74 20 3d 20 73 65 6c 66 2e 5f 64 k_stmt = self._d
0380: 62 2e 70 72 65 70 61 72 65 28 22 73 65 6c 65 63 b.prepare("selec
0390: 74 20 72 65 64 69 72 65 63 74 5f 75 72 6c 2c 20 t redirect_url,
03a0: 72 65 67 65 78 70 20 66 72 6f 6d 20 73 69 74 65 regexp from site
03b0: 5f 72 75 6c 65 20 77 68 65 72 65 20 73 69 74 65 _rule where site
03c0: 20 3c 40 20 74 72 69 70 64 6f 6d 61 69 6e 28 24 <@ tripdomain($
03d0: 31 29 20 61 6e 64 20 6e 65 74 6d 61 73 6b 20 3e 1) and netmask >
03e0: 3e 20 24 32 3a 3a 74 65 78 74 3a 3a 69 6e 65 74 > $2::text::inet
03f0: 20 6f 72 64 65 72 20 62 79 20 61 72 72 61 79 5f order by array_
0400: 6c 65 6e 67 74 68 28 73 69 74 65 2c 20 31 29 20 length(site, 1)
0410: 64 65 73 63 22 29 0a 0a 09 64 65 66 20 63 68 65 desc")...def che
0420: 63 6b 28 73 65 6c 66 2c 20 73 69 74 65 2c 20 69 ck(self, site, i
0430: 70 5f 61 64 64 72 65 73 73 29 3a 0a 09 09 72 65 p_address):...re
0440: 74 75 72 6e 28 73 65 6c 66 2e 5f 63 68 65 63 6b turn(self._check
0450: 5f 73 74 6d 74 28 73 69 74 65 2c 20 69 70 5f 61 _stmt(site, ip_a
0460: 64 64 72 65 73 73 29 29 0a 0a 23 20 61 62 73 74 ddress))..# abst
0470: 72 61 63 74 20 63 6c 61 73 73 20 77 69 74 68 20 ract class with
0480: 62 61 73 69 63 20 63 68 65 63 6b 69 6e 67 20 66 basic checking f
0490: 75 6e 63 74 69 6f 6e 61 6c 69 74 79 0a 63 6c 61 unctionality.cla
04a0: 73 73 20 43 68 65 63 6b 65 72 3a 0a 09 5f 5f 73 ss Checker:..__s
04b0: 6c 6f 74 73 5f 5f 20 3d 20 66 72 6f 7a 65 6e 73 lots__ = frozens
04c0: 65 74 28 5b 27 5f 64 62 27 2c 20 27 5f 6c 6f 67 et(['_db', '_log
04d0: 27 5d 29 0a 0a 09 64 65 66 20 5f 5f 69 6e 69 74 '])...def __init
04e0: 5f 5f 28 73 65 6c 66 29 3a 0a 09 09 73 65 6c 66 __(self):...self
04f0: 2e 5f 64 62 20 3d 20 74 61 67 44 42 28 29 0a 09 ._db = tagDB()..
0500: 09 73 65 6c 66 2e 5f 6c 6f 67 20 3d 20 4c 6f 67 .self._log = Log
0510: 67 65 72 28 29 0a 09 09 73 65 6c 66 2e 5f 6c 6f ger()...self._lo
0520: 67 2e 69 6e 66 6f 28 27 73 74 61 72 74 65 64 5c g.info('started\
0530: 6e 27 29 0a 0a 09 64 65 66 20 70 72 6f 63 65 73 n')...def proces
0540: 73 28 73 65 6c 66 2c 20 69 64 2c 20 73 69 74 65 s(self, id, site
0550: 2c 20 69 70 5f 61 64 64 72 65 73 73 2c 20 75 72 , ip_address, ur
0560: 6c 5f 70 61 74 68 2c 20 6c 69 6e 65 20 3d 20 4e l_path, line = N
0570: 6f 6e 65 29 3a 0a 09 09 73 65 6c 66 2e 5f 6c 6f one):...self._lo
0580: 67 2e 69 6e 66 6f 28 27 74 72 79 69 6e 67 20 7b g.info('trying {
0590: 7d 5c 6e 27 2e 66 6f 72 6d 61 74 28 73 69 74 65 }\n'.format(site
05a0: 29 29 0a 09 09 72 65 73 75 6c 74 20 3d 20 73 65 ))...result = se
05b0: 6c 66 2e 5f 64 62 2e 63 68 65 63 6b 28 73 69 74 lf._db.check(sit
05c0: 65 2c 20 69 70 5f 61 64 64 72 65 73 73 29 0a 09 e, ip_address)..
05d0: 09 23 72 65 70 6c 79 20 3d 20 27 7b 7d 3a 2f 2f .#reply = '{}://
05e0: 7b 7d 2f 7b 7d 27 2e 66 6f 72 6d 61 74 28 72 65 {}/{}'.format(re
05f0: 71 5b 34 5d 2c 20 72 65 71 5b 31 5d 2c 20 72 65 q[4], req[1], re
0600: 71 5b 33 5d 29 0a 09 09 72 65 70 6c 79 20 3d 20 q[3])...reply =
0610: 27 2d 27 0a 09 09 66 6f 72 20 72 6f 77 20 69 6e '-'...for row in
0620: 20 72 65 73 75 6c 74 3a 0a 09 09 09 69 66 20 72 result:....if r
0630: 6f 77 20 21 3d 20 4e 6f 6e 65 20 61 6e 64 20 72 ow != None and r
0640: 6f 77 5b 30 5d 20 21 3d 20 4e 6f 6e 65 3a 0a 09 ow[0] != None:..
0650: 09 09 09 69 66 20 72 6f 77 5b 31 5d 20 21 3d 20 ...if row[1] !=
0660: 4e 6f 6e 65 3a 0a 09 09 09 09 09 73 65 6c 66 2e None:......self.
0670: 5f 6c 6f 67 2e 69 6e 66 6f 28 27 74 72 79 69 6e _log.info('tryin
0680: 67 20 72 65 67 65 78 70 20 22 7b 7d 22 20 76 65 g regexp "{}" ve
0690: 72 73 75 73 20 22 7b 7d 22 5c 6e 27 2e 66 6f 72 rsus "{}"\n'.for
06a0: 6d 61 74 28 72 6f 77 5b 31 5d 2c 20 75 72 6c 5f mat(row[1], url_
06b0: 70 61 74 68 29 29 0a 09 09 09 09 09 74 72 79 3a path))......try:
06c0: 0a 09 09 09 09 09 09 69 66 20 72 65 2e 63 6f 6d .......if re.com
06d0: 70 69 6c 65 28 72 6f 77 5b 31 5d 29 2e 6d 61 74 pile(row[1]).mat
06e0: 63 68 28 75 72 6c 5f 70 61 74 68 29 3a 0a 09 09 ch(url_path):...
06f0: 09 09 09 09 09 72 65 70 6c 79 20 3d 20 72 6f 77 .....reply = row
0700: 5b 30 5d 2e 66 6f 72 6d 61 74 28 75 72 6c 5f 70 [0].format(url_p
0710: 61 74 68 29 0a 09 09 09 09 09 09 09 62 72 65 61 ath)........brea
0720: 6b 0a 09 09 09 09 09 09 65 6c 73 65 3a 0a 09 09 k.......else:...
0730: 09 09 09 09 09 63 6f 6e 74 69 6e 75 65 0a 09 09 .....continue...
0740: 09 09 09 65 78 63 65 70 74 3a 0a 09 09 09 09 09 ...except:......
0750: 09 73 65 6c 66 2e 5f 6c 6f 67 2e 69 6e 66 6f 28 .self._log.info(
0760: 22 63 61 6e 27 74 20 63 6f 6d 70 69 6c 65 20 72 "can't compile r
0770: 65 67 65 78 70 22 29 0a 09 09 09 09 65 6c 73 65 egexp").....else
0780: 3a 0a 09 09 09 09 09 72 65 70 6c 79 20 3d 20 72 :......reply = r
0790: 6f 77 5b 30 5d 2e 66 6f 72 6d 61 74 28 75 72 6c ow[0].format(url
07a0: 5f 70 61 74 68 29 0a 09 09 09 09 09 62 72 65 61 _path)......brea
07b0: 6b 0a 09 09 73 65 6c 66 2e 77 72 69 74 65 6c 69 k...self.writeli
07c0: 6e 65 28 27 7b 7d 20 7b 7d 5c 6e 27 2e 66 6f 72 ne('{} {}\n'.for
07d0: 6d 61 74 28 69 64 2c 20 72 65 70 6c 79 29 29 0a mat(id, reply)).
07e0: 0a 09 64 65 66 20 63 68 65 63 6b 28 73 65 6c 66 ..def check(self
07f0: 2c 20 6c 69 6e 65 29 3a 0a 09 09 72 65 71 75 65 , line):...reque
0800: 73 74 20 3d 20 72 65 2e 63 6f 6d 70 69 6c 65 28 st = re.compile(
0810: 27 5e 28 5b 30 2d 39 5d 2b 29 5c 20 28 68 74 74 '^([0-9]+)\ (htt
0820: 70 7c 66 74 70 29 3a 5c 2f 5c 2f 28 5b 2d 5c 77 p|ftp):\/\/([-\w
0830: 2e 3a 5d 2b 29 5c 2f 28 5b 5e 20 5d 2a 29 5c 20 .:]+)\/([^ ]*)\
0840: 28 5b 30 2d 39 2e 5d 2b 29 5c 2f 28 2d 7c 5b 5c ([0-9.]+)\/(-|[\
0850: 77 5c 2e 5d 2b 29 5c 20 28 2d 7c 5c 77 2b 29 5c w\.]+)\ (-|\w+)\
0860: 20 28 2d 7c 47 45 54 7c 48 45 41 44 7c 50 4f 53 (-|GET|HEAD|POS
0870: 54 29 2e 2a 24 27 29 2e 6d 61 74 63 68 28 6c 69 T).*$').match(li
0880: 6e 65 29 0a 09 09 69 66 20 72 65 71 75 65 73 74 ne)...if request
0890: 3a 0a 09 09 09 69 64 20 3d 20 72 65 71 75 65 73 :....id = reques
08a0: 74 2e 67 72 6f 75 70 28 31 29 0a 09 09 09 23 70 t.group(1)....#p
08b0: 72 6f 74 6f 20 3d 20 72 65 71 75 65 73 74 2e 67 roto = request.g
08c0: 72 6f 75 70 28 32 29 0a 09 09 09 73 69 74 65 20 roup(2)....site
08d0: 3d 20 72 65 71 75 65 73 74 2e 67 72 6f 75 70 28 = request.group(
08e0: 33 29 0a 09 09 09 75 72 6c 5f 70 61 74 68 20 3d 3)....url_path =
08f0: 20 72 65 71 75 65 73 74 2e 67 72 6f 75 70 28 34 request.group(4
0900: 29 0a 09 09 09 69 70 5f 61 64 64 72 65 73 73 20 )....ip_address
0910: 3d 20 72 65 71 75 65 73 74 2e 67 72 6f 75 70 28 = request.group(
0920: 35 29 0a 09 09 09 73 65 6c 66 2e 70 72 6f 63 65 5)....self.proce
0930: 73 73 28 69 64 2c 20 73 69 74 65 2c 20 69 70 5f ss(id, site, ip_
0940: 61 64 64 72 65 73 73 2c 20 75 72 6c 5f 70 61 74 address, url_pat
0950: 68 2c 20 6c 69 6e 65 29 0a 09 09 09 72 65 74 75 h, line)....retu
0960: 72 6e 28 54 72 75 65 29 0a 09 09 65 6c 73 65 3a rn(True)...else:
0970: 0a 09 09 09 73 65 6c 66 2e 5f 6c 6f 67 2e 69 6e ....self._log.in
0980: 66 6f 28 27 62 61 64 20 72 65 71 75 65 73 74 5c fo('bad request\
0990: 6e 27 29 0a 09 09 09 73 65 6c 66 2e 77 72 69 74 n')....self.writ
09a0: 65 6c 69 6e 65 28 6c 69 6e 65 29 0a 09 09 09 72 eline(line)....r
09b0: 65 74 75 72 6e 28 46 61 6c 73 65 29 0a 0a 09 64 eturn(False)...d
09c0: 65 66 20 77 72 69 74 65 6c 69 6e 65 28 73 65 6c ef writeline(sel
09d0: 66 2c 20 73 74 72 69 6e 67 29 3a 0a 09 09 73 65 f, string):...se
09e0: 6c 66 2e 5f 6c 6f 67 2e 69 6e 66 6f 28 27 73 65 lf._log.info('se
09f0: 6e 64 69 6e 67 3a 20 27 20 2b 20 73 74 72 69 6e nding: ' + strin
0a00: 67 29 0a 09 09 73 79 73 2e 73 74 64 6f 75 74 2e g)...sys.stdout.
0a10: 77 72 69 74 65 28 73 74 72 69 6e 67 29 0a 09 09 write(string)...
0a20: 73 79 73 2e 73 74 64 6f 75 74 2e 66 6c 75 73 68 sys.stdout.flush
0a30: 28 29 0a 0a 09 64 65 66 20 6c 6f 6f 70 28 73 65 ()...def loop(se
0a40: 6c 66 29 3a 0a 09 09 77 68 69 6c 65 20 54 72 75 lf):...while Tru
0a50: 65 3a 0a 09 09 09 6c 69 6e 65 20 3d 20 73 79 73 e:....line = sys
0a60: 2e 73 74 64 69 6e 2e 72 65 61 64 6c 69 6e 65 28 .stdin.readline(
0a70: 29 0a 09 09 09 69 66 20 6c 65 6e 28 6c 69 6e 65 )....if len(line
0a80: 29 20 3d 3d 20 30 3a 0a 09 09 09 09 62 72 65 61 ) == 0:.....brea
0a90: 6b 0a 09 09 09 73 65 6c 66 2e 63 68 65 63 6b 28 k....self.check(
0aa0: 6c 69 6e 65 29 0a 0a 23 20 74 68 72 65 61 64 65 line)..# threade
0ab0: 64 20 63 68 65 63 6b 69 6e 67 20 66 61 63 69 6c d checking facil
0ac0: 69 74 79 0a 63 6c 61 73 73 20 43 68 65 63 6b 65 ity.class Checke
0ad0: 72 54 68 72 65 61 64 28 43 68 65 63 6b 65 72 29 rThread(Checker)
0ae0: 3a 0a 09 5f 5f 73 6c 6f 74 73 5f 5f 20 3d 20 66 :..__slots__ = f
0af0: 72 6f 7a 65 6e 73 65 74 28 5b 27 5f 6c 6f 63 6b rozenset(['_lock
0b00: 27 2c 20 27 5f 6c 6f 63 6b 5f 65 78 69 74 27 2c ', '_lock_exit',
0b10: 20 27 5f 6c 6f 63 6b 5f 71 75 65 75 65 27 2c 20 '_lock_queue',
0b20: 27 5f 71 75 65 75 65 27 5d 29 0a 0a 09 64 65 66 '_queue'])...def
0b30: 20 5f 5f 69 6e 69 74 5f 5f 28 73 65 6c 66 29 3a __init__(self):
0b40: 0a 09 09 23 20 62 61 73 69 63 20 69 6e 69 74 69 ...# basic initi
0b50: 61 6c 69 73 61 74 69 6f 6e 0a 09 09 43 68 65 63 alisation...Chec
0b60: 6b 65 72 2e 5f 5f 69 6e 69 74 5f 5f 28 73 65 6c ker.__init__(sel
0b70: 66 29 0a 0a 09 09 23 20 53 70 69 6e 20 6c 6f 63 f)....# Spin loc
0b80: 6b 2e 20 4c 6f 6f 70 20 61 63 71 75 69 72 65 73 k. Loop acquires
0b90: 20 69 74 20 6f 6e 20 73 74 61 72 74 20 74 68 65 it on start the
0ba0: 6e 20 72 65 6c 65 61 73 65 73 20 69 74 20 77 68 n releases it wh
0bb0: 65 6e 20 68 6f 6c 64 69 6e 67 20 71 75 65 75 65 en holding queue
0bc0: 0a 09 09 23 20 6c 6f 63 6b 2e 20 54 68 69 73 20 ...# lock. This
0bd0: 77 61 79 20 74 68 65 20 74 68 72 65 61 64 20 70 way the thread p
0be0: 72 6f 63 65 65 64 73 20 77 69 74 68 6f 75 74 20 roceeds without
0bf0: 73 74 6f 70 73 20 77 68 69 6c 65 20 71 75 65 75 stops while queu
0c00: 65 20 68 61 73 20 64 61 74 61 20 61 6e 64 0a 09 e has data and..
0c10: 09 23 20 67 65 74 73 20 73 74 61 6c 6c 65 64 20 .# gets stalled
0c20: 77 68 65 6e 20 6e 6f 20 64 61 74 61 20 70 72 65 when no data pre
0c30: 73 65 6e 74 2e 20 54 68 65 20 6c 6f 63 6b 20 69 sent. The lock i
0c40: 73 20 72 65 6c 65 61 73 65 64 20 62 79 20 71 75 s released by qu
0c50: 65 75 65 20 77 72 69 74 65 72 0a 09 09 23 20 61 eue writer...# a
0c60: 66 74 65 72 20 73 74 6f 72 69 6e 67 20 73 6f 6d fter storing som
0c70: 65 74 68 69 6e 67 20 69 6e 74 6f 20 74 68 65 20 ething into the
0c80: 71 75 65 75 65 0a 09 09 73 65 6c 66 2e 5f 6c 6f queue...self._lo
0c90: 63 6b 20 3d 20 5f 74 68 72 65 61 64 2e 61 6c 6c ck = _thread.all
0ca0: 6f 63 61 74 65 5f 6c 6f 63 6b 28 29 0a 09 09 73 ocate_lock()...s
0cb0: 65 6c 66 2e 5f 6c 6f 63 6b 5f 65 78 69 74 20 3d elf._lock_exit =
0cc0: 20 5f 74 68 72 65 61 64 2e 61 6c 6c 6f 63 61 74 _thread.allocat
0cd0: 65 5f 6c 6f 63 6b 28 29 0a 09 09 73 65 6c 66 2e e_lock()...self.
0ce0: 5f 6c 6f 63 6b 5f 71 75 65 75 65 20 3d 20 5f 74 _lock_queue = _t
0cf0: 68 72 65 61 64 2e 61 6c 6c 6f 63 61 74 65 5f 6c hread.allocate_l
0d00: 6f 63 6b 28 29 0a 09 09 73 65 6c 66 2e 5f 6c 6f ock()...self._lo
0d10: 63 6b 2e 61 63 71 75 69 72 65 28 29 0a 09 09 73 ck.acquire()...s
0d20: 65 6c 66 2e 5f 71 75 65 75 65 20 3d 20 5b 5d 0a elf._queue = [].
0d30: 09 09 5f 74 68 72 65 61 64 2e 73 74 61 72 74 5f .._thread.start_
0d40: 6e 65 77 5f 74 68 72 65 61 64 28 73 65 6c 66 2e new_thread(self.
0d50: 5f 73 74 61 72 74 2c 20 28 29 29 0a 0a 09 64 65 _start, ())...de
0d60: 66 20 5f 73 74 61 72 74 28 73 65 6c 66 29 3a 0a f _start(self):.
0d70: 09 09 77 68 69 6c 65 20 54 72 75 65 3a 0a 09 09 ..while True:...
0d80: 09 73 65 6c 66 2e 5f 6c 6f 63 6b 2e 61 63 71 75 .self._lock.acqu
0d90: 69 72 65 28 29 0a 09 09 09 77 69 74 68 20 73 65 ire()....with se
0da0: 6c 66 2e 5f 6c 6f 63 6b 5f 71 75 65 75 65 3a 0a lf._lock_queue:.
0db0: 09 09 09 09 23 20 79 65 73 20 74 68 69 73 20 73 ....# yes this s
0dc0: 68 6f 75 6c 64 20 62 65 20 77 72 69 74 74 65 6e hould be written
0dd0: 20 74 68 69 73 20 77 61 79 2c 20 61 6e 64 20 79 this way, and y
0de0: 65 73 2c 20 74 68 69 73 20 69 73 20 77 68 79 20 es, this is why
0df0: 49 20 68 61 74 65 20 74 68 72 65 61 64 69 6e 67 I hate threading
0e00: 0a 09 09 09 09 69 66 20 6c 65 6e 28 73 65 6c 66 .....if len(self
0e10: 2e 5f 71 75 65 75 65 29 20 3e 20 31 3a 0a 09 09 ._queue) > 1:...
0e20: 09 09 09 69 66 20 73 65 6c 66 2e 5f 6c 6f 63 6b ...if self._lock
0e30: 2e 6c 6f 63 6b 65 64 28 29 3a 0a 09 09 09 09 09 .locked():......
0e40: 09 73 65 6c 66 2e 5f 6c 6f 63 6b 2e 72 65 6c 65 .self._lock.rele
0e50: 61 73 65 28 29 0a 09 09 09 09 72 65 71 20 3d 20 ase().....req =
0e60: 73 65 6c 66 2e 5f 71 75 65 75 65 2e 70 6f 70 28 self._queue.pop(
0e70: 30 29 0a 09 09 09 43 68 65 63 6b 65 72 2e 70 72 0)....Checker.pr
0e80: 6f 63 65 73 73 28 73 65 6c 66 2c 20 72 65 71 5b ocess(self, req[
0e90: 30 5d 2c 20 72 65 71 5b 31 5d 2c 20 72 65 71 5b 0], req[1], req[
0ea0: 32 5d 2c 20 72 65 71 5b 33 5d 29 0a 09 09 09 77 2], req[3])....w
0eb0: 69 74 68 20 73 65 6c 66 2e 5f 6c 6f 63 6b 5f 71 ith self._lock_q
0ec0: 75 65 75 65 3a 0a 09 09 09 09 69 66 20 6c 65 6e ueue:.....if len
0ed0: 28 73 65 6c 66 2e 5f 71 75 65 75 65 29 20 3d 3d (self._queue) ==
0ee0: 20 30 3a 0a 09 09 09 09 09 69 66 20 73 65 6c 66 0:......if self
0ef0: 2e 5f 6c 6f 63 6b 5f 65 78 69 74 2e 6c 6f 63 6b ._lock_exit.lock
0f00: 65 64 28 29 3a 0a 09 09 09 09 09 09 73 65 6c 66 ed():.......self
0f10: 2e 5f 6c 6f 63 6b 5f 65 78 69 74 2e 72 65 6c 65 ._lock_exit.rele
0f20: 61 73 65 28 29 0a 0a 09 64 65 66 20 70 72 6f 63 ase()...def proc
0f30: 65 73 73 28 73 65 6c 66 2c 20 69 64 2c 20 73 69 ess(self, id, si
0f40: 74 65 2c 20 69 70 5f 61 64 64 72 65 73 73 2c 20 te, ip_address,
0f50: 75 72 6c 5f 70 61 74 68 2c 20 6c 69 6e 65 29 3a url_path, line):
0f60: 0a 09 09 77 69 74 68 20 73 65 6c 66 2e 5f 6c 6f ...with self._lo
0f70: 63 6b 5f 71 75 65 75 65 3a 0a 09 09 09 73 65 6c ck_queue:....sel
0f80: 66 2e 5f 71 75 65 75 65 2e 61 70 70 65 6e 64 28 f._queue.append(
0f90: 28 69 64 2c 20 73 69 74 65 2c 20 69 70 5f 61 64 (id, site, ip_ad
0fa0: 64 72 65 73 73 2c 20 75 72 6c 5f 70 61 74 68 29 dress, url_path)
0fb0: 29 0a 09 09 09 73 65 6c 66 2e 5f 6c 6f 67 2e 69 )....self._log.i
0fc0: 6e 66 6f 28 27 72 65 71 75 65 73 74 20 7b 7d 20 nfo('request {}
0fd0: 71 75 65 75 65 64 20 28 7b 7d 29 5c 6e 27 2e 66 queued ({})\n'.f
0fe0: 6f 72 6d 61 74 28 69 64 2c 20 6c 69 6e 65 29 29 ormat(id, line))
0ff0: 0a 09 09 09 69 66 20 6e 6f 74 20 73 65 6c 66 2e ....if not self.
1000: 5f 6c 6f 63 6b 5f 65 78 69 74 2e 6c 6f 63 6b 65 _lock_exit.locke
1010: 64 28 29 3a 0a 09 09 09 09 73 65 6c 66 2e 5f 6c d():.....self._l
1020: 6f 63 6b 5f 65 78 69 74 2e 61 63 71 75 69 72 65 ock_exit.acquire
1030: 28 29 0a 09 09 09 69 66 20 73 65 6c 66 2e 5f 6c ()....if self._l
1040: 6f 63 6b 2e 6c 6f 63 6b 65 64 28 29 3a 0a 09 09 ock.locked():...
1050: 09 09 73 65 6c 66 2e 5f 6c 6f 63 6b 2e 72 65 6c ..self._lock.rel
1060: 65 61 73 65 28 29 0a 0a 09 64 65 66 20 6c 6f 6f ease()...def loo
1070: 70 28 73 65 6c 66 29 3a 0a 09 09 77 68 69 6c 65 p(self):...while
1080: 20 54 72 75 65 3a 0a 09 09 09 6c 69 6e 65 20 3d True:....line =
1090: 20 73 79 73 2e 73 74 64 69 6e 2e 72 65 61 64 6c sys.stdin.readl
10a0: 69 6e 65 28 29 0a 09 09 09 69 66 20 6c 65 6e 28 ine()....if len(
10b0: 6c 69 6e 65 29 20 3d 3d 20 30 3a 0a 09 09 09 09 line) == 0:.....
10c0: 62 72 65 61 6b 0a 09 09 09 73 65 6c 66 2e 63 68 break....self.ch
10d0: 65 63 6b 28 6c 69 6e 65 29 0a 09 09 73 65 6c 66 eck(line)...self
10e0: 2e 5f 6c 6f 63 6b 5f 65 78 69 74 2e 61 63 71 75 ._lock_exit.acqu
10f0: 69 72 65 28 29 0a 0a 23 20 6b 71 75 65 75 65 20 ire()..# kqueue
1100: 65 6e 61 62 6c 65 64 20 63 6c 61 73 73 20 66 6f enabled class fo
1110: 72 20 42 53 44 27 73 0a 63 6c 61 73 73 20 43 68 r BSD's.class Ch
1120: 65 63 6b 65 72 4b 71 75 65 75 65 28 43 68 65 63 eckerKqueue(Chec
1130: 6b 65 72 29 3a 0a 09 5f 5f 73 6c 6f 74 73 5f 5f ker):..__slots__
1140: 20 3d 20 66 72 6f 7a 65 6e 73 65 74 28 5b 27 5f = frozenset(['_
1150: 6b 71 27 2c 20 27 5f 73 65 6c 65 63 74 27 2c 20 kq', '_select',
1160: 27 5f 71 75 65 75 65 27 5d 29 0a 0a 09 64 65 66 '_queue'])...def
1170: 20 5f 5f 69 6e 69 74 5f 5f 28 73 65 6c 66 29 3a __init__(self):
1180: 0a 09 09 23 20 62 61 73 69 63 20 69 6e 69 74 69 ...# basic initi
1190: 61 6c 69 73 61 74 69 6f 6e 0a 09 09 43 68 65 63 alisation...Chec
11a0: 6b 65 72 2e 5f 5f 69 6e 69 74 5f 5f 28 73 65 6c ker.__init__(sel
11b0: 66 29 0a 0a 09 09 23 20 69 6d 70 6f 72 74 69 6e f)....# importin
11c0: 67 20 73 65 6c 65 63 74 20 6d 6f 64 75 6c 65 0a g select module.
11d0: 09 09 69 6d 70 6f 72 74 20 73 65 6c 65 63 74 0a ..import select.
11e0: 09 09 73 65 6c 66 2e 5f 73 65 6c 65 63 74 20 3d ..self._select =
11f0: 20 73 65 6c 65 63 74 0a 0a 09 09 23 20 6b 72 65 select....# kre
1200: 61 74 69 6e 67 20 6b 71 75 65 75 65 0a 09 09 73 ating kqueue...s
1210: 65 6c 66 2e 5f 6b 71 20 3d 20 73 65 6c 66 2e 5f elf._kq = self._
1220: 73 65 6c 65 63 74 2e 6b 71 75 65 75 65 28 29 0a select.kqueue().
1230: 09 09 61 73 73 65 72 74 20 73 65 6c 66 2e 5f 6b ..assert self._k
1240: 71 2e 66 69 6c 65 6e 6f 28 29 20 21 3d 20 2d 31 q.fileno() != -1
1250: 2c 20 22 46 61 74 61 6c 20 65 72 72 6f 72 3a 20 , "Fatal error:
1260: 63 61 6e 27 74 20 69 6e 69 74 69 61 6c 69 73 65 can't initialise
1270: 20 6b 71 75 65 75 65 2e 22 0a 0a 09 09 23 20 77 kqueue."....# w
1280: 61 74 63 68 69 6e 67 20 73 79 73 2e 73 74 64 69 atching sys.stdi
1290: 6e 20 66 6f 72 20 64 61 74 61 0a 09 09 73 65 6c n for data...sel
12a0: 66 2e 5f 6b 71 2e 63 6f 6e 74 72 6f 6c 28 5b 73 f._kq.control([s
12b0: 65 6c 66 2e 5f 73 65 6c 65 63 74 2e 6b 65 76 65 elf._select.keve
12c0: 6e 74 28 73 79 73 2e 73 74 64 69 6e 2c 20 73 65 nt(sys.stdin, se
12d0: 6c 66 2e 5f 73 65 6c 65 63 74 2e 4b 51 5f 46 49 lf._select.KQ_FI
12e0: 4c 54 45 52 5f 52 45 41 44 2c 20 73 65 6c 66 2e LTER_READ, self.
12f0: 5f 73 65 6c 65 63 74 2e 4b 51 5f 45 56 5f 41 44 _select.KQ_EV_AD
1300: 44 29 5d 2c 20 30 29 0a 0a 09 09 23 20 63 72 65 D)], 0)....# cre
1310: 61 74 69 6e 67 20 64 61 74 61 20 71 75 65 75 65 ating data queue
1320: 0a 09 09 73 65 6c 66 2e 5f 71 75 65 75 65 20 3d ...self._queue =
1330: 20 5b 5d 0a 0a 09 64 65 66 20 6c 6f 6f 70 28 73 []...def loop(s
1340: 65 6c 66 29 3a 0a 09 09 23 20 57 61 69 74 20 66 elf):...# Wait f
1350: 6f 72 20 64 61 74 61 20 62 79 20 64 65 66 61 75 or data by defau
1360: 6c 74 0a 09 09 74 69 6d 65 6f 75 74 20 3d 20 4e lt...timeout = N
1370: 6f 6e 65 0a 09 09 65 6f 66 20 3d 20 46 61 6c 73 one...eof = Fals
1380: 65 0a 09 09 62 75 66 66 65 72 20 3d 20 27 27 0a e...buffer = ''.
1390: 09 09 77 68 69 6c 65 20 54 72 75 65 3a 0a 09 09 ..while True:...
13a0: 09 23 20 63 68 65 63 6b 69 6e 67 20 69 66 20 74 .# checking if t
13b0: 68 65 72 65 20 69 73 20 61 6e 79 20 64 61 74 61 here is any data
13c0: 20 6f 72 20 77 69 74 69 6e 67 20 66 6f 72 20 64 or witing for d
13d0: 61 74 61 20 74 6f 20 61 72 72 69 76 65 0a 09 09 ata to arrive...
13e0: 09 6b 65 76 73 20 3d 20 73 65 6c 66 2e 5f 6b 71 .kevs = self._kq
13f0: 2e 63 6f 6e 74 72 6f 6c 28 4e 6f 6e 65 2c 20 31 .control(None, 1
1400: 2c 20 74 69 6d 65 6f 75 74 29 0a 0a 09 09 09 66 , timeout).....f
1410: 6f 72 20 6b 65 76 20 69 6e 20 6b 65 76 73 3a 0a or kev in kevs:.
1420: 09 09 09 09 69 66 20 6b 65 76 2e 66 69 6c 74 65 ....if kev.filte
1430: 72 20 3d 3d 20 73 65 6c 66 2e 5f 73 65 6c 65 63 r == self._selec
1440: 74 2e 4b 51 5f 46 49 4c 54 45 52 5f 52 45 41 44 t.KQ_FILTER_READ
1450: 20 61 6e 64 20 6b 65 76 2e 64 61 74 61 20 3e 20 and kev.data >
1460: 30 3a 0a 09 09 09 09 09 23 20 72 65 61 64 69 6e 0:......# readin
1470: 67 20 64 61 74 61 20 69 6e 0a 09 09 09 09 09 6e g data in......n
1480: 65 77 5f 62 75 66 66 65 72 20 3d 20 73 79 73 2e ew_buffer = sys.
1490: 73 74 64 69 6e 2e 72 65 61 64 28 6b 65 76 2e 64 stdin.read(kev.d
14a0: 61 74 61 29 0a 09 09 09 09 09 23 20 69 66 20 6e ata)......# if n
14b0: 6f 20 64 61 74 61 20 77 61 73 20 73 65 6e 74 20 o data was sent
14c0: 2d 20 77 65 20 68 61 76 65 20 72 65 61 63 68 65 - we have reache
14d0: 64 20 65 6e 64 20 6f 66 20 66 69 6c 65 0a 09 09 d end of file...
14e0: 09 09 09 69 66 20 6c 65 6e 28 6e 65 77 5f 62 75 ...if len(new_bu
14f0: 66 66 65 72 29 20 3d 3d 20 30 3a 0a 09 09 09 09 ffer) == 0:.....
1500: 09 09 65 6f 66 20 3d 20 54 72 75 65 0a 09 09 09 ..eof = True....
1510: 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 23 20 ..else:.......#
1520: 61 64 64 69 6e 67 20 63 75 72 72 65 6e 74 20 62 adding current b
1530: 75 66 66 65 72 20 74 6f 20 6f 6c 64 20 62 75 66 uffer to old buf
1540: 66 65 72 20 72 65 6d 61 69 6e 73 0a 09 09 09 09 fer remains.....
1550: 09 09 62 75 66 66 65 72 20 2b 3d 20 6e 65 77 5f ..buffer += new_
1560: 62 75 66 66 65 72 0a 09 09 09 09 09 09 23 20 73 buffer.......# s
1570: 70 6c 69 74 74 69 6e 67 20 74 6f 20 6c 69 6e 65 plitting to line
1580: 73 0a 09 09 09 09 09 09 6c 69 6e 65 73 20 3d 20 s.......lines =
1590: 62 75 66 66 65 72 2e 73 70 6c 69 74 28 27 5c 6e buffer.split('\n
15a0: 27 29 0a 09 09 09 09 09 09 23 20 6c 61 73 74 20 ').......# last
15b0: 6c 69 6e 65 20 74 68 61 74 20 77 61 73 20 6e 6f line that was no
15c0: 74 20 74 65 72 6d 69 6e 61 74 65 20 62 79 20 6e t terminate by n
15d0: 65 77 6c 69 6e 65 20 72 65 74 75 72 6e 73 20 74 ewline returns t
15e0: 6f 20 62 75 66 66 65 72 0a 09 09 09 09 09 09 62 o buffer.......b
15f0: 75 66 66 65 72 20 3d 20 6c 69 6e 65 73 5b 2d 31 uffer = lines[-1
1600: 5d 0a 09 09 09 09 09 09 23 20 61 6e 20 6f 6e 6c ].......# an onl
1610: 79 20 69 66 20 74 68 65 72 65 20 77 61 73 20 61 y if there was a
1620: 74 20 6c 65 61 73 74 20 6f 6e 65 20 6e 65 77 6c t least one newl
1630: 69 6e 65 0a 09 09 09 09 09 09 69 66 20 6c 65 6e ine.......if len
1640: 28 6c 69 6e 65 73 29 20 3e 20 31 3a 0a 09 09 09 (lines) > 1:....
1650: 09 09 09 09 66 6f 72 20 6c 69 6e 65 20 69 6e 20 ....for line in
1660: 6c 69 6e 65 73 5b 3a 2d 31 5d 3a 0a 09 09 09 09 lines[:-1]:.....
1670: 09 09 09 09 23 20 61 64 64 20 64 61 74 61 20 74 ....# add data t
1680: 6f 20 74 68 65 20 71 75 65 75 65 0a 09 09 09 09 o the queue.....
1690: 09 09 09 09 69 66 20 73 65 6c 66 2e 63 68 65 63 ....if self.chec
16a0: 6b 28 6c 69 6e 65 20 2b 20 27 5c 6e 27 29 3a 0a k(line + '\n'):.
16b0: 09 09 09 09 09 09 09 09 09 23 20 64 6f 6e 27 74 .........# don't
16c0: 20 77 61 69 74 20 66 6f 72 20 6d 6f 72 65 20 64 wait for more d
16d0: 61 74 61 2c 20 73 74 61 72 74 20 70 72 6f 63 65 ata, start proce
16e0: 73 73 69 6e 67 0a 09 09 09 09 09 09 09 09 09 74 ssing..........t
16f0: 69 6d 65 6f 75 74 20 3d 20 30 0a 0a 09 09 09 09 imeout = 0......
1700: 23 20 64 65 74 65 63 74 20 65 6e 64 20 6f 66 20 # detect end of
1710: 73 74 72 65 61 6d 20 61 6e 64 20 65 78 69 74 20 stream and exit
1720: 69 66 20 70 6f 73 73 69 62 6c 65 0a 09 09 09 09 if possible.....
1730: 69 66 20 6b 65 76 2e 66 6c 61 67 73 20 3e 3e 20 if kev.flags >>
1740: 31 35 20 3d 3d 20 31 3a 0a 09 09 09 09 09 73 65 15 == 1:......se
1750: 6c 66 2e 5f 6b 71 2e 63 6f 6e 74 72 6f 6c 28 5b lf._kq.control([
1760: 73 65 6c 66 2e 5f 73 65 6c 65 63 74 2e 6b 65 76 self._select.kev
1770: 65 6e 74 28 73 79 73 2e 73 74 64 69 6e 2c 20 73 ent(sys.stdin, s
1780: 65 6c 66 2e 5f 73 65 6c 65 63 74 2e 4b 51 5f 46 elf._select.KQ_F
1790: 49 4c 54 45 52 5f 52 45 41 44 2c 20 73 65 6c 66 ILTER_READ, self
17a0: 2e 5f 73 65 6c 65 63 74 2e 4b 51 5f 45 56 5f 44 ._select.KQ_EV_D
17b0: 45 4c 45 54 45 29 5d 2c 20 30 29 0a 09 09 09 09 ELETE)], 0).....
17c0: 09 65 6f 66 20 3d 20 54 72 75 65 0a 0a 09 09 09 .eof = True.....
17d0: 69 66 20 6c 65 6e 28 6b 65 76 73 29 20 3d 3d 20 if len(kevs) ==
17e0: 30 3a 0a 09 09 09 09 69 66 20 6c 65 6e 28 73 65 0:.....if len(se
17f0: 6c 66 2e 5f 71 75 65 75 65 29 20 3e 20 30 3a 0a lf._queue) > 0:.
1800: 09 09 09 09 09 23 20 67 65 74 20 6f 6e 65 20 72 .....# get one r
1810: 65 71 75 65 73 74 20 61 6e 64 20 70 72 6f 63 65 equest and proce
1820: 73 73 20 69 74 0a 09 09 09 09 09 72 65 71 20 3d ss it......req =
1830: 20 73 65 6c 66 2e 5f 71 75 65 75 65 2e 70 6f 70 self._queue.pop
1840: 28 30 29 0a 09 09 09 09 09 43 68 65 63 6b 65 72 (0)......Checker
1850: 2e 70 72 6f 63 65 73 73 28 73 65 6c 66 2c 20 72 .process(self, r
1860: 65 71 5b 30 5d 2c 20 72 65 71 5b 31 5d 2c 20 72 eq[0], req[1], r
1870: 65 71 5b 32 5d 2c 20 72 65 71 5b 33 5d 29 0a 09 eq[2], req[3])..
1880: 09 09 09 09 69 66 20 6c 65 6e 28 73 65 6c 66 2e ....if len(self.
1890: 5f 71 75 65 75 65 29 20 3d 3d 20 30 3a 0a 09 09 _queue) == 0:...
18a0: 09 09 09 09 23 20 77 61 69 74 20 66 6f 72 20 64 ....# wait for d
18b0: 61 74 61 20 2d 20 77 65 20 68 61 76 65 20 6e 6f ata - we have no
18c0: 74 68 69 6e 67 20 74 6f 20 70 72 6f 63 65 73 73 thing to process
18d0: 0a 09 09 09 09 09 09 74 69 6d 65 6f 75 74 20 3d .......timeout =
18e0: 20 4e 6f 6e 65 0a 0a 09 09 09 23 20 69 66 20 71 None.....# if q
18f0: 75 65 75 65 20 69 73 20 65 6d 70 74 79 20 61 6e ueue is empty an
1900: 64 20 77 65 20 72 65 61 63 68 65 64 20 65 6e 64 d we reached end
1910: 20 6f 66 20 73 74 72 65 61 6d 20 2d 20 77 65 20 of stream - we
1920: 63 61 6e 20 65 78 69 74 0a 09 09 09 69 66 20 6c can exit....if l
1930: 65 6e 28 73 65 6c 66 2e 5f 71 75 65 75 65 29 20 en(self._queue)
1940: 3d 3d 20 30 20 61 6e 64 20 65 6f 66 3a 0a 09 09 == 0 and eof:...
1950: 09 09 62 72 65 61 6b 0a 0a 09 64 65 66 20 70 72 ..break...def pr
1960: 6f 63 65 73 73 28 73 65 6c 66 2c 20 69 64 2c 20 ocess(self, id,
1970: 73 69 74 65 2c 20 69 70 5f 61 64 64 72 65 73 73 site, ip_address
1980: 2c 20 75 72 6c 5f 70 61 74 68 2c 20 6c 69 6e 65 , url_path, line
1990: 29 3a 0a 09 09 23 20 73 69 6d 70 6c 79 20 61 64 ):...# simply ad
19a0: 64 69 6e 67 20 64 61 74 61 20 74 6f 20 74 68 65 ding data to the
19b0: 20 71 75 65 75 65 0a 09 09 73 65 6c 66 2e 5f 71 queue...self._q
19c0: 75 65 75 65 2e 61 70 70 65 6e 64 28 28 69 64 2c ueue.append((id,
19d0: 20 73 69 74 65 2c 20 69 70 5f 61 64 64 72 65 73 site, ip_addres
19e0: 73 2c 20 75 72 6c 5f 70 61 74 68 29 29 0a 09 09 s, url_path))...
19f0: 73 65 6c 66 2e 5f 6c 6f 67 2e 69 6e 66 6f 28 27 self._log.info('
1a00: 72 65 71 75 65 73 74 20 7b 7d 20 71 75 65 75 65 request {} queue
1a10: 64 20 28 7b 7d 29 5c 6e 27 2e 66 6f 72 6d 61 74 d ({})\n'.format
1a20: 28 69 64 2c 20 6c 69 6e 65 29 29 0a 0a 23 20 74 (id, line))..# t
1a30: 68 69 73 20 63 6c 61 73 73 65 73 20 70 72 6f 63 his classes proc
1a40: 65 73 73 65 73 20 63 6f 6e 66 69 67 20 66 69 6c esses config fil
1a50: 65 20 61 6e 64 20 73 75 62 73 74 69 74 75 74 65 e and substitute
1a60: 73 20 64 65 66 61 75 6c 74 20 76 61 6c 75 65 73 s default values
1a70: 0a 63 6c 61 73 73 20 43 6f 6e 66 69 67 3a 0a 09 .class Config:..
1a80: 5f 5f 73 6c 6f 74 73 5f 5f 20 3d 20 66 72 6f 7a __slots__ = froz
1a90: 65 6e 73 65 74 28 5b 27 5f 63 6f 6e 66 69 67 27 enset(['_config'
1aa0: 2c 20 27 5f 64 65 66 61 75 6c 74 27 2c 20 27 5f , '_default', '_
1ab0: 73 65 63 74 69 6f 6e 27 5d 29 0a 09 5f 64 65 66 section']).._def
1ac0: 61 75 6c 74 20 3d 20 7b 0a 09 09 27 72 65 61 63 ault = {...'reac
1ad0: 74 6f 72 27 3a 20 7b 0a 09 09 09 27 72 65 61 63 tor': {....'reac
1ae0: 74 6f 72 27 3a 20 27 74 68 72 65 61 64 27 2c 0a tor': 'thread',.
1af0: 09 09 7d 2c 0a 09 09 27 6c 6f 67 27 3a 20 7b 0a ..},...'log': {.
1b00: 09 09 09 27 73 69 6c 65 6e 74 27 3a 20 27 6e 6f ...'silent': 'no
1b10: 27 2c 0a 09 09 7d 2c 0a 09 09 27 64 61 74 61 62 ',...},...'datab
1b20: 61 73 65 27 3a 20 7b 0a 09 09 09 27 68 6f 73 74 ase': {....'host
1b30: 27 3a 20 27 6c 6f 63 61 6c 68 6f 73 74 27 2c 0a ': 'localhost',.
1b40: 09 09 09 27 64 61 74 61 62 61 73 65 27 3a 20 27 ...'database': '
1b50: 73 71 75 69 64 54 61 67 27 2c 0a 09 7d 2c 7d 0a squidTag',..},}.
1b60: 0a 09 23 20 66 75 6e 63 74 69 6f 6e 20 74 6f 20 ..# function to
1b70: 72 65 61 64 20 69 6e 20 63 6f 6e 66 69 67 20 66 read in config f
1b80: 69 6c 65 0a 09 64 65 66 20 5f 5f 69 6e 69 74 5f ile..def __init_
1b90: 5f 28 73 65 6c 66 29 3a 0a 09 09 70 61 72 73 65 _(self):...parse
1ba0: 72 20 3d 20 6f 70 74 70 61 72 73 65 2e 4f 70 74 r = optparse.Opt
1bb0: 69 6f 6e 50 61 72 73 65 72 28 29 0a 09 09 70 61 ionParser()...pa
1bc0: 72 73 65 72 2e 61 64 64 5f 6f 70 74 69 6f 6e 28 rser.add_option(
1bd0: 27 2d 63 27 2c 20 27 2d 2d 63 6f 6e 66 69 67 27 '-c', '--config'
1be0: 2c 20 64 65 73 74 20 3d 20 27 63 6f 6e 66 69 67 , dest = 'config
1bf0: 27 2c 0a 09 09 09 68 65 6c 70 20 3d 20 27 63 6f ',....help = 'co
1c00: 6e 66 69 67 20 66 69 6c 65 20 6c 6f 63 61 74 69 nfig file locati
1c10: 6f 6e 27 2c 20 6d 65 74 61 76 61 72 20 3d 20 27 on', metavar = '
1c20: 46 49 4c 45 27 2c 0a 09 09 09 64 65 66 61 75 6c FILE',....defaul
1c30: 74 20 3d 20 27 2f 75 73 72 2f 6c 6f 63 61 6c 2f t = '/usr/local/
1c40: 65 74 63 2f 73 71 75 69 64 2d 74 61 67 67 65 72 etc/squid-tagger
1c50: 2e 63 6f 6e 66 27 29 0a 0a 09 09 28 6f 70 74 69 .conf')....(opti
1c60: 6f 6e 73 2c 20 61 72 67 73 29 20 3d 20 70 61 72 ons, args) = par
1c70: 73 65 72 2e 70 61 72 73 65 5f 61 72 67 73 28 29 ser.parse_args()
1c80: 0a 0a 09 09 61 73 73 65 72 74 20 6f 73 2e 61 63 ....assert os.ac
1c90: 63 65 73 73 28 6f 70 74 69 6f 6e 73 2e 63 6f 6e cess(options.con
1ca0: 66 69 67 2c 20 6f 73 2e 52 5f 4f 4b 29 2c 20 22 fig, os.R_OK), "
1cb0: 46 61 74 61 6c 20 65 72 72 6f 72 3a 20 63 61 6e Fatal error: can
1cc0: 27 74 20 72 65 61 64 20 7b 7d 22 2e 66 6f 72 6d 't read {}".form
1cd0: 61 74 28 6f 70 74 69 6f 6e 73 2e 63 6f 6e 66 69 at(options.confi
1ce0: 67 29 0a 0a 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 g)....self._conf
1cf0: 69 67 20 3d 20 63 6f 6e 66 69 67 70 61 72 73 65 ig = configparse
1d00: 72 2e 43 6f 6e 66 69 67 50 61 72 73 65 72 28 29 r.ConfigParser()
1d10: 0a 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e ...self._config.
1d20: 72 65 61 64 66 70 28 6f 70 65 6e 28 6f 70 74 69 readfp(open(opti
1d30: 6f 6e 73 2e 63 6f 6e 66 69 67 29 29 0a 0a 09 23 ons.config))...#
1d40: 20 66 75 6e 63 74 69 6f 6e 20 74 6f 20 73 65 6c function to sel
1d50: 65 63 74 20 63 6f 6e 66 69 67 20 66 69 6c 65 20 ect config file
1d60: 73 65 63 74 69 6f 6e 20 6f 72 20 63 72 65 61 74 section or creat
1d70: 65 20 6f 6e 65 0a 09 64 65 66 20 73 65 63 74 69 e one..def secti
1d80: 6f 6e 28 73 65 6c 66 2c 20 73 65 63 74 69 6f 6e on(self, section
1d90: 29 3a 0a 09 09 69 66 20 6e 6f 74 20 73 65 6c 66 ):...if not self
1da0: 2e 5f 63 6f 6e 66 69 67 2e 68 61 73 5f 73 65 63 ._config.has_sec
1db0: 74 69 6f 6e 28 73 65 63 74 69 6f 6e 29 3a 0a 09 tion(section):..
1dc0: 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 61 ..self._config.a
1dd0: 64 64 5f 73 65 63 74 69 6f 6e 28 73 65 63 74 69 dd_section(secti
1de0: 6f 6e 29 0a 09 09 73 65 6c 66 2e 5f 73 65 63 74 on)...self._sect
1df0: 69 6f 6e 20 3d 20 73 65 63 74 69 6f 6e 0a 0a 09 ion = section...
1e00: 23 20 66 75 6e 63 74 69 6f 6e 20 74 6f 20 67 65 # function to ge
1e10: 74 20 63 6f 6e 66 69 67 20 70 61 72 61 6d 65 74 t config paramet
1e20: 65 72 2c 20 69 66 20 70 61 72 61 6d 65 74 65 72 er, if parameter
1e30: 20 64 6f 65 73 6e 27 74 20 65 78 69 73 74 73 20 doesn't exists
1e40: 74 68 65 20 64 65 66 61 75 6c 74 0a 09 23 20 76 the default..# v
1e50: 61 6c 75 65 20 6f 72 20 4e 6f 6e 65 20 69 73 20 alue or None is
1e60: 73 75 62 73 74 69 74 75 74 65 64 0a 09 64 65 66 substituted..def
1e70: 20 5f 5f 67 65 74 69 74 65 6d 5f 5f 28 73 65 6c __getitem__(sel
1e80: 66 2c 20 6e 61 6d 65 29 3a 0a 09 09 69 66 20 6e f, name):...if n
1e90: 6f 74 20 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e ot self._config.
1ea0: 68 61 73 5f 6f 70 74 69 6f 6e 28 73 65 6c 66 2e has_option(self.
1eb0: 5f 73 65 63 74 69 6f 6e 2c 20 6e 61 6d 65 29 3a _section, name):
1ec0: 0a 09 09 09 69 66 20 73 65 6c 66 2e 5f 73 65 63 ....if self._sec
1ed0: 74 69 6f 6e 20 69 6e 20 73 65 6c 66 2e 5f 64 65 tion in self._de
1ee0: 66 61 75 6c 74 3a 0a 09 09 09 09 69 66 20 6e 61 fault:.....if na
1ef0: 6d 65 20 69 6e 20 73 65 6c 66 2e 5f 64 65 66 61 me in self._defa
1f00: 75 6c 74 5b 73 65 6c 66 2e 5f 73 65 63 74 69 6f ult[self._sectio
1f10: 6e 5d 3a 0a 09 09 09 09 09 73 65 6c 66 2e 5f 63 n]:......self._c
1f20: 6f 6e 66 69 67 2e 73 65 74 28 73 65 6c 66 2e 5f onfig.set(self._
1f30: 73 65 63 74 69 6f 6e 2c 20 6e 61 6d 65 2c 20 73 section, name, s
1f40: 65 6c 66 2e 5f 64 65 66 61 75 6c 74 5b 73 65 6c elf._default[sel
1f50: 66 2e 5f 73 65 63 74 69 6f 6e 5d 5b 6e 61 6d 65 f._section][name
1f60: 5d 29 0a 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 ]).....else:....
1f70: 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 73 ..self._config.s
1f80: 65 74 28 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e et(self._section
1f90: 2c 20 6e 61 6d 65 2c 20 4e 6f 6e 65 29 0a 09 09 , name, None)...
1fa0: 09 65 6c 73 65 3a 0a 09 09 09 09 73 65 6c 66 2e .else:.....self.
1fb0: 5f 63 6f 6e 66 69 67 2e 73 65 74 28 73 65 6c 66 _config.set(self
1fc0: 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e 61 6d 65 2c ._section, name,
1fd0: 20 4e 6f 6e 65 29 0a 09 09 72 65 74 75 72 6e 28 None)...return(
1fe0: 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 67 65 74 self._config.get
1ff0: 28 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 2c 20 (self._section,
2000: 6e 61 6d 65 29 29 0a 0a 23 20 69 6e 69 74 69 61 name))..# initia
2010: 6c 69 7a 69 6e 67 20 61 6e 64 20 72 65 61 64 69 lizing and readi
2020: 6e 67 20 69 6e 20 63 6f 6e 66 69 67 20 66 69 6c ng in config fil
2030: 65 0a 63 6f 6e 66 69 67 20 3d 20 43 6f 6e 66 69 e.config = Confi
2040: 67 28 29 0a 0a 63 6f 6e 66 69 67 2e 73 65 63 74 g()..config.sect
2050: 69 6f 6e 28 27 72 65 61 63 74 6f 72 27 29 0a 69 ion('reactor').i
2060: 66 20 63 6f 6e 66 69 67 5b 27 72 65 61 63 74 6f f config['reacto
2070: 72 27 5d 20 3d 3d 20 27 74 68 72 65 61 64 27 3a r'] == 'thread':
2080: 0a 09 63 68 65 63 6b 65 72 20 3d 20 43 68 65 63 ..checker = Chec
2090: 6b 65 72 54 68 72 65 61 64 28 29 0a 65 6c 69 66 kerThread().elif
20a0: 20 63 6f 6e 66 69 67 5b 27 72 65 61 63 74 6f 72 config['reactor
20b0: 27 5d 20 3d 3d 20 27 70 6c 61 69 6e 27 3a 0a 09 '] == 'plain':..
20c0: 63 68 65 63 6b 65 72 20 3d 20 43 68 65 63 6b 65 checker = Checke
20d0: 72 28 29 0a 65 6c 69 66 20 63 6f 6e 66 69 67 5b r().elif config[
20e0: 27 72 65 61 63 74 6f 72 27 5d 20 3d 3d 20 27 6b 'reactor'] == 'k
20f0: 71 75 65 75 65 27 3a 0a 09 63 68 65 63 6b 65 72 queue':..checker
2100: 20 3d 20 43 68 65 63 6b 65 72 4b 71 75 65 75 65 = CheckerKqueue
2110: 28 29 0a 0a 63 68 65 63 6b 65 72 2e 6c 6f 6f 70 ()..checker.loop
2120: 28 29 0a ().