0000: 23 21 2f 75 73 72 2f 62 69 6e 2f 65 6e 76 20 70 #!/usr/bin/env p
0010: 79 74 68 6f 6e 33 2e 31 0a 0a 69 6d 70 6f 72 74 ython3.1..import
0020: 20 63 6f 6e 66 69 67 70 61 72 73 65 72 2c 20 6f configparser, o
0030: 70 74 70 61 72 73 65 2c 20 6f 73 2c 20 70 6f 73 ptparse, os, pos
0040: 74 67 72 65 73 71 6c 2e 61 70 69 2c 20 72 65 2c tgresql.api, re,
0050: 20 73 79 73 2c 20 5f 74 68 72 65 61 64 0a 0a 23 sys, _thread..#
0060: 20 77 72 61 70 70 65 72 20 61 72 6f 75 6e 64 20 wrapper around
0070: 73 79 73 6c 6f 67 2c 20 63 61 6e 20 62 65 20 6d syslog, can be m
0080: 75 74 65 64 0a 63 6c 61 73 73 20 4c 6f 67 67 65 uted.class Logge
0090: 72 3a 0a 09 5f 5f 73 6c 6f 74 73 5f 5f 20 3d 20 r:..__slots__ =
00a0: 66 72 6f 7a 65 6e 73 65 74 28 5b 27 5f 73 79 73 frozenset(['_sys
00b0: 6c 6f 67 27 5d 29 0a 0a 09 64 65 66 20 5f 5f 69 log'])...def __i
00c0: 6e 69 74 5f 5f 28 73 65 6c 66 29 3a 0a 09 09 63 nit__(self):...c
00d0: 6f 6e 66 69 67 2e 73 65 63 74 69 6f 6e 28 27 6c onfig.section('l
00e0: 6f 67 27 29 0a 09 09 69 66 20 63 6f 6e 66 69 67 og')...if config
00f0: 5b 27 73 69 6c 65 6e 74 27 5d 20 3d 3d 20 27 79 ['silent'] == 'y
0100: 65 73 27 3a 0a 09 09 09 73 65 6c 66 2e 5f 73 79 es':....self._sy
0110: 73 6c 6f 67 20 3d 20 4e 6f 6e 65 0a 09 09 65 6c slog = None...el
0120: 73 65 3a 0a 09 09 09 69 6d 70 6f 72 74 20 73 79 se:....import sy
0130: 73 6c 6f 67 0a 09 09 09 73 65 6c 66 2e 5f 73 79 slog....self._sy
0140: 73 6c 6f 67 20 3d 20 73 79 73 6c 6f 67 0a 09 09 slog = syslog...
0150: 09 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 2e 6f 70 .self._syslog.op
0160: 65 6e 6c 6f 67 28 27 73 71 75 69 64 54 61 67 27 enlog('squidTag'
0170: 29 0a 0a 09 64 65 66 20 69 6e 66 6f 28 73 65 6c )...def info(sel
0180: 66 2c 20 6d 65 73 73 61 67 65 29 3a 0a 09 09 69 f, message):...i
0190: 66 20 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 3a 0a f self._syslog:.
01a0: 09 09 09 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 2e ...self._syslog.
01b0: 73 79 73 6c 6f 67 28 73 65 6c 66 2e 5f 73 79 73 syslog(self._sys
01c0: 6c 6f 67 2e 4c 4f 47 5f 49 4e 46 4f 2c 20 6d 65 log.LOG_INFO, me
01d0: 73 73 61 67 65 29 0a 0a 09 64 65 66 20 6e 6f 74 ssage)...def not
01e0: 69 63 65 28 73 65 6c 66 2c 20 6d 65 73 73 61 67 ice(self, messag
01f0: 65 29 3a 0a 09 09 69 66 20 73 65 6c 66 2e 5f 73 e):...if self._s
0200: 79 73 6c 6f 67 3a 0a 09 09 09 73 65 6c 66 2e 5f yslog:....self._
0210: 73 79 73 6c 6f 67 2e 73 79 73 6c 6f 67 28 73 65 syslog.syslog(se
0220: 6c 66 2e 5f 73 79 73 6c 6f 67 2e 4c 4f 47 5f 4e lf._syslog.LOG_N
0230: 4f 54 49 43 45 2c 20 6d 65 73 73 61 67 65 29 0a OTICE, message).
0240: 0a 23 20 77 72 61 70 70 65 72 20 61 72 6f 75 6e .# wrapper aroun
0250: 64 20 64 61 74 61 62 61 73 65 0a 63 6c 61 73 73 d database.class
0260: 20 74 61 67 44 42 3a 0a 09 5f 5f 73 6c 6f 74 73 tagDB:..__slots
0270: 5f 5f 20 3d 20 66 72 6f 7a 65 6e 73 65 74 28 28 __ = frozenset((
0280: 27 5f 63 68 65 63 6b 5f 73 74 6d 74 27 2c 20 27 '_check_stmt', '
0290: 5f 64 62 27 29 29 0a 0a 09 64 65 66 20 5f 5f 69 _db'))...def __i
02a0: 6e 69 74 5f 5f 28 73 65 6c 66 29 3a 0a 09 09 63 nit__(self):...c
02b0: 6f 6e 66 69 67 2e 73 65 63 74 69 6f 6e 28 27 64 onfig.section('d
02c0: 61 74 61 62 61 73 65 27 29 0a 09 09 73 65 6c 66 atabase')...self
02d0: 2e 5f 64 62 20 3d 20 70 6f 73 74 67 72 65 73 71 ._db = postgresq
02e0: 6c 2e 6f 70 65 6e 28 0a 09 09 09 27 70 71 3a 2f l.open(....'pq:/
02f0: 2f 7b 7d 3a 7b 7d 40 7b 7d 2f 7b 7d 27 2e 66 6f /{}:{}@{}/{}'.fo
0300: 72 6d 61 74 28 0a 09 09 09 09 63 6f 6e 66 69 67 rmat(.....config
0310: 5b 27 75 73 65 72 27 5d 2c 0a 09 09 09 09 63 6f ['user'],.....co
0320: 6e 66 69 67 5b 27 70 61 73 73 77 6f 72 64 27 5d nfig['password']
0330: 2c 0a 09 09 09 09 63 6f 6e 66 69 67 5b 27 68 6f ,.....config['ho
0340: 73 74 27 5d 2c 0a 09 09 09 09 63 6f 6e 66 69 67 st'],.....config
0350: 5b 27 64 61 74 61 62 61 73 65 27 5d 2c 0a 09 09 ['database'],...
0360: 29 20 29 0a 09 09 73 65 6c 66 2e 5f 63 68 65 63 ) )...self._chec
0370: 6b 5f 73 74 6d 74 20 3d 20 73 65 6c 66 2e 5f 64 k_stmt = self._d
0380: 62 2e 70 72 65 70 61 72 65 28 22 73 65 6c 65 63 b.prepare("selec
0390: 74 20 72 65 64 69 72 65 63 74 5f 75 72 6c 2c 20 t redirect_url,
03a0: 72 65 67 65 78 70 20 66 72 6f 6d 20 73 69 74 65 regexp from site
03b0: 5f 72 75 6c 65 20 77 68 65 72 65 20 73 69 74 65 _rule where site
03c0: 20 3c 40 20 74 72 69 70 64 6f 6d 61 69 6e 28 24 <@ tripdomain($
03d0: 31 29 20 61 6e 64 20 6e 65 74 6d 61 73 6b 20 3e 1) and netmask >
03e0: 3e 20 24 32 3a 3a 74 65 78 74 3a 3a 69 6e 65 74 > $2::text::inet
03f0: 20 6f 72 64 65 72 20 62 79 20 61 72 72 61 79 5f order by array_
0400: 6c 65 6e 67 74 68 28 73 69 74 65 2c 20 31 29 20 length(site, 1)
0410: 64 65 73 63 22 29 0a 0a 09 64 65 66 20 63 68 65 desc")...def che
0420: 63 6b 28 73 65 6c 66 2c 20 73 69 74 65 2c 20 69 ck(self, site, i
0430: 70 5f 61 64 64 72 65 73 73 29 3a 0a 09 09 72 65 p_address):...re
0440: 74 75 72 6e 28 73 65 6c 66 2e 5f 63 68 65 63 6b turn(self._check
0450: 5f 73 74 6d 74 28 73 69 74 65 2c 20 69 70 5f 61 _stmt(site, ip_a
0460: 64 64 72 65 73 73 29 29 0a 0a 23 20 61 62 73 74 ddress))..# abst
0470: 72 61 63 74 20 63 6c 61 73 73 20 77 69 74 68 20 ract class with
0480: 62 61 73 69 63 20 63 68 65 63 6b 69 6e 67 20 66 basic checking f
0490: 75 6e 63 74 69 6f 6e 61 6c 69 74 79 0a 63 6c 61 unctionality.cla
04a0: 73 73 20 43 68 65 63 6b 65 72 3a 0a 09 5f 5f 73 ss Checker:..__s
04b0: 6c 6f 74 73 5f 5f 20 3d 20 66 72 6f 7a 65 6e 73 lots__ = frozens
04c0: 65 74 28 5b 27 5f 64 62 27 2c 20 27 5f 6c 6f 67 et(['_db', '_log
04d0: 27 5d 29 0a 0a 09 64 65 66 20 5f 5f 69 6e 69 74 '])...def __init
04e0: 5f 5f 28 73 65 6c 66 29 3a 0a 09 09 73 65 6c 66 __(self):...self
04f0: 2e 5f 64 62 20 3d 20 74 61 67 44 42 28 29 0a 09 ._db = tagDB()..
0500: 09 73 65 6c 66 2e 5f 6c 6f 67 20 3d 20 4c 6f 67 .self._log = Log
0510: 67 65 72 28 29 0a 0a 09 64 65 66 20 70 72 6f 63 ger()...def proc
0520: 65 73 73 28 73 65 6c 66 2c 20 69 64 2c 20 73 69 ess(self, id, si
0530: 74 65 2c 20 69 70 5f 61 64 64 72 65 73 73 2c 20 te, ip_address,
0540: 75 72 6c 5f 70 61 74 68 2c 20 6c 69 6e 65 20 3d url_path, line =
0550: 20 4e 6f 6e 65 29 3a 0a 09 09 73 65 6c 66 2e 5f None):...self._
0560: 6c 6f 67 2e 69 6e 66 6f 28 27 74 72 79 69 6e 67 log.info('trying
0570: 20 7b 7d 5c 6e 27 2e 66 6f 72 6d 61 74 28 73 69 {}\n'.format(si
0580: 74 65 29 29 0a 09 09 72 65 73 75 6c 74 20 3d 20 te))...result =
0590: 73 65 6c 66 2e 5f 64 62 2e 63 68 65 63 6b 28 73 self._db.check(s
05a0: 69 74 65 2c 20 69 70 5f 61 64 64 72 65 73 73 29 ite, ip_address)
05b0: 0a 09 09 23 72 65 70 6c 79 20 3d 20 27 7b 7d 3a ...#reply = '{}:
05c0: 2f 2f 7b 7d 2f 7b 7d 27 2e 66 6f 72 6d 61 74 28 //{}/{}'.format(
05d0: 72 65 71 5b 34 5d 2c 20 72 65 71 5b 31 5d 2c 20 req[4], req[1],
05e0: 72 65 71 5b 33 5d 29 0a 09 09 72 65 70 6c 79 20 req[3])...reply
05f0: 3d 20 27 2d 27 0a 09 09 66 6f 72 20 72 6f 77 20 = '-'...for row
0600: 69 6e 20 72 65 73 75 6c 74 3a 0a 09 09 09 69 66 in result:....if
0610: 20 72 6f 77 20 21 3d 20 4e 6f 6e 65 20 61 6e 64 row != None and
0620: 20 72 6f 77 5b 30 5d 20 21 3d 20 4e 6f 6e 65 3a row[0] != None:
0630: 0a 09 09 09 09 69 66 20 72 6f 77 5b 31 5d 20 21 .....if row[1] !
0640: 3d 20 4e 6f 6e 65 3a 0a 09 09 09 09 09 73 65 6c = None:......sel
0650: 66 2e 5f 6c 6f 67 2e 69 6e 66 6f 28 27 74 72 79 f._log.info('try
0660: 69 6e 67 20 72 65 67 65 78 70 20 22 7b 7d 22 20 ing regexp "{}"
0670: 76 65 72 73 75 73 20 22 7b 7d 22 5c 6e 27 2e 66 versus "{}"\n'.f
0680: 6f 72 6d 61 74 28 72 6f 77 5b 31 5d 2c 20 75 72 ormat(row[1], ur
0690: 6c 5f 70 61 74 68 29 29 0a 09 09 09 09 09 74 72 l_path))......tr
06a0: 79 3a 0a 09 09 09 09 09 09 69 66 20 72 65 2e 63 y:.......if re.c
06b0: 6f 6d 70 69 6c 65 28 72 6f 77 5b 31 5d 29 2e 6d ompile(row[1]).m
06c0: 61 74 63 68 28 75 72 6c 5f 70 61 74 68 29 3a 0a atch(url_path):.
06d0: 09 09 09 09 09 09 09 72 65 70 6c 79 20 3d 20 72 .......reply = r
06e0: 6f 77 5b 30 5d 2e 66 6f 72 6d 61 74 28 75 72 6c ow[0].format(url
06f0: 5f 70 61 74 68 29 0a 09 09 09 09 09 09 09 62 72 _path)........br
0700: 65 61 6b 0a 09 09 09 09 09 09 65 6c 73 65 3a 0a eak.......else:.
0710: 09 09 09 09 09 09 09 63 6f 6e 74 69 6e 75 65 0a .......continue.
0720: 09 09 09 09 09 65 78 63 65 70 74 3a 0a 09 09 09 .....except:....
0730: 09 09 09 73 65 6c 66 2e 5f 6c 6f 67 2e 69 6e 66 ...self._log.inf
0740: 6f 28 22 63 61 6e 27 74 20 63 6f 6d 70 69 6c 65 o("can't compile
0750: 20 72 65 67 65 78 70 22 29 0a 09 09 09 09 65 6c regexp").....el
0760: 73 65 3a 0a 09 09 09 09 09 72 65 70 6c 79 20 3d se:......reply =
0770: 20 72 6f 77 5b 30 5d 2e 66 6f 72 6d 61 74 28 75 row[0].format(u
0780: 72 6c 5f 70 61 74 68 29 0a 09 09 09 09 09 62 72 rl_path)......br
0790: 65 61 6b 0a 09 09 73 65 6c 66 2e 77 72 69 74 65 eak...self.write
07a0: 6c 69 6e 65 28 27 7b 7d 20 7b 7d 5c 6e 27 2e 66 line('{} {}\n'.f
07b0: 6f 72 6d 61 74 28 69 64 2c 20 72 65 70 6c 79 29 ormat(id, reply)
07c0: 29 0a 0a 09 64 65 66 20 63 68 65 63 6b 28 73 65 )...def check(se
07d0: 6c 66 2c 20 6c 69 6e 65 29 3a 0a 09 09 72 65 71 lf, line):...req
07e0: 75 65 73 74 20 3d 20 72 65 2e 63 6f 6d 70 69 6c uest = re.compil
07f0: 65 28 27 5e 28 5b 30 2d 39 5d 2b 29 5c 20 28 68 e('^([0-9]+)\ (h
0800: 74 74 70 7c 66 74 70 29 3a 5c 2f 5c 2f 28 5b 2d ttp|ftp):\/\/([-
0810: 5c 77 2e 3a 5d 2b 29 5c 2f 28 5b 5e 20 5d 2a 29 \w.:]+)\/([^ ]*)
0820: 5c 20 28 5b 30 2d 39 2e 5d 2b 29 5c 2f 28 2d 7c \ ([0-9.]+)\/(-|
0830: 5b 5c 77 5c 2e 5d 2b 29 5c 20 28 2d 7c 5c 77 2b [\w\.]+)\ (-|\w+
0840: 29 5c 20 28 2d 7c 47 45 54 7c 48 45 41 44 7c 50 )\ (-|GET|HEAD|P
0850: 4f 53 54 29 2e 2a 24 27 29 2e 6d 61 74 63 68 28 OST).*$').match(
0860: 6c 69 6e 65 29 0a 09 09 69 66 20 72 65 71 75 65 line)...if reque
0870: 73 74 3a 0a 09 09 09 69 64 20 3d 20 72 65 71 75 st:....id = requ
0880: 65 73 74 2e 67 72 6f 75 70 28 31 29 0a 09 09 09 est.group(1)....
0890: 23 70 72 6f 74 6f 20 3d 20 72 65 71 75 65 73 74 #proto = request
08a0: 2e 67 72 6f 75 70 28 32 29 0a 09 09 09 73 69 74 .group(2)....sit
08b0: 65 20 3d 20 72 65 71 75 65 73 74 2e 67 72 6f 75 e = request.grou
08c0: 70 28 33 29 0a 09 09 09 75 72 6c 5f 70 61 74 68 p(3)....url_path
08d0: 20 3d 20 72 65 71 75 65 73 74 2e 67 72 6f 75 70 = request.group
08e0: 28 34 29 0a 09 09 09 69 70 5f 61 64 64 72 65 73 (4)....ip_addres
08f0: 73 20 3d 20 72 65 71 75 65 73 74 2e 67 72 6f 75 s = request.grou
0900: 70 28 35 29 0a 09 09 09 73 65 6c 66 2e 70 72 6f p(5)....self.pro
0910: 63 65 73 73 28 69 64 2c 20 73 69 74 65 2c 20 69 cess(id, site, i
0920: 70 5f 61 64 64 72 65 73 73 2c 20 75 72 6c 5f 70 p_address, url_p
0930: 61 74 68 2c 20 6c 69 6e 65 29 0a 09 09 09 72 65 ath, line)....re
0940: 74 75 72 6e 28 54 72 75 65 29 0a 09 09 65 6c 73 turn(True)...els
0950: 65 3a 0a 09 09 09 73 65 6c 66 2e 5f 6c 6f 67 2e e:....self._log.
0960: 69 6e 66 6f 28 27 62 61 64 20 72 65 71 75 65 73 info('bad reques
0970: 74 5c 6e 27 29 0a 09 09 09 73 65 6c 66 2e 77 72 t\n')....self.wr
0980: 69 74 65 6c 69 6e 65 28 6c 69 6e 65 29 0a 09 09 iteline(line)...
0990: 09 72 65 74 75 72 6e 28 46 61 6c 73 65 29 0a 0a .return(False)..
09a0: 09 64 65 66 20 77 72 69 74 65 6c 69 6e 65 28 73 .def writeline(s
09b0: 65 6c 66 2c 20 73 74 72 69 6e 67 29 3a 0a 09 09 elf, string):...
09c0: 73 65 6c 66 2e 5f 6c 6f 67 2e 69 6e 66 6f 28 27 self._log.info('
09d0: 73 65 6e 64 69 6e 67 3a 20 27 20 2b 20 73 74 72 sending: ' + str
09e0: 69 6e 67 29 0a 09 09 73 79 73 2e 73 74 64 6f 75 ing)...sys.stdou
09f0: 74 2e 77 72 69 74 65 28 73 74 72 69 6e 67 29 0a t.write(string).
0a00: 09 09 73 79 73 2e 73 74 64 6f 75 74 2e 66 6c 75 ..sys.stdout.flu
0a10: 73 68 28 29 0a 0a 09 64 65 66 20 6c 6f 6f 70 28 sh()...def loop(
0a20: 73 65 6c 66 29 3a 0a 09 09 77 68 69 6c 65 20 54 self):...while T
0a30: 72 75 65 3a 0a 09 09 09 6c 69 6e 65 20 3d 20 73 rue:....line = s
0a40: 79 73 2e 73 74 64 69 6e 2e 72 65 61 64 6c 69 6e ys.stdin.readlin
0a50: 65 28 29 0a 09 09 09 69 66 20 6c 65 6e 28 6c 69 e()....if len(li
0a60: 6e 65 29 20 3d 3d 20 30 3a 0a 09 09 09 09 62 72 ne) == 0:.....br
0a70: 65 61 6b 0a 09 09 09 73 65 6c 66 2e 63 68 65 63 eak....self.chec
0a80: 6b 28 6c 69 6e 65 29 0a 0a 23 20 74 68 72 65 61 k(line)..# threa
0a90: 64 65 64 20 63 68 65 63 6b 69 6e 67 20 66 61 63 ded checking fac
0aa0: 69 6c 69 74 79 0a 63 6c 61 73 73 20 43 68 65 63 ility.class Chec
0ab0: 6b 65 72 54 68 72 65 61 64 28 43 68 65 63 6b 65 kerThread(Checke
0ac0: 72 29 3a 0a 09 5f 5f 73 6c 6f 74 73 5f 5f 20 3d r):..__slots__ =
0ad0: 20 66 72 6f 7a 65 6e 73 65 74 28 5b 27 5f 6c 6f frozenset(['_lo
0ae0: 63 6b 27 2c 20 27 5f 6c 6f 63 6b 5f 65 78 69 74 ck', '_lock_exit
0af0: 27 2c 20 27 5f 6c 6f 63 6b 5f 71 75 65 75 65 27 ', '_lock_queue'
0b00: 2c 20 27 5f 71 75 65 75 65 27 5d 29 0a 0a 09 64 , '_queue'])...d
0b10: 65 66 20 5f 5f 69 6e 69 74 5f 5f 28 73 65 6c 66 ef __init__(self
0b20: 29 3a 0a 09 09 23 20 62 61 73 69 63 20 69 6e 69 ):...# basic ini
0b30: 74 69 61 6c 69 73 61 74 69 6f 6e 0a 09 09 43 68 tialisation...Ch
0b40: 65 63 6b 65 72 2e 5f 5f 69 6e 69 74 5f 5f 28 73 ecker.__init__(s
0b50: 65 6c 66 29 0a 0a 09 09 23 20 53 70 69 6e 20 6c elf)....# Spin l
0b60: 6f 63 6b 2e 20 4c 6f 6f 70 20 61 63 71 75 69 72 ock. Loop acquir
0b70: 65 73 20 69 74 20 6f 6e 20 73 74 61 72 74 20 74 es it on start t
0b80: 68 65 6e 20 72 65 6c 65 61 73 65 73 20 69 74 20 hen releases it
0b90: 77 68 65 6e 20 68 6f 6c 64 69 6e 67 20 71 75 65 when holding que
0ba0: 75 65 0a 09 09 23 20 6c 6f 63 6b 2e 20 54 68 69 ue...# lock. Thi
0bb0: 73 20 77 61 79 20 74 68 65 20 74 68 72 65 61 64 s way the thread
0bc0: 20 70 72 6f 63 65 65 64 73 20 77 69 74 68 6f 75 proceeds withou
0bd0: 74 20 73 74 6f 70 73 20 77 68 69 6c 65 20 71 75 t stops while qu
0be0: 65 75 65 20 68 61 73 20 64 61 74 61 20 61 6e 64 eue has data and
0bf0: 0a 09 09 23 20 67 65 74 73 20 73 74 61 6c 6c 65 ...# gets stalle
0c00: 64 20 77 68 65 6e 20 6e 6f 20 64 61 74 61 20 70 d when no data p
0c10: 72 65 73 65 6e 74 2e 20 54 68 65 20 6c 6f 63 6b resent. The lock
0c20: 20 69 73 20 72 65 6c 65 61 73 65 64 20 62 79 20 is released by
0c30: 71 75 65 75 65 20 77 72 69 74 65 72 0a 09 09 23 queue writer...#
0c40: 20 61 66 74 65 72 20 73 74 6f 72 69 6e 67 20 73 after storing s
0c50: 6f 6d 65 74 68 69 6e 67 20 69 6e 74 6f 20 74 68 omething into th
0c60: 65 20 71 75 65 75 65 0a 09 09 73 65 6c 66 2e 5f e queue...self._
0c70: 6c 6f 63 6b 20 3d 20 5f 74 68 72 65 61 64 2e 61 lock = _thread.a
0c80: 6c 6c 6f 63 61 74 65 5f 6c 6f 63 6b 28 29 0a 09 llocate_lock()..
0c90: 09 73 65 6c 66 2e 5f 6c 6f 63 6b 5f 65 78 69 74 .self._lock_exit
0ca0: 20 3d 20 5f 74 68 72 65 61 64 2e 61 6c 6c 6f 63 = _thread.alloc
0cb0: 61 74 65 5f 6c 6f 63 6b 28 29 0a 09 09 73 65 6c ate_lock()...sel
0cc0: 66 2e 5f 6c 6f 63 6b 5f 71 75 65 75 65 20 3d 20 f._lock_queue =
0cd0: 5f 74 68 72 65 61 64 2e 61 6c 6c 6f 63 61 74 65 _thread.allocate
0ce0: 5f 6c 6f 63 6b 28 29 0a 09 09 73 65 6c 66 2e 5f _lock()...self._
0cf0: 6c 6f 63 6b 2e 61 63 71 75 69 72 65 28 29 0a 09 lock.acquire()..
0d00: 09 73 65 6c 66 2e 5f 71 75 65 75 65 20 3d 20 5b .self._queue = [
0d10: 5d 0a 09 09 5f 74 68 72 65 61 64 2e 73 74 61 72 ]..._thread.star
0d20: 74 5f 6e 65 77 5f 74 68 72 65 61 64 28 73 65 6c t_new_thread(sel
0d30: 66 2e 5f 73 74 61 72 74 2c 20 28 29 29 0a 0a 09 f._start, ())...
0d40: 64 65 66 20 5f 73 74 61 72 74 28 73 65 6c 66 29 def _start(self)
0d50: 3a 0a 09 09 77 68 69 6c 65 20 54 72 75 65 3a 0a :...while True:.
0d60: 09 09 09 73 65 6c 66 2e 5f 6c 6f 63 6b 2e 61 63 ...self._lock.ac
0d70: 71 75 69 72 65 28 29 0a 09 09 09 77 69 74 68 20 quire()....with
0d80: 73 65 6c 66 2e 5f 6c 6f 63 6b 5f 71 75 65 75 65 self._lock_queue
0d90: 3a 0a 09 09 09 09 23 20 79 65 73 20 74 68 69 73 :.....# yes this
0da0: 20 73 68 6f 75 6c 64 20 62 65 20 77 72 69 74 74 should be writt
0db0: 65 6e 20 74 68 69 73 20 77 61 79 2c 20 61 6e 64 en this way, and
0dc0: 20 79 65 73 2c 20 74 68 69 73 20 69 73 20 77 68 yes, this is wh
0dd0: 79 20 49 20 68 61 74 65 20 74 68 72 65 61 64 69 y I hate threadi
0de0: 6e 67 0a 09 09 09 09 69 66 20 6c 65 6e 28 73 65 ng.....if len(se
0df0: 6c 66 2e 5f 71 75 65 75 65 29 20 3e 20 31 3a 0a lf._queue) > 1:.
0e00: 09 09 09 09 09 69 66 20 73 65 6c 66 2e 5f 6c 6f .....if self._lo
0e10: 63 6b 2e 6c 6f 63 6b 65 64 28 29 3a 0a 09 09 09 ck.locked():....
0e20: 09 09 09 73 65 6c 66 2e 5f 6c 6f 63 6b 2e 72 65 ...self._lock.re
0e30: 6c 65 61 73 65 28 29 0a 09 09 09 09 72 65 71 20 lease().....req
0e40: 3d 20 73 65 6c 66 2e 5f 71 75 65 75 65 2e 70 6f = self._queue.po
0e50: 70 28 30 29 0a 09 09 09 43 68 65 63 6b 65 72 2e p(0)....Checker.
0e60: 70 72 6f 63 65 73 73 28 73 65 6c 66 2c 20 72 65 process(self, re
0e70: 71 5b 30 5d 2c 20 72 65 71 5b 31 5d 2c 20 72 65 q[0], req[1], re
0e80: 71 5b 32 5d 2c 20 72 65 71 5b 33 5d 29 0a 09 09 q[2], req[3])...
0e90: 09 77 69 74 68 20 73 65 6c 66 2e 5f 6c 6f 63 6b .with self._lock
0ea0: 5f 71 75 65 75 65 3a 0a 09 09 09 09 69 66 20 6c _queue:.....if l
0eb0: 65 6e 28 73 65 6c 66 2e 5f 71 75 65 75 65 29 20 en(self._queue)
0ec0: 3d 3d 20 30 3a 0a 09 09 09 09 09 69 66 20 73 65 == 0:......if se
0ed0: 6c 66 2e 5f 6c 6f 63 6b 5f 65 78 69 74 2e 6c 6f lf._lock_exit.lo
0ee0: 63 6b 65 64 28 29 3a 0a 09 09 09 09 09 09 73 65 cked():.......se
0ef0: 6c 66 2e 5f 6c 6f 63 6b 5f 65 78 69 74 2e 72 65 lf._lock_exit.re
0f00: 6c 65 61 73 65 28 29 0a 0a 09 64 65 66 20 70 72 lease()...def pr
0f10: 6f 63 65 73 73 28 73 65 6c 66 2c 20 69 64 2c 20 ocess(self, id,
0f20: 73 69 74 65 2c 20 69 70 5f 61 64 64 72 65 73 73 site, ip_address
0f30: 2c 20 75 72 6c 5f 70 61 74 68 2c 20 6c 69 6e 65 , url_path, line
0f40: 29 3a 0a 09 09 77 69 74 68 20 73 65 6c 66 2e 5f ):...with self._
0f50: 6c 6f 63 6b 5f 71 75 65 75 65 3a 0a 09 09 09 73 lock_queue:....s
0f60: 65 6c 66 2e 5f 71 75 65 75 65 2e 61 70 70 65 6e elf._queue.appen
0f70: 64 28 28 69 64 2c 20 73 69 74 65 2c 20 69 70 5f d((id, site, ip_
0f80: 61 64 64 72 65 73 73 2c 20 75 72 6c 5f 70 61 74 address, url_pat
0f90: 68 29 29 0a 09 09 09 73 65 6c 66 2e 5f 6c 6f 67 h))....self._log
0fa0: 2e 69 6e 66 6f 28 27 72 65 71 75 65 73 74 20 7b .info('request {
0fb0: 7d 20 71 75 65 75 65 64 20 28 7b 7d 29 5c 6e 27 } queued ({})\n'
0fc0: 2e 66 6f 72 6d 61 74 28 69 64 2c 20 6c 69 6e 65 .format(id, line
0fd0: 29 29 0a 09 09 09 69 66 20 6e 6f 74 20 73 65 6c ))....if not sel
0fe0: 66 2e 5f 6c 6f 63 6b 5f 65 78 69 74 2e 6c 6f 63 f._lock_exit.loc
0ff0: 6b 65 64 28 29 3a 0a 09 09 09 09 73 65 6c 66 2e ked():.....self.
1000: 5f 6c 6f 63 6b 5f 65 78 69 74 2e 61 63 71 75 69 _lock_exit.acqui
1010: 72 65 28 29 0a 09 09 09 69 66 20 73 65 6c 66 2e re()....if self.
1020: 5f 6c 6f 63 6b 2e 6c 6f 63 6b 65 64 28 29 3a 0a _lock.locked():.
1030: 09 09 09 09 73 65 6c 66 2e 5f 6c 6f 63 6b 2e 72 ....self._lock.r
1040: 65 6c 65 61 73 65 28 29 0a 0a 09 64 65 66 20 6c elease()...def l
1050: 6f 6f 70 28 73 65 6c 66 29 3a 0a 09 09 77 68 69 oop(self):...whi
1060: 6c 65 20 54 72 75 65 3a 0a 09 09 09 6c 69 6e 65 le True:....line
1070: 20 3d 20 73 79 73 2e 73 74 64 69 6e 2e 72 65 61 = sys.stdin.rea
1080: 64 6c 69 6e 65 28 29 0a 09 09 09 69 66 20 6c 65 dline()....if le
1090: 6e 28 6c 69 6e 65 29 20 3d 3d 20 30 3a 0a 09 09 n(line) == 0:...
10a0: 09 09 62 72 65 61 6b 0a 09 09 09 73 65 6c 66 2e ..break....self.
10b0: 63 68 65 63 6b 28 6c 69 6e 65 29 0a 09 09 73 65 check(line)...se
10c0: 6c 66 2e 5f 6c 6f 63 6b 5f 65 78 69 74 2e 61 63 lf._lock_exit.ac
10d0: 71 75 69 72 65 28 29 0a 0a 23 20 6b 71 75 65 75 quire()..# kqueu
10e0: 65 20 65 6e 61 62 6c 65 64 20 63 6c 61 73 73 20 e enabled class
10f0: 66 6f 72 20 42 53 44 27 73 0a 63 6c 61 73 73 20 for BSD's.class
1100: 43 68 65 63 6b 65 72 4b 71 75 65 75 65 28 43 68 CheckerKqueue(Ch
1110: 65 63 6b 65 72 29 3a 0a 09 5f 5f 73 6c 6f 74 73 ecker):..__slots
1120: 5f 5f 20 3d 20 66 72 6f 7a 65 6e 73 65 74 28 5b __ = frozenset([
1130: 27 5f 6b 71 27 2c 20 27 5f 73 65 6c 65 63 74 27 '_kq', '_select'
1140: 2c 20 27 5f 71 75 65 75 65 27 5d 29 0a 0a 09 64 , '_queue'])...d
1150: 65 66 20 5f 5f 69 6e 69 74 5f 5f 28 73 65 6c 66 ef __init__(self
1160: 29 3a 0a 09 09 23 20 62 61 73 69 63 20 69 6e 69 ):...# basic ini
1170: 74 69 61 6c 69 73 61 74 69 6f 6e 0a 09 09 43 68 tialisation...Ch
1180: 65 63 6b 65 72 2e 5f 5f 69 6e 69 74 5f 5f 28 73 ecker.__init__(s
1190: 65 6c 66 29 0a 0a 09 09 23 20 69 6d 70 6f 72 74 elf)....# import
11a0: 69 6e 67 20 73 65 6c 65 63 74 20 6d 6f 64 75 6c ing select modul
11b0: 65 0a 09 09 69 6d 70 6f 72 74 20 73 65 6c 65 63 e...import selec
11c0: 74 0a 09 09 73 65 6c 66 2e 5f 73 65 6c 65 63 74 t...self._select
11d0: 20 3d 20 73 65 6c 65 63 74 0a 0a 09 09 23 20 6b = select....# k
11e0: 72 65 61 74 69 6e 67 20 6b 71 75 65 75 65 0a 09 reating kqueue..
11f0: 09 73 65 6c 66 2e 5f 6b 71 20 3d 20 73 65 6c 66 .self._kq = self
1200: 2e 5f 73 65 6c 65 63 74 2e 6b 71 75 65 75 65 28 ._select.kqueue(
1210: 29 0a 09 09 61 73 73 65 72 74 20 28 73 65 6c 66 )...assert (self
1220: 2e 5f 6b 71 2e 66 69 6c 65 6e 6f 28 29 20 21 3d ._kq.fileno() !=
1230: 20 2d 31 29 0a 0a 09 09 23 20 77 61 74 63 68 69 -1)....# watchi
1240: 6e 67 20 73 79 73 2e 73 74 64 69 6e 20 66 6f 72 ng sys.stdin for
1250: 20 64 61 74 61 0a 09 09 73 65 6c 66 2e 5f 6b 71 data...self._kq
1260: 2e 63 6f 6e 74 72 6f 6c 28 5b 73 65 6c 66 2e 5f .control([self._
1270: 73 65 6c 65 63 74 2e 6b 65 76 65 6e 74 28 73 79 select.kevent(sy
1280: 73 2e 73 74 64 69 6e 2c 20 73 65 6c 66 2e 5f 73 s.stdin, self._s
1290: 65 6c 65 63 74 2e 4b 51 5f 46 49 4c 54 45 52 5f elect.KQ_FILTER_
12a0: 52 45 41 44 2c 20 73 65 6c 66 2e 5f 73 65 6c 65 READ, self._sele
12b0: 63 74 2e 4b 51 5f 45 56 5f 41 44 44 29 5d 2c 20 ct.KQ_EV_ADD)],
12c0: 30 29 0a 0a 09 09 23 20 63 72 65 61 74 69 6e 67 0)....# creating
12d0: 20 64 61 74 61 20 71 75 65 75 65 0a 09 09 73 65 data queue...se
12e0: 6c 66 2e 5f 71 75 65 75 65 20 3d 20 5b 5d 0a 0a lf._queue = []..
12f0: 09 64 65 66 20 6c 6f 6f 70 28 73 65 6c 66 29 3a .def loop(self):
1300: 0a 09 09 23 20 57 61 69 74 20 66 6f 72 20 64 61 ...# Wait for da
1310: 74 61 20 62 79 20 64 65 66 61 75 6c 74 0a 09 09 ta by default...
1320: 74 69 6d 65 6f 75 74 20 3d 20 4e 6f 6e 65 0a 09 timeout = None..
1330: 09 65 6f 66 20 3d 20 46 61 6c 73 65 0a 09 09 62 .eof = False...b
1340: 75 66 66 65 72 20 3d 20 27 27 0a 09 09 77 68 69 uffer = ''...whi
1350: 6c 65 20 54 72 75 65 3a 0a 09 09 09 23 20 63 68 le True:....# ch
1360: 65 63 6b 69 6e 67 20 69 66 20 74 68 65 72 65 20 ecking if there
1370: 69 73 20 61 6e 79 20 64 61 74 61 20 6f 72 20 77 is any data or w
1380: 69 74 69 6e 67 20 66 6f 72 20 64 61 74 61 20 74 iting for data t
1390: 6f 20 61 72 72 69 76 65 0a 09 09 09 6b 65 76 73 o arrive....kevs
13a0: 20 3d 20 73 65 6c 66 2e 5f 6b 71 2e 63 6f 6e 74 = self._kq.cont
13b0: 72 6f 6c 28 4e 6f 6e 65 2c 20 31 2c 20 74 69 6d rol(None, 1, tim
13c0: 65 6f 75 74 29 0a 09 09 09 69 66 20 6c 65 6e 28 eout)....if len(
13d0: 6b 65 76 73 29 20 3e 20 30 20 61 6e 64 20 6b 65 kevs) > 0 and ke
13e0: 76 73 5b 30 5d 2e 66 69 6c 74 65 72 20 3d 3d 20 vs[0].filter ==
13f0: 73 65 6c 66 2e 5f 73 65 6c 65 63 74 2e 4b 51 5f self._select.KQ_
1400: 46 49 4c 54 45 52 5f 52 45 41 44 20 61 6e 64 20 FILTER_READ and
1410: 6b 65 76 73 5b 30 5d 2e 64 61 74 61 20 3e 20 30 kevs[0].data > 0
1420: 3a 0a 09 09 09 09 23 20 72 65 61 64 69 6e 67 20 :.....# reading
1430: 64 61 74 61 20 69 6e 0a 09 09 09 09 6e 65 77 5f data in.....new_
1440: 62 75 66 66 65 72 20 3d 20 73 79 73 2e 73 74 64 buffer = sys.std
1450: 69 6e 2e 72 65 61 64 28 6b 65 76 73 5b 30 5d 2e in.read(kevs[0].
1460: 64 61 74 61 29 0a 09 09 09 09 23 20 69 66 20 6e data).....# if n
1470: 6f 20 64 61 74 61 20 77 61 73 20 73 65 6e 74 20 o data was sent
1480: 2d 20 77 65 20 68 61 76 65 20 72 65 61 63 68 65 - we have reache
1490: 64 20 61 6e 64 20 6f 66 20 66 69 6c 65 0a 09 09 d and of file...
14a0: 09 09 69 66 20 6c 65 6e 28 6e 65 77 5f 62 75 66 ..if len(new_buf
14b0: 66 65 72 29 20 3d 3d 20 30 3a 0a 09 09 09 09 09 fer) == 0:......
14c0: 65 6f 66 20 3d 20 54 72 75 65 0a 09 09 09 09 65 eof = True.....e
14d0: 6c 73 65 3a 0a 09 09 09 09 09 23 20 61 64 64 69 lse:......# addi
14e0: 6e 67 20 63 75 72 72 65 6e 74 20 62 75 66 66 65 ng current buffe
14f0: 72 20 74 6f 20 6f 6c 64 20 62 75 66 66 65 72 20 r to old buffer
1500: 72 65 6d 61 69 6e 73 0a 09 09 09 09 09 62 75 66 remains......buf
1510: 66 65 72 20 2b 3d 20 6e 65 77 5f 62 75 66 66 65 fer += new_buffe
1520: 72 0a 09 09 09 09 09 23 20 73 70 6c 69 74 74 69 r......# splitti
1530: 6e 67 20 74 6f 20 6c 69 6e 65 73 0a 09 09 09 09 ng to lines.....
1540: 09 6c 69 6e 65 73 20 3d 20 62 75 66 66 65 72 2e .lines = buffer.
1550: 73 70 6c 69 74 28 27 5c 6e 27 29 0a 09 09 09 09 split('\n').....
1560: 09 23 20 6c 61 73 74 20 6c 69 6e 65 20 74 68 61 .# last line tha
1570: 74 20 77 61 73 20 6e 6f 74 20 74 65 72 6d 69 6e t was not termin
1580: 61 74 65 20 62 79 20 6e 65 77 6c 69 6e 65 20 72 ate by newline r
1590: 65 74 75 72 6e 73 20 74 6f 20 62 75 66 66 65 72 eturns to buffer
15a0: 0a 09 09 09 09 09 62 75 66 66 65 72 20 3d 20 6c ......buffer = l
15b0: 69 6e 65 73 5b 2d 31 5d 0a 09 09 09 09 09 23 20 ines[-1]......#
15c0: 61 6e 20 6f 6e 6c 79 20 69 66 20 74 68 65 72 65 an only if there
15d0: 20 77 61 73 20 61 74 20 6c 65 61 73 74 20 6f 6e was at least on
15e0: 65 20 6e 65 77 6c 69 6e 65 0a 09 09 09 09 09 69 e newline......i
15f0: 66 20 6c 65 6e 28 6c 69 6e 65 73 29 20 3e 20 31 f len(lines) > 1
1600: 3a 0a 09 09 09 09 09 09 66 6f 72 20 6c 69 6e 65 :.......for line
1610: 20 69 6e 20 6c 69 6e 65 73 5b 3a 2d 31 5d 3a 0a in lines[:-1]:.
1620: 09 09 09 09 09 09 09 23 20 61 64 64 20 64 61 74 .......# add dat
1630: 61 20 74 6f 20 74 68 65 20 71 75 65 75 65 0a 09 a to the queue..
1640: 09 09 09 09 09 09 69 66 20 73 65 6c 66 2e 63 68 ......if self.ch
1650: 65 63 6b 28 6c 69 6e 65 20 2b 20 27 5c 6e 27 29 eck(line + '\n')
1660: 3a 0a 09 09 09 09 09 09 09 09 23 20 64 6f 6e 27 :.........# don'
1670: 74 20 77 61 69 74 20 66 6f 72 20 6d 6f 72 65 20 t wait for more
1680: 64 61 74 61 2c 20 73 74 61 72 74 20 70 72 6f 63 data, start proc
1690: 65 73 73 69 6e 67 0a 09 09 09 09 09 09 09 09 74 essing.........t
16a0: 69 6d 65 6f 75 74 20 3d 20 30 0a 09 09 09 09 23 imeout = 0.....#
16b0: 20 69 66 20 6b 71 20 72 65 70 6f 72 74 73 20 65 if kq reports e
16c0: 6e 20 6f 66 20 73 74 72 65 61 6d 20 72 65 66 75 n of stream refu
16d0: 73 65 20 74 6f 20 72 65 61 64 20 6d 6f 72 65 20 se to read more
16e0: 6f 66 20 69 74 0a 09 09 09 09 69 66 20 6b 65 76 of it.....if kev
16f0: 73 5b 30 5d 2e 66 6c 61 67 73 20 3e 3e 20 31 35 s[0].flags >> 15
1700: 20 3d 3d 20 31 3a 0a 09 09 09 09 09 65 6f 66 20 == 1:......eof
1710: 3d 20 54 72 75 65 0a 09 09 09 65 6c 73 65 3a 0a = True....else:.
1720: 09 09 09 09 69 66 20 6c 65 6e 28 73 65 6c 66 2e ....if len(self.
1730: 5f 71 75 65 75 65 29 20 3e 20 30 3a 0a 09 09 09 _queue) > 0:....
1740: 09 09 72 65 71 20 3d 20 73 65 6c 66 2e 5f 71 75 ..req = self._qu
1750: 65 75 65 2e 70 6f 70 28 30 29 0a 09 09 09 09 09 eue.pop(0)......
1760: 43 68 65 63 6b 65 72 2e 70 72 6f 63 65 73 73 28 Checker.process(
1770: 73 65 6c 66 2c 20 72 65 71 5b 30 5d 2c 20 72 65 self, req[0], re
1780: 71 5b 31 5d 2c 20 72 65 71 5b 32 5d 2c 20 72 65 q[1], req[2], re
1790: 71 5b 33 5d 29 0a 09 09 09 09 09 69 66 20 6c 65 q[3])......if le
17a0: 6e 28 73 65 6c 66 2e 5f 71 75 65 75 65 29 20 3d n(self._queue) =
17b0: 3d 20 30 3a 0a 09 09 09 09 09 09 23 20 77 61 69 = 0:.......# wai
17c0: 74 20 66 6f 72 20 64 61 74 61 20 2d 20 77 65 20 t for data - we
17d0: 68 61 76 65 20 6e 6f 74 68 69 6e 67 20 74 6f 20 have nothing to
17e0: 70 72 6f 63 65 73 73 0a 09 09 09 09 09 09 74 69 process.......ti
17f0: 6d 65 6f 75 74 20 3d 20 4e 6f 6e 65 0a 09 09 09 meout = None....
1800: 09 65 6c 69 66 20 65 6f 66 3a 0a 09 09 09 09 09 .elif eof:......
1810: 62 72 65 61 6b 0a 0a 09 64 65 66 20 70 72 6f 63 break...def proc
1820: 65 73 73 28 73 65 6c 66 2c 20 69 64 2c 20 73 69 ess(self, id, si
1830: 74 65 2c 20 69 70 5f 61 64 64 72 65 73 73 2c 20 te, ip_address,
1840: 75 72 6c 5f 70 61 74 68 2c 20 6c 69 6e 65 29 3a url_path, line):
1850: 0a 09 09 23 20 73 69 6d 70 6c 79 20 61 64 64 69 ...# simply addi
1860: 6e 67 20 64 61 74 61 20 74 6f 20 74 68 65 20 71 ng data to the q
1870: 75 65 75 65 0a 09 09 73 65 6c 66 2e 5f 71 75 65 ueue...self._que
1880: 75 65 2e 61 70 70 65 6e 64 28 28 69 64 2c 20 73 ue.append((id, s
1890: 69 74 65 2c 20 69 70 5f 61 64 64 72 65 73 73 2c ite, ip_address,
18a0: 20 75 72 6c 5f 70 61 74 68 29 29 0a 09 09 73 65 url_path))...se
18b0: 6c 66 2e 5f 6c 6f 67 2e 69 6e 66 6f 28 27 72 65 lf._log.info('re
18c0: 71 75 65 73 74 20 7b 7d 20 71 75 65 75 65 64 20 quest {} queued
18d0: 28 7b 7d 29 5c 6e 27 2e 66 6f 72 6d 61 74 28 69 ({})\n'.format(i
18e0: 64 2c 20 6c 69 6e 65 29 29 0a 0a 23 20 74 68 69 d, line))..# thi
18f0: 73 20 63 6c 61 73 73 65 73 20 70 72 6f 63 65 73 s classes proces
1900: 73 65 73 20 63 6f 6e 66 69 67 20 66 69 6c 65 20 ses config file
1910: 61 6e 64 20 73 75 62 73 74 69 74 75 74 65 73 20 and substitutes
1920: 64 65 66 61 75 6c 74 20 76 61 6c 75 65 73 0a 63 default values.c
1930: 6c 61 73 73 20 43 6f 6e 66 69 67 3a 0a 09 5f 5f lass Config:..__
1940: 73 6c 6f 74 73 5f 5f 20 3d 20 66 72 6f 7a 65 6e slots__ = frozen
1950: 73 65 74 28 5b 27 5f 63 6f 6e 66 69 67 27 2c 20 set(['_config',
1960: 27 5f 64 65 66 61 75 6c 74 27 2c 20 27 5f 73 65 '_default', '_se
1970: 63 74 69 6f 6e 27 5d 29 0a 09 5f 64 65 66 61 75 ction']).._defau
1980: 6c 74 20 3d 20 7b 0a 09 09 27 72 65 61 63 74 6f lt = {...'reacto
1990: 72 27 3a 20 7b 0a 09 09 09 27 72 65 61 63 74 6f r': {....'reacto
19a0: 72 27 3a 20 27 74 68 72 65 61 64 27 2c 0a 09 09 r': 'thread',...
19b0: 7d 2c 0a 09 09 27 6c 6f 67 27 3a 20 7b 0a 09 09 },...'log': {...
19c0: 09 27 73 69 6c 65 6e 74 27 3a 20 27 6e 6f 27 2c .'silent': 'no',
19d0: 0a 09 09 7d 2c 0a 09 09 27 64 61 74 61 62 61 73 ...},...'databas
19e0: 65 27 3a 20 7b 0a 09 09 09 27 68 6f 73 74 27 3a e': {....'host':
19f0: 20 27 6c 6f 63 61 6c 68 6f 73 74 27 2c 0a 09 09 'localhost',...
1a00: 09 27 64 61 74 61 62 61 73 65 27 3a 20 27 73 71 .'database': 'sq
1a10: 75 69 64 54 61 67 27 2c 0a 09 7d 2c 7d 0a 0a 09 uidTag',..},}...
1a20: 23 20 66 75 6e 63 74 69 6f 6e 20 74 6f 20 72 65 # function to re
1a30: 61 64 20 69 6e 20 63 6f 6e 66 69 67 20 66 69 6c ad in config fil
1a40: 65 0a 09 64 65 66 20 5f 5f 69 6e 69 74 5f 5f 28 e..def __init__(
1a50: 73 65 6c 66 29 3a 0a 09 09 70 61 72 73 65 72 20 self):...parser
1a60: 3d 20 6f 70 74 70 61 72 73 65 2e 4f 70 74 69 6f = optparse.Optio
1a70: 6e 50 61 72 73 65 72 28 29 0a 09 09 70 61 72 73 nParser()...pars
1a80: 65 72 2e 61 64 64 5f 6f 70 74 69 6f 6e 28 27 2d er.add_option('-
1a90: 63 27 2c 20 27 2d 2d 63 6f 6e 66 69 67 27 2c 20 c', '--config',
1aa0: 64 65 73 74 20 3d 20 27 63 6f 6e 66 69 67 27 2c dest = 'config',
1ab0: 0a 09 09 09 68 65 6c 70 20 3d 20 27 63 6f 6e 66 ....help = 'conf
1ac0: 69 67 20 66 69 6c 65 20 6c 6f 63 61 74 69 6f 6e ig file location
1ad0: 27 2c 20 6d 65 74 61 76 61 72 20 3d 20 27 46 49 ', metavar = 'FI
1ae0: 4c 45 27 2c 0a 09 09 09 64 65 66 61 75 6c 74 20 LE',....default
1af0: 3d 20 27 2f 75 73 72 2f 6c 6f 63 61 6c 2f 65 74 = '/usr/local/et
1b00: 63 2f 73 71 75 69 64 2d 74 61 67 67 65 72 2e 63 c/squid-tagger.c
1b10: 6f 6e 66 27 29 0a 0a 09 09 28 6f 70 74 69 6f 6e onf')....(option
1b20: 73 2c 20 61 72 67 73 29 20 3d 20 70 61 72 73 65 s, args) = parse
1b30: 72 2e 70 61 72 73 65 5f 61 72 67 73 28 29 0a 0a r.parse_args()..
1b40: 09 09 69 66 20 6e 6f 74 20 6f 73 2e 61 63 63 65 ..if not os.acce
1b50: 73 73 28 6f 70 74 69 6f 6e 73 2e 63 6f 6e 66 69 ss(options.confi
1b60: 67 2c 20 6f 73 2e 52 5f 4f 4b 29 3a 0a 09 09 09 g, os.R_OK):....
1b70: 70 72 69 6e 74 28 22 43 61 6e 27 74 20 72 65 61 print("Can't rea
1b80: 64 20 7b 7d 3a 20 65 78 69 74 74 69 6e 67 22 2e d {}: exitting".
1b90: 66 6f 72 6d 61 74 28 6f 70 74 69 6f 6e 73 2e 63 format(options.c
1ba0: 6f 6e 66 69 67 29 29 0a 09 09 09 73 79 73 2e 65 onfig))....sys.e
1bb0: 78 69 74 28 32 29 0a 0a 09 09 73 65 6c 66 2e 5f xit(2)....self._
1bc0: 63 6f 6e 66 69 67 20 3d 20 63 6f 6e 66 69 67 70 config = configp
1bd0: 61 72 73 65 72 2e 43 6f 6e 66 69 67 50 61 72 73 arser.ConfigPars
1be0: 65 72 28 29 0a 09 09 73 65 6c 66 2e 5f 63 6f 6e er()...self._con
1bf0: 66 69 67 2e 72 65 61 64 66 70 28 6f 70 65 6e 28 fig.readfp(open(
1c00: 6f 70 74 69 6f 6e 73 2e 63 6f 6e 66 69 67 29 29 options.config))
1c10: 0a 0a 09 23 20 66 75 6e 63 74 69 6f 6e 20 74 6f ...# function to
1c20: 20 73 65 6c 65 63 74 20 63 6f 6e 66 69 67 20 66 select config f
1c30: 69 6c 65 20 73 65 63 74 69 6f 6e 20 6f 72 20 63 ile section or c
1c40: 72 65 61 74 65 20 6f 6e 65 0a 09 64 65 66 20 73 reate one..def s
1c50: 65 63 74 69 6f 6e 28 73 65 6c 66 2c 20 73 65 63 ection(self, sec
1c60: 74 69 6f 6e 29 3a 0a 09 09 69 66 20 6e 6f 74 20 tion):...if not
1c70: 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 68 61 73 self._config.has
1c80: 5f 73 65 63 74 69 6f 6e 28 73 65 63 74 69 6f 6e _section(section
1c90: 29 3a 0a 09 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 ):....self._conf
1ca0: 69 67 2e 61 64 64 5f 73 65 63 74 69 6f 6e 28 73 ig.add_section(s
1cb0: 65 63 74 69 6f 6e 29 0a 09 09 73 65 6c 66 2e 5f ection)...self._
1cc0: 73 65 63 74 69 6f 6e 20 3d 20 73 65 63 74 69 6f section = sectio
1cd0: 6e 0a 0a 09 23 20 66 75 6e 63 74 69 6f 6e 20 74 n...# function t
1ce0: 6f 20 67 65 74 20 63 6f 6e 66 69 67 20 70 61 72 o get config par
1cf0: 61 6d 65 74 65 72 2c 20 69 66 20 70 61 72 61 6d ameter, if param
1d00: 65 74 65 72 20 64 6f 65 73 6e 27 74 20 65 78 69 eter doesn't exi
1d10: 73 74 73 20 74 68 65 20 64 65 66 61 75 6c 74 0a sts the default.
1d20: 09 23 20 76 61 6c 75 65 20 6f 72 20 4e 6f 6e 65 .# value or None
1d30: 20 69 73 20 73 75 62 73 74 69 74 75 74 65 64 0a is substituted.
1d40: 09 64 65 66 20 5f 5f 67 65 74 69 74 65 6d 5f 5f .def __getitem__
1d50: 28 73 65 6c 66 2c 20 6e 61 6d 65 29 3a 0a 09 09 (self, name):...
1d60: 69 66 20 6e 6f 74 20 73 65 6c 66 2e 5f 63 6f 6e if not self._con
1d70: 66 69 67 2e 68 61 73 5f 6f 70 74 69 6f 6e 28 73 fig.has_option(s
1d80: 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e 61 elf._section, na
1d90: 6d 65 29 3a 0a 09 09 09 69 66 20 73 65 6c 66 2e me):....if self.
1da0: 5f 73 65 63 74 69 6f 6e 20 69 6e 20 73 65 6c 66 _section in self
1db0: 2e 5f 64 65 66 61 75 6c 74 3a 0a 09 09 09 09 69 ._default:.....i
1dc0: 66 20 6e 61 6d 65 20 69 6e 20 73 65 6c 66 2e 5f f name in self._
1dd0: 64 65 66 61 75 6c 74 5b 73 65 6c 66 2e 5f 73 65 default[self._se
1de0: 63 74 69 6f 6e 5d 3a 0a 09 09 09 09 09 73 65 6c ction]:......sel
1df0: 66 2e 5f 63 6f 6e 66 69 67 2e 73 65 74 28 73 65 f._config.set(se
1e00: 6c 66 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e 61 6d lf._section, nam
1e10: 65 2c 20 73 65 6c 66 2e 5f 64 65 66 61 75 6c 74 e, self._default
1e20: 5b 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 5d 5b [self._section][
1e30: 6e 61 6d 65 5d 29 0a 09 09 09 09 65 6c 73 65 3a name]).....else:
1e40: 0a 09 09 09 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 ......self._conf
1e50: 69 67 2e 73 65 74 28 73 65 6c 66 2e 5f 73 65 63 ig.set(self._sec
1e60: 74 69 6f 6e 2c 20 6e 61 6d 65 2c 20 4e 6f 6e 65 tion, name, None
1e70: 29 0a 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 73 )....else:.....s
1e80: 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 73 65 74 28 elf._config.set(
1e90: 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e self._section, n
1ea0: 61 6d 65 2c 20 4e 6f 6e 65 29 0a 09 09 72 65 74 ame, None)...ret
1eb0: 75 72 6e 28 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 urn(self._config
1ec0: 2e 67 65 74 28 73 65 6c 66 2e 5f 73 65 63 74 69 .get(self._secti
1ed0: 6f 6e 2c 20 6e 61 6d 65 29 29 0a 0a 23 20 69 6e on, name))..# in
1ee0: 69 74 69 61 6c 69 7a 69 6e 67 20 61 6e 64 20 72 itializing and r
1ef0: 65 61 64 69 6e 67 20 69 6e 20 63 6f 6e 66 69 67 eading in config
1f00: 20 66 69 6c 65 0a 63 6f 6e 66 69 67 20 3d 20 43 file.config = C
1f10: 6f 6e 66 69 67 28 29 0a 0a 63 6f 6e 66 69 67 2e onfig()..config.
1f20: 73 65 63 74 69 6f 6e 28 27 72 65 61 63 74 6f 72 section('reactor
1f30: 27 29 0a 69 66 20 63 6f 6e 66 69 67 5b 27 72 65 ').if config['re
1f40: 61 63 74 6f 72 27 5d 20 3d 3d 20 27 74 68 72 65 actor'] == 'thre
1f50: 61 64 27 3a 0a 09 63 68 65 63 6b 65 72 20 3d 20 ad':..checker =
1f60: 43 68 65 63 6b 65 72 54 68 72 65 61 64 28 29 0a CheckerThread().
1f70: 65 6c 69 66 20 63 6f 6e 66 69 67 5b 27 72 65 61 elif config['rea
1f80: 63 74 6f 72 27 5d 20 3d 3d 20 27 70 6c 61 69 6e ctor'] == 'plain
1f90: 27 3a 0a 09 63 68 65 63 6b 65 72 20 3d 20 43 68 ':..checker = Ch
1fa0: 65 63 6b 65 72 28 29 0a 65 6c 69 66 20 63 6f 6e ecker().elif con
1fb0: 66 69 67 5b 27 72 65 61 63 74 6f 72 27 5d 20 3d fig['reactor'] =
1fc0: 3d 20 27 6b 71 75 65 75 65 27 3a 0a 09 63 68 65 = 'kqueue':..che
1fd0: 63 6b 65 72 20 3d 20 43 68 65 63 6b 65 72 4b 71 cker = CheckerKq
1fe0: 75 65 75 65 28 29 0a 0a 63 68 65 63 6b 65 72 2e ueue()..checker.
1ff0: 6c 6f 6f 70 28 29 0a loop().