0000: 23 21 2f 75 73 72 2f 62 69 6e 2f 65 6e 76 20 70 #!/usr/bin/env p
0010: 79 74 68 6f 6e 33 2e 31 0a 0a 69 6d 70 6f 72 74 ython3.1..import
0020: 20 63 6f 6e 66 69 67 70 61 72 73 65 72 2c 20 6f configparser, o
0030: 70 74 70 61 72 73 65 2c 20 6f 73 2c 20 70 6f 73 ptparse, os, pos
0040: 74 67 72 65 73 71 6c 2e 61 70 69 2c 20 72 65 2c tgresql.api, re,
0050: 20 73 79 73 2c 20 5f 74 68 72 65 61 64 0a 0a 23 sys, _thread..#
0060: 20 77 72 61 70 70 65 72 20 61 72 6f 75 6e 64 20 wrapper around
0070: 73 79 73 6c 6f 67 2c 20 63 61 6e 20 62 65 20 6d syslog, can be m
0080: 75 74 65 64 0a 63 6c 61 73 73 20 4c 6f 67 67 65 uted.class Logge
0090: 72 3a 0a 09 5f 5f 73 6c 6f 74 73 5f 5f 20 3d 20 r:..__slots__ =
00a0: 66 72 6f 7a 65 6e 73 65 74 28 5b 27 5f 73 79 73 frozenset(['_sys
00b0: 6c 6f 67 27 5d 29 0a 0a 09 64 65 66 20 5f 5f 69 log'])...def __i
00c0: 6e 69 74 5f 5f 28 73 65 6c 66 29 3a 0a 09 09 63 nit__(self):...c
00d0: 6f 6e 66 69 67 2e 73 65 63 74 69 6f 6e 28 27 6c onfig.section('l
00e0: 6f 67 27 29 0a 09 09 69 66 20 63 6f 6e 66 69 67 og')...if config
00f0: 5b 27 73 69 6c 65 6e 74 27 5d 20 3d 3d 20 27 79 ['silent'] == 'y
0100: 65 73 27 3a 0a 09 09 09 73 65 6c 66 2e 5f 73 79 es':....self._sy
0110: 73 6c 6f 67 20 3d 20 4e 6f 6e 65 0a 09 09 65 6c slog = None...el
0120: 73 65 3a 0a 09 09 09 69 6d 70 6f 72 74 20 73 79 se:....import sy
0130: 73 6c 6f 67 0a 09 09 09 73 65 6c 66 2e 5f 73 79 slog....self._sy
0140: 73 6c 6f 67 20 3d 20 73 79 73 6c 6f 67 0a 09 09 slog = syslog...
0150: 09 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 2e 6f 70 .self._syslog.op
0160: 65 6e 6c 6f 67 28 27 73 71 75 69 64 54 61 67 27 enlog('squidTag'
0170: 29 0a 0a 09 64 65 66 20 69 6e 66 6f 28 73 65 6c )...def info(sel
0180: 66 2c 20 6d 65 73 73 61 67 65 29 3a 0a 09 09 69 f, message):...i
0190: 66 20 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 3a 0a f self._syslog:.
01a0: 09 09 09 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 2e ...self._syslog.
01b0: 73 79 73 6c 6f 67 28 73 65 6c 66 2e 5f 73 79 73 syslog(self._sys
01c0: 6c 6f 67 2e 4c 4f 47 5f 49 4e 46 4f 2c 20 6d 65 log.LOG_INFO, me
01d0: 73 73 61 67 65 29 0a 0a 09 64 65 66 20 6e 6f 74 ssage)...def not
01e0: 69 63 65 28 73 65 6c 66 2c 20 6d 65 73 73 61 67 ice(self, messag
01f0: 65 29 3a 0a 09 09 69 66 20 73 65 6c 66 2e 5f 73 e):...if self._s
0200: 79 73 6c 6f 67 3a 0a 09 09 09 73 65 6c 66 2e 5f yslog:....self._
0210: 73 79 73 6c 6f 67 2e 73 79 73 6c 6f 67 28 73 65 syslog.syslog(se
0220: 6c 66 2e 5f 73 79 73 6c 6f 67 2e 4c 4f 47 5f 4e lf._syslog.LOG_N
0230: 4f 54 49 43 45 2c 20 6d 65 73 73 61 67 65 29 0a OTICE, message).
0240: 0a 23 20 77 72 61 70 70 65 72 20 61 72 6f 75 6e .# wrapper aroun
0250: 64 20 64 61 74 61 62 61 73 65 0a 63 6c 61 73 73 d database.class
0260: 20 74 61 67 44 42 3a 0a 09 5f 5f 73 6c 6f 74 73 tagDB:..__slots
0270: 5f 5f 20 3d 20 66 72 6f 7a 65 6e 73 65 74 28 28 __ = frozenset((
0280: 27 5f 63 68 65 63 6b 5f 73 74 6d 74 27 2c 20 27 '_check_stmt', '
0290: 5f 64 62 27 29 29 0a 0a 09 64 65 66 20 5f 5f 69 _db'))...def __i
02a0: 6e 69 74 5f 5f 28 73 65 6c 66 29 3a 0a 09 09 63 nit__(self):...c
02b0: 6f 6e 66 69 67 2e 73 65 63 74 69 6f 6e 28 27 64 onfig.section('d
02c0: 61 74 61 62 61 73 65 27 29 0a 09 09 73 65 6c 66 atabase')...self
02d0: 2e 5f 64 62 20 3d 20 70 6f 73 74 67 72 65 73 71 ._db = postgresq
02e0: 6c 2e 6f 70 65 6e 28 0a 09 09 09 27 70 71 3a 2f l.open(....'pq:/
02f0: 2f 7b 7d 3a 7b 7d 40 7b 7d 2f 7b 7d 27 2e 66 6f /{}:{}@{}/{}'.fo
0300: 72 6d 61 74 28 0a 09 09 09 09 63 6f 6e 66 69 67 rmat(.....config
0310: 5b 27 75 73 65 72 27 5d 2c 0a 09 09 09 09 63 6f ['user'],.....co
0320: 6e 66 69 67 5b 27 70 61 73 73 77 6f 72 64 27 5d nfig['password']
0330: 2c 0a 09 09 09 09 63 6f 6e 66 69 67 5b 27 68 6f ,.....config['ho
0340: 73 74 27 5d 2c 0a 09 09 09 09 63 6f 6e 66 69 67 st'],.....config
0350: 5b 27 64 61 74 61 62 61 73 65 27 5d 2c 0a 09 09 ['database'],...
0360: 29 20 29 0a 09 09 73 65 6c 66 2e 5f 63 68 65 63 ) )...self._chec
0370: 6b 5f 73 74 6d 74 20 3d 20 73 65 6c 66 2e 5f 64 k_stmt = self._d
0380: 62 2e 70 72 65 70 61 72 65 28 22 73 65 6c 65 63 b.prepare("selec
0390: 74 20 72 65 64 69 72 65 63 74 5f 75 72 6c 2c 20 t redirect_url,
03a0: 72 65 67 65 78 70 20 66 72 6f 6d 20 73 69 74 65 regexp from site
03b0: 5f 72 75 6c 65 20 77 68 65 72 65 20 73 69 74 65 _rule where site
03c0: 20 3c 40 20 74 72 69 70 64 6f 6d 61 69 6e 28 24 <@ tripdomain($
03d0: 31 29 20 61 6e 64 20 6e 65 74 6d 61 73 6b 20 3e 1) and netmask >
03e0: 3e 20 24 32 3a 3a 74 65 78 74 3a 3a 69 6e 65 74 > $2::text::inet
03f0: 20 6f 72 64 65 72 20 62 79 20 61 72 72 61 79 5f order by array_
0400: 6c 65 6e 67 74 68 28 73 69 74 65 2c 20 31 29 20 length(site, 1)
0410: 64 65 73 63 22 29 0a 0a 09 64 65 66 20 63 68 65 desc")...def che
0420: 63 6b 28 73 65 6c 66 2c 20 73 69 74 65 2c 20 69 ck(self, site, i
0430: 70 5f 61 64 64 72 65 73 73 29 3a 0a 09 09 72 65 p_address):...re
0440: 74 75 72 6e 28 73 65 6c 66 2e 5f 63 68 65 63 6b turn(self._check
0450: 5f 73 74 6d 74 28 73 69 74 65 2c 20 69 70 5f 61 _stmt(site, ip_a
0460: 64 64 72 65 73 73 29 29 0a 0a 23 20 61 62 73 74 ddress))..# abst
0470: 72 61 63 74 20 63 6c 61 73 73 20 77 69 74 68 20 ract class with
0480: 62 61 73 69 63 20 63 68 65 63 6b 69 6e 67 20 66 basic checking f
0490: 75 6e 63 74 69 6f 6e 61 6c 69 74 79 0a 63 6c 61 unctionality.cla
04a0: 73 73 20 43 68 65 63 6b 65 72 3a 0a 09 5f 5f 73 ss Checker:..__s
04b0: 6c 6f 74 73 5f 5f 20 3d 20 66 72 6f 7a 65 6e 73 lots__ = frozens
04c0: 65 74 28 5b 27 5f 64 62 27 2c 20 27 5f 6c 6f 67 et(['_db', '_log
04d0: 27 5d 29 0a 0a 09 64 65 66 20 5f 5f 69 6e 69 74 '])...def __init
04e0: 5f 5f 28 73 65 6c 66 29 3a 0a 09 09 73 65 6c 66 __(self):...self
04f0: 2e 5f 64 62 20 3d 20 74 61 67 44 42 28 29 0a 09 ._db = tagDB()..
0500: 09 73 65 6c 66 2e 5f 6c 6f 67 20 3d 20 4c 6f 67 .self._log = Log
0510: 67 65 72 28 29 0a 0a 09 64 65 66 20 70 72 6f 63 ger()...def proc
0520: 65 73 73 28 73 65 6c 66 2c 20 69 64 2c 20 73 69 ess(self, id, si
0530: 74 65 2c 20 69 70 5f 61 64 64 72 65 73 73 2c 20 te, ip_address,
0540: 75 72 6c 5f 70 61 74 68 2c 20 6c 69 6e 65 20 3d url_path, line =
0550: 20 4e 6f 6e 65 29 3a 0a 09 09 73 65 6c 66 2e 5f None):...self._
0560: 6c 6f 67 2e 69 6e 66 6f 28 27 74 72 79 69 6e 67 log.info('trying
0570: 20 7b 7d 5c 6e 27 2e 66 6f 72 6d 61 74 28 73 69 {}\n'.format(si
0580: 74 65 29 29 0a 09 09 72 65 73 75 6c 74 20 3d 20 te))...result =
0590: 73 65 6c 66 2e 5f 64 62 2e 63 68 65 63 6b 28 73 self._db.check(s
05a0: 69 74 65 2c 20 69 70 5f 61 64 64 72 65 73 73 29 ite, ip_address)
05b0: 0a 09 09 23 72 65 70 6c 79 20 3d 20 27 7b 7d 3a ...#reply = '{}:
05c0: 2f 2f 7b 7d 2f 7b 7d 27 2e 66 6f 72 6d 61 74 28 //{}/{}'.format(
05d0: 72 65 71 5b 34 5d 2c 20 72 65 71 5b 31 5d 2c 20 req[4], req[1],
05e0: 72 65 71 5b 33 5d 29 0a 09 09 72 65 70 6c 79 20 req[3])...reply
05f0: 3d 20 27 2d 27 0a 09 09 66 6f 72 20 72 6f 77 20 = '-'...for row
0600: 69 6e 20 72 65 73 75 6c 74 3a 0a 09 09 09 69 66 in result:....if
0610: 20 72 6f 77 20 21 3d 20 4e 6f 6e 65 20 61 6e 64 row != None and
0620: 20 72 6f 77 5b 30 5d 20 21 3d 20 4e 6f 6e 65 3a row[0] != None:
0630: 0a 09 09 09 09 69 66 20 72 6f 77 5b 31 5d 20 21 .....if row[1] !
0640: 3d 20 4e 6f 6e 65 3a 0a 09 09 09 09 09 73 65 6c = None:......sel
0650: 66 2e 5f 6c 6f 67 2e 69 6e 66 6f 28 27 74 72 79 f._log.info('try
0660: 69 6e 67 20 72 65 67 65 78 70 20 22 7b 7d 22 20 ing regexp "{}"
0670: 76 65 72 73 75 73 20 22 7b 7d 22 5c 6e 27 2e 66 versus "{}"\n'.f
0680: 6f 72 6d 61 74 28 72 6f 77 5b 31 5d 2c 20 75 72 ormat(row[1], ur
0690: 6c 5f 70 61 74 68 29 29 0a 09 09 09 09 09 74 72 l_path))......tr
06a0: 79 3a 0a 09 09 09 09 09 09 69 66 20 72 65 2e 63 y:.......if re.c
06b0: 6f 6d 70 69 6c 65 28 72 6f 77 5b 31 5d 29 2e 6d ompile(row[1]).m
06c0: 61 74 63 68 28 75 72 6c 5f 70 61 74 68 29 3a 0a atch(url_path):.
06d0: 09 09 09 09 09 09 09 72 65 70 6c 79 20 3d 20 72 .......reply = r
06e0: 6f 77 5b 30 5d 2e 66 6f 72 6d 61 74 28 75 72 6c ow[0].format(url
06f0: 5f 70 61 74 68 29 0a 09 09 09 09 09 09 09 62 72 _path)........br
0700: 65 61 6b 0a 09 09 09 09 09 09 65 6c 73 65 3a 0a eak.......else:.
0710: 09 09 09 09 09 09 09 63 6f 6e 74 69 6e 75 65 0a .......continue.
0720: 09 09 09 09 09 65 78 63 65 70 74 3a 0a 09 09 09 .....except:....
0730: 09 09 09 73 65 6c 66 2e 5f 6c 6f 67 2e 69 6e 66 ...self._log.inf
0740: 6f 28 22 63 61 6e 27 74 20 63 6f 6d 70 69 6c 65 o("can't compile
0750: 20 72 65 67 65 78 70 22 29 0a 09 09 09 09 65 6c regexp").....el
0760: 73 65 3a 0a 09 09 09 09 09 72 65 70 6c 79 20 3d se:......reply =
0770: 20 72 6f 77 5b 30 5d 2e 66 6f 72 6d 61 74 28 75 row[0].format(u
0780: 72 6c 5f 70 61 74 68 29 0a 09 09 09 09 09 62 72 rl_path)......br
0790: 65 61 6b 0a 09 09 73 65 6c 66 2e 77 72 69 74 65 eak...self.write
07a0: 6c 69 6e 65 28 27 7b 7d 20 7b 7d 5c 6e 27 2e 66 line('{} {}\n'.f
07b0: 6f 72 6d 61 74 28 69 64 2c 20 72 65 70 6c 79 29 ormat(id, reply)
07c0: 29 0a 0a 09 64 65 66 20 63 68 65 63 6b 28 73 65 )...def check(se
07d0: 6c 66 2c 20 6c 69 6e 65 29 3a 0a 09 09 72 65 71 lf, line):...req
07e0: 75 65 73 74 20 3d 20 72 65 2e 63 6f 6d 70 69 6c uest = re.compil
07f0: 65 28 27 5e 28 5b 30 2d 39 5d 2b 29 5c 20 28 68 e('^([0-9]+)\ (h
0800: 74 74 70 7c 66 74 70 29 3a 5c 2f 5c 2f 28 5b 2d ttp|ftp):\/\/([-
0810: 5c 77 2e 3a 5d 2b 29 5c 2f 28 5b 5e 20 5d 2a 29 \w.:]+)\/([^ ]*)
0820: 5c 20 28 5b 30 2d 39 2e 5d 2b 29 5c 2f 28 2d 7c \ ([0-9.]+)\/(-|
0830: 5b 5c 77 5c 2e 5d 2b 29 5c 20 28 2d 7c 5c 77 2b [\w\.]+)\ (-|\w+
0840: 29 5c 20 28 2d 7c 47 45 54 7c 48 45 41 44 7c 50 )\ (-|GET|HEAD|P
0850: 4f 53 54 29 2e 2a 24 27 29 2e 6d 61 74 63 68 28 OST).*$').match(
0860: 6c 69 6e 65 29 0a 09 09 69 66 20 72 65 71 75 65 line)...if reque
0870: 73 74 3a 0a 09 09 09 69 64 20 3d 20 72 65 71 75 st:....id = requ
0880: 65 73 74 2e 67 72 6f 75 70 28 31 29 0a 09 09 09 est.group(1)....
0890: 23 70 72 6f 74 6f 20 3d 20 72 65 71 75 65 73 74 #proto = request
08a0: 2e 67 72 6f 75 70 28 32 29 0a 09 09 09 73 69 74 .group(2)....sit
08b0: 65 20 3d 20 72 65 71 75 65 73 74 2e 67 72 6f 75 e = request.grou
08c0: 70 28 33 29 0a 09 09 09 75 72 6c 5f 70 61 74 68 p(3)....url_path
08d0: 20 3d 20 72 65 71 75 65 73 74 2e 67 72 6f 75 70 = request.group
08e0: 28 34 29 0a 09 09 09 69 70 5f 61 64 64 72 65 73 (4)....ip_addres
08f0: 73 20 3d 20 72 65 71 75 65 73 74 2e 67 72 6f 75 s = request.grou
0900: 70 28 35 29 0a 09 09 09 73 65 6c 66 2e 70 72 6f p(5)....self.pro
0910: 63 65 73 73 28 69 64 2c 20 73 69 74 65 2c 20 69 cess(id, site, i
0920: 70 5f 61 64 64 72 65 73 73 2c 20 75 72 6c 5f 70 p_address, url_p
0930: 61 74 68 2c 20 6c 69 6e 65 29 0a 09 09 09 72 65 ath, line)....re
0940: 74 75 72 6e 28 54 72 75 65 29 0a 09 09 65 6c 73 turn(True)...els
0950: 65 3a 0a 09 09 09 73 65 6c 66 2e 5f 6c 6f 67 2e e:....self._log.
0960: 69 6e 66 6f 28 27 62 61 64 20 72 65 71 75 65 73 info('bad reques
0970: 74 5c 6e 27 29 0a 09 09 09 73 65 6c 66 2e 77 72 t\n')....self.wr
0980: 69 74 65 6c 69 6e 65 28 6c 69 6e 65 29 0a 09 09 iteline(line)...
0990: 09 72 65 74 75 72 6e 28 46 61 6c 73 65 29 0a 0a .return(False)..
09a0: 09 64 65 66 20 77 72 69 74 65 6c 69 6e 65 28 73 .def writeline(s
09b0: 65 6c 66 2c 20 73 74 72 69 6e 67 29 3a 0a 09 09 elf, string):...
09c0: 73 65 6c 66 2e 5f 6c 6f 67 2e 69 6e 66 6f 28 27 self._log.info('
09d0: 73 65 6e 64 69 6e 67 3a 20 27 20 2b 20 73 74 72 sending: ' + str
09e0: 69 6e 67 29 0a 09 09 73 79 73 2e 73 74 64 6f 75 ing)...sys.stdou
09f0: 74 2e 77 72 69 74 65 28 73 74 72 69 6e 67 29 0a t.write(string).
0a00: 09 09 73 79 73 2e 73 74 64 6f 75 74 2e 66 6c 75 ..sys.stdout.flu
0a10: 73 68 28 29 0a 0a 09 64 65 66 20 6c 6f 6f 70 28 sh()...def loop(
0a20: 73 65 6c 66 29 3a 0a 09 09 77 68 69 6c 65 20 54 self):...while T
0a30: 72 75 65 3a 0a 09 09 09 6c 69 6e 65 20 3d 20 73 rue:....line = s
0a40: 79 73 2e 73 74 64 69 6e 2e 72 65 61 64 6c 69 6e ys.stdin.readlin
0a50: 65 28 29 0a 09 09 09 69 66 20 6c 65 6e 28 6c 69 e()....if len(li
0a60: 6e 65 29 20 3d 3d 20 30 3a 0a 09 09 09 09 62 72 ne) == 0:.....br
0a70: 65 61 6b 0a 09 09 09 73 65 6c 66 2e 63 68 65 63 eak....self.chec
0a80: 6b 28 6c 69 6e 65 29 0a 0a 23 20 74 68 72 65 61 k(line)..# threa
0a90: 64 65 64 20 63 68 65 63 6b 69 6e 67 20 66 61 63 ded checking fac
0aa0: 69 6c 69 74 79 0a 63 6c 61 73 73 20 43 68 65 63 ility.class Chec
0ab0: 6b 65 72 54 68 72 65 61 64 28 43 68 65 63 6b 65 kerThread(Checke
0ac0: 72 29 3a 0a 09 5f 5f 73 6c 6f 74 73 5f 5f 20 3d r):..__slots__ =
0ad0: 20 66 72 6f 7a 65 6e 73 65 74 28 5b 27 5f 6c 6f frozenset(['_lo
0ae0: 63 6b 27 2c 20 27 5f 6c 6f 63 6b 5f 65 78 69 74 ck', '_lock_exit
0af0: 27 2c 20 27 5f 6c 6f 63 6b 5f 71 75 65 75 65 27 ', '_lock_queue'
0b00: 2c 20 27 5f 71 75 65 75 65 27 5d 29 0a 0a 09 64 , '_queue'])...d
0b10: 65 66 20 5f 5f 69 6e 69 74 5f 5f 28 73 65 6c 66 ef __init__(self
0b20: 29 3a 0a 09 09 23 20 62 61 73 69 63 20 69 6e 69 ):...# basic ini
0b30: 74 69 61 6c 69 73 61 74 69 6f 6e 0a 09 09 43 68 tialisation...Ch
0b40: 65 63 6b 65 72 2e 5f 5f 69 6e 69 74 5f 5f 28 73 ecker.__init__(s
0b50: 65 6c 66 29 0a 0a 09 09 23 20 53 70 69 6e 20 6c elf)....# Spin l
0b60: 6f 63 6b 2e 20 4c 6f 6f 70 20 61 63 71 75 69 72 ock. Loop acquir
0b70: 65 73 20 69 74 20 6f 6e 20 73 74 61 72 74 20 74 es it on start t
0b80: 68 65 6e 20 72 65 6c 65 61 73 65 73 20 69 74 20 hen releases it
0b90: 77 68 65 6e 20 68 6f 6c 64 69 6e 67 20 71 75 65 when holding que
0ba0: 75 65 0a 09 09 23 20 6c 6f 63 6b 2e 20 54 68 69 ue...# lock. Thi
0bb0: 73 20 77 61 79 20 74 68 65 20 74 68 72 65 61 64 s way the thread
0bc0: 20 70 72 6f 63 65 65 64 73 20 77 69 74 68 6f 75 proceeds withou
0bd0: 74 20 73 74 6f 70 73 20 77 68 69 6c 65 20 71 75 t stops while qu
0be0: 65 75 65 20 68 61 73 20 64 61 74 61 20 61 6e 64 eue has data and
0bf0: 0a 09 09 23 20 67 65 74 73 20 73 74 61 6c 6c 65 ...# gets stalle
0c00: 64 20 77 68 65 6e 20 6e 6f 20 64 61 74 61 20 70 d when no data p
0c10: 72 65 73 65 6e 74 2e 20 54 68 65 20 6c 6f 63 6b resent. The lock
0c20: 20 69 73 20 72 65 6c 65 61 73 65 64 20 62 79 20 is released by
0c30: 71 75 65 75 65 20 77 72 69 74 65 72 0a 09 09 23 queue writer...#
0c40: 20 61 66 74 65 72 20 73 74 6f 72 69 6e 67 20 73 after storing s
0c50: 6f 6d 65 74 68 69 6e 67 20 69 6e 74 6f 20 74 68 omething into th
0c60: 65 20 71 75 65 75 65 0a 09 09 73 65 6c 66 2e 5f e queue...self._
0c70: 6c 6f 63 6b 20 3d 20 5f 74 68 72 65 61 64 2e 61 lock = _thread.a
0c80: 6c 6c 6f 63 61 74 65 5f 6c 6f 63 6b 28 29 0a 09 llocate_lock()..
0c90: 09 73 65 6c 66 2e 5f 6c 6f 63 6b 5f 65 78 69 74 .self._lock_exit
0ca0: 20 3d 20 5f 74 68 72 65 61 64 2e 61 6c 6c 6f 63 = _thread.alloc
0cb0: 61 74 65 5f 6c 6f 63 6b 28 29 0a 09 09 73 65 6c ate_lock()...sel
0cc0: 66 2e 5f 6c 6f 63 6b 5f 71 75 65 75 65 20 3d 20 f._lock_queue =
0cd0: 5f 74 68 72 65 61 64 2e 61 6c 6c 6f 63 61 74 65 _thread.allocate
0ce0: 5f 6c 6f 63 6b 28 29 0a 09 09 73 65 6c 66 2e 5f _lock()...self._
0cf0: 6c 6f 63 6b 2e 61 63 71 75 69 72 65 28 29 0a 09 lock.acquire()..
0d00: 09 73 65 6c 66 2e 5f 71 75 65 75 65 20 3d 20 5b .self._queue = [
0d10: 5d 0a 09 09 5f 74 68 72 65 61 64 2e 73 74 61 72 ]..._thread.star
0d20: 74 5f 6e 65 77 5f 74 68 72 65 61 64 28 73 65 6c t_new_thread(sel
0d30: 66 2e 5f 73 74 61 72 74 2c 20 28 29 29 0a 0a 09 f._start, ())...
0d40: 64 65 66 20 5f 73 74 61 72 74 28 73 65 6c 66 29 def _start(self)
0d50: 3a 0a 09 09 77 68 69 6c 65 20 54 72 75 65 3a 0a :...while True:.
0d60: 09 09 09 73 65 6c 66 2e 5f 6c 6f 63 6b 2e 61 63 ...self._lock.ac
0d70: 71 75 69 72 65 28 29 0a 09 09 09 77 69 74 68 20 quire()....with
0d80: 73 65 6c 66 2e 5f 6c 6f 63 6b 5f 71 75 65 75 65 self._lock_queue
0d90: 3a 0a 09 09 09 09 23 20 79 65 73 20 74 68 69 73 :.....# yes this
0da0: 20 73 68 6f 75 6c 64 20 62 65 20 77 72 69 74 74 should be writt
0db0: 65 6e 20 74 68 69 73 20 77 61 79 2c 20 61 6e 64 en this way, and
0dc0: 20 79 65 73 2c 20 74 68 69 73 20 69 73 20 77 68 yes, this is wh
0dd0: 79 20 49 20 68 61 74 65 20 74 68 72 65 61 64 69 y I hate threadi
0de0: 6e 67 0a 09 09 09 09 69 66 20 6c 65 6e 28 73 65 ng.....if len(se
0df0: 6c 66 2e 5f 71 75 65 75 65 29 20 3e 20 31 3a 0a lf._queue) > 1:.
0e00: 09 09 09 09 09 69 66 20 73 65 6c 66 2e 5f 6c 6f .....if self._lo
0e10: 63 6b 2e 6c 6f 63 6b 65 64 28 29 3a 0a 09 09 09 ck.locked():....
0e20: 09 09 09 73 65 6c 66 2e 5f 6c 6f 63 6b 2e 72 65 ...self._lock.re
0e30: 6c 65 61 73 65 28 29 0a 09 09 09 09 72 65 71 20 lease().....req
0e40: 3d 20 73 65 6c 66 2e 5f 71 75 65 75 65 2e 70 6f = self._queue.po
0e50: 70 28 30 29 0a 09 09 09 43 68 65 63 6b 65 72 2e p(0)....Checker.
0e60: 70 72 6f 63 65 73 73 28 73 65 6c 66 2c 20 72 65 process(self, re
0e70: 71 5b 30 5d 2c 20 72 65 71 5b 31 5d 2c 20 72 65 q[0], req[1], re
0e80: 71 5b 32 5d 2c 20 72 65 71 5b 33 5d 29 0a 09 09 q[2], req[3])...
0e90: 09 77 69 74 68 20 73 65 6c 66 2e 5f 6c 6f 63 6b .with self._lock
0ea0: 5f 71 75 65 75 65 3a 0a 09 09 09 09 69 66 20 6c _queue:.....if l
0eb0: 65 6e 28 73 65 6c 66 2e 5f 71 75 65 75 65 29 20 en(self._queue)
0ec0: 3d 3d 20 30 3a 0a 09 09 09 09 09 69 66 20 73 65 == 0:......if se
0ed0: 6c 66 2e 5f 6c 6f 63 6b 5f 65 78 69 74 2e 6c 6f lf._lock_exit.lo
0ee0: 63 6b 65 64 28 29 3a 0a 09 09 09 09 09 09 73 65 cked():.......se
0ef0: 6c 66 2e 5f 6c 6f 63 6b 5f 65 78 69 74 2e 72 65 lf._lock_exit.re
0f00: 6c 65 61 73 65 28 29 0a 0a 09 64 65 66 20 70 72 lease()...def pr
0f10: 6f 63 65 73 73 28 73 65 6c 66 2c 20 69 64 2c 20 ocess(self, id,
0f20: 73 69 74 65 2c 20 69 70 5f 61 64 64 72 65 73 73 site, ip_address
0f30: 2c 20 75 72 6c 5f 70 61 74 68 2c 20 6c 69 6e 65 , url_path, line
0f40: 29 3a 0a 09 09 77 69 74 68 20 73 65 6c 66 2e 5f ):...with self._
0f50: 6c 6f 63 6b 5f 71 75 65 75 65 3a 0a 09 09 09 73 lock_queue:....s
0f60: 65 6c 66 2e 5f 71 75 65 75 65 2e 61 70 70 65 6e elf._queue.appen
0f70: 64 28 28 69 64 2c 20 73 69 74 65 2c 20 69 70 5f d((id, site, ip_
0f80: 61 64 64 72 65 73 73 2c 20 75 72 6c 5f 70 61 74 address, url_pat
0f90: 68 29 29 0a 09 09 09 73 65 6c 66 2e 5f 6c 6f 67 h))....self._log
0fa0: 2e 69 6e 66 6f 28 27 72 65 71 75 65 73 74 20 7b .info('request {
0fb0: 7d 20 71 75 65 75 65 64 20 28 7b 7d 29 5c 6e 27 } queued ({})\n'
0fc0: 2e 66 6f 72 6d 61 74 28 69 64 2c 20 6c 69 6e 65 .format(id, line
0fd0: 29 29 0a 09 09 09 69 66 20 6e 6f 74 20 73 65 6c ))....if not sel
0fe0: 66 2e 5f 6c 6f 63 6b 5f 65 78 69 74 2e 6c 6f 63 f._lock_exit.loc
0ff0: 6b 65 64 28 29 3a 0a 09 09 09 09 73 65 6c 66 2e ked():.....self.
1000: 5f 6c 6f 63 6b 5f 65 78 69 74 2e 61 63 71 75 69 _lock_exit.acqui
1010: 72 65 28 29 0a 09 09 09 69 66 20 73 65 6c 66 2e re()....if self.
1020: 5f 6c 6f 63 6b 2e 6c 6f 63 6b 65 64 28 29 3a 0a _lock.locked():.
1030: 09 09 09 09 73 65 6c 66 2e 5f 6c 6f 63 6b 2e 72 ....self._lock.r
1040: 65 6c 65 61 73 65 28 29 0a 0a 09 64 65 66 20 6c elease()...def l
1050: 6f 6f 70 28 73 65 6c 66 29 3a 0a 09 09 77 68 69 oop(self):...whi
1060: 6c 65 20 54 72 75 65 3a 0a 09 09 09 6c 69 6e 65 le True:....line
1070: 20 3d 20 73 79 73 2e 73 74 64 69 6e 2e 72 65 61 = sys.stdin.rea
1080: 64 6c 69 6e 65 28 29 0a 09 09 09 69 66 20 6c 65 dline()....if le
1090: 6e 28 6c 69 6e 65 29 20 3d 3d 20 30 3a 0a 09 09 n(line) == 0:...
10a0: 09 09 62 72 65 61 6b 0a 09 09 09 73 65 6c 66 2e ..break....self.
10b0: 63 68 65 63 6b 28 6c 69 6e 65 29 0a 09 09 73 65 check(line)...se
10c0: 6c 66 2e 5f 6c 6f 63 6b 5f 65 78 69 74 2e 61 63 lf._lock_exit.ac
10d0: 71 75 69 72 65 28 29 0a 0a 23 20 6b 71 75 65 75 quire()..# kqueu
10e0: 65 20 65 6e 61 62 6c 65 64 20 63 6c 61 73 73 20 e enabled class
10f0: 66 6f 72 20 42 53 44 27 73 0a 63 6c 61 73 73 20 for BSD's.class
1100: 43 68 65 63 6b 65 72 4b 71 75 65 75 65 28 43 68 CheckerKqueue(Ch
1110: 65 63 6b 65 72 29 3a 0a 09 5f 5f 73 6c 6f 74 73 ecker):..__slots
1120: 5f 5f 20 3d 20 66 72 6f 7a 65 6e 73 65 74 28 5b __ = frozenset([
1130: 27 5f 6b 71 27 2c 20 27 5f 73 65 6c 65 63 74 27 '_kq', '_select'
1140: 2c 20 27 5f 71 75 65 75 65 27 5d 29 0a 0a 09 64 , '_queue'])...d
1150: 65 66 20 5f 5f 69 6e 69 74 5f 5f 28 73 65 6c 66 ef __init__(self
1160: 29 3a 0a 09 09 23 20 62 61 73 69 63 20 69 6e 69 ):...# basic ini
1170: 74 69 61 6c 69 73 61 74 69 6f 6e 0a 09 09 43 68 tialisation...Ch
1180: 65 63 6b 65 72 2e 5f 5f 69 6e 69 74 5f 5f 28 73 ecker.__init__(s
1190: 65 6c 66 29 0a 0a 09 09 23 20 69 6d 70 6f 72 74 elf)....# import
11a0: 69 6e 67 20 73 65 6c 65 63 74 20 6d 6f 64 75 6c ing select modul
11b0: 65 0a 09 09 69 6d 70 6f 72 74 20 73 65 6c 65 63 e...import selec
11c0: 74 0a 09 09 73 65 6c 66 2e 5f 73 65 6c 65 63 74 t...self._select
11d0: 20 3d 20 73 65 6c 65 63 74 0a 0a 09 09 23 20 6b = select....# k
11e0: 72 65 61 74 69 6e 67 20 6b 71 75 65 75 65 0a 09 reating kqueue..
11f0: 09 73 65 6c 66 2e 5f 6b 71 20 3d 20 73 65 6c 66 .self._kq = self
1200: 2e 5f 73 65 6c 65 63 74 2e 6b 71 75 65 75 65 28 ._select.kqueue(
1210: 29 0a 09 09 61 73 73 65 72 74 20 28 73 65 6c 66 )...assert (self
1220: 2e 5f 6b 71 2e 66 69 6c 65 6e 6f 28 29 20 21 3d ._kq.fileno() !=
1230: 20 2d 31 29 0a 0a 09 09 23 20 77 61 74 63 68 69 -1)....# watchi
1240: 6e 67 20 73 79 73 2e 73 74 64 69 6e 20 66 6f 72 ng sys.stdin for
1250: 20 64 61 74 61 0a 09 09 73 65 6c 66 2e 5f 6b 71 data...self._kq
1260: 2e 63 6f 6e 74 72 6f 6c 28 5b 73 65 6c 66 2e 5f .control([self._
1270: 73 65 6c 65 63 74 2e 6b 65 76 65 6e 74 28 73 79 select.kevent(sy
1280: 73 2e 73 74 64 69 6e 2c 20 73 65 6c 66 2e 5f 73 s.stdin, self._s
1290: 65 6c 65 63 74 2e 4b 51 5f 46 49 4c 54 45 52 5f elect.KQ_FILTER_
12a0: 52 45 41 44 2c 20 73 65 6c 66 2e 5f 73 65 6c 65 READ, self._sele
12b0: 63 74 2e 4b 51 5f 45 56 5f 41 44 44 29 5d 2c 20 ct.KQ_EV_ADD)],
12c0: 30 29 0a 0a 09 09 23 20 63 72 65 61 74 69 6e 67 0)....# creating
12d0: 20 64 61 74 61 20 71 75 65 75 65 0a 09 09 73 65 data queue...se
12e0: 6c 66 2e 5f 71 75 65 75 65 20 3d 20 5b 5d 0a 0a lf._queue = []..
12f0: 09 64 65 66 20 6c 6f 6f 70 28 73 65 6c 66 29 3a .def loop(self):
1300: 0a 09 09 23 20 57 61 69 74 20 66 6f 72 20 64 61 ...# Wait for da
1310: 74 61 20 62 79 20 64 65 66 61 75 6c 74 0a 09 09 ta by default...
1320: 74 69 6d 65 6f 75 74 20 3d 20 4e 6f 6e 65 0a 09 timeout = None..
1330: 09 65 6f 66 20 3d 20 46 61 6c 73 65 0a 09 09 62 .eof = False...b
1340: 75 66 66 65 72 20 3d 20 27 27 0a 09 09 77 68 69 uffer = ''...whi
1350: 6c 65 20 54 72 75 65 3a 0a 09 09 09 23 20 63 68 le True:....# ch
1360: 65 63 6b 69 6e 67 20 69 66 20 74 68 65 72 65 20 ecking if there
1370: 69 73 20 61 6e 79 20 64 61 74 61 20 6f 72 20 77 is any data or w
1380: 69 74 69 6e 67 20 66 6f 72 20 64 61 74 61 20 74 iting for data t
1390: 6f 20 61 72 72 69 76 65 0a 09 09 09 6b 65 76 73 o arrive....kevs
13a0: 20 3d 20 73 65 6c 66 2e 5f 6b 71 2e 63 6f 6e 74 = self._kq.cont
13b0: 72 6f 6c 28 4e 6f 6e 65 2c 20 31 2c 20 74 69 6d rol(None, 1, tim
13c0: 65 6f 75 74 29 0a 09 09 09 69 66 20 6c 65 6e 28 eout)....if len(
13d0: 6b 65 76 73 29 20 3e 20 30 20 61 6e 64 20 6b 65 kevs) > 0 and ke
13e0: 76 73 5b 30 5d 2e 66 69 6c 74 65 72 20 3d 3d 20 vs[0].filter ==
13f0: 73 65 6c 66 2e 5f 73 65 6c 65 63 74 2e 4b 51 5f self._select.KQ_
1400: 46 49 4c 54 45 52 5f 52 45 41 44 20 61 6e 64 20 FILTER_READ and
1410: 6b 65 76 73 5b 30 5d 2e 64 61 74 61 20 3e 20 30 kevs[0].data > 0
1420: 3a 0a 09 09 09 09 23 20 69 66 20 6b 71 20 72 65 :.....# if kq re
1430: 70 6f 72 74 73 20 65 6e 20 6f 66 20 73 74 72 65 ports en of stre
1440: 61 6d 20 72 65 66 75 73 65 20 74 6f 20 72 65 61 am refuse to rea
1450: 64 20 6d 6f 72 65 20 6f 66 20 69 74 0a 09 09 09 d more of it....
1460: 09 69 66 20 6b 65 76 73 5b 30 5d 2e 66 6c 61 67 .if kevs[0].flag
1470: 73 20 3e 3e 20 31 35 20 3d 3d 20 31 3a 0a 09 09 s >> 15 == 1:...
1480: 09 09 09 65 6f 66 20 3d 20 54 72 75 65 0a 09 09 ...eof = True...
1490: 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 23 20 72 ..else:......# r
14a0: 65 61 64 69 6e 67 20 64 61 74 61 20 69 6e 0a 09 eading data in..
14b0: 09 09 09 09 6e 65 77 5f 62 75 66 66 65 72 20 3d ....new_buffer =
14c0: 20 73 79 73 2e 73 74 64 69 6e 2e 72 65 61 64 28 sys.stdin.read(
14d0: 6b 65 76 73 5b 30 5d 2e 64 61 74 61 29 0a 09 09 kevs[0].data)...
14e0: 09 09 09 23 20 69 66 20 6e 6f 20 64 61 74 61 20 ...# if no data
14f0: 77 61 73 20 73 65 6e 74 20 2d 20 77 65 20 68 61 was sent - we ha
1500: 76 65 20 72 65 61 63 68 65 64 20 61 6e 64 20 6f ve reached and o
1510: 66 20 66 69 6c 65 0a 09 09 09 09 09 69 66 20 6c f file......if l
1520: 65 6e 28 6e 65 77 5f 62 75 66 66 65 72 29 20 3d en(new_buffer) =
1530: 3d 20 30 3a 0a 09 09 09 09 09 09 65 6f 66 20 3d = 0:.......eof =
1540: 20 54 72 75 65 0a 09 09 09 09 09 65 6c 73 65 3a True......else:
1550: 0a 09 09 09 09 09 09 23 20 61 64 64 69 6e 67 20 .......# adding
1560: 63 75 72 72 65 6e 74 20 62 75 66 66 65 72 20 74 current buffer t
1570: 6f 20 6f 6c 64 20 62 75 66 66 65 72 20 72 65 6d o old buffer rem
1580: 61 69 6e 73 0a 09 09 09 09 09 09 62 75 66 66 65 ains.......buffe
1590: 72 20 2b 3d 20 6e 65 77 5f 62 75 66 66 65 72 0a r += new_buffer.
15a0: 09 09 09 09 09 09 23 20 73 70 6c 69 74 74 69 6e ......# splittin
15b0: 67 20 74 6f 20 6c 69 6e 65 73 0a 09 09 09 09 09 g to lines......
15c0: 09 6c 69 6e 65 73 20 3d 20 62 75 66 66 65 72 2e .lines = buffer.
15d0: 73 70 6c 69 74 28 27 5c 6e 27 29 0a 09 09 09 09 split('\n').....
15e0: 09 09 23 20 6c 61 73 74 20 6c 69 6e 65 20 74 68 ..# last line th
15f0: 61 74 20 77 61 73 20 6e 6f 74 20 74 65 72 6d 69 at was not termi
1600: 6e 61 74 65 20 62 79 20 6e 65 77 6c 69 6e 65 20 nate by newline
1610: 72 65 74 75 72 6e 73 20 74 6f 20 62 75 66 66 65 returns to buffe
1620: 72 0a 09 09 09 09 09 09 62 75 66 66 65 72 20 3d r.......buffer =
1630: 20 6c 69 6e 65 73 5b 2d 31 5d 0a 09 09 09 09 09 lines[-1]......
1640: 09 23 20 61 6e 20 6f 6e 6c 79 20 69 66 20 74 68 .# an only if th
1650: 65 72 65 20 77 61 73 20 61 74 20 6c 65 61 73 74 ere was at least
1660: 20 6f 6e 65 20 6e 65 77 6c 69 6e 65 0a 09 09 09 one newline....
1670: 09 09 09 69 66 20 6c 65 6e 28 6c 69 6e 65 73 29 ...if len(lines)
1680: 20 3e 20 31 3a 0a 09 09 09 09 09 09 09 66 6f 72 > 1:........for
1690: 20 6c 69 6e 65 20 69 6e 20 6c 69 6e 65 73 5b 3a line in lines[:
16a0: 2d 31 5d 3a 0a 09 09 09 09 09 09 09 09 23 20 61 -1]:.........# a
16b0: 64 64 20 64 61 74 61 20 74 6f 20 74 68 65 20 71 dd data to the q
16c0: 75 65 75 65 0a 09 09 09 09 09 09 09 09 69 66 20 ueue.........if
16d0: 73 65 6c 66 2e 63 68 65 63 6b 28 6c 69 6e 65 20 self.check(line
16e0: 2b 20 27 5c 6e 27 29 3a 0a 09 09 09 09 09 09 09 + '\n'):........
16f0: 09 09 23 20 64 6f 6e 27 74 20 77 61 69 74 20 66 ..# don't wait f
1700: 6f 72 20 6d 6f 72 65 20 64 61 74 61 2c 20 73 74 or more data, st
1710: 61 72 74 20 70 72 6f 63 65 73 73 69 6e 67 0a 09 art processing..
1720: 09 09 09 09 09 09 09 09 74 69 6d 65 6f 75 74 20 ........timeout
1730: 3d 20 30 0a 09 09 09 65 6c 73 65 3a 0a 09 09 09 = 0....else:....
1740: 09 69 66 20 6c 65 6e 28 73 65 6c 66 2e 5f 71 75 .if len(self._qu
1750: 65 75 65 29 20 3e 20 30 3a 0a 09 09 09 09 09 72 eue) > 0:......r
1760: 65 71 20 3d 20 73 65 6c 66 2e 5f 71 75 65 75 65 eq = self._queue
1770: 2e 70 6f 70 28 30 29 0a 09 09 09 09 09 43 68 65 .pop(0)......Che
1780: 63 6b 65 72 2e 70 72 6f 63 65 73 73 28 73 65 6c cker.process(sel
1790: 66 2c 20 72 65 71 5b 30 5d 2c 20 72 65 71 5b 31 f, req[0], req[1
17a0: 5d 2c 20 72 65 71 5b 32 5d 2c 20 72 65 71 5b 33 ], req[2], req[3
17b0: 5d 29 0a 09 09 09 09 09 69 66 20 6c 65 6e 28 73 ])......if len(s
17c0: 65 6c 66 2e 5f 71 75 65 75 65 29 20 3d 3d 20 30 elf._queue) == 0
17d0: 3a 0a 09 09 09 09 09 09 23 20 77 61 69 74 20 66 :.......# wait f
17e0: 6f 72 20 64 61 74 61 20 2d 20 77 65 20 68 61 76 or data - we hav
17f0: 65 20 6e 6f 74 68 69 6e 67 20 74 6f 20 70 72 6f e nothing to pro
1800: 63 65 73 73 0a 09 09 09 09 09 09 74 69 6d 65 6f cess.......timeo
1810: 75 74 20 3d 20 4e 6f 6e 65 0a 09 09 09 09 65 6c ut = None.....el
1820: 69 66 20 65 6f 66 3a 0a 09 09 09 09 09 62 72 65 if eof:......bre
1830: 61 6b 0a 0a 09 64 65 66 20 70 72 6f 63 65 73 73 ak...def process
1840: 28 73 65 6c 66 2c 20 69 64 2c 20 73 69 74 65 2c (self, id, site,
1850: 20 69 70 5f 61 64 64 72 65 73 73 2c 20 75 72 6c ip_address, url
1860: 5f 70 61 74 68 2c 20 6c 69 6e 65 29 3a 0a 09 09 _path, line):...
1870: 23 20 73 69 6d 70 6c 79 20 61 64 64 69 6e 67 20 # simply adding
1880: 64 61 74 61 20 74 6f 20 74 68 65 20 71 75 65 75 data to the queu
1890: 65 0a 09 09 73 65 6c 66 2e 5f 71 75 65 75 65 2e e...self._queue.
18a0: 61 70 70 65 6e 64 28 28 69 64 2c 20 73 69 74 65 append((id, site
18b0: 2c 20 69 70 5f 61 64 64 72 65 73 73 2c 20 75 72 , ip_address, ur
18c0: 6c 5f 70 61 74 68 29 29 0a 09 09 73 65 6c 66 2e l_path))...self.
18d0: 5f 6c 6f 67 2e 69 6e 66 6f 28 27 72 65 71 75 65 _log.info('reque
18e0: 73 74 20 7b 7d 20 71 75 65 75 65 64 20 28 7b 7d st {} queued ({}
18f0: 29 5c 6e 27 2e 66 6f 72 6d 61 74 28 69 64 2c 20 )\n'.format(id,
1900: 6c 69 6e 65 29 29 0a 0a 23 20 74 68 69 73 20 63 line))..# this c
1910: 6c 61 73 73 65 73 20 70 72 6f 63 65 73 73 65 73 lasses processes
1920: 20 63 6f 6e 66 69 67 20 66 69 6c 65 20 61 6e 64 config file and
1930: 20 73 75 62 73 74 69 74 75 74 65 73 20 64 65 66 substitutes def
1940: 61 75 6c 74 20 76 61 6c 75 65 73 0a 63 6c 61 73 ault values.clas
1950: 73 20 43 6f 6e 66 69 67 3a 0a 09 5f 5f 73 6c 6f s Config:..__slo
1960: 74 73 5f 5f 20 3d 20 66 72 6f 7a 65 6e 73 65 74 ts__ = frozenset
1970: 28 5b 27 5f 63 6f 6e 66 69 67 27 2c 20 27 5f 64 (['_config', '_d
1980: 65 66 61 75 6c 74 27 2c 20 27 5f 73 65 63 74 69 efault', '_secti
1990: 6f 6e 27 5d 29 0a 09 5f 64 65 66 61 75 6c 74 20 on']).._default
19a0: 3d 20 7b 0a 09 09 27 72 65 61 63 74 6f 72 27 3a = {...'reactor':
19b0: 20 7b 0a 09 09 09 27 72 65 61 63 74 6f 72 27 3a {....'reactor':
19c0: 20 27 74 68 72 65 61 64 27 2c 0a 09 09 7d 2c 0a 'thread',...},.
19d0: 09 09 27 6c 6f 67 27 3a 20 7b 0a 09 09 09 27 73 ..'log': {....'s
19e0: 69 6c 65 6e 74 27 3a 20 27 6e 6f 27 2c 0a 09 09 ilent': 'no',...
19f0: 7d 2c 0a 09 09 27 64 61 74 61 62 61 73 65 27 3a },...'database':
1a00: 20 7b 0a 09 09 09 27 68 6f 73 74 27 3a 20 27 6c {....'host': 'l
1a10: 6f 63 61 6c 68 6f 73 74 27 2c 0a 09 09 09 27 64 ocalhost',....'d
1a20: 61 74 61 62 61 73 65 27 3a 20 27 73 71 75 69 64 atabase': 'squid
1a30: 54 61 67 27 2c 0a 09 7d 2c 7d 0a 0a 09 23 20 66 Tag',..},}...# f
1a40: 75 6e 63 74 69 6f 6e 20 74 6f 20 72 65 61 64 20 unction to read
1a50: 69 6e 20 63 6f 6e 66 69 67 20 66 69 6c 65 0a 09 in config file..
1a60: 64 65 66 20 5f 5f 69 6e 69 74 5f 5f 28 73 65 6c def __init__(sel
1a70: 66 29 3a 0a 09 09 70 61 72 73 65 72 20 3d 20 6f f):...parser = o
1a80: 70 74 70 61 72 73 65 2e 4f 70 74 69 6f 6e 50 61 ptparse.OptionPa
1a90: 72 73 65 72 28 29 0a 09 09 70 61 72 73 65 72 2e rser()...parser.
1aa0: 61 64 64 5f 6f 70 74 69 6f 6e 28 27 2d 63 27 2c add_option('-c',
1ab0: 20 27 2d 2d 63 6f 6e 66 69 67 27 2c 20 64 65 73 '--config', des
1ac0: 74 20 3d 20 27 63 6f 6e 66 69 67 27 2c 0a 09 09 t = 'config',...
1ad0: 09 68 65 6c 70 20 3d 20 27 63 6f 6e 66 69 67 20 .help = 'config
1ae0: 66 69 6c 65 20 6c 6f 63 61 74 69 6f 6e 27 2c 20 file location',
1af0: 6d 65 74 61 76 61 72 20 3d 20 27 46 49 4c 45 27 metavar = 'FILE'
1b00: 2c 0a 09 09 09 64 65 66 61 75 6c 74 20 3d 20 27 ,....default = '
1b10: 2f 75 73 72 2f 6c 6f 63 61 6c 2f 65 74 63 2f 73 /usr/local/etc/s
1b20: 71 75 69 64 2d 74 61 67 67 65 72 2e 63 6f 6e 66 quid-tagger.conf
1b30: 27 29 0a 0a 09 09 28 6f 70 74 69 6f 6e 73 2c 20 ')....(options,
1b40: 61 72 67 73 29 20 3d 20 70 61 72 73 65 72 2e 70 args) = parser.p
1b50: 61 72 73 65 5f 61 72 67 73 28 29 0a 0a 09 09 69 arse_args()....i
1b60: 66 20 6e 6f 74 20 6f 73 2e 61 63 63 65 73 73 28 f not os.access(
1b70: 6f 70 74 69 6f 6e 73 2e 63 6f 6e 66 69 67 2c 20 options.config,
1b80: 6f 73 2e 52 5f 4f 4b 29 3a 0a 09 09 09 70 72 69 os.R_OK):....pri
1b90: 6e 74 28 22 43 61 6e 27 74 20 72 65 61 64 20 7b nt("Can't read {
1ba0: 7d 3a 20 65 78 69 74 74 69 6e 67 22 2e 66 6f 72 }: exitting".for
1bb0: 6d 61 74 28 6f 70 74 69 6f 6e 73 2e 63 6f 6e 66 mat(options.conf
1bc0: 69 67 29 29 0a 09 09 09 73 79 73 2e 65 78 69 74 ig))....sys.exit
1bd0: 28 32 29 0a 0a 09 09 73 65 6c 66 2e 5f 63 6f 6e (2)....self._con
1be0: 66 69 67 20 3d 20 63 6f 6e 66 69 67 70 61 72 73 fig = configpars
1bf0: 65 72 2e 43 6f 6e 66 69 67 50 61 72 73 65 72 28 er.ConfigParser(
1c00: 29 0a 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 )...self._config
1c10: 2e 72 65 61 64 66 70 28 6f 70 65 6e 28 6f 70 74 .readfp(open(opt
1c20: 69 6f 6e 73 2e 63 6f 6e 66 69 67 29 29 0a 0a 09 ions.config))...
1c30: 23 20 66 75 6e 63 74 69 6f 6e 20 74 6f 20 73 65 # function to se
1c40: 6c 65 63 74 20 63 6f 6e 66 69 67 20 66 69 6c 65 lect config file
1c50: 20 73 65 63 74 69 6f 6e 20 6f 72 20 63 72 65 61 section or crea
1c60: 74 65 20 6f 6e 65 0a 09 64 65 66 20 73 65 63 74 te one..def sect
1c70: 69 6f 6e 28 73 65 6c 66 2c 20 73 65 63 74 69 6f ion(self, sectio
1c80: 6e 29 3a 0a 09 09 69 66 20 6e 6f 74 20 73 65 6c n):...if not sel
1c90: 66 2e 5f 63 6f 6e 66 69 67 2e 68 61 73 5f 73 65 f._config.has_se
1ca0: 63 74 69 6f 6e 28 73 65 63 74 69 6f 6e 29 3a 0a ction(section):.
1cb0: 09 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e ...self._config.
1cc0: 61 64 64 5f 73 65 63 74 69 6f 6e 28 73 65 63 74 add_section(sect
1cd0: 69 6f 6e 29 0a 09 09 73 65 6c 66 2e 5f 73 65 63 ion)...self._sec
1ce0: 74 69 6f 6e 20 3d 20 73 65 63 74 69 6f 6e 0a 0a tion = section..
1cf0: 09 23 20 66 75 6e 63 74 69 6f 6e 20 74 6f 20 67 .# function to g
1d00: 65 74 20 63 6f 6e 66 69 67 20 70 61 72 61 6d 65 et config parame
1d10: 74 65 72 2c 20 69 66 20 70 61 72 61 6d 65 74 65 ter, if paramete
1d20: 72 20 64 6f 65 73 6e 27 74 20 65 78 69 73 74 73 r doesn't exists
1d30: 20 74 68 65 20 64 65 66 61 75 6c 74 0a 09 23 20 the default..#
1d40: 76 61 6c 75 65 20 6f 72 20 4e 6f 6e 65 20 69 73 value or None is
1d50: 20 73 75 62 73 74 69 74 75 74 65 64 0a 09 64 65 substituted..de
1d60: 66 20 5f 5f 67 65 74 69 74 65 6d 5f 5f 28 73 65 f __getitem__(se
1d70: 6c 66 2c 20 6e 61 6d 65 29 3a 0a 09 09 69 66 20 lf, name):...if
1d80: 6e 6f 74 20 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 not self._config
1d90: 2e 68 61 73 5f 6f 70 74 69 6f 6e 28 73 65 6c 66 .has_option(self
1da0: 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e 61 6d 65 29 ._section, name)
1db0: 3a 0a 09 09 09 69 66 20 73 65 6c 66 2e 5f 73 65 :....if self._se
1dc0: 63 74 69 6f 6e 20 69 6e 20 73 65 6c 66 2e 5f 64 ction in self._d
1dd0: 65 66 61 75 6c 74 3a 0a 09 09 09 09 69 66 20 6e efault:.....if n
1de0: 61 6d 65 20 69 6e 20 73 65 6c 66 2e 5f 64 65 66 ame in self._def
1df0: 61 75 6c 74 5b 73 65 6c 66 2e 5f 73 65 63 74 69 ault[self._secti
1e00: 6f 6e 5d 3a 0a 09 09 09 09 09 73 65 6c 66 2e 5f on]:......self._
1e10: 63 6f 6e 66 69 67 2e 73 65 74 28 73 65 6c 66 2e config.set(self.
1e20: 5f 73 65 63 74 69 6f 6e 2c 20 6e 61 6d 65 2c 20 _section, name,
1e30: 73 65 6c 66 2e 5f 64 65 66 61 75 6c 74 5b 73 65 self._default[se
1e40: 6c 66 2e 5f 73 65 63 74 69 6f 6e 5d 5b 6e 61 6d lf._section][nam
1e50: 65 5d 29 0a 09 09 09 09 65 6c 73 65 3a 0a 09 09 e]).....else:...
1e60: 09 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e ...self._config.
1e70: 73 65 74 28 73 65 6c 66 2e 5f 73 65 63 74 69 6f set(self._sectio
1e80: 6e 2c 20 6e 61 6d 65 2c 20 4e 6f 6e 65 29 0a 09 n, name, None)..
1e90: 09 09 65 6c 73 65 3a 0a 09 09 09 09 73 65 6c 66 ..else:.....self
1ea0: 2e 5f 63 6f 6e 66 69 67 2e 73 65 74 28 73 65 6c ._config.set(sel
1eb0: 66 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e 61 6d 65 f._section, name
1ec0: 2c 20 4e 6f 6e 65 29 0a 09 09 72 65 74 75 72 6e , None)...return
1ed0: 28 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 67 65 (self._config.ge
1ee0: 74 28 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 2c t(self._section,
1ef0: 20 6e 61 6d 65 29 29 0a 0a 23 20 69 6e 69 74 69 name))..# initi
1f00: 61 6c 69 7a 69 6e 67 20 61 6e 64 20 72 65 61 64 alizing and read
1f10: 69 6e 67 20 69 6e 20 63 6f 6e 66 69 67 20 66 69 ing in config fi
1f20: 6c 65 0a 63 6f 6e 66 69 67 20 3d 20 43 6f 6e 66 le.config = Conf
1f30: 69 67 28 29 0a 0a 63 6f 6e 66 69 67 2e 73 65 63 ig()..config.sec
1f40: 74 69 6f 6e 28 27 72 65 61 63 74 6f 72 27 29 0a tion('reactor').
1f50: 69 66 20 63 6f 6e 66 69 67 5b 27 72 65 61 63 74 if config['react
1f60: 6f 72 27 5d 20 3d 3d 20 27 74 68 72 65 61 64 27 or'] == 'thread'
1f70: 3a 0a 09 63 68 65 63 6b 65 72 20 3d 20 43 68 65 :..checker = Che
1f80: 63 6b 65 72 54 68 72 65 61 64 28 29 0a 65 6c 69 ckerThread().eli
1f90: 66 20 63 6f 6e 66 69 67 5b 27 72 65 61 63 74 6f f config['reacto
1fa0: 72 27 5d 20 3d 3d 20 27 70 6c 61 69 6e 27 3a 0a r'] == 'plain':.
1fb0: 09 63 68 65 63 6b 65 72 20 3d 20 43 68 65 63 6b .checker = Check
1fc0: 65 72 28 29 0a 65 6c 69 66 20 63 6f 6e 66 69 67 er().elif config
1fd0: 5b 27 72 65 61 63 74 6f 72 27 5d 20 3d 3d 20 27 ['reactor'] == '
1fe0: 6b 71 75 65 75 65 27 3a 0a 09 63 68 65 63 6b 65 kqueue':..checke
1ff0: 72 20 3d 20 43 68 65 63 6b 65 72 4b 71 75 65 75 r = CheckerKqueu
2000: 65 28 29 0a 0a 63 68 65 63 6b 65 72 2e 6c 6f 6f e()..checker.loo
2010: 70 28 29 0a p().