0000: 23 21 2f 75 73 72 2f 62 69 6e 2f 65 6e 76 20 70 #!/usr/bin/env p
0010: 79 74 68 6f 6e 33 2e 31 0a 0a 69 6d 70 6f 72 74 ython3.1..import
0020: 20 63 6f 6e 66 69 67 70 61 72 73 65 72 2c 20 6f configparser, o
0030: 70 74 70 61 72 73 65 2c 20 6f 73 2c 20 70 6f 73 ptparse, os, pos
0040: 74 67 72 65 73 71 6c 2e 61 70 69 2c 20 72 65 2c tgresql.api, re,
0050: 20 73 79 73 2c 20 5f 74 68 72 65 61 64 0a 0a 23 sys, _thread..#
0060: 20 77 72 61 70 70 65 72 20 61 72 6f 75 6e 64 20 wrapper around
0070: 73 79 73 6c 6f 67 2c 20 63 61 6e 20 62 65 20 6d syslog, can be m
0080: 75 74 65 64 0a 63 6c 61 73 73 20 4c 6f 67 67 65 uted.class Logge
0090: 72 3a 0a 09 5f 5f 73 6c 6f 74 73 5f 5f 20 3d 20 r:..__slots__ =
00a0: 66 72 6f 7a 65 6e 73 65 74 28 5b 27 5f 73 79 73 frozenset(['_sys
00b0: 6c 6f 67 27 5d 29 0a 0a 09 64 65 66 20 5f 5f 69 log'])...def __i
00c0: 6e 69 74 5f 5f 28 73 65 6c 66 29 3a 0a 09 09 63 nit__(self):...c
00d0: 6f 6e 66 69 67 2e 73 65 63 74 69 6f 6e 28 27 6c onfig.section('l
00e0: 6f 67 27 29 0a 09 09 69 66 20 63 6f 6e 66 69 67 og')...if config
00f0: 5b 27 73 69 6c 65 6e 74 27 5d 20 3d 3d 20 27 79 ['silent'] == 'y
0100: 65 73 27 3a 0a 09 09 09 73 65 6c 66 2e 5f 73 79 es':....self._sy
0110: 73 6c 6f 67 20 3d 20 4e 6f 6e 65 0a 09 09 65 6c slog = None...el
0120: 73 65 3a 0a 09 09 09 69 6d 70 6f 72 74 20 73 79 se:....import sy
0130: 73 6c 6f 67 0a 09 09 09 73 65 6c 66 2e 5f 73 79 slog....self._sy
0140: 73 6c 6f 67 20 3d 20 73 79 73 6c 6f 67 0a 09 09 slog = syslog...
0150: 09 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 2e 6f 70 .self._syslog.op
0160: 65 6e 6c 6f 67 28 27 73 71 75 69 64 54 61 67 27 enlog('squidTag'
0170: 29 0a 0a 09 64 65 66 20 69 6e 66 6f 28 73 65 6c )...def info(sel
0180: 66 2c 20 6d 65 73 73 61 67 65 29 3a 0a 09 09 69 f, message):...i
0190: 66 20 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 3a 0a f self._syslog:.
01a0: 09 09 09 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 2e ...self._syslog.
01b0: 73 79 73 6c 6f 67 28 73 65 6c 66 2e 5f 73 79 73 syslog(self._sys
01c0: 6c 6f 67 2e 4c 4f 47 5f 49 4e 46 4f 2c 20 6d 65 log.LOG_INFO, me
01d0: 73 73 61 67 65 29 0a 0a 09 64 65 66 20 6e 6f 74 ssage)...def not
01e0: 69 63 65 28 73 65 6c 66 2c 20 6d 65 73 73 61 67 ice(self, messag
01f0: 65 29 3a 0a 09 09 69 66 20 73 65 6c 66 2e 5f 73 e):...if self._s
0200: 79 73 6c 6f 67 3a 0a 09 09 09 73 65 6c 66 2e 5f yslog:....self._
0210: 73 79 73 6c 6f 67 2e 73 79 73 6c 6f 67 28 73 65 syslog.syslog(se
0220: 6c 66 2e 5f 73 79 73 6c 6f 67 2e 4c 4f 47 5f 4e lf._syslog.LOG_N
0230: 4f 54 49 43 45 2c 20 6d 65 73 73 61 67 65 29 0a OTICE, message).
0240: 0a 23 20 77 72 61 70 70 65 72 20 61 72 6f 75 6e .# wrapper aroun
0250: 64 20 64 61 74 61 62 61 73 65 0a 63 6c 61 73 73 d database.class
0260: 20 74 61 67 44 42 3a 0a 09 5f 5f 73 6c 6f 74 73 tagDB:..__slots
0270: 5f 5f 20 3d 20 66 72 6f 7a 65 6e 73 65 74 28 5b __ = frozenset([
0280: 27 5f 70 72 65 70 61 72 65 64 27 2c 20 27 5f 63 '_prepared', '_c
0290: 68 65 63 6b 5f 73 74 6d 74 27 2c 20 27 5f 64 62 heck_stmt', '_db
02a0: 27 5d 29 0a 0a 09 64 65 66 20 5f 5f 69 6e 69 74 '])...def __init
02b0: 5f 5f 28 73 65 6c 66 29 3a 0a 09 09 73 65 6c 66 __(self):...self
02c0: 2e 5f 70 72 65 70 61 72 65 64 20 3d 20 73 65 74 ._prepared = set
02d0: 28 29 0a 09 09 73 65 6c 66 2e 5f 64 62 20 3d 20 ()...self._db =
02e0: 46 61 6c 73 65 0a 09 09 73 65 6c 66 2e 5f 63 68 False...self._ch
02f0: 65 63 6b 5f 73 74 6d 74 20 3d 20 73 65 6c 66 2e eck_stmt = self.
0300: 5f 63 75 72 73 28 29 2e 70 72 65 70 61 72 65 28 _curs().prepare(
0310: 22 73 65 6c 65 63 74 20 72 65 64 69 72 65 63 74 "select redirect
0320: 5f 75 72 6c 2c 20 72 65 67 65 78 70 20 66 72 6f _url, regexp fro
0330: 6d 20 73 69 74 65 5f 72 75 6c 65 20 77 68 65 72 m site_rule wher
0340: 65 20 73 69 74 65 20 3c 40 20 74 72 69 70 64 6f e site <@ tripdo
0350: 6d 61 69 6e 28 24 31 29 20 61 6e 64 20 6e 65 74 main($1) and net
0360: 6d 61 73 6b 20 3e 3e 20 24 32 3a 3a 74 65 78 74 mask >> $2::text
0370: 3a 3a 69 6e 65 74 20 6f 72 64 65 72 20 62 79 20 ::inet order by
0380: 61 72 72 61 79 5f 6c 65 6e 67 74 68 28 73 69 74 array_length(sit
0390: 65 2c 20 31 29 20 64 65 73 63 22 29 0a 0a 09 64 e, 1) desc")...d
03a0: 65 66 20 5f 63 75 72 73 28 73 65 6c 66 29 3a 0a ef _curs(self):.
03b0: 09 09 69 66 20 6e 6f 74 20 73 65 6c 66 2e 5f 64 ..if not self._d
03c0: 62 3a 0a 09 09 09 63 6f 6e 66 69 67 2e 73 65 63 b:....config.sec
03d0: 74 69 6f 6e 28 27 64 61 74 61 62 61 73 65 27 29 tion('database')
03e0: 0a 09 09 09 73 65 6c 66 2e 5f 64 62 20 3d 20 70 ....self._db = p
03f0: 6f 73 74 67 72 65 73 71 6c 2e 6f 70 65 6e 28 0a ostgresql.open(.
0400: 09 09 09 09 27 70 71 3a 2f 2f 7b 7d 3a 7b 7d 40 ....'pq://{}:{}@
0410: 7b 7d 2f 7b 7d 27 2e 66 6f 72 6d 61 74 28 0a 09 {}/{}'.format(..
0420: 09 09 09 09 63 6f 6e 66 69 67 5b 27 75 73 65 72 ....config['user
0430: 27 5d 2c 0a 09 09 09 09 09 63 6f 6e 66 69 67 5b '],......config[
0440: 27 70 61 73 73 77 6f 72 64 27 5d 2c 0a 09 09 09 'password'],....
0450: 09 09 63 6f 6e 66 69 67 5b 27 68 6f 73 74 27 5d ..config['host']
0460: 2c 0a 09 09 09 09 09 63 6f 6e 66 69 67 5b 27 64 ,......config['d
0470: 61 74 61 62 61 73 65 27 5d 2c 0a 09 09 09 29 20 atabase'],....)
0480: 29 0a 09 09 72 65 74 75 72 6e 28 73 65 6c 66 2e )...return(self.
0490: 5f 64 62 29 0a 0a 09 64 65 66 20 63 68 65 63 6b _db)...def check
04a0: 28 73 65 6c 66 2c 20 73 69 74 65 2c 20 69 70 5f (self, site, ip_
04b0: 61 64 64 72 65 73 73 29 3a 0a 09 09 72 65 74 75 address):...retu
04c0: 72 6e 28 73 65 6c 66 2e 5f 63 68 65 63 6b 5f 73 rn(self._check_s
04d0: 74 6d 74 28 73 69 74 65 2c 20 69 70 5f 61 64 64 tmt(site, ip_add
04e0: 72 65 73 73 29 29 0a 0a 23 20 61 62 73 74 72 61 ress))..# abstra
04f0: 63 74 20 63 6c 61 73 73 20 77 69 74 68 20 62 61 ct class with ba
0500: 73 69 63 20 63 68 65 63 6b 69 6e 67 20 66 75 6e sic checking fun
0510: 63 74 69 6f 6e 61 6c 69 74 79 0a 63 6c 61 73 73 ctionality.class
0520: 20 43 68 65 63 6b 65 72 3a 0a 09 5f 5f 73 6c 6f Checker:..__slo
0530: 74 73 5f 5f 20 3d 20 66 72 6f 7a 65 6e 73 65 74 ts__ = frozenset
0540: 28 5b 27 5f 64 62 27 2c 20 27 5f 6c 6f 67 27 5d (['_db', '_log']
0550: 29 0a 0a 09 64 65 66 20 5f 5f 69 6e 69 74 5f 5f )...def __init__
0560: 28 73 65 6c 66 29 3a 0a 09 09 73 65 6c 66 2e 5f (self):...self._
0570: 64 62 20 3d 20 74 61 67 44 42 28 29 0a 09 09 73 db = tagDB()...s
0580: 65 6c 66 2e 5f 6c 6f 67 20 3d 20 4c 6f 67 67 65 elf._log = Logge
0590: 72 28 29 0a 0a 09 64 65 66 20 70 72 6f 63 65 73 r()...def proces
05a0: 73 28 73 65 6c 66 2c 20 69 64 2c 20 73 69 74 65 s(self, id, site
05b0: 2c 20 69 70 5f 61 64 64 72 65 73 73 2c 20 75 72 , ip_address, ur
05c0: 6c 5f 70 61 74 68 2c 20 6c 69 6e 65 20 3d 20 4e l_path, line = N
05d0: 6f 6e 65 29 3a 0a 09 09 73 65 6c 66 2e 5f 6c 6f one):...self._lo
05e0: 67 2e 69 6e 66 6f 28 27 74 72 79 69 6e 67 20 7b g.info('trying {
05f0: 7d 5c 6e 27 2e 66 6f 72 6d 61 74 28 73 69 74 65 }\n'.format(site
0600: 29 29 0a 09 09 72 65 73 75 6c 74 20 3d 20 73 65 ))...result = se
0610: 6c 66 2e 5f 64 62 2e 63 68 65 63 6b 28 73 69 74 lf._db.check(sit
0620: 65 2c 20 69 70 5f 61 64 64 72 65 73 73 29 0a 09 e, ip_address)..
0630: 09 23 72 65 70 6c 79 20 3d 20 27 7b 7d 3a 2f 2f .#reply = '{}://
0640: 7b 7d 2f 7b 7d 27 2e 66 6f 72 6d 61 74 28 72 65 {}/{}'.format(re
0650: 71 5b 34 5d 2c 20 72 65 71 5b 31 5d 2c 20 72 65 q[4], req[1], re
0660: 71 5b 33 5d 29 0a 09 09 72 65 70 6c 79 20 3d 20 q[3])...reply =
0670: 27 2d 27 0a 09 09 66 6f 72 20 72 6f 77 20 69 6e '-'...for row in
0680: 20 72 65 73 75 6c 74 3a 0a 09 09 09 69 66 20 72 result:....if r
0690: 6f 77 20 21 3d 20 4e 6f 6e 65 20 61 6e 64 20 72 ow != None and r
06a0: 6f 77 5b 30 5d 20 21 3d 20 4e 6f 6e 65 3a 0a 09 ow[0] != None:..
06b0: 09 09 09 69 66 20 72 6f 77 5b 31 5d 20 21 3d 20 ...if row[1] !=
06c0: 4e 6f 6e 65 3a 0a 09 09 09 09 09 73 65 6c 66 2e None:......self.
06d0: 5f 6c 6f 67 2e 69 6e 66 6f 28 27 74 72 79 69 6e _log.info('tryin
06e0: 67 20 72 65 67 65 78 70 20 22 7b 7d 22 20 76 65 g regexp "{}" ve
06f0: 72 73 75 73 20 22 7b 7d 22 5c 6e 27 2e 66 6f 72 rsus "{}"\n'.for
0700: 6d 61 74 28 72 6f 77 5b 31 5d 2c 20 75 72 6c 5f mat(row[1], url_
0710: 70 61 74 68 29 29 0a 09 09 09 09 09 69 66 20 72 path))......if r
0720: 65 2e 63 6f 6d 70 69 6c 65 28 72 6f 77 5b 31 5d e.compile(row[1]
0730: 29 2e 6d 61 74 63 68 28 75 72 6c 5f 70 61 74 68 ).match(url_path
0740: 29 3a 0a 09 09 09 09 09 09 72 65 70 6c 79 20 3d ):.......reply =
0750: 20 27 33 30 32 3a 27 20 2b 20 72 6f 77 5b 30 5d '302:' + row[0]
0760: 0a 09 09 09 09 09 09 62 72 65 61 6b 0a 09 09 09 .......break....
0770: 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 63 6f ..else:.......co
0780: 6e 74 69 6e 75 65 0a 09 09 09 09 65 6c 73 65 3a ntinue.....else:
0790: 0a 09 09 09 09 09 72 65 70 6c 79 20 3d 20 27 33 ......reply = '3
07a0: 30 32 3a 27 20 2b 20 72 6f 77 5b 30 5d 0a 09 09 02:' + row[0]...
07b0: 09 09 09 62 72 65 61 6b 0a 09 09 73 65 6c 66 2e ...break...self.
07c0: 77 72 69 74 65 6c 69 6e 65 28 27 7b 7d 20 7b 7d writeline('{} {}
07d0: 5c 6e 27 2e 66 6f 72 6d 61 74 28 69 64 2c 20 72 \n'.format(id, r
07e0: 65 70 6c 79 29 29 0a 0a 09 64 65 66 20 63 68 65 eply))...def che
07f0: 63 6b 28 73 65 6c 66 2c 20 6c 69 6e 65 29 3a 0a ck(self, line):.
0800: 09 09 72 65 71 75 65 73 74 20 3d 20 72 65 2e 63 ..request = re.c
0810: 6f 6d 70 69 6c 65 28 27 5e 28 5b 30 2d 39 5d 2b ompile('^([0-9]+
0820: 29 5c 20 28 68 74 74 70 7c 66 74 70 29 3a 5c 2f )\ (http|ftp):\/
0830: 5c 2f 28 5b 2d 5c 77 2e 3a 5d 2b 29 5c 2f 28 5b \/([-\w.:]+)\/([
0840: 5e 20 5d 2a 29 5c 20 28 5b 30 2d 39 2e 5d 2b 29 ^ ]*)\ ([0-9.]+)
0850: 5c 2f 28 2d 7c 5b 5c 77 5c 2e 5d 2b 29 5c 20 28 \/(-|[\w\.]+)\ (
0860: 2d 7c 5c 77 2b 29 5c 20 28 2d 7c 47 45 54 7c 48 -|\w+)\ (-|GET|H
0870: 45 41 44 7c 50 4f 53 54 29 2e 2a 24 27 29 2e 6d EAD|POST).*$').m
0880: 61 74 63 68 28 6c 69 6e 65 29 0a 09 09 69 66 20 atch(line)...if
0890: 72 65 71 75 65 73 74 3a 0a 09 09 09 69 64 20 3d request:....id =
08a0: 20 72 65 71 75 65 73 74 2e 67 72 6f 75 70 28 31 request.group(1
08b0: 29 0a 09 09 09 23 70 72 6f 74 6f 20 3d 20 72 65 )....#proto = re
08c0: 71 75 65 73 74 2e 67 72 6f 75 70 28 32 29 0a 09 quest.group(2)..
08d0: 09 09 73 69 74 65 20 3d 20 72 65 71 75 65 73 74 ..site = request
08e0: 2e 67 72 6f 75 70 28 33 29 0a 09 09 09 75 72 6c .group(3)....url
08f0: 5f 70 61 74 68 20 3d 20 72 65 71 75 65 73 74 2e _path = request.
0900: 67 72 6f 75 70 28 34 29 0a 09 09 09 69 70 5f 61 group(4)....ip_a
0910: 64 64 72 65 73 73 20 3d 20 72 65 71 75 65 73 74 ddress = request
0920: 2e 67 72 6f 75 70 28 35 29 0a 09 09 09 73 65 6c .group(5)....sel
0930: 66 2e 70 72 6f 63 65 73 73 28 69 64 2c 20 73 69 f.process(id, si
0940: 74 65 2c 20 69 70 5f 61 64 64 72 65 73 73 2c 20 te, ip_address,
0950: 75 72 6c 5f 70 61 74 68 2c 20 6c 69 6e 65 29 0a url_path, line).
0960: 09 09 65 6c 73 65 3a 0a 09 09 09 73 65 6c 66 2e ..else:....self.
0970: 5f 6c 6f 67 2e 69 6e 66 6f 28 27 62 61 64 20 72 _log.info('bad r
0980: 65 71 75 65 73 74 5c 6e 27 29 0a 09 09 09 73 65 equest\n')....se
0990: 6c 66 2e 77 72 69 74 65 6c 69 6e 65 28 6c 69 6e lf.writeline(lin
09a0: 65 29 0a 0a 09 64 65 66 20 77 72 69 74 65 6c 69 e)...def writeli
09b0: 6e 65 28 73 65 6c 66 2c 20 73 74 72 69 6e 67 29 ne(self, string)
09c0: 3a 0a 09 09 73 65 6c 66 2e 5f 6c 6f 67 2e 69 6e :...self._log.in
09d0: 66 6f 28 27 73 65 6e 64 69 6e 67 3a 20 27 20 2b fo('sending: ' +
09e0: 20 73 74 72 69 6e 67 29 0a 09 09 73 79 73 2e 73 string)...sys.s
09f0: 74 64 6f 75 74 2e 77 72 69 74 65 28 73 74 72 69 tdout.write(stri
0a00: 6e 67 29 0a 09 09 73 79 73 2e 73 74 64 6f 75 74 ng)...sys.stdout
0a10: 2e 66 6c 75 73 68 28 29 0a 0a 09 64 65 66 20 6c .flush()...def l
0a20: 6f 6f 70 28 73 65 6c 66 29 3a 0a 09 09 77 68 69 oop(self):...whi
0a30: 6c 65 20 54 72 75 65 3a 0a 09 09 09 6c 69 6e 65 le True:....line
0a40: 20 3d 20 73 79 73 2e 73 74 64 69 6e 2e 72 65 61 = sys.stdin.rea
0a50: 64 6c 69 6e 65 28 29 0a 09 09 09 69 66 20 6c 65 dline()....if le
0a60: 6e 28 6c 69 6e 65 29 20 3d 3d 20 30 3a 0a 09 09 n(line) == 0:...
0a70: 09 09 62 72 65 61 6b 0a 09 09 09 73 65 6c 66 2e ..break....self.
0a80: 63 68 65 63 6b 28 6c 69 6e 65 29 0a 0a 23 20 74 check(line)..# t
0a90: 68 72 65 61 64 65 64 20 63 68 65 63 6b 69 6e 67 hreaded checking
0aa0: 20 66 61 63 69 6c 69 74 79 0a 63 6c 61 73 73 20 facility.class
0ab0: 43 68 65 63 6b 65 72 54 68 72 65 61 64 28 43 68 CheckerThread(Ch
0ac0: 65 63 6b 65 72 29 3a 0a 09 5f 5f 73 6c 6f 74 73 ecker):..__slots
0ad0: 5f 5f 20 3d 20 66 72 6f 7a 65 6e 73 65 74 28 5b __ = frozenset([
0ae0: 27 5f 6c 6f 63 6b 27 2c 20 27 5f 6c 6f 63 6b 5f '_lock', '_lock_
0af0: 65 78 69 74 27 2c 20 27 5f 6c 6f 63 6b 5f 71 75 exit', '_lock_qu
0b00: 65 75 65 27 2c 20 27 5f 71 75 65 75 65 27 5d 29 eue', '_queue'])
0b10: 0a 0a 09 64 65 66 20 5f 5f 69 6e 69 74 5f 5f 28 ...def __init__(
0b20: 73 65 6c 66 29 3a 0a 09 09 23 20 62 61 73 69 63 self):...# basic
0b30: 20 69 6e 69 74 69 61 6c 69 73 61 74 69 6f 6e 0a initialisation.
0b40: 09 09 43 68 65 63 6b 65 72 2e 5f 5f 69 6e 69 74 ..Checker.__init
0b50: 5f 5f 28 73 65 6c 66 29 0a 0a 09 09 23 20 53 70 __(self)....# Sp
0b60: 69 6e 20 6c 6f 63 6b 2e 20 4c 6f 6f 70 20 61 63 in lock. Loop ac
0b70: 71 75 69 72 65 73 20 69 74 20 6f 6e 20 73 74 61 quires it on sta
0b80: 72 74 20 74 68 65 6e 20 72 65 6c 65 61 73 65 73 rt then releases
0b90: 20 69 74 20 77 68 65 6e 20 68 6f 6c 64 69 6e 67 it when holding
0ba0: 20 71 75 65 75 65 0a 09 09 23 20 6c 6f 63 6b 2e queue...# lock.
0bb0: 20 54 68 69 73 20 77 61 79 20 74 68 65 20 74 68 This way the th
0bc0: 72 65 61 64 20 70 72 6f 63 65 65 64 73 20 77 69 read proceeds wi
0bd0: 74 68 6f 75 74 20 73 74 6f 70 73 20 77 68 69 6c thout stops whil
0be0: 65 20 71 75 65 75 65 20 68 61 73 20 64 61 74 61 e queue has data
0bf0: 20 61 6e 64 0a 09 09 23 20 67 65 74 73 20 73 74 and...# gets st
0c00: 61 6c 6c 65 64 20 77 68 65 6e 20 6e 6f 20 64 61 alled when no da
0c10: 74 61 20 70 72 65 73 65 6e 74 2e 20 54 68 65 20 ta present. The
0c20: 6c 6f 63 6b 20 69 73 20 72 65 6c 65 61 73 65 64 lock is released
0c30: 20 62 79 20 71 75 65 75 65 20 77 72 69 74 65 72 by queue writer
0c40: 0a 09 09 23 20 61 66 74 65 72 20 73 74 6f 72 69 ...# after stori
0c50: 6e 67 20 73 6f 6d 65 74 68 69 6e 67 20 69 6e 74 ng something int
0c60: 6f 20 74 68 65 20 71 75 65 75 65 0a 09 09 73 65 o the queue...se
0c70: 6c 66 2e 5f 6c 6f 63 6b 20 3d 20 5f 74 68 72 65 lf._lock = _thre
0c80: 61 64 2e 61 6c 6c 6f 63 61 74 65 5f 6c 6f 63 6b ad.allocate_lock
0c90: 28 29 0a 09 09 73 65 6c 66 2e 5f 6c 6f 63 6b 5f ()...self._lock_
0ca0: 65 78 69 74 20 3d 20 5f 74 68 72 65 61 64 2e 61 exit = _thread.a
0cb0: 6c 6c 6f 63 61 74 65 5f 6c 6f 63 6b 28 29 0a 09 llocate_lock()..
0cc0: 09 73 65 6c 66 2e 5f 6c 6f 63 6b 5f 71 75 65 75 .self._lock_queu
0cd0: 65 20 3d 20 5f 74 68 72 65 61 64 2e 61 6c 6c 6f e = _thread.allo
0ce0: 63 61 74 65 5f 6c 6f 63 6b 28 29 0a 09 09 73 65 cate_lock()...se
0cf0: 6c 66 2e 5f 6c 6f 63 6b 2e 61 63 71 75 69 72 65 lf._lock.acquire
0d00: 28 29 0a 09 09 73 65 6c 66 2e 5f 71 75 65 75 65 ()...self._queue
0d10: 20 3d 20 5b 5d 0a 09 09 5f 74 68 72 65 61 64 2e = []..._thread.
0d20: 73 74 61 72 74 5f 6e 65 77 5f 74 68 72 65 61 64 start_new_thread
0d30: 28 73 65 6c 66 2e 5f 73 74 61 72 74 2c 20 28 29 (self._start, ()
0d40: 29 0a 0a 09 64 65 66 20 5f 73 74 61 72 74 28 73 )...def _start(s
0d50: 65 6c 66 29 3a 0a 09 09 77 68 69 6c 65 20 54 72 elf):...while Tr
0d60: 75 65 3a 0a 09 09 09 73 65 6c 66 2e 5f 6c 6f 63 ue:....self._loc
0d70: 6b 2e 61 63 71 75 69 72 65 28 29 0a 09 09 09 77 k.acquire()....w
0d80: 69 74 68 20 73 65 6c 66 2e 5f 6c 6f 63 6b 5f 71 ith self._lock_q
0d90: 75 65 75 65 3a 0a 09 09 09 09 23 20 79 65 73 20 ueue:.....# yes
0da0: 74 68 69 73 20 73 68 6f 75 6c 64 20 62 65 20 77 this should be w
0db0: 72 69 74 74 65 6e 20 74 68 69 73 20 77 61 79 2c ritten this way,
0dc0: 20 61 6e 64 20 79 65 73 2c 20 74 68 69 73 20 69 and yes, this i
0dd0: 73 20 77 68 79 20 49 20 68 61 74 65 20 74 68 72 s why I hate thr
0de0: 65 61 64 69 6e 67 0a 09 09 09 09 69 66 20 6c 65 eading.....if le
0df0: 6e 28 73 65 6c 66 2e 5f 71 75 65 75 65 29 20 3e n(self._queue) >
0e00: 20 31 3a 0a 09 09 09 09 09 69 66 20 73 65 6c 66 1:......if self
0e10: 2e 5f 6c 6f 63 6b 2e 6c 6f 63 6b 65 64 28 29 3a ._lock.locked():
0e20: 0a 09 09 09 09 09 09 73 65 6c 66 2e 5f 6c 6f 63 .......self._loc
0e30: 6b 2e 72 65 6c 65 61 73 65 28 29 0a 09 09 09 09 k.release().....
0e40: 72 65 71 20 3d 20 73 65 6c 66 2e 5f 71 75 65 75 req = self._queu
0e50: 65 2e 70 6f 70 28 30 29 0a 09 09 09 43 68 65 63 e.pop(0)....Chec
0e60: 6b 65 72 2e 70 72 6f 63 65 73 73 28 73 65 6c 66 ker.process(self
0e70: 2c 20 72 65 71 5b 30 5d 2c 20 72 65 71 5b 31 5d , req[0], req[1]
0e80: 2c 20 72 65 71 5b 32 5d 2c 20 72 65 71 5b 33 5d , req[2], req[3]
0e90: 29 0a 09 09 09 77 69 74 68 20 73 65 6c 66 2e 5f )....with self._
0ea0: 6c 6f 63 6b 5f 71 75 65 75 65 3a 0a 09 09 09 09 lock_queue:.....
0eb0: 69 66 20 6c 65 6e 28 73 65 6c 66 2e 5f 71 75 65 if len(self._que
0ec0: 75 65 29 20 3d 3d 20 30 3a 0a 09 09 09 09 09 69 ue) == 0:......i
0ed0: 66 20 73 65 6c 66 2e 5f 6c 6f 63 6b 5f 65 78 69 f self._lock_exi
0ee0: 74 2e 6c 6f 63 6b 65 64 28 29 3a 0a 09 09 09 09 t.locked():.....
0ef0: 09 09 73 65 6c 66 2e 5f 6c 6f 63 6b 5f 65 78 69 ..self._lock_exi
0f00: 74 2e 72 65 6c 65 61 73 65 28 29 0a 0a 09 64 65 t.release()...de
0f10: 66 20 70 72 6f 63 65 73 73 28 73 65 6c 66 2c 20 f process(self,
0f20: 69 64 2c 20 73 69 74 65 2c 20 69 70 5f 61 64 64 id, site, ip_add
0f30: 72 65 73 73 2c 20 75 72 6c 5f 70 61 74 68 2c 20 ress, url_path,
0f40: 6c 69 6e 65 29 3a 0a 09 09 77 69 74 68 20 73 65 line):...with se
0f50: 6c 66 2e 5f 6c 6f 63 6b 5f 71 75 65 75 65 3a 0a lf._lock_queue:.
0f60: 09 09 09 73 65 6c 66 2e 5f 71 75 65 75 65 2e 61 ...self._queue.a
0f70: 70 70 65 6e 64 28 28 69 64 2c 20 73 69 74 65 2c ppend((id, site,
0f80: 20 69 70 5f 61 64 64 72 65 73 73 2c 20 75 72 6c ip_address, url
0f90: 5f 70 61 74 68 29 29 0a 09 09 09 73 65 6c 66 2e _path))....self.
0fa0: 5f 6c 6f 67 2e 69 6e 66 6f 28 27 72 65 71 75 65 _log.info('reque
0fb0: 73 74 20 7b 7d 20 71 75 65 75 65 64 20 28 7b 7d st {} queued ({}
0fc0: 29 5c 6e 27 2e 66 6f 72 6d 61 74 28 69 64 2c 20 )\n'.format(id,
0fd0: 6c 69 6e 65 29 29 0a 09 09 09 69 66 20 6e 6f 74 line))....if not
0fe0: 20 73 65 6c 66 2e 5f 6c 6f 63 6b 5f 65 78 69 74 self._lock_exit
0ff0: 2e 6c 6f 63 6b 65 64 28 29 3a 0a 09 09 09 09 73 .locked():.....s
1000: 65 6c 66 2e 5f 6c 6f 63 6b 5f 65 78 69 74 2e 61 elf._lock_exit.a
1010: 63 71 75 69 72 65 28 29 0a 09 09 09 69 66 20 73 cquire()....if s
1020: 65 6c 66 2e 5f 6c 6f 63 6b 2e 6c 6f 63 6b 65 64 elf._lock.locked
1030: 28 29 3a 0a 09 09 09 09 73 65 6c 66 2e 5f 6c 6f ():.....self._lo
1040: 63 6b 2e 72 65 6c 65 61 73 65 28 29 0a 0a 09 64 ck.release()...d
1050: 65 66 20 6c 6f 6f 70 28 73 65 6c 66 29 3a 0a 09 ef loop(self):..
1060: 09 77 68 69 6c 65 20 54 72 75 65 3a 0a 09 09 09 .while True:....
1070: 6c 69 6e 65 20 3d 20 73 79 73 2e 73 74 64 69 6e line = sys.stdin
1080: 2e 72 65 61 64 6c 69 6e 65 28 29 0a 09 09 09 69 .readline()....i
1090: 66 20 6c 65 6e 28 6c 69 6e 65 29 20 3d 3d 20 30 f len(line) == 0
10a0: 3a 0a 09 09 09 09 62 72 65 61 6b 0a 09 09 09 73 :.....break....s
10b0: 65 6c 66 2e 63 68 65 63 6b 28 6c 69 6e 65 29 0a elf.check(line).
10c0: 09 09 73 65 6c 66 2e 5f 6c 6f 63 6b 5f 65 78 69 ..self._lock_exi
10d0: 74 2e 61 63 71 75 69 72 65 28 29 0a 0a 23 20 6b t.acquire()..# k
10e0: 71 75 65 75 65 20 65 6e 61 62 6c 65 20 63 6c 61 queue enable cla
10f0: 73 73 20 66 6f 72 20 42 53 44 27 73 20 58 58 58 ss for BSD's XXX
1100: 20 62 72 6f 6b 65 6e 20 66 6f 72 20 6e 6f 77 0a broken for now.
1110: 63 6c 61 73 73 20 43 68 65 63 6b 65 72 4b 71 75 class CheckerKqu
1120: 65 75 65 28 43 68 65 63 6b 65 72 29 3a 0a 09 5f eue(Checker):.._
1130: 5f 73 6c 6f 74 73 5f 5f 20 3d 20 66 72 6f 7a 65 _slots__ = froze
1140: 6e 73 65 74 28 5b 27 5f 6b 71 27 2c 20 27 5f 73 nset(['_kq', '_s
1150: 65 6c 65 63 74 27 2c 20 27 5f 71 75 65 75 65 27 elect', '_queue'
1160: 5d 29 0a 0a 09 64 65 66 20 5f 5f 69 6e 69 74 5f ])...def __init_
1170: 5f 28 73 65 6c 66 29 3a 0a 09 09 23 20 62 61 73 _(self):...# bas
1180: 69 63 20 69 6e 69 74 69 61 6c 69 73 61 74 69 6f ic initialisatio
1190: 6e 0a 09 09 43 68 65 63 6b 65 72 2e 5f 5f 69 6e n...Checker.__in
11a0: 69 74 5f 5f 28 73 65 6c 66 29 0a 0a 09 09 23 20 it__(self)....#
11b0: 69 6d 70 6f 72 74 69 6e 67 20 73 65 6c 65 63 74 importing select
11c0: 20 6d 6f 64 75 6c 65 0a 09 09 69 6d 70 6f 72 74 module...import
11d0: 20 73 65 6c 65 63 74 0a 09 09 73 65 6c 66 2e 5f select...self._
11e0: 73 65 6c 65 63 74 20 3d 20 73 65 6c 65 63 74 0a select = select.
11f0: 0a 09 09 23 20 6b 72 65 61 74 69 6e 67 20 6b 71 ...# kreating kq
1200: 75 65 75 65 0a 09 09 73 65 6c 66 2e 5f 6b 71 20 ueue...self._kq
1210: 3d 20 73 65 6c 66 2e 5f 73 65 6c 65 63 74 2e 6b = self._select.k
1220: 71 75 65 75 65 28 29 0a 09 09 61 73 73 65 72 74 queue()...assert
1230: 20 28 73 65 6c 66 2e 5f 6b 71 2e 66 69 6c 65 6e (self._kq.filen
1240: 6f 28 29 20 21 3d 20 2d 31 29 0a 0a 09 09 23 20 o() != -1)....#
1250: 77 61 74 63 68 69 6e 67 20 73 79 73 2e 73 74 64 watching sys.std
1260: 69 6e 20 66 6f 72 20 64 61 74 61 0a 09 09 73 65 in for data...se
1270: 6c 66 2e 5f 6b 71 2e 63 6f 6e 74 72 6f 6c 28 5b lf._kq.control([
1280: 73 65 6c 66 2e 5f 73 65 6c 65 63 74 2e 6b 65 76 self._select.kev
1290: 65 6e 74 28 73 79 73 2e 73 74 64 69 6e 2c 20 73 ent(sys.stdin, s
12a0: 65 6c 66 2e 5f 73 65 6c 65 63 74 2e 4b 51 5f 46 elf._select.KQ_F
12b0: 49 4c 54 45 52 5f 52 45 41 44 2c 20 73 65 6c 66 ILTER_READ, self
12c0: 2e 5f 73 65 6c 65 63 74 2e 4b 51 5f 45 56 5f 41 ._select.KQ_EV_A
12d0: 44 44 29 5d 2c 20 30 29 0a 0a 09 09 23 20 63 72 DD)], 0)....# cr
12e0: 65 61 74 69 6e 67 20 64 61 74 61 20 71 75 65 75 eating data queu
12f0: 65 0a 09 09 73 65 6c 66 2e 5f 71 75 65 75 65 20 e...self._queue
1300: 3d 20 5b 5d 0a 0a 09 64 65 66 20 6c 6f 6f 70 28 = []...def loop(
1310: 73 65 6c 66 29 3a 0a 09 09 23 20 57 61 69 74 20 self):...# Wait
1320: 66 6f 72 20 64 61 74 61 20 62 79 20 64 65 66 61 for data by defa
1330: 75 6c 74 0a 09 09 74 69 6d 65 6f 75 74 20 3d 20 ult...timeout =
1340: 4e 6f 6e 65 0a 09 09 77 68 69 6c 65 20 54 72 75 None...while Tru
1350: 65 3a 0a 09 09 09 23 20 63 68 65 63 6b 69 6e 67 e:....# checking
1360: 20 69 66 20 74 68 65 72 65 20 69 73 20 61 6e 79 if there is any
1370: 20 64 61 74 61 0a 09 09 09 6b 65 76 73 20 3d 20 data....kevs =
1380: 73 65 6c 66 2e 5f 6b 71 2e 63 6f 6e 74 72 6f 6c self._kq.control
1390: 28 4e 6f 6e 65 2c 20 31 2c 20 74 69 6d 65 6f 75 (None, 1, timeou
13a0: 74 29 0a 09 09 09 69 66 20 6c 65 6e 28 6b 65 76 t)....if len(kev
13b0: 73 29 20 3e 20 30 3a 0a 09 09 09 09 23 6b 65 76 s) > 0:.....#kev
13c0: 20 3d 20 6b 65 76 73 5b 30 5d 0a 09 09 09 09 23 = kevs[0].....#
13d0: 20 58 58 58 20 61 64 64 20 73 6f 6d 65 20 63 6f XXX add some co
13e0: 64 65 20 74 6f 20 72 65 61 64 20 6f 6e 6c 79 20 de to read only
13f0: 6b 6e 6f 77 6e 20 64 61 74 61 20 73 69 7a 65 20 known data size
1400: 61 6e 64 20 63 68 65 63 6b 20 66 6f 72 20 6e 65 and check for ne
1410: 77 6c 69 6e 65 73 0a 09 09 09 09 6c 69 6e 65 20 wlines.....line
1420: 3d 20 73 79 73 2e 73 74 64 69 6e 2e 72 65 61 64 = sys.stdin.read
1430: 6c 69 6e 65 28 29 0a 09 09 09 09 23 20 61 64 64 line().....# add
1440: 20 64 61 74 61 20 74 6f 20 74 68 65 20 71 75 65 data to the que
1450: 75 65 0a 09 09 09 09 73 65 6c 66 2e 63 68 65 63 ue.....self.chec
1460: 6b 28 6c 69 6e 65 29 0a 09 09 09 09 23 20 64 6f k(line).....# do
1470: 6e 27 74 20 77 61 69 74 20 66 6f 72 20 64 61 74 n't wait for dat
1480: 61 2c 20 73 74 61 72 74 20 70 72 6f 63 65 73 73 a, start process
1490: 69 6e 67 0a 09 09 09 09 74 69 6d 65 6f 75 74 20 ing.....timeout
14a0: 3d 20 30 0a 09 09 09 65 6c 73 65 3a 0a 09 09 09 = 0....else:....
14b0: 09 72 65 71 20 3d 20 73 65 6c 66 2e 5f 71 75 65 .req = self._que
14c0: 75 65 2e 70 6f 70 28 30 29 0a 09 09 09 09 43 68 ue.pop(0).....Ch
14d0: 65 63 6b 65 72 2e 70 72 6f 63 65 73 73 28 73 65 ecker.process(se
14e0: 6c 66 2c 20 72 65 71 5b 30 5d 2c 20 72 65 71 5b lf, req[0], req[
14f0: 31 5d 2c 20 72 65 71 5b 32 5d 2c 20 72 65 71 5b 1], req[2], req[
1500: 33 5d 29 0a 09 09 09 09 69 66 20 6c 65 6e 28 73 3]).....if len(s
1510: 65 6c 66 2e 5f 71 75 65 75 65 29 20 3d 3d 20 30 elf._queue) == 0
1520: 3a 0a 09 09 09 09 09 23 20 77 61 69 74 20 66 6f :......# wait fo
1530: 72 20 64 61 74 61 20 2d 20 77 65 20 68 61 76 65 r data - we have
1540: 20 6e 6f 74 68 69 6e 67 20 74 6f 20 70 72 6f 63 nothing to proc
1550: 65 73 73 0a 09 09 09 09 09 74 69 6d 65 6f 75 74 ess......timeout
1560: 20 3d 20 4e 6f 6e 65 0a 0a 09 64 65 66 20 70 72 = None...def pr
1570: 6f 63 65 73 73 28 73 65 6c 66 2c 20 69 64 2c 20 ocess(self, id,
1580: 73 69 74 65 2c 20 69 70 5f 61 64 64 72 65 73 73 site, ip_address
1590: 2c 20 75 72 6c 5f 70 61 74 68 2c 20 6c 69 6e 65 , url_path, line
15a0: 29 3a 0a 09 09 73 65 6c 66 2e 5f 71 75 65 75 65 ):...self._queue
15b0: 2e 61 70 70 65 6e 64 28 28 69 64 2c 20 73 69 74 .append((id, sit
15c0: 65 2c 20 69 70 5f 61 64 64 72 65 73 73 2c 20 75 e, ip_address, u
15d0: 72 6c 5f 70 61 74 68 29 29 0a 09 09 73 65 6c 66 rl_path))...self
15e0: 2e 5f 6c 6f 67 2e 69 6e 66 6f 28 27 72 65 71 75 ._log.info('requ
15f0: 65 73 74 20 7b 7d 20 71 75 65 75 65 64 20 28 7b est {} queued ({
1600: 7d 29 5c 6e 27 2e 66 6f 72 6d 61 74 28 69 64 2c })\n'.format(id,
1610: 20 6c 69 6e 65 29 29 0a 0a 23 20 74 68 69 73 20 line))..# this
1620: 63 6c 61 73 73 65 73 20 70 72 6f 63 65 73 73 65 classes processe
1630: 73 20 63 6f 6e 66 69 67 20 66 69 6c 65 20 61 6e s config file an
1640: 64 20 73 75 62 73 74 69 74 75 74 65 73 20 64 65 d substitutes de
1650: 66 61 75 6c 74 20 76 61 6c 75 65 73 0a 63 6c 61 fault values.cla
1660: 73 73 20 43 6f 6e 66 69 67 3a 0a 09 5f 5f 73 6c ss Config:..__sl
1670: 6f 74 73 5f 5f 20 3d 20 66 72 6f 7a 65 6e 73 65 ots__ = frozense
1680: 74 28 5b 27 5f 63 6f 6e 66 69 67 27 2c 20 27 5f t(['_config', '_
1690: 64 65 66 61 75 6c 74 27 2c 20 27 5f 73 65 63 74 default', '_sect
16a0: 69 6f 6e 27 5d 29 0a 09 5f 64 65 66 61 75 6c 74 ion']).._default
16b0: 20 3d 20 7b 0a 09 09 27 72 65 61 63 74 6f 72 27 = {...'reactor'
16c0: 3a 20 7b 0a 09 09 09 27 72 65 61 63 74 6f 72 27 : {....'reactor'
16d0: 3a 20 27 74 68 72 65 61 64 27 2c 0a 09 09 7d 2c : 'thread',...},
16e0: 0a 09 09 27 6c 6f 67 27 3a 20 7b 0a 09 09 09 27 ...'log': {....'
16f0: 73 69 6c 65 6e 74 27 3a 20 27 6e 6f 27 2c 0a 09 silent': 'no',..
1700: 09 7d 2c 0a 09 09 27 64 61 74 61 62 61 73 65 27 .},...'database'
1710: 3a 20 7b 0a 09 09 09 27 68 6f 73 74 27 3a 20 27 : {....'host': '
1720: 6c 6f 63 61 6c 68 6f 73 74 27 2c 0a 09 09 09 27 localhost',....'
1730: 64 61 74 61 62 61 73 65 27 3a 20 27 73 71 75 69 database': 'squi
1740: 64 54 61 67 27 2c 0a 09 7d 2c 7d 0a 0a 09 23 20 dTag',..},}...#
1750: 66 75 6e 63 74 69 6f 6e 20 74 6f 20 72 65 61 64 function to read
1760: 20 69 6e 20 63 6f 6e 66 69 67 20 66 69 6c 65 0a in config file.
1770: 09 64 65 66 20 5f 5f 69 6e 69 74 5f 5f 28 73 65 .def __init__(se
1780: 6c 66 29 3a 0a 09 09 70 61 72 73 65 72 20 3d 20 lf):...parser =
1790: 6f 70 74 70 61 72 73 65 2e 4f 70 74 69 6f 6e 50 optparse.OptionP
17a0: 61 72 73 65 72 28 29 0a 09 09 70 61 72 73 65 72 arser()...parser
17b0: 2e 61 64 64 5f 6f 70 74 69 6f 6e 28 27 2d 63 27 .add_option('-c'
17c0: 2c 20 27 2d 2d 63 6f 6e 66 69 67 27 2c 20 64 65 , '--config', de
17d0: 73 74 20 3d 20 27 63 6f 6e 66 69 67 27 2c 0a 09 st = 'config',..
17e0: 09 09 68 65 6c 70 20 3d 20 27 63 6f 6e 66 69 67 ..help = 'config
17f0: 20 66 69 6c 65 20 6c 6f 63 61 74 69 6f 6e 27 2c file location',
1800: 20 6d 65 74 61 76 61 72 20 3d 20 27 46 49 4c 45 metavar = 'FILE
1810: 27 2c 0a 09 09 09 64 65 66 61 75 6c 74 20 3d 20 ',....default =
1820: 27 2f 75 73 72 2f 6c 6f 63 61 6c 2f 65 74 63 2f '/usr/local/etc/
1830: 73 71 75 69 64 2d 74 61 67 67 65 72 2e 63 6f 6e squid-tagger.con
1840: 66 27 29 0a 0a 09 09 28 6f 70 74 69 6f 6e 73 2c f')....(options,
1850: 20 61 72 67 73 29 20 3d 20 70 61 72 73 65 72 2e args) = parser.
1860: 70 61 72 73 65 5f 61 72 67 73 28 29 0a 0a 09 09 parse_args()....
1870: 69 66 20 6e 6f 74 20 6f 73 2e 61 63 63 65 73 73 if not os.access
1880: 28 6f 70 74 69 6f 6e 73 2e 63 6f 6e 66 69 67 2c (options.config,
1890: 20 6f 73 2e 52 5f 4f 4b 29 3a 0a 09 09 09 70 72 os.R_OK):....pr
18a0: 69 6e 74 28 22 43 61 6e 27 74 20 72 65 61 64 20 int("Can't read
18b0: 7b 7d 3a 20 65 78 69 74 74 69 6e 67 22 2e 66 6f {}: exitting".fo
18c0: 72 6d 61 74 28 6f 70 74 69 6f 6e 73 2e 63 6f 6e rmat(options.con
18d0: 66 69 67 29 29 0a 09 09 09 73 79 73 2e 65 78 69 fig))....sys.exi
18e0: 74 28 32 29 0a 0a 09 09 73 65 6c 66 2e 5f 63 6f t(2)....self._co
18f0: 6e 66 69 67 20 3d 20 63 6f 6e 66 69 67 70 61 72 nfig = configpar
1900: 73 65 72 2e 43 6f 6e 66 69 67 50 61 72 73 65 72 ser.ConfigParser
1910: 28 29 0a 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 ()...self._confi
1920: 67 2e 72 65 61 64 66 70 28 6f 70 65 6e 28 6f 70 g.readfp(open(op
1930: 74 69 6f 6e 73 2e 63 6f 6e 66 69 67 29 29 0a 0a tions.config))..
1940: 09 23 20 66 75 6e 63 74 69 6f 6e 20 74 6f 20 73 .# function to s
1950: 65 6c 65 63 74 20 63 6f 6e 66 69 67 20 66 69 6c elect config fil
1960: 65 20 73 65 63 74 69 6f 6e 20 6f 72 20 63 72 65 e section or cre
1970: 61 74 65 20 6f 6e 65 0a 09 64 65 66 20 73 65 63 ate one..def sec
1980: 74 69 6f 6e 28 73 65 6c 66 2c 20 73 65 63 74 69 tion(self, secti
1990: 6f 6e 29 3a 0a 09 09 69 66 20 6e 6f 74 20 73 65 on):...if not se
19a0: 6c 66 2e 5f 63 6f 6e 66 69 67 2e 68 61 73 5f 73 lf._config.has_s
19b0: 65 63 74 69 6f 6e 28 73 65 63 74 69 6f 6e 29 3a ection(section):
19c0: 0a 09 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 ....self._config
19d0: 2e 61 64 64 5f 73 65 63 74 69 6f 6e 28 73 65 63 .add_section(sec
19e0: 74 69 6f 6e 29 0a 09 09 73 65 6c 66 2e 5f 73 65 tion)...self._se
19f0: 63 74 69 6f 6e 20 3d 20 73 65 63 74 69 6f 6e 0a ction = section.
1a00: 0a 09 23 20 66 75 6e 63 74 69 6f 6e 20 74 6f 20 ..# function to
1a10: 67 65 74 20 63 6f 6e 66 69 67 20 70 61 72 61 6d get config param
1a20: 65 74 65 72 2c 20 69 66 20 70 61 72 61 6d 65 74 eter, if paramet
1a30: 65 72 20 64 6f 65 73 6e 27 74 20 65 78 69 73 74 er doesn't exist
1a40: 73 20 74 68 65 20 64 65 66 61 75 6c 74 0a 09 23 s the default..#
1a50: 20 76 61 6c 75 65 20 6f 72 20 4e 6f 6e 65 20 69 value or None i
1a60: 73 20 73 75 62 73 74 69 74 75 74 65 64 0a 09 64 s substituted..d
1a70: 65 66 20 5f 5f 67 65 74 69 74 65 6d 5f 5f 28 73 ef __getitem__(s
1a80: 65 6c 66 2c 20 6e 61 6d 65 29 3a 0a 09 09 69 66 elf, name):...if
1a90: 20 6e 6f 74 20 73 65 6c 66 2e 5f 63 6f 6e 66 69 not self._confi
1aa0: 67 2e 68 61 73 5f 6f 70 74 69 6f 6e 28 73 65 6c g.has_option(sel
1ab0: 66 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e 61 6d 65 f._section, name
1ac0: 29 3a 0a 09 09 09 69 66 20 73 65 6c 66 2e 5f 73 ):....if self._s
1ad0: 65 63 74 69 6f 6e 20 69 6e 20 73 65 6c 66 2e 5f ection in self._
1ae0: 64 65 66 61 75 6c 74 3a 0a 09 09 09 09 69 66 20 default:.....if
1af0: 6e 61 6d 65 20 69 6e 20 73 65 6c 66 2e 5f 64 65 name in self._de
1b00: 66 61 75 6c 74 5b 73 65 6c 66 2e 5f 73 65 63 74 fault[self._sect
1b10: 69 6f 6e 5d 3a 0a 09 09 09 09 09 73 65 6c 66 2e ion]:......self.
1b20: 5f 63 6f 6e 66 69 67 2e 73 65 74 28 73 65 6c 66 _config.set(self
1b30: 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e 61 6d 65 2c ._section, name,
1b40: 20 73 65 6c 66 2e 5f 64 65 66 61 75 6c 74 5b 73 self._default[s
1b50: 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 5d 5b 6e 61 elf._section][na
1b60: 6d 65 5d 29 0a 09 09 09 09 65 6c 73 65 3a 0a 09 me]).....else:..
1b70: 09 09 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 ....self._config
1b80: 2e 73 65 74 28 73 65 6c 66 2e 5f 73 65 63 74 69 .set(self._secti
1b90: 6f 6e 2c 20 6e 61 6d 65 2c 20 4e 6f 6e 65 29 0a on, name, None).
1ba0: 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 73 65 6c ...else:.....sel
1bb0: 66 2e 5f 63 6f 6e 66 69 67 2e 73 65 74 28 73 65 f._config.set(se
1bc0: 6c 66 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e 61 6d lf._section, nam
1bd0: 65 2c 20 4e 6f 6e 65 29 0a 09 09 72 65 74 75 72 e, None)...retur
1be0: 6e 28 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 67 n(self._config.g
1bf0: 65 74 28 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e et(self._section
1c00: 2c 20 6e 61 6d 65 29 29 0a 0a 23 20 69 6e 69 74 , name))..# init
1c10: 69 61 6c 69 7a 69 6e 67 20 61 6e 64 20 72 65 61 ializing and rea
1c20: 64 69 6e 67 20 69 6e 20 63 6f 6e 66 69 67 20 66 ding in config f
1c30: 69 6c 65 0a 63 6f 6e 66 69 67 20 3d 20 43 6f 6e ile.config = Con
1c40: 66 69 67 28 29 0a 0a 63 6f 6e 66 69 67 2e 73 65 fig()..config.se
1c50: 63 74 69 6f 6e 28 27 72 65 61 63 74 6f 72 27 29 ction('reactor')
1c60: 0a 69 66 20 63 6f 6e 66 69 67 5b 27 72 65 61 63 .if config['reac
1c70: 74 6f 72 27 5d 20 3d 3d 20 27 74 68 72 65 61 64 tor'] == 'thread
1c80: 27 3a 0a 09 63 68 65 63 6b 65 72 20 3d 20 43 68 ':..checker = Ch
1c90: 65 63 6b 65 72 54 68 72 65 61 64 28 29 0a 65 6c eckerThread().el
1ca0: 69 66 20 63 6f 6e 66 69 67 5b 27 72 65 61 63 74 if config['react
1cb0: 6f 72 27 5d 20 3d 3d 20 27 70 6c 61 69 6e 27 3a or'] == 'plain':
1cc0: 0a 09 63 68 65 63 6b 65 72 20 3d 20 43 68 65 63 ..checker = Chec
1cd0: 6b 65 72 28 29 0a 65 6c 69 66 20 63 6f 6e 66 69 ker().elif confi
1ce0: 67 5b 27 72 65 61 63 74 6f 72 27 5d 20 3d 3d 20 g['reactor'] ==
1cf0: 27 6b 71 75 65 75 65 27 3a 0a 09 63 68 65 63 6b 'kqueue':..check
1d00: 65 72 20 3d 20 43 68 65 63 6b 65 72 4b 71 75 65 er = CheckerKque
1d10: 75 65 28 29 0a 0a 63 68 65 63 6b 65 72 2e 6c 6f ue()..checker.lo
1d20: 6f 70 28 29 0a op().