0000: 23 21 2f 75 73 72 2f 62 69 6e 2f 65 6e 76 20 70 #!/usr/bin/env p
0010: 79 74 68 6f 6e 33 2e 31 0a 0a 69 6d 70 6f 72 74 ython3.1..import
0020: 20 63 6f 6e 66 69 67 70 61 72 73 65 72 2c 20 6f configparser, o
0030: 70 74 70 61 72 73 65 2c 20 6f 73 2c 20 70 6f 73 ptparse, os, pos
0040: 74 67 72 65 73 71 6c 2e 61 70 69 2c 20 72 65 2c tgresql.api, re,
0050: 20 73 79 73 2c 20 5f 74 68 72 65 61 64 0a 0a 23 sys, _thread..#
0060: 20 77 72 61 70 70 65 72 20 61 72 6f 75 6e 64 20 wrapper around
0070: 73 79 73 6c 6f 67 2c 20 63 61 6e 20 62 65 20 6d syslog, can be m
0080: 75 74 65 64 0a 63 6c 61 73 73 20 4c 6f 67 67 65 uted.class Logge
0090: 72 3a 0a 09 5f 5f 73 6c 6f 74 73 5f 5f 20 3d 20 r:..__slots__ =
00a0: 66 72 6f 7a 65 6e 73 65 74 28 5b 27 5f 73 79 73 frozenset(['_sys
00b0: 6c 6f 67 27 5d 29 0a 0a 09 64 65 66 20 5f 5f 69 log'])...def __i
00c0: 6e 69 74 5f 5f 28 73 65 6c 66 29 3a 0a 09 09 63 nit__(self):...c
00d0: 6f 6e 66 69 67 2e 73 65 63 74 69 6f 6e 28 27 6c onfig.section('l
00e0: 6f 67 27 29 0a 09 09 69 66 20 63 6f 6e 66 69 67 og')...if config
00f0: 5b 27 73 69 6c 65 6e 74 27 5d 20 3d 3d 20 27 79 ['silent'] == 'y
0100: 65 73 27 3a 0a 09 09 09 73 65 6c 66 2e 5f 73 79 es':....self._sy
0110: 73 6c 6f 67 20 3d 20 4e 6f 6e 65 0a 09 09 65 6c slog = None...el
0120: 73 65 3a 0a 09 09 09 69 6d 70 6f 72 74 20 73 79 se:....import sy
0130: 73 6c 6f 67 0a 09 09 09 73 65 6c 66 2e 5f 73 79 slog....self._sy
0140: 73 6c 6f 67 20 3d 20 73 79 73 6c 6f 67 0a 09 09 slog = syslog...
0150: 09 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 2e 6f 70 .self._syslog.op
0160: 65 6e 6c 6f 67 28 27 73 71 75 69 64 54 61 67 27 enlog('squidTag'
0170: 29 0a 0a 09 64 65 66 20 69 6e 66 6f 28 73 65 6c )...def info(sel
0180: 66 2c 20 6d 65 73 73 61 67 65 29 3a 0a 09 09 69 f, message):...i
0190: 66 20 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 3a 0a f self._syslog:.
01a0: 09 09 09 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 2e ...self._syslog.
01b0: 73 79 73 6c 6f 67 28 73 65 6c 66 2e 5f 73 79 73 syslog(self._sys
01c0: 6c 6f 67 2e 4c 4f 47 5f 49 4e 46 4f 2c 20 6d 65 log.LOG_INFO, me
01d0: 73 73 61 67 65 29 0a 0a 09 64 65 66 20 6e 6f 74 ssage)...def not
01e0: 69 63 65 28 73 65 6c 66 2c 20 6d 65 73 73 61 67 ice(self, messag
01f0: 65 29 3a 0a 09 09 69 66 20 73 65 6c 66 2e 5f 73 e):...if self._s
0200: 79 73 6c 6f 67 3a 0a 09 09 09 73 65 6c 66 2e 5f yslog:....self._
0210: 73 79 73 6c 6f 67 2e 73 79 73 6c 6f 67 28 73 65 syslog.syslog(se
0220: 6c 66 2e 5f 73 79 73 6c 6f 67 2e 4c 4f 47 5f 4e lf._syslog.LOG_N
0230: 4f 54 49 43 45 2c 20 6d 65 73 73 61 67 65 29 0a OTICE, message).
0240: 0a 23 20 77 72 61 70 70 65 72 20 61 72 6f 75 6e .# wrapper aroun
0250: 64 20 64 61 74 61 62 61 73 65 0a 63 6c 61 73 73 d database.class
0260: 20 74 61 67 44 42 3a 0a 09 5f 5f 73 6c 6f 74 73 tagDB:..__slots
0270: 5f 5f 20 3d 20 66 72 6f 7a 65 6e 73 65 74 28 5b __ = frozenset([
0280: 27 5f 70 72 65 70 61 72 65 64 27 2c 20 27 5f 63 '_prepared', '_c
0290: 68 65 63 6b 5f 73 74 6d 74 27 2c 20 27 5f 64 62 heck_stmt', '_db
02a0: 27 5d 29 0a 0a 09 64 65 66 20 5f 5f 69 6e 69 74 '])...def __init
02b0: 5f 5f 28 73 65 6c 66 29 3a 0a 09 09 73 65 6c 66 __(self):...self
02c0: 2e 5f 70 72 65 70 61 72 65 64 20 3d 20 73 65 74 ._prepared = set
02d0: 28 29 0a 09 09 73 65 6c 66 2e 5f 64 62 20 3d 20 ()...self._db =
02e0: 46 61 6c 73 65 0a 09 09 73 65 6c 66 2e 5f 63 68 False...self._ch
02f0: 65 63 6b 5f 73 74 6d 74 20 3d 20 73 65 6c 66 2e eck_stmt = self.
0300: 5f 63 75 72 73 28 29 2e 70 72 65 70 61 72 65 28 _curs().prepare(
0310: 22 73 65 6c 65 63 74 20 72 65 64 69 72 65 63 74 "select redirect
0320: 5f 75 72 6c 2c 20 72 65 67 65 78 70 20 66 72 6f _url, regexp fro
0330: 6d 20 73 69 74 65 5f 72 75 6c 65 20 77 68 65 72 m site_rule wher
0340: 65 20 73 69 74 65 20 3c 40 20 74 72 69 70 64 6f e site <@ tripdo
0350: 6d 61 69 6e 28 24 31 29 20 61 6e 64 20 6e 65 74 main($1) and net
0360: 6d 61 73 6b 20 3e 3e 20 24 32 3a 3a 74 65 78 74 mask >> $2::text
0370: 3a 3a 69 6e 65 74 20 6f 72 64 65 72 20 62 79 20 ::inet order by
0380: 61 72 72 61 79 5f 6c 65 6e 67 74 68 28 73 69 74 array_length(sit
0390: 65 2c 20 31 29 20 64 65 73 63 22 29 0a 0a 09 64 e, 1) desc")...d
03a0: 65 66 20 5f 63 75 72 73 28 73 65 6c 66 29 3a 0a ef _curs(self):.
03b0: 09 09 69 66 20 6e 6f 74 20 73 65 6c 66 2e 5f 64 ..if not self._d
03c0: 62 3a 0a 09 09 09 63 6f 6e 66 69 67 2e 73 65 63 b:....config.sec
03d0: 74 69 6f 6e 28 27 64 61 74 61 62 61 73 65 27 29 tion('database')
03e0: 0a 09 09 09 73 65 6c 66 2e 5f 64 62 20 3d 20 70 ....self._db = p
03f0: 6f 73 74 67 72 65 73 71 6c 2e 6f 70 65 6e 28 0a ostgresql.open(.
0400: 09 09 09 09 27 70 71 3a 2f 2f 7b 7d 3a 7b 7d 40 ....'pq://{}:{}@
0410: 7b 7d 2f 7b 7d 27 2e 66 6f 72 6d 61 74 28 0a 09 {}/{}'.format(..
0420: 09 09 09 09 63 6f 6e 66 69 67 5b 27 75 73 65 72 ....config['user
0430: 27 5d 2c 0a 09 09 09 09 09 63 6f 6e 66 69 67 5b '],......config[
0440: 27 70 61 73 73 77 6f 72 64 27 5d 2c 0a 09 09 09 'password'],....
0450: 09 09 63 6f 6e 66 69 67 5b 27 68 6f 73 74 27 5d ..config['host']
0460: 2c 0a 09 09 09 09 09 63 6f 6e 66 69 67 5b 27 64 ,......config['d
0470: 61 74 61 62 61 73 65 27 5d 2c 0a 09 09 09 29 20 atabase'],....)
0480: 29 0a 09 09 72 65 74 75 72 6e 28 73 65 6c 66 2e )...return(self.
0490: 5f 64 62 29 0a 0a 09 64 65 66 20 63 68 65 63 6b _db)...def check
04a0: 28 73 65 6c 66 2c 20 73 69 74 65 2c 20 69 70 5f (self, site, ip_
04b0: 61 64 64 72 65 73 73 29 3a 0a 09 09 72 65 74 75 address):...retu
04c0: 72 6e 28 73 65 6c 66 2e 5f 63 68 65 63 6b 5f 73 rn(self._check_s
04d0: 74 6d 74 28 73 69 74 65 2c 20 69 70 5f 61 64 64 tmt(site, ip_add
04e0: 72 65 73 73 29 29 0a 0a 23 20 61 62 73 74 72 61 ress))..# abstra
04f0: 63 74 20 63 6c 61 73 73 20 77 69 74 68 20 62 61 ct class with ba
0500: 73 69 63 20 63 68 65 63 6b 69 6e 67 20 66 75 6e sic checking fun
0510: 63 74 69 6f 6e 61 6c 69 74 79 0a 63 6c 61 73 73 ctionality.class
0520: 20 43 68 65 63 6b 65 72 3a 0a 09 5f 5f 73 6c 6f Checker:..__slo
0530: 74 73 5f 5f 20 3d 20 66 72 6f 7a 65 6e 73 65 74 ts__ = frozenset
0540: 28 5b 27 5f 64 62 27 2c 20 27 5f 6c 6f 67 27 5d (['_db', '_log']
0550: 29 0a 0a 09 64 65 66 20 5f 5f 69 6e 69 74 5f 5f )...def __init__
0560: 28 73 65 6c 66 29 3a 0a 09 09 73 65 6c 66 2e 5f (self):...self._
0570: 64 62 20 3d 20 74 61 67 44 42 28 29 0a 09 09 73 db = tagDB()...s
0580: 65 6c 66 2e 5f 6c 6f 67 20 3d 20 4c 6f 67 67 65 elf._log = Logge
0590: 72 28 29 0a 0a 09 64 65 66 20 70 72 6f 63 65 73 r()...def proces
05a0: 73 28 73 65 6c 66 2c 20 69 64 2c 20 73 69 74 65 s(self, id, site
05b0: 2c 20 69 70 5f 61 64 64 72 65 73 73 2c 20 75 72 , ip_address, ur
05c0: 6c 5f 70 61 74 68 2c 20 6c 69 6e 65 20 3d 20 4e l_path, line = N
05d0: 6f 6e 65 29 3a 0a 09 09 73 65 6c 66 2e 5f 6c 6f one):...self._lo
05e0: 67 2e 69 6e 66 6f 28 27 74 72 79 69 6e 67 20 7b g.info('trying {
05f0: 7d 5c 6e 27 2e 66 6f 72 6d 61 74 28 73 69 74 65 }\n'.format(site
0600: 29 29 0a 09 09 72 65 73 75 6c 74 20 3d 20 73 65 ))...result = se
0610: 6c 66 2e 5f 64 62 2e 63 68 65 63 6b 28 73 69 74 lf._db.check(sit
0620: 65 2c 20 69 70 5f 61 64 64 72 65 73 73 29 0a 09 e, ip_address)..
0630: 09 23 72 65 70 6c 79 20 3d 20 27 7b 7d 3a 2f 2f .#reply = '{}://
0640: 7b 7d 2f 7b 7d 27 2e 66 6f 72 6d 61 74 28 72 65 {}/{}'.format(re
0650: 71 5b 34 5d 2c 20 72 65 71 5b 31 5d 2c 20 72 65 q[4], req[1], re
0660: 71 5b 33 5d 29 0a 09 09 72 65 70 6c 79 20 3d 20 q[3])...reply =
0670: 27 2d 27 0a 09 09 66 6f 72 20 72 6f 77 20 69 6e '-'...for row in
0680: 20 72 65 73 75 6c 74 3a 0a 09 09 09 69 66 20 72 result:....if r
0690: 6f 77 20 21 3d 20 4e 6f 6e 65 20 61 6e 64 20 72 ow != None and r
06a0: 6f 77 5b 30 5d 20 21 3d 20 4e 6f 6e 65 3a 0a 09 ow[0] != None:..
06b0: 09 09 09 69 66 20 72 6f 77 5b 31 5d 20 21 3d 20 ...if row[1] !=
06c0: 4e 6f 6e 65 3a 0a 09 09 09 09 09 73 65 6c 66 2e None:......self.
06d0: 5f 6c 6f 67 2e 69 6e 66 6f 28 27 74 72 79 69 6e _log.info('tryin
06e0: 67 20 72 65 67 65 78 70 20 22 7b 7d 22 20 76 65 g regexp "{}" ve
06f0: 72 73 75 73 20 22 7b 7d 22 5c 6e 27 2e 66 6f 72 rsus "{}"\n'.for
0700: 6d 61 74 28 72 6f 77 5b 31 5d 2c 20 75 72 6c 5f mat(row[1], url_
0710: 70 61 74 68 29 29 0a 09 09 09 09 09 74 72 79 3a path))......try:
0720: 0a 09 09 09 09 09 09 69 66 20 72 65 2e 63 6f 6d .......if re.com
0730: 70 69 6c 65 28 72 6f 77 5b 31 5d 29 2e 6d 61 74 pile(row[1]).mat
0740: 63 68 28 75 72 6c 5f 70 61 74 68 29 3a 0a 09 09 ch(url_path):...
0750: 09 09 09 09 09 72 65 70 6c 79 20 3d 20 27 33 30 .....reply = '30
0760: 32 3a 27 20 2b 20 72 6f 77 5b 30 5d 0a 09 09 09 2:' + row[0]....
0770: 09 09 09 09 62 72 65 61 6b 0a 09 09 09 09 09 09 ....break.......
0780: 65 6c 73 65 3a 0a 09 09 09 09 09 09 09 63 6f 6e else:........con
0790: 74 69 6e 75 65 0a 09 09 09 09 09 65 78 63 65 70 tinue......excep
07a0: 74 3a 0a 09 09 09 09 09 09 73 65 6c 66 2e 5f 6c t:.......self._l
07b0: 6f 67 2e 69 6e 66 6f 28 22 63 61 6e 27 74 20 63 og.info("can't c
07c0: 6f 6d 70 69 6c 65 20 72 65 67 65 78 70 22 29 0a ompile regexp").
07d0: 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 72 ....else:......r
07e0: 65 70 6c 79 20 3d 20 27 33 30 32 3a 27 20 2b 20 eply = '302:' +
07f0: 72 6f 77 5b 30 5d 0a 09 09 09 09 09 62 72 65 61 row[0]......brea
0800: 6b 0a 09 09 73 65 6c 66 2e 77 72 69 74 65 6c 69 k...self.writeli
0810: 6e 65 28 27 7b 7d 20 7b 7d 5c 6e 27 2e 66 6f 72 ne('{} {}\n'.for
0820: 6d 61 74 28 69 64 2c 20 72 65 70 6c 79 29 29 0a mat(id, reply)).
0830: 0a 09 64 65 66 20 63 68 65 63 6b 28 73 65 6c 66 ..def check(self
0840: 2c 20 6c 69 6e 65 29 3a 0a 09 09 72 65 71 75 65 , line):...reque
0850: 73 74 20 3d 20 72 65 2e 63 6f 6d 70 69 6c 65 28 st = re.compile(
0860: 27 5e 28 5b 30 2d 39 5d 2b 29 5c 20 28 68 74 74 '^([0-9]+)\ (htt
0870: 70 7c 66 74 70 29 3a 5c 2f 5c 2f 28 5b 2d 5c 77 p|ftp):\/\/([-\w
0880: 2e 3a 5d 2b 29 5c 2f 28 5b 5e 20 5d 2a 29 5c 20 .:]+)\/([^ ]*)\
0890: 28 5b 30 2d 39 2e 5d 2b 29 5c 2f 28 2d 7c 5b 5c ([0-9.]+)\/(-|[\
08a0: 77 5c 2e 5d 2b 29 5c 20 28 2d 7c 5c 77 2b 29 5c w\.]+)\ (-|\w+)\
08b0: 20 28 2d 7c 47 45 54 7c 48 45 41 44 7c 50 4f 53 (-|GET|HEAD|POS
08c0: 54 29 2e 2a 24 27 29 2e 6d 61 74 63 68 28 6c 69 T).*$').match(li
08d0: 6e 65 29 0a 09 09 69 66 20 72 65 71 75 65 73 74 ne)...if request
08e0: 3a 0a 09 09 09 69 64 20 3d 20 72 65 71 75 65 73 :....id = reques
08f0: 74 2e 67 72 6f 75 70 28 31 29 0a 09 09 09 23 70 t.group(1)....#p
0900: 72 6f 74 6f 20 3d 20 72 65 71 75 65 73 74 2e 67 roto = request.g
0910: 72 6f 75 70 28 32 29 0a 09 09 09 73 69 74 65 20 roup(2)....site
0920: 3d 20 72 65 71 75 65 73 74 2e 67 72 6f 75 70 28 = request.group(
0930: 33 29 0a 09 09 09 75 72 6c 5f 70 61 74 68 20 3d 3)....url_path =
0940: 20 72 65 71 75 65 73 74 2e 67 72 6f 75 70 28 34 request.group(4
0950: 29 0a 09 09 09 69 70 5f 61 64 64 72 65 73 73 20 )....ip_address
0960: 3d 20 72 65 71 75 65 73 74 2e 67 72 6f 75 70 28 = request.group(
0970: 35 29 0a 09 09 09 73 65 6c 66 2e 70 72 6f 63 65 5)....self.proce
0980: 73 73 28 69 64 2c 20 73 69 74 65 2c 20 69 70 5f ss(id, site, ip_
0990: 61 64 64 72 65 73 73 2c 20 75 72 6c 5f 70 61 74 address, url_pat
09a0: 68 2c 20 6c 69 6e 65 29 0a 09 09 65 6c 73 65 3a h, line)...else:
09b0: 0a 09 09 09 73 65 6c 66 2e 5f 6c 6f 67 2e 69 6e ....self._log.in
09c0: 66 6f 28 27 62 61 64 20 72 65 71 75 65 73 74 5c fo('bad request\
09d0: 6e 27 29 0a 09 09 09 73 65 6c 66 2e 77 72 69 74 n')....self.writ
09e0: 65 6c 69 6e 65 28 6c 69 6e 65 29 0a 0a 09 64 65 eline(line)...de
09f0: 66 20 77 72 69 74 65 6c 69 6e 65 28 73 65 6c 66 f writeline(self
0a00: 2c 20 73 74 72 69 6e 67 29 3a 0a 09 09 73 65 6c , string):...sel
0a10: 66 2e 5f 6c 6f 67 2e 69 6e 66 6f 28 27 73 65 6e f._log.info('sen
0a20: 64 69 6e 67 3a 20 27 20 2b 20 73 74 72 69 6e 67 ding: ' + string
0a30: 29 0a 09 09 73 79 73 2e 73 74 64 6f 75 74 2e 77 )...sys.stdout.w
0a40: 72 69 74 65 28 73 74 72 69 6e 67 29 0a 09 09 73 rite(string)...s
0a50: 79 73 2e 73 74 64 6f 75 74 2e 66 6c 75 73 68 28 ys.stdout.flush(
0a60: 29 0a 0a 09 64 65 66 20 6c 6f 6f 70 28 73 65 6c )...def loop(sel
0a70: 66 29 3a 0a 09 09 77 68 69 6c 65 20 54 72 75 65 f):...while True
0a80: 3a 0a 09 09 09 6c 69 6e 65 20 3d 20 73 79 73 2e :....line = sys.
0a90: 73 74 64 69 6e 2e 72 65 61 64 6c 69 6e 65 28 29 stdin.readline()
0aa0: 0a 09 09 09 69 66 20 6c 65 6e 28 6c 69 6e 65 29 ....if len(line)
0ab0: 20 3d 3d 20 30 3a 0a 09 09 09 09 62 72 65 61 6b == 0:.....break
0ac0: 0a 09 09 09 73 65 6c 66 2e 63 68 65 63 6b 28 6c ....self.check(l
0ad0: 69 6e 65 29 0a 0a 23 20 74 68 72 65 61 64 65 64 ine)..# threaded
0ae0: 20 63 68 65 63 6b 69 6e 67 20 66 61 63 69 6c 69 checking facili
0af0: 74 79 0a 63 6c 61 73 73 20 43 68 65 63 6b 65 72 ty.class Checker
0b00: 54 68 72 65 61 64 28 43 68 65 63 6b 65 72 29 3a Thread(Checker):
0b10: 0a 09 5f 5f 73 6c 6f 74 73 5f 5f 20 3d 20 66 72 ..__slots__ = fr
0b20: 6f 7a 65 6e 73 65 74 28 5b 27 5f 6c 6f 63 6b 27 ozenset(['_lock'
0b30: 2c 20 27 5f 6c 6f 63 6b 5f 65 78 69 74 27 2c 20 , '_lock_exit',
0b40: 27 5f 6c 6f 63 6b 5f 71 75 65 75 65 27 2c 20 27 '_lock_queue', '
0b50: 5f 71 75 65 75 65 27 5d 29 0a 0a 09 64 65 66 20 _queue'])...def
0b60: 5f 5f 69 6e 69 74 5f 5f 28 73 65 6c 66 29 3a 0a __init__(self):.
0b70: 09 09 23 20 62 61 73 69 63 20 69 6e 69 74 69 61 ..# basic initia
0b80: 6c 69 73 61 74 69 6f 6e 0a 09 09 43 68 65 63 6b lisation...Check
0b90: 65 72 2e 5f 5f 69 6e 69 74 5f 5f 28 73 65 6c 66 er.__init__(self
0ba0: 29 0a 0a 09 09 23 20 53 70 69 6e 20 6c 6f 63 6b )....# Spin lock
0bb0: 2e 20 4c 6f 6f 70 20 61 63 71 75 69 72 65 73 20 . Loop acquires
0bc0: 69 74 20 6f 6e 20 73 74 61 72 74 20 74 68 65 6e it on start then
0bd0: 20 72 65 6c 65 61 73 65 73 20 69 74 20 77 68 65 releases it whe
0be0: 6e 20 68 6f 6c 64 69 6e 67 20 71 75 65 75 65 0a n holding queue.
0bf0: 09 09 23 20 6c 6f 63 6b 2e 20 54 68 69 73 20 77 ..# lock. This w
0c00: 61 79 20 74 68 65 20 74 68 72 65 61 64 20 70 72 ay the thread pr
0c10: 6f 63 65 65 64 73 20 77 69 74 68 6f 75 74 20 73 oceeds without s
0c20: 74 6f 70 73 20 77 68 69 6c 65 20 71 75 65 75 65 tops while queue
0c30: 20 68 61 73 20 64 61 74 61 20 61 6e 64 0a 09 09 has data and...
0c40: 23 20 67 65 74 73 20 73 74 61 6c 6c 65 64 20 77 # gets stalled w
0c50: 68 65 6e 20 6e 6f 20 64 61 74 61 20 70 72 65 73 hen no data pres
0c60: 65 6e 74 2e 20 54 68 65 20 6c 6f 63 6b 20 69 73 ent. The lock is
0c70: 20 72 65 6c 65 61 73 65 64 20 62 79 20 71 75 65 released by que
0c80: 75 65 20 77 72 69 74 65 72 0a 09 09 23 20 61 66 ue writer...# af
0c90: 74 65 72 20 73 74 6f 72 69 6e 67 20 73 6f 6d 65 ter storing some
0ca0: 74 68 69 6e 67 20 69 6e 74 6f 20 74 68 65 20 71 thing into the q
0cb0: 75 65 75 65 0a 09 09 73 65 6c 66 2e 5f 6c 6f 63 ueue...self._loc
0cc0: 6b 20 3d 20 5f 74 68 72 65 61 64 2e 61 6c 6c 6f k = _thread.allo
0cd0: 63 61 74 65 5f 6c 6f 63 6b 28 29 0a 09 09 73 65 cate_lock()...se
0ce0: 6c 66 2e 5f 6c 6f 63 6b 5f 65 78 69 74 20 3d 20 lf._lock_exit =
0cf0: 5f 74 68 72 65 61 64 2e 61 6c 6c 6f 63 61 74 65 _thread.allocate
0d00: 5f 6c 6f 63 6b 28 29 0a 09 09 73 65 6c 66 2e 5f _lock()...self._
0d10: 6c 6f 63 6b 5f 71 75 65 75 65 20 3d 20 5f 74 68 lock_queue = _th
0d20: 72 65 61 64 2e 61 6c 6c 6f 63 61 74 65 5f 6c 6f read.allocate_lo
0d30: 63 6b 28 29 0a 09 09 73 65 6c 66 2e 5f 6c 6f 63 ck()...self._loc
0d40: 6b 2e 61 63 71 75 69 72 65 28 29 0a 09 09 73 65 k.acquire()...se
0d50: 6c 66 2e 5f 71 75 65 75 65 20 3d 20 5b 5d 0a 09 lf._queue = []..
0d60: 09 5f 74 68 72 65 61 64 2e 73 74 61 72 74 5f 6e ._thread.start_n
0d70: 65 77 5f 74 68 72 65 61 64 28 73 65 6c 66 2e 5f ew_thread(self._
0d80: 73 74 61 72 74 2c 20 28 29 29 0a 0a 09 64 65 66 start, ())...def
0d90: 20 5f 73 74 61 72 74 28 73 65 6c 66 29 3a 0a 09 _start(self):..
0da0: 09 77 68 69 6c 65 20 54 72 75 65 3a 0a 09 09 09 .while True:....
0db0: 73 65 6c 66 2e 5f 6c 6f 63 6b 2e 61 63 71 75 69 self._lock.acqui
0dc0: 72 65 28 29 0a 09 09 09 77 69 74 68 20 73 65 6c re()....with sel
0dd0: 66 2e 5f 6c 6f 63 6b 5f 71 75 65 75 65 3a 0a 09 f._lock_queue:..
0de0: 09 09 09 23 20 79 65 73 20 74 68 69 73 20 73 68 ...# yes this sh
0df0: 6f 75 6c 64 20 62 65 20 77 72 69 74 74 65 6e 20 ould be written
0e00: 74 68 69 73 20 77 61 79 2c 20 61 6e 64 20 79 65 this way, and ye
0e10: 73 2c 20 74 68 69 73 20 69 73 20 77 68 79 20 49 s, this is why I
0e20: 20 68 61 74 65 20 74 68 72 65 61 64 69 6e 67 0a hate threading.
0e30: 09 09 09 09 69 66 20 6c 65 6e 28 73 65 6c 66 2e ....if len(self.
0e40: 5f 71 75 65 75 65 29 20 3e 20 31 3a 0a 09 09 09 _queue) > 1:....
0e50: 09 09 69 66 20 73 65 6c 66 2e 5f 6c 6f 63 6b 2e ..if self._lock.
0e60: 6c 6f 63 6b 65 64 28 29 3a 0a 09 09 09 09 09 09 locked():.......
0e70: 73 65 6c 66 2e 5f 6c 6f 63 6b 2e 72 65 6c 65 61 self._lock.relea
0e80: 73 65 28 29 0a 09 09 09 09 72 65 71 20 3d 20 73 se().....req = s
0e90: 65 6c 66 2e 5f 71 75 65 75 65 2e 70 6f 70 28 30 elf._queue.pop(0
0ea0: 29 0a 09 09 09 43 68 65 63 6b 65 72 2e 70 72 6f )....Checker.pro
0eb0: 63 65 73 73 28 73 65 6c 66 2c 20 72 65 71 5b 30 cess(self, req[0
0ec0: 5d 2c 20 72 65 71 5b 31 5d 2c 20 72 65 71 5b 32 ], req[1], req[2
0ed0: 5d 2c 20 72 65 71 5b 33 5d 29 0a 09 09 09 77 69 ], req[3])....wi
0ee0: 74 68 20 73 65 6c 66 2e 5f 6c 6f 63 6b 5f 71 75 th self._lock_qu
0ef0: 65 75 65 3a 0a 09 09 09 09 69 66 20 6c 65 6e 28 eue:.....if len(
0f00: 73 65 6c 66 2e 5f 71 75 65 75 65 29 20 3d 3d 20 self._queue) ==
0f10: 30 3a 0a 09 09 09 09 09 69 66 20 73 65 6c 66 2e 0:......if self.
0f20: 5f 6c 6f 63 6b 5f 65 78 69 74 2e 6c 6f 63 6b 65 _lock_exit.locke
0f30: 64 28 29 3a 0a 09 09 09 09 09 09 73 65 6c 66 2e d():.......self.
0f40: 5f 6c 6f 63 6b 5f 65 78 69 74 2e 72 65 6c 65 61 _lock_exit.relea
0f50: 73 65 28 29 0a 0a 09 64 65 66 20 70 72 6f 63 65 se()...def proce
0f60: 73 73 28 73 65 6c 66 2c 20 69 64 2c 20 73 69 74 ss(self, id, sit
0f70: 65 2c 20 69 70 5f 61 64 64 72 65 73 73 2c 20 75 e, ip_address, u
0f80: 72 6c 5f 70 61 74 68 2c 20 6c 69 6e 65 29 3a 0a rl_path, line):.
0f90: 09 09 77 69 74 68 20 73 65 6c 66 2e 5f 6c 6f 63 ..with self._loc
0fa0: 6b 5f 71 75 65 75 65 3a 0a 09 09 09 73 65 6c 66 k_queue:....self
0fb0: 2e 5f 71 75 65 75 65 2e 61 70 70 65 6e 64 28 28 ._queue.append((
0fc0: 69 64 2c 20 73 69 74 65 2c 20 69 70 5f 61 64 64 id, site, ip_add
0fd0: 72 65 73 73 2c 20 75 72 6c 5f 70 61 74 68 29 29 ress, url_path))
0fe0: 0a 09 09 09 73 65 6c 66 2e 5f 6c 6f 67 2e 69 6e ....self._log.in
0ff0: 66 6f 28 27 72 65 71 75 65 73 74 20 7b 7d 20 71 fo('request {} q
1000: 75 65 75 65 64 20 28 7b 7d 29 5c 6e 27 2e 66 6f ueued ({})\n'.fo
1010: 72 6d 61 74 28 69 64 2c 20 6c 69 6e 65 29 29 0a rmat(id, line)).
1020: 09 09 09 69 66 20 6e 6f 74 20 73 65 6c 66 2e 5f ...if not self._
1030: 6c 6f 63 6b 5f 65 78 69 74 2e 6c 6f 63 6b 65 64 lock_exit.locked
1040: 28 29 3a 0a 09 09 09 09 73 65 6c 66 2e 5f 6c 6f ():.....self._lo
1050: 63 6b 5f 65 78 69 74 2e 61 63 71 75 69 72 65 28 ck_exit.acquire(
1060: 29 0a 09 09 09 69 66 20 73 65 6c 66 2e 5f 6c 6f )....if self._lo
1070: 63 6b 2e 6c 6f 63 6b 65 64 28 29 3a 0a 09 09 09 ck.locked():....
1080: 09 73 65 6c 66 2e 5f 6c 6f 63 6b 2e 72 65 6c 65 .self._lock.rele
1090: 61 73 65 28 29 0a 0a 09 64 65 66 20 6c 6f 6f 70 ase()...def loop
10a0: 28 73 65 6c 66 29 3a 0a 09 09 77 68 69 6c 65 20 (self):...while
10b0: 54 72 75 65 3a 0a 09 09 09 6c 69 6e 65 20 3d 20 True:....line =
10c0: 73 79 73 2e 73 74 64 69 6e 2e 72 65 61 64 6c 69 sys.stdin.readli
10d0: 6e 65 28 29 0a 09 09 09 69 66 20 6c 65 6e 28 6c ne()....if len(l
10e0: 69 6e 65 29 20 3d 3d 20 30 3a 0a 09 09 09 09 62 ine) == 0:.....b
10f0: 72 65 61 6b 0a 09 09 09 73 65 6c 66 2e 63 68 65 reak....self.che
1100: 63 6b 28 6c 69 6e 65 29 0a 09 09 73 65 6c 66 2e ck(line)...self.
1110: 5f 6c 6f 63 6b 5f 65 78 69 74 2e 61 63 71 75 69 _lock_exit.acqui
1120: 72 65 28 29 0a 0a 23 20 6b 71 75 65 75 65 20 65 re()..# kqueue e
1130: 6e 61 62 6c 65 20 63 6c 61 73 73 20 66 6f 72 20 nable class for
1140: 42 53 44 27 73 20 58 58 58 20 62 72 6f 6b 65 6e BSD's XXX broken
1150: 20 66 6f 72 20 6e 6f 77 0a 63 6c 61 73 73 20 43 for now.class C
1160: 68 65 63 6b 65 72 4b 71 75 65 75 65 28 43 68 65 heckerKqueue(Che
1170: 63 6b 65 72 29 3a 0a 09 5f 5f 73 6c 6f 74 73 5f cker):..__slots_
1180: 5f 20 3d 20 66 72 6f 7a 65 6e 73 65 74 28 5b 27 _ = frozenset(['
1190: 5f 6b 71 27 2c 20 27 5f 73 65 6c 65 63 74 27 2c _kq', '_select',
11a0: 20 27 5f 71 75 65 75 65 27 5d 29 0a 0a 09 64 65 '_queue'])...de
11b0: 66 20 5f 5f 69 6e 69 74 5f 5f 28 73 65 6c 66 29 f __init__(self)
11c0: 3a 0a 09 09 23 20 62 61 73 69 63 20 69 6e 69 74 :...# basic init
11d0: 69 61 6c 69 73 61 74 69 6f 6e 0a 09 09 43 68 65 ialisation...Che
11e0: 63 6b 65 72 2e 5f 5f 69 6e 69 74 5f 5f 28 73 65 cker.__init__(se
11f0: 6c 66 29 0a 0a 09 09 23 20 69 6d 70 6f 72 74 69 lf)....# importi
1200: 6e 67 20 73 65 6c 65 63 74 20 6d 6f 64 75 6c 65 ng select module
1210: 0a 09 09 69 6d 70 6f 72 74 20 73 65 6c 65 63 74 ...import select
1220: 0a 09 09 73 65 6c 66 2e 5f 73 65 6c 65 63 74 20 ...self._select
1230: 3d 20 73 65 6c 65 63 74 0a 0a 09 09 23 20 6b 72 = select....# kr
1240: 65 61 74 69 6e 67 20 6b 71 75 65 75 65 0a 09 09 eating kqueue...
1250: 73 65 6c 66 2e 5f 6b 71 20 3d 20 73 65 6c 66 2e self._kq = self.
1260: 5f 73 65 6c 65 63 74 2e 6b 71 75 65 75 65 28 29 _select.kqueue()
1270: 0a 09 09 61 73 73 65 72 74 20 28 73 65 6c 66 2e ...assert (self.
1280: 5f 6b 71 2e 66 69 6c 65 6e 6f 28 29 20 21 3d 20 _kq.fileno() !=
1290: 2d 31 29 0a 0a 09 09 23 20 77 61 74 63 68 69 6e -1)....# watchin
12a0: 67 20 73 79 73 2e 73 74 64 69 6e 20 66 6f 72 20 g sys.stdin for
12b0: 64 61 74 61 0a 09 09 73 65 6c 66 2e 5f 6b 71 2e data...self._kq.
12c0: 63 6f 6e 74 72 6f 6c 28 5b 73 65 6c 66 2e 5f 73 control([self._s
12d0: 65 6c 65 63 74 2e 6b 65 76 65 6e 74 28 73 79 73 elect.kevent(sys
12e0: 2e 73 74 64 69 6e 2c 20 73 65 6c 66 2e 5f 73 65 .stdin, self._se
12f0: 6c 65 63 74 2e 4b 51 5f 46 49 4c 54 45 52 5f 52 lect.KQ_FILTER_R
1300: 45 41 44 2c 20 73 65 6c 66 2e 5f 73 65 6c 65 63 EAD, self._selec
1310: 74 2e 4b 51 5f 45 56 5f 41 44 44 29 5d 2c 20 30 t.KQ_EV_ADD)], 0
1320: 29 0a 0a 09 09 23 20 63 72 65 61 74 69 6e 67 20 )....# creating
1330: 64 61 74 61 20 71 75 65 75 65 0a 09 09 73 65 6c data queue...sel
1340: 66 2e 5f 71 75 65 75 65 20 3d 20 5b 5d 0a 0a 09 f._queue = []...
1350: 64 65 66 20 6c 6f 6f 70 28 73 65 6c 66 29 3a 0a def loop(self):.
1360: 09 09 23 20 57 61 69 74 20 66 6f 72 20 64 61 74 ..# Wait for dat
1370: 61 20 62 79 20 64 65 66 61 75 6c 74 0a 09 09 74 a by default...t
1380: 69 6d 65 6f 75 74 20 3d 20 4e 6f 6e 65 0a 09 09 imeout = None...
1390: 77 68 69 6c 65 20 54 72 75 65 3a 0a 09 09 09 23 while True:....#
13a0: 20 63 68 65 63 6b 69 6e 67 20 69 66 20 74 68 65 checking if the
13b0: 72 65 20 69 73 20 61 6e 79 20 64 61 74 61 0a 09 re is any data..
13c0: 09 09 6b 65 76 73 20 3d 20 73 65 6c 66 2e 5f 6b ..kevs = self._k
13d0: 71 2e 63 6f 6e 74 72 6f 6c 28 4e 6f 6e 65 2c 20 q.control(None,
13e0: 31 2c 20 74 69 6d 65 6f 75 74 29 0a 09 09 09 69 1, timeout)....i
13f0: 66 20 6c 65 6e 28 6b 65 76 73 29 20 3e 20 30 3a f len(kevs) > 0:
1400: 0a 09 09 09 09 23 6b 65 76 20 3d 20 6b 65 76 73 .....#kev = kevs
1410: 5b 30 5d 0a 09 09 09 09 23 20 58 58 58 20 61 64 [0].....# XXX ad
1420: 64 20 73 6f 6d 65 20 63 6f 64 65 20 74 6f 20 72 d some code to r
1430: 65 61 64 20 6f 6e 6c 79 20 6b 6e 6f 77 6e 20 64 ead only known d
1440: 61 74 61 20 73 69 7a 65 20 61 6e 64 20 63 68 65 ata size and che
1450: 63 6b 20 66 6f 72 20 6e 65 77 6c 69 6e 65 73 0a ck for newlines.
1460: 09 09 09 09 6c 69 6e 65 20 3d 20 73 79 73 2e 73 ....line = sys.s
1470: 74 64 69 6e 2e 72 65 61 64 6c 69 6e 65 28 29 0a tdin.readline().
1480: 09 09 09 09 23 20 61 64 64 20 64 61 74 61 20 74 ....# add data t
1490: 6f 20 74 68 65 20 71 75 65 75 65 0a 09 09 09 09 o the queue.....
14a0: 73 65 6c 66 2e 63 68 65 63 6b 28 6c 69 6e 65 29 self.check(line)
14b0: 0a 09 09 09 09 23 20 64 6f 6e 27 74 20 77 61 69 .....# don't wai
14c0: 74 20 66 6f 72 20 64 61 74 61 2c 20 73 74 61 72 t for data, star
14d0: 74 20 70 72 6f 63 65 73 73 69 6e 67 0a 09 09 09 t processing....
14e0: 09 74 69 6d 65 6f 75 74 20 3d 20 30 0a 09 09 09 .timeout = 0....
14f0: 65 6c 73 65 3a 0a 09 09 09 09 72 65 71 20 3d 20 else:.....req =
1500: 73 65 6c 66 2e 5f 71 75 65 75 65 2e 70 6f 70 28 self._queue.pop(
1510: 30 29 0a 09 09 09 09 43 68 65 63 6b 65 72 2e 70 0).....Checker.p
1520: 72 6f 63 65 73 73 28 73 65 6c 66 2c 20 72 65 71 rocess(self, req
1530: 5b 30 5d 2c 20 72 65 71 5b 31 5d 2c 20 72 65 71 [0], req[1], req
1540: 5b 32 5d 2c 20 72 65 71 5b 33 5d 29 0a 09 09 09 [2], req[3])....
1550: 09 69 66 20 6c 65 6e 28 73 65 6c 66 2e 5f 71 75 .if len(self._qu
1560: 65 75 65 29 20 3d 3d 20 30 3a 0a 09 09 09 09 09 eue) == 0:......
1570: 23 20 77 61 69 74 20 66 6f 72 20 64 61 74 61 20 # wait for data
1580: 2d 20 77 65 20 68 61 76 65 20 6e 6f 74 68 69 6e - we have nothin
1590: 67 20 74 6f 20 70 72 6f 63 65 73 73 0a 09 09 09 g to process....
15a0: 09 09 74 69 6d 65 6f 75 74 20 3d 20 4e 6f 6e 65 ..timeout = None
15b0: 0a 0a 09 64 65 66 20 70 72 6f 63 65 73 73 28 73 ...def process(s
15c0: 65 6c 66 2c 20 69 64 2c 20 73 69 74 65 2c 20 69 elf, id, site, i
15d0: 70 5f 61 64 64 72 65 73 73 2c 20 75 72 6c 5f 70 p_address, url_p
15e0: 61 74 68 2c 20 6c 69 6e 65 29 3a 0a 09 09 73 65 ath, line):...se
15f0: 6c 66 2e 5f 71 75 65 75 65 2e 61 70 70 65 6e 64 lf._queue.append
1600: 28 28 69 64 2c 20 73 69 74 65 2c 20 69 70 5f 61 ((id, site, ip_a
1610: 64 64 72 65 73 73 2c 20 75 72 6c 5f 70 61 74 68 ddress, url_path
1620: 29 29 0a 09 09 73 65 6c 66 2e 5f 6c 6f 67 2e 69 ))...self._log.i
1630: 6e 66 6f 28 27 72 65 71 75 65 73 74 20 7b 7d 20 nfo('request {}
1640: 71 75 65 75 65 64 20 28 7b 7d 29 5c 6e 27 2e 66 queued ({})\n'.f
1650: 6f 72 6d 61 74 28 69 64 2c 20 6c 69 6e 65 29 29 ormat(id, line))
1660: 0a 0a 23 20 74 68 69 73 20 63 6c 61 73 73 65 73 ..# this classes
1670: 20 70 72 6f 63 65 73 73 65 73 20 63 6f 6e 66 69 processes confi
1680: 67 20 66 69 6c 65 20 61 6e 64 20 73 75 62 73 74 g file and subst
1690: 69 74 75 74 65 73 20 64 65 66 61 75 6c 74 20 76 itutes default v
16a0: 61 6c 75 65 73 0a 63 6c 61 73 73 20 43 6f 6e 66 alues.class Conf
16b0: 69 67 3a 0a 09 5f 5f 73 6c 6f 74 73 5f 5f 20 3d ig:..__slots__ =
16c0: 20 66 72 6f 7a 65 6e 73 65 74 28 5b 27 5f 63 6f frozenset(['_co
16d0: 6e 66 69 67 27 2c 20 27 5f 64 65 66 61 75 6c 74 nfig', '_default
16e0: 27 2c 20 27 5f 73 65 63 74 69 6f 6e 27 5d 29 0a ', '_section']).
16f0: 09 5f 64 65 66 61 75 6c 74 20 3d 20 7b 0a 09 09 ._default = {...
1700: 27 72 65 61 63 74 6f 72 27 3a 20 7b 0a 09 09 09 'reactor': {....
1710: 27 72 65 61 63 74 6f 72 27 3a 20 27 74 68 72 65 'reactor': 'thre
1720: 61 64 27 2c 0a 09 09 7d 2c 0a 09 09 27 6c 6f 67 ad',...},...'log
1730: 27 3a 20 7b 0a 09 09 09 27 73 69 6c 65 6e 74 27 ': {....'silent'
1740: 3a 20 27 6e 6f 27 2c 0a 09 09 7d 2c 0a 09 09 27 : 'no',...},...'
1750: 64 61 74 61 62 61 73 65 27 3a 20 7b 0a 09 09 09 database': {....
1760: 27 68 6f 73 74 27 3a 20 27 6c 6f 63 61 6c 68 6f 'host': 'localho
1770: 73 74 27 2c 0a 09 09 09 27 64 61 74 61 62 61 73 st',....'databas
1780: 65 27 3a 20 27 73 71 75 69 64 54 61 67 27 2c 0a e': 'squidTag',.
1790: 09 7d 2c 7d 0a 0a 09 23 20 66 75 6e 63 74 69 6f .},}...# functio
17a0: 6e 20 74 6f 20 72 65 61 64 20 69 6e 20 63 6f 6e n to read in con
17b0: 66 69 67 20 66 69 6c 65 0a 09 64 65 66 20 5f 5f fig file..def __
17c0: 69 6e 69 74 5f 5f 28 73 65 6c 66 29 3a 0a 09 09 init__(self):...
17d0: 70 61 72 73 65 72 20 3d 20 6f 70 74 70 61 72 73 parser = optpars
17e0: 65 2e 4f 70 74 69 6f 6e 50 61 72 73 65 72 28 29 e.OptionParser()
17f0: 0a 09 09 70 61 72 73 65 72 2e 61 64 64 5f 6f 70 ...parser.add_op
1800: 74 69 6f 6e 28 27 2d 63 27 2c 20 27 2d 2d 63 6f tion('-c', '--co
1810: 6e 66 69 67 27 2c 20 64 65 73 74 20 3d 20 27 63 nfig', dest = 'c
1820: 6f 6e 66 69 67 27 2c 0a 09 09 09 68 65 6c 70 20 onfig',....help
1830: 3d 20 27 63 6f 6e 66 69 67 20 66 69 6c 65 20 6c = 'config file l
1840: 6f 63 61 74 69 6f 6e 27 2c 20 6d 65 74 61 76 61 ocation', metava
1850: 72 20 3d 20 27 46 49 4c 45 27 2c 0a 09 09 09 64 r = 'FILE',....d
1860: 65 66 61 75 6c 74 20 3d 20 27 2f 75 73 72 2f 6c efault = '/usr/l
1870: 6f 63 61 6c 2f 65 74 63 2f 73 71 75 69 64 2d 74 ocal/etc/squid-t
1880: 61 67 67 65 72 2e 63 6f 6e 66 27 29 0a 0a 09 09 agger.conf')....
1890: 28 6f 70 74 69 6f 6e 73 2c 20 61 72 67 73 29 20 (options, args)
18a0: 3d 20 70 61 72 73 65 72 2e 70 61 72 73 65 5f 61 = parser.parse_a
18b0: 72 67 73 28 29 0a 0a 09 09 69 66 20 6e 6f 74 20 rgs()....if not
18c0: 6f 73 2e 61 63 63 65 73 73 28 6f 70 74 69 6f 6e os.access(option
18d0: 73 2e 63 6f 6e 66 69 67 2c 20 6f 73 2e 52 5f 4f s.config, os.R_O
18e0: 4b 29 3a 0a 09 09 09 70 72 69 6e 74 28 22 43 61 K):....print("Ca
18f0: 6e 27 74 20 72 65 61 64 20 7b 7d 3a 20 65 78 69 n't read {}: exi
1900: 74 74 69 6e 67 22 2e 66 6f 72 6d 61 74 28 6f 70 tting".format(op
1910: 74 69 6f 6e 73 2e 63 6f 6e 66 69 67 29 29 0a 09 tions.config))..
1920: 09 09 73 79 73 2e 65 78 69 74 28 32 29 0a 0a 09 ..sys.exit(2)...
1930: 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 20 3d 20 .self._config =
1940: 63 6f 6e 66 69 67 70 61 72 73 65 72 2e 43 6f 6e configparser.Con
1950: 66 69 67 50 61 72 73 65 72 28 29 0a 09 09 73 65 figParser()...se
1960: 6c 66 2e 5f 63 6f 6e 66 69 67 2e 72 65 61 64 66 lf._config.readf
1970: 70 28 6f 70 65 6e 28 6f 70 74 69 6f 6e 73 2e 63 p(open(options.c
1980: 6f 6e 66 69 67 29 29 0a 0a 09 23 20 66 75 6e 63 onfig))...# func
1990: 74 69 6f 6e 20 74 6f 20 73 65 6c 65 63 74 20 63 tion to select c
19a0: 6f 6e 66 69 67 20 66 69 6c 65 20 73 65 63 74 69 onfig file secti
19b0: 6f 6e 20 6f 72 20 63 72 65 61 74 65 20 6f 6e 65 on or create one
19c0: 0a 09 64 65 66 20 73 65 63 74 69 6f 6e 28 73 65 ..def section(se
19d0: 6c 66 2c 20 73 65 63 74 69 6f 6e 29 3a 0a 09 09 lf, section):...
19e0: 69 66 20 6e 6f 74 20 73 65 6c 66 2e 5f 63 6f 6e if not self._con
19f0: 66 69 67 2e 68 61 73 5f 73 65 63 74 69 6f 6e 28 fig.has_section(
1a00: 73 65 63 74 69 6f 6e 29 3a 0a 09 09 09 73 65 6c section):....sel
1a10: 66 2e 5f 63 6f 6e 66 69 67 2e 61 64 64 5f 73 65 f._config.add_se
1a20: 63 74 69 6f 6e 28 73 65 63 74 69 6f 6e 29 0a 09 ction(section)..
1a30: 09 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 20 3d .self._section =
1a40: 20 73 65 63 74 69 6f 6e 0a 0a 09 23 20 66 75 6e section...# fun
1a50: 63 74 69 6f 6e 20 74 6f 20 67 65 74 20 63 6f 6e ction to get con
1a60: 66 69 67 20 70 61 72 61 6d 65 74 65 72 2c 20 69 fig parameter, i
1a70: 66 20 70 61 72 61 6d 65 74 65 72 20 64 6f 65 73 f parameter does
1a80: 6e 27 74 20 65 78 69 73 74 73 20 74 68 65 20 64 n't exists the d
1a90: 65 66 61 75 6c 74 0a 09 23 20 76 61 6c 75 65 20 efault..# value
1aa0: 6f 72 20 4e 6f 6e 65 20 69 73 20 73 75 62 73 74 or None is subst
1ab0: 69 74 75 74 65 64 0a 09 64 65 66 20 5f 5f 67 65 ituted..def __ge
1ac0: 74 69 74 65 6d 5f 5f 28 73 65 6c 66 2c 20 6e 61 titem__(self, na
1ad0: 6d 65 29 3a 0a 09 09 69 66 20 6e 6f 74 20 73 65 me):...if not se
1ae0: 6c 66 2e 5f 63 6f 6e 66 69 67 2e 68 61 73 5f 6f lf._config.has_o
1af0: 70 74 69 6f 6e 28 73 65 6c 66 2e 5f 73 65 63 74 ption(self._sect
1b00: 69 6f 6e 2c 20 6e 61 6d 65 29 3a 0a 09 09 09 69 ion, name):....i
1b10: 66 20 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 20 f self._section
1b20: 69 6e 20 73 65 6c 66 2e 5f 64 65 66 61 75 6c 74 in self._default
1b30: 3a 0a 09 09 09 09 69 66 20 6e 61 6d 65 20 69 6e :.....if name in
1b40: 20 73 65 6c 66 2e 5f 64 65 66 61 75 6c 74 5b 73 self._default[s
1b50: 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 5d 3a 0a 09 elf._section]:..
1b60: 09 09 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 ....self._config
1b70: 2e 73 65 74 28 73 65 6c 66 2e 5f 73 65 63 74 69 .set(self._secti
1b80: 6f 6e 2c 20 6e 61 6d 65 2c 20 73 65 6c 66 2e 5f on, name, self._
1b90: 64 65 66 61 75 6c 74 5b 73 65 6c 66 2e 5f 73 65 default[self._se
1ba0: 63 74 69 6f 6e 5d 5b 6e 61 6d 65 5d 29 0a 09 09 ction][name])...
1bb0: 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 73 65 6c ..else:......sel
1bc0: 66 2e 5f 63 6f 6e 66 69 67 2e 73 65 74 28 73 65 f._config.set(se
1bd0: 6c 66 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e 61 6d lf._section, nam
1be0: 65 2c 20 4e 6f 6e 65 29 0a 09 09 09 65 6c 73 65 e, None)....else
1bf0: 3a 0a 09 09 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 :.....self._conf
1c00: 69 67 2e 73 65 74 28 73 65 6c 66 2e 5f 73 65 63 ig.set(self._sec
1c10: 74 69 6f 6e 2c 20 6e 61 6d 65 2c 20 4e 6f 6e 65 tion, name, None
1c20: 29 0a 09 09 72 65 74 75 72 6e 28 73 65 6c 66 2e )...return(self.
1c30: 5f 63 6f 6e 66 69 67 2e 67 65 74 28 73 65 6c 66 _config.get(self
1c40: 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e 61 6d 65 29 ._section, name)
1c50: 29 0a 0a 23 20 69 6e 69 74 69 61 6c 69 7a 69 6e )..# initializin
1c60: 67 20 61 6e 64 20 72 65 61 64 69 6e 67 20 69 6e g and reading in
1c70: 20 63 6f 6e 66 69 67 20 66 69 6c 65 0a 63 6f 6e config file.con
1c80: 66 69 67 20 3d 20 43 6f 6e 66 69 67 28 29 0a 0a fig = Config()..
1c90: 63 6f 6e 66 69 67 2e 73 65 63 74 69 6f 6e 28 27 config.section('
1ca0: 72 65 61 63 74 6f 72 27 29 0a 69 66 20 63 6f 6e reactor').if con
1cb0: 66 69 67 5b 27 72 65 61 63 74 6f 72 27 5d 20 3d fig['reactor'] =
1cc0: 3d 20 27 74 68 72 65 61 64 27 3a 0a 09 63 68 65 = 'thread':..che
1cd0: 63 6b 65 72 20 3d 20 43 68 65 63 6b 65 72 54 68 cker = CheckerTh
1ce0: 72 65 61 64 28 29 0a 65 6c 69 66 20 63 6f 6e 66 read().elif conf
1cf0: 69 67 5b 27 72 65 61 63 74 6f 72 27 5d 20 3d 3d ig['reactor'] ==
1d00: 20 27 70 6c 61 69 6e 27 3a 0a 09 63 68 65 63 6b 'plain':..check
1d10: 65 72 20 3d 20 43 68 65 63 6b 65 72 28 29 0a 65 er = Checker().e
1d20: 6c 69 66 20 63 6f 6e 66 69 67 5b 27 72 65 61 63 lif config['reac
1d30: 74 6f 72 27 5d 20 3d 3d 20 27 6b 71 75 65 75 65 tor'] == 'kqueue
1d40: 27 3a 0a 09 63 68 65 63 6b 65 72 20 3d 20 43 68 ':..checker = Ch
1d50: 65 63 6b 65 72 4b 71 75 65 75 65 28 29 0a 0a 63 eckerKqueue()..c
1d60: 68 65 63 6b 65 72 2e 6c 6f 6f 70 28 29 0a hecker.loop().