0000: 23 21 2f 75 73 72 2f 62 69 6e 2f 65 6e 76 20 70 #!/usr/bin/env p
0010: 79 74 68 6f 6e 33 2e 31 0a 0a 69 6d 70 6f 72 74 ython3.1..import
0020: 20 63 6f 6e 66 69 67 70 61 72 73 65 72 2c 20 6f configparser, o
0030: 70 74 70 61 72 73 65 2c 20 6f 73 2c 20 70 6f 73 ptparse, os, pos
0040: 74 67 72 65 73 71 6c 2e 61 70 69 2c 20 72 65 2c tgresql.api, re,
0050: 20 73 79 73 2c 20 5f 74 68 72 65 61 64 0a 0a 23 sys, _thread..#
0060: 20 77 72 61 70 70 65 72 20 61 72 6f 75 6e 64 20 wrapper around
0070: 73 79 73 6c 6f 67 2c 20 63 61 6e 20 62 65 20 6d syslog, can be m
0080: 75 74 65 64 0a 63 6c 61 73 73 20 4c 6f 67 67 65 uted.class Logge
0090: 72 3a 0a 09 5f 5f 73 6c 6f 74 73 5f 5f 20 3d 20 r:..__slots__ =
00a0: 66 72 6f 7a 65 6e 73 65 74 28 5b 27 5f 73 79 73 frozenset(['_sys
00b0: 6c 6f 67 27 5d 29 0a 0a 09 64 65 66 20 5f 5f 69 log'])...def __i
00c0: 6e 69 74 5f 5f 28 73 65 6c 66 29 3a 0a 09 09 63 nit__(self):...c
00d0: 6f 6e 66 69 67 2e 73 65 63 74 69 6f 6e 28 27 6c onfig.section('l
00e0: 6f 67 27 29 0a 09 09 69 66 20 63 6f 6e 66 69 67 og')...if config
00f0: 5b 27 73 69 6c 65 6e 74 27 5d 20 3d 3d 20 27 79 ['silent'] == 'y
0100: 65 73 27 3a 0a 09 09 09 73 65 6c 66 2e 5f 73 79 es':....self._sy
0110: 73 6c 6f 67 20 3d 20 4e 6f 6e 65 0a 09 09 65 6c slog = None...el
0120: 73 65 3a 0a 09 09 09 69 6d 70 6f 72 74 20 73 79 se:....import sy
0130: 73 6c 6f 67 0a 09 09 09 73 65 6c 66 2e 5f 73 79 slog....self._sy
0140: 73 6c 6f 67 20 3d 20 73 79 73 6c 6f 67 0a 09 09 slog = syslog...
0150: 09 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 2e 6f 70 .self._syslog.op
0160: 65 6e 6c 6f 67 28 27 73 71 75 69 64 54 61 67 27 enlog('squidTag'
0170: 29 0a 0a 09 64 65 66 20 69 6e 66 6f 28 73 65 6c )...def info(sel
0180: 66 2c 20 6d 65 73 73 61 67 65 29 3a 0a 09 09 69 f, message):...i
0190: 66 20 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 3a 0a f self._syslog:.
01a0: 09 09 09 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 2e ...self._syslog.
01b0: 73 79 73 6c 6f 67 28 73 65 6c 66 2e 5f 73 79 73 syslog(self._sys
01c0: 6c 6f 67 2e 4c 4f 47 5f 49 4e 46 4f 2c 20 6d 65 log.LOG_INFO, me
01d0: 73 73 61 67 65 29 0a 0a 09 64 65 66 20 6e 6f 74 ssage)...def not
01e0: 69 63 65 28 73 65 6c 66 2c 20 6d 65 73 73 61 67 ice(self, messag
01f0: 65 29 3a 0a 09 09 69 66 20 73 65 6c 66 2e 5f 73 e):...if self._s
0200: 79 73 6c 6f 67 3a 0a 09 09 09 73 65 6c 66 2e 5f yslog:....self._
0210: 73 79 73 6c 6f 67 2e 73 79 73 6c 6f 67 28 73 65 syslog.syslog(se
0220: 6c 66 2e 5f 73 79 73 6c 6f 67 2e 4c 4f 47 5f 4e lf._syslog.LOG_N
0230: 4f 54 49 43 45 2c 20 6d 65 73 73 61 67 65 29 0a OTICE, message).
0240: 0a 23 20 77 72 61 70 70 65 72 20 61 72 6f 75 6e .# wrapper aroun
0250: 64 20 64 61 74 61 62 61 73 65 0a 63 6c 61 73 73 d database.class
0260: 20 74 61 67 44 42 3a 0a 09 5f 5f 73 6c 6f 74 73 tagDB:..__slots
0270: 5f 5f 20 3d 20 66 72 6f 7a 65 6e 73 65 74 28 28 __ = frozenset((
0280: 27 5f 63 68 65 63 6b 5f 73 74 6d 74 27 2c 20 27 '_check_stmt', '
0290: 5f 64 62 27 29 29 0a 0a 09 64 65 66 20 5f 5f 69 _db'))...def __i
02a0: 6e 69 74 5f 5f 28 73 65 6c 66 29 3a 0a 09 09 63 nit__(self):...c
02b0: 6f 6e 66 69 67 2e 73 65 63 74 69 6f 6e 28 27 64 onfig.section('d
02c0: 61 74 61 62 61 73 65 27 29 0a 09 09 73 65 6c 66 atabase')...self
02d0: 2e 5f 64 62 20 3d 20 70 6f 73 74 67 72 65 73 71 ._db = postgresq
02e0: 6c 2e 6f 70 65 6e 28 0a 09 09 09 27 70 71 3a 2f l.open(....'pq:/
02f0: 2f 7b 7d 3a 7b 7d 40 7b 7d 2f 7b 7d 27 2e 66 6f /{}:{}@{}/{}'.fo
0300: 72 6d 61 74 28 0a 09 09 09 09 63 6f 6e 66 69 67 rmat(.....config
0310: 5b 27 75 73 65 72 27 5d 2c 0a 09 09 09 09 63 6f ['user'],.....co
0320: 6e 66 69 67 5b 27 70 61 73 73 77 6f 72 64 27 5d nfig['password']
0330: 2c 0a 09 09 09 09 63 6f 6e 66 69 67 5b 27 68 6f ,.....config['ho
0340: 73 74 27 5d 2c 0a 09 09 09 09 63 6f 6e 66 69 67 st'],.....config
0350: 5b 27 64 61 74 61 62 61 73 65 27 5d 2c 0a 09 09 ['database'],...
0360: 29 20 29 0a 09 09 73 65 6c 66 2e 5f 63 68 65 63 ) )...self._chec
0370: 6b 5f 73 74 6d 74 20 3d 20 73 65 6c 66 2e 5f 64 k_stmt = self._d
0380: 62 2e 70 72 65 70 61 72 65 28 22 73 65 6c 65 63 b.prepare("selec
0390: 74 20 72 65 64 69 72 65 63 74 5f 75 72 6c 2c 20 t redirect_url,
03a0: 72 65 67 65 78 70 20 66 72 6f 6d 20 73 69 74 65 regexp from site
03b0: 5f 72 75 6c 65 20 77 68 65 72 65 20 73 69 74 65 _rule where site
03c0: 20 3c 40 20 74 72 69 70 64 6f 6d 61 69 6e 28 24 <@ tripdomain($
03d0: 31 29 20 61 6e 64 20 6e 65 74 6d 61 73 6b 20 3e 1) and netmask >
03e0: 3e 20 24 32 3a 3a 74 65 78 74 3a 3a 69 6e 65 74 > $2::text::inet
03f0: 20 6f 72 64 65 72 20 62 79 20 61 72 72 61 79 5f order by array_
0400: 6c 65 6e 67 74 68 28 73 69 74 65 2c 20 31 29 20 length(site, 1)
0410: 64 65 73 63 22 29 0a 0a 09 64 65 66 20 63 68 65 desc")...def che
0420: 63 6b 28 73 65 6c 66 2c 20 73 69 74 65 2c 20 69 ck(self, site, i
0430: 70 5f 61 64 64 72 65 73 73 29 3a 0a 09 09 72 65 p_address):...re
0440: 74 75 72 6e 28 73 65 6c 66 2e 5f 63 68 65 63 6b turn(self._check
0450: 5f 73 74 6d 74 28 73 69 74 65 2c 20 69 70 5f 61 _stmt(site, ip_a
0460: 64 64 72 65 73 73 29 29 0a 0a 23 20 61 62 73 74 ddress))..# abst
0470: 72 61 63 74 20 63 6c 61 73 73 20 77 69 74 68 20 ract class with
0480: 62 61 73 69 63 20 63 68 65 63 6b 69 6e 67 20 66 basic checking f
0490: 75 6e 63 74 69 6f 6e 61 6c 69 74 79 0a 63 6c 61 unctionality.cla
04a0: 73 73 20 43 68 65 63 6b 65 72 3a 0a 09 5f 5f 73 ss Checker:..__s
04b0: 6c 6f 74 73 5f 5f 20 3d 20 66 72 6f 7a 65 6e 73 lots__ = frozens
04c0: 65 74 28 5b 27 5f 64 62 27 2c 20 27 5f 6c 6f 67 et(['_db', '_log
04d0: 27 5d 29 0a 0a 09 64 65 66 20 5f 5f 69 6e 69 74 '])...def __init
04e0: 5f 5f 28 73 65 6c 66 29 3a 0a 09 09 73 65 6c 66 __(self):...self
04f0: 2e 5f 64 62 20 3d 20 74 61 67 44 42 28 29 0a 09 ._db = tagDB()..
0500: 09 73 65 6c 66 2e 5f 6c 6f 67 20 3d 20 4c 6f 67 .self._log = Log
0510: 67 65 72 28 29 0a 0a 09 64 65 66 20 70 72 6f 63 ger()...def proc
0520: 65 73 73 28 73 65 6c 66 2c 20 69 64 2c 20 73 69 ess(self, id, si
0530: 74 65 2c 20 69 70 5f 61 64 64 72 65 73 73 2c 20 te, ip_address,
0540: 75 72 6c 5f 70 61 74 68 2c 20 6c 69 6e 65 20 3d url_path, line =
0550: 20 4e 6f 6e 65 29 3a 0a 09 09 73 65 6c 66 2e 5f None):...self._
0560: 6c 6f 67 2e 69 6e 66 6f 28 27 74 72 79 69 6e 67 log.info('trying
0570: 20 7b 7d 5c 6e 27 2e 66 6f 72 6d 61 74 28 73 69 {}\n'.format(si
0580: 74 65 29 29 0a 09 09 72 65 73 75 6c 74 20 3d 20 te))...result =
0590: 73 65 6c 66 2e 5f 64 62 2e 63 68 65 63 6b 28 73 self._db.check(s
05a0: 69 74 65 2c 20 69 70 5f 61 64 64 72 65 73 73 29 ite, ip_address)
05b0: 0a 09 09 23 72 65 70 6c 79 20 3d 20 27 7b 7d 3a ...#reply = '{}:
05c0: 2f 2f 7b 7d 2f 7b 7d 27 2e 66 6f 72 6d 61 74 28 //{}/{}'.format(
05d0: 72 65 71 5b 34 5d 2c 20 72 65 71 5b 31 5d 2c 20 req[4], req[1],
05e0: 72 65 71 5b 33 5d 29 0a 09 09 72 65 70 6c 79 20 req[3])...reply
05f0: 3d 20 27 2d 27 0a 09 09 66 6f 72 20 72 6f 77 20 = '-'...for row
0600: 69 6e 20 72 65 73 75 6c 74 3a 0a 09 09 09 69 66 in result:....if
0610: 20 72 6f 77 20 21 3d 20 4e 6f 6e 65 20 61 6e 64 row != None and
0620: 20 72 6f 77 5b 30 5d 20 21 3d 20 4e 6f 6e 65 3a row[0] != None:
0630: 0a 09 09 09 09 69 66 20 72 6f 77 5b 31 5d 20 21 .....if row[1] !
0640: 3d 20 4e 6f 6e 65 3a 0a 09 09 09 09 09 73 65 6c = None:......sel
0650: 66 2e 5f 6c 6f 67 2e 69 6e 66 6f 28 27 74 72 79 f._log.info('try
0660: 69 6e 67 20 72 65 67 65 78 70 20 22 7b 7d 22 20 ing regexp "{}"
0670: 76 65 72 73 75 73 20 22 7b 7d 22 5c 6e 27 2e 66 versus "{}"\n'.f
0680: 6f 72 6d 61 74 28 72 6f 77 5b 31 5d 2c 20 75 72 ormat(row[1], ur
0690: 6c 5f 70 61 74 68 29 29 0a 09 09 09 09 09 74 72 l_path))......tr
06a0: 79 3a 0a 09 09 09 09 09 09 69 66 20 72 65 2e 63 y:.......if re.c
06b0: 6f 6d 70 69 6c 65 28 72 6f 77 5b 31 5d 29 2e 6d ompile(row[1]).m
06c0: 61 74 63 68 28 75 72 6c 5f 70 61 74 68 29 3a 0a atch(url_path):.
06d0: 09 09 09 09 09 09 09 72 65 70 6c 79 20 3d 20 72 .......reply = r
06e0: 6f 77 5b 30 5d 2e 66 6f 72 6d 61 74 28 75 72 6c ow[0].format(url
06f0: 5f 70 61 74 68 29 0a 09 09 09 09 09 09 09 62 72 _path)........br
0700: 65 61 6b 0a 09 09 09 09 09 09 65 6c 73 65 3a 0a eak.......else:.
0710: 09 09 09 09 09 09 09 63 6f 6e 74 69 6e 75 65 0a .......continue.
0720: 09 09 09 09 09 65 78 63 65 70 74 3a 0a 09 09 09 .....except:....
0730: 09 09 09 73 65 6c 66 2e 5f 6c 6f 67 2e 69 6e 66 ...self._log.inf
0740: 6f 28 22 63 61 6e 27 74 20 63 6f 6d 70 69 6c 65 o("can't compile
0750: 20 72 65 67 65 78 70 22 29 0a 09 09 09 09 65 6c regexp").....el
0760: 73 65 3a 0a 09 09 09 09 09 72 65 70 6c 79 20 3d se:......reply =
0770: 20 72 6f 77 5b 30 5d 2e 66 6f 72 6d 61 74 28 75 row[0].format(u
0780: 72 6c 5f 70 61 74 68 29 0a 09 09 09 09 09 62 72 rl_path)......br
0790: 65 61 6b 0a 09 09 73 65 6c 66 2e 77 72 69 74 65 eak...self.write
07a0: 6c 69 6e 65 28 27 7b 7d 20 7b 7d 5c 6e 27 2e 66 line('{} {}\n'.f
07b0: 6f 72 6d 61 74 28 69 64 2c 20 72 65 70 6c 79 29 ormat(id, reply)
07c0: 29 0a 0a 09 64 65 66 20 63 68 65 63 6b 28 73 65 )...def check(se
07d0: 6c 66 2c 20 6c 69 6e 65 29 3a 0a 09 09 72 65 71 lf, line):...req
07e0: 75 65 73 74 20 3d 20 72 65 2e 63 6f 6d 70 69 6c uest = re.compil
07f0: 65 28 27 5e 28 5b 30 2d 39 5d 2b 29 5c 20 28 68 e('^([0-9]+)\ (h
0800: 74 74 70 7c 66 74 70 29 3a 5c 2f 5c 2f 28 5b 2d ttp|ftp):\/\/([-
0810: 5c 77 2e 3a 5d 2b 29 5c 2f 28 5b 5e 20 5d 2a 29 \w.:]+)\/([^ ]*)
0820: 5c 20 28 5b 30 2d 39 2e 5d 2b 29 5c 2f 28 2d 7c \ ([0-9.]+)\/(-|
0830: 5b 5c 77 5c 2e 5d 2b 29 5c 20 28 2d 7c 5c 77 2b [\w\.]+)\ (-|\w+
0840: 29 5c 20 28 2d 7c 47 45 54 7c 48 45 41 44 7c 50 )\ (-|GET|HEAD|P
0850: 4f 53 54 29 2e 2a 24 27 29 2e 6d 61 74 63 68 28 OST).*$').match(
0860: 6c 69 6e 65 29 0a 09 09 69 66 20 72 65 71 75 65 line)...if reque
0870: 73 74 3a 0a 09 09 09 69 64 20 3d 20 72 65 71 75 st:....id = requ
0880: 65 73 74 2e 67 72 6f 75 70 28 31 29 0a 09 09 09 est.group(1)....
0890: 23 70 72 6f 74 6f 20 3d 20 72 65 71 75 65 73 74 #proto = request
08a0: 2e 67 72 6f 75 70 28 32 29 0a 09 09 09 73 69 74 .group(2)....sit
08b0: 65 20 3d 20 72 65 71 75 65 73 74 2e 67 72 6f 75 e = request.grou
08c0: 70 28 33 29 0a 09 09 09 75 72 6c 5f 70 61 74 68 p(3)....url_path
08d0: 20 3d 20 72 65 71 75 65 73 74 2e 67 72 6f 75 70 = request.group
08e0: 28 34 29 0a 09 09 09 69 70 5f 61 64 64 72 65 73 (4)....ip_addres
08f0: 73 20 3d 20 72 65 71 75 65 73 74 2e 67 72 6f 75 s = request.grou
0900: 70 28 35 29 0a 09 09 09 73 65 6c 66 2e 70 72 6f p(5)....self.pro
0910: 63 65 73 73 28 69 64 2c 20 73 69 74 65 2c 20 69 cess(id, site, i
0920: 70 5f 61 64 64 72 65 73 73 2c 20 75 72 6c 5f 70 p_address, url_p
0930: 61 74 68 2c 20 6c 69 6e 65 29 0a 09 09 65 6c 73 ath, line)...els
0940: 65 3a 0a 09 09 09 73 65 6c 66 2e 5f 6c 6f 67 2e e:....self._log.
0950: 69 6e 66 6f 28 27 62 61 64 20 72 65 71 75 65 73 info('bad reques
0960: 74 5c 6e 27 29 0a 09 09 09 73 65 6c 66 2e 77 72 t\n')....self.wr
0970: 69 74 65 6c 69 6e 65 28 6c 69 6e 65 29 0a 0a 09 iteline(line)...
0980: 64 65 66 20 77 72 69 74 65 6c 69 6e 65 28 73 65 def writeline(se
0990: 6c 66 2c 20 73 74 72 69 6e 67 29 3a 0a 09 09 73 lf, string):...s
09a0: 65 6c 66 2e 5f 6c 6f 67 2e 69 6e 66 6f 28 27 73 elf._log.info('s
09b0: 65 6e 64 69 6e 67 3a 20 27 20 2b 20 73 74 72 69 ending: ' + stri
09c0: 6e 67 29 0a 09 09 73 79 73 2e 73 74 64 6f 75 74 ng)...sys.stdout
09d0: 2e 77 72 69 74 65 28 73 74 72 69 6e 67 29 0a 09 .write(string)..
09e0: 09 73 79 73 2e 73 74 64 6f 75 74 2e 66 6c 75 73 .sys.stdout.flus
09f0: 68 28 29 0a 0a 09 64 65 66 20 6c 6f 6f 70 28 73 h()...def loop(s
0a00: 65 6c 66 29 3a 0a 09 09 77 68 69 6c 65 20 54 72 elf):...while Tr
0a10: 75 65 3a 0a 09 09 09 6c 69 6e 65 20 3d 20 73 79 ue:....line = sy
0a20: 73 2e 73 74 64 69 6e 2e 72 65 61 64 6c 69 6e 65 s.stdin.readline
0a30: 28 29 0a 09 09 09 69 66 20 6c 65 6e 28 6c 69 6e ()....if len(lin
0a40: 65 29 20 3d 3d 20 30 3a 0a 09 09 09 09 62 72 65 e) == 0:.....bre
0a50: 61 6b 0a 09 09 09 73 65 6c 66 2e 63 68 65 63 6b ak....self.check
0a60: 28 6c 69 6e 65 29 0a 0a 23 20 74 68 72 65 61 64 (line)..# thread
0a70: 65 64 20 63 68 65 63 6b 69 6e 67 20 66 61 63 69 ed checking faci
0a80: 6c 69 74 79 0a 63 6c 61 73 73 20 43 68 65 63 6b lity.class Check
0a90: 65 72 54 68 72 65 61 64 28 43 68 65 63 6b 65 72 erThread(Checker
0aa0: 29 3a 0a 09 5f 5f 73 6c 6f 74 73 5f 5f 20 3d 20 ):..__slots__ =
0ab0: 66 72 6f 7a 65 6e 73 65 74 28 5b 27 5f 6c 6f 63 frozenset(['_loc
0ac0: 6b 27 2c 20 27 5f 6c 6f 63 6b 5f 65 78 69 74 27 k', '_lock_exit'
0ad0: 2c 20 27 5f 6c 6f 63 6b 5f 71 75 65 75 65 27 2c , '_lock_queue',
0ae0: 20 27 5f 71 75 65 75 65 27 5d 29 0a 0a 09 64 65 '_queue'])...de
0af0: 66 20 5f 5f 69 6e 69 74 5f 5f 28 73 65 6c 66 29 f __init__(self)
0b00: 3a 0a 09 09 23 20 62 61 73 69 63 20 69 6e 69 74 :...# basic init
0b10: 69 61 6c 69 73 61 74 69 6f 6e 0a 09 09 43 68 65 ialisation...Che
0b20: 63 6b 65 72 2e 5f 5f 69 6e 69 74 5f 5f 28 73 65 cker.__init__(se
0b30: 6c 66 29 0a 0a 09 09 23 20 53 70 69 6e 20 6c 6f lf)....# Spin lo
0b40: 63 6b 2e 20 4c 6f 6f 70 20 61 63 71 75 69 72 65 ck. Loop acquire
0b50: 73 20 69 74 20 6f 6e 20 73 74 61 72 74 20 74 68 s it on start th
0b60: 65 6e 20 72 65 6c 65 61 73 65 73 20 69 74 20 77 en releases it w
0b70: 68 65 6e 20 68 6f 6c 64 69 6e 67 20 71 75 65 75 hen holding queu
0b80: 65 0a 09 09 23 20 6c 6f 63 6b 2e 20 54 68 69 73 e...# lock. This
0b90: 20 77 61 79 20 74 68 65 20 74 68 72 65 61 64 20 way the thread
0ba0: 70 72 6f 63 65 65 64 73 20 77 69 74 68 6f 75 74 proceeds without
0bb0: 20 73 74 6f 70 73 20 77 68 69 6c 65 20 71 75 65 stops while que
0bc0: 75 65 20 68 61 73 20 64 61 74 61 20 61 6e 64 0a ue has data and.
0bd0: 09 09 23 20 67 65 74 73 20 73 74 61 6c 6c 65 64 ..# gets stalled
0be0: 20 77 68 65 6e 20 6e 6f 20 64 61 74 61 20 70 72 when no data pr
0bf0: 65 73 65 6e 74 2e 20 54 68 65 20 6c 6f 63 6b 20 esent. The lock
0c00: 69 73 20 72 65 6c 65 61 73 65 64 20 62 79 20 71 is released by q
0c10: 75 65 75 65 20 77 72 69 74 65 72 0a 09 09 23 20 ueue writer...#
0c20: 61 66 74 65 72 20 73 74 6f 72 69 6e 67 20 73 6f after storing so
0c30: 6d 65 74 68 69 6e 67 20 69 6e 74 6f 20 74 68 65 mething into the
0c40: 20 71 75 65 75 65 0a 09 09 73 65 6c 66 2e 5f 6c queue...self._l
0c50: 6f 63 6b 20 3d 20 5f 74 68 72 65 61 64 2e 61 6c ock = _thread.al
0c60: 6c 6f 63 61 74 65 5f 6c 6f 63 6b 28 29 0a 09 09 locate_lock()...
0c70: 73 65 6c 66 2e 5f 6c 6f 63 6b 5f 65 78 69 74 20 self._lock_exit
0c80: 3d 20 5f 74 68 72 65 61 64 2e 61 6c 6c 6f 63 61 = _thread.alloca
0c90: 74 65 5f 6c 6f 63 6b 28 29 0a 09 09 73 65 6c 66 te_lock()...self
0ca0: 2e 5f 6c 6f 63 6b 5f 71 75 65 75 65 20 3d 20 5f ._lock_queue = _
0cb0: 74 68 72 65 61 64 2e 61 6c 6c 6f 63 61 74 65 5f thread.allocate_
0cc0: 6c 6f 63 6b 28 29 0a 09 09 73 65 6c 66 2e 5f 6c lock()...self._l
0cd0: 6f 63 6b 2e 61 63 71 75 69 72 65 28 29 0a 09 09 ock.acquire()...
0ce0: 73 65 6c 66 2e 5f 71 75 65 75 65 20 3d 20 5b 5d self._queue = []
0cf0: 0a 09 09 5f 74 68 72 65 61 64 2e 73 74 61 72 74 ..._thread.start
0d00: 5f 6e 65 77 5f 74 68 72 65 61 64 28 73 65 6c 66 _new_thread(self
0d10: 2e 5f 73 74 61 72 74 2c 20 28 29 29 0a 0a 09 64 ._start, ())...d
0d20: 65 66 20 5f 73 74 61 72 74 28 73 65 6c 66 29 3a ef _start(self):
0d30: 0a 09 09 77 68 69 6c 65 20 54 72 75 65 3a 0a 09 ...while True:..
0d40: 09 09 73 65 6c 66 2e 5f 6c 6f 63 6b 2e 61 63 71 ..self._lock.acq
0d50: 75 69 72 65 28 29 0a 09 09 09 77 69 74 68 20 73 uire()....with s
0d60: 65 6c 66 2e 5f 6c 6f 63 6b 5f 71 75 65 75 65 3a elf._lock_queue:
0d70: 0a 09 09 09 09 23 20 79 65 73 20 74 68 69 73 20 .....# yes this
0d80: 73 68 6f 75 6c 64 20 62 65 20 77 72 69 74 74 65 should be writte
0d90: 6e 20 74 68 69 73 20 77 61 79 2c 20 61 6e 64 20 n this way, and
0da0: 79 65 73 2c 20 74 68 69 73 20 69 73 20 77 68 79 yes, this is why
0db0: 20 49 20 68 61 74 65 20 74 68 72 65 61 64 69 6e I hate threadin
0dc0: 67 0a 09 09 09 09 69 66 20 6c 65 6e 28 73 65 6c g.....if len(sel
0dd0: 66 2e 5f 71 75 65 75 65 29 20 3e 20 31 3a 0a 09 f._queue) > 1:..
0de0: 09 09 09 09 69 66 20 73 65 6c 66 2e 5f 6c 6f 63 ....if self._loc
0df0: 6b 2e 6c 6f 63 6b 65 64 28 29 3a 0a 09 09 09 09 k.locked():.....
0e00: 09 09 73 65 6c 66 2e 5f 6c 6f 63 6b 2e 72 65 6c ..self._lock.rel
0e10: 65 61 73 65 28 29 0a 09 09 09 09 72 65 71 20 3d ease().....req =
0e20: 20 73 65 6c 66 2e 5f 71 75 65 75 65 2e 70 6f 70 self._queue.pop
0e30: 28 30 29 0a 09 09 09 43 68 65 63 6b 65 72 2e 70 (0)....Checker.p
0e40: 72 6f 63 65 73 73 28 73 65 6c 66 2c 20 72 65 71 rocess(self, req
0e50: 5b 30 5d 2c 20 72 65 71 5b 31 5d 2c 20 72 65 71 [0], req[1], req
0e60: 5b 32 5d 2c 20 72 65 71 5b 33 5d 29 0a 09 09 09 [2], req[3])....
0e70: 77 69 74 68 20 73 65 6c 66 2e 5f 6c 6f 63 6b 5f with self._lock_
0e80: 71 75 65 75 65 3a 0a 09 09 09 09 69 66 20 6c 65 queue:.....if le
0e90: 6e 28 73 65 6c 66 2e 5f 71 75 65 75 65 29 20 3d n(self._queue) =
0ea0: 3d 20 30 3a 0a 09 09 09 09 09 69 66 20 73 65 6c = 0:......if sel
0eb0: 66 2e 5f 6c 6f 63 6b 5f 65 78 69 74 2e 6c 6f 63 f._lock_exit.loc
0ec0: 6b 65 64 28 29 3a 0a 09 09 09 09 09 09 73 65 6c ked():.......sel
0ed0: 66 2e 5f 6c 6f 63 6b 5f 65 78 69 74 2e 72 65 6c f._lock_exit.rel
0ee0: 65 61 73 65 28 29 0a 0a 09 64 65 66 20 70 72 6f ease()...def pro
0ef0: 63 65 73 73 28 73 65 6c 66 2c 20 69 64 2c 20 73 cess(self, id, s
0f00: 69 74 65 2c 20 69 70 5f 61 64 64 72 65 73 73 2c ite, ip_address,
0f10: 20 75 72 6c 5f 70 61 74 68 2c 20 6c 69 6e 65 29 url_path, line)
0f20: 3a 0a 09 09 77 69 74 68 20 73 65 6c 66 2e 5f 6c :...with self._l
0f30: 6f 63 6b 5f 71 75 65 75 65 3a 0a 09 09 09 73 65 ock_queue:....se
0f40: 6c 66 2e 5f 71 75 65 75 65 2e 61 70 70 65 6e 64 lf._queue.append
0f50: 28 28 69 64 2c 20 73 69 74 65 2c 20 69 70 5f 61 ((id, site, ip_a
0f60: 64 64 72 65 73 73 2c 20 75 72 6c 5f 70 61 74 68 ddress, url_path
0f70: 29 29 0a 09 09 09 73 65 6c 66 2e 5f 6c 6f 67 2e ))....self._log.
0f80: 69 6e 66 6f 28 27 72 65 71 75 65 73 74 20 7b 7d info('request {}
0f90: 20 71 75 65 75 65 64 20 28 7b 7d 29 5c 6e 27 2e queued ({})\n'.
0fa0: 66 6f 72 6d 61 74 28 69 64 2c 20 6c 69 6e 65 29 format(id, line)
0fb0: 29 0a 09 09 09 69 66 20 6e 6f 74 20 73 65 6c 66 )....if not self
0fc0: 2e 5f 6c 6f 63 6b 5f 65 78 69 74 2e 6c 6f 63 6b ._lock_exit.lock
0fd0: 65 64 28 29 3a 0a 09 09 09 09 73 65 6c 66 2e 5f ed():.....self._
0fe0: 6c 6f 63 6b 5f 65 78 69 74 2e 61 63 71 75 69 72 lock_exit.acquir
0ff0: 65 28 29 0a 09 09 09 69 66 20 73 65 6c 66 2e 5f e()....if self._
1000: 6c 6f 63 6b 2e 6c 6f 63 6b 65 64 28 29 3a 0a 09 lock.locked():..
1010: 09 09 09 73 65 6c 66 2e 5f 6c 6f 63 6b 2e 72 65 ...self._lock.re
1020: 6c 65 61 73 65 28 29 0a 0a 09 64 65 66 20 6c 6f lease()...def lo
1030: 6f 70 28 73 65 6c 66 29 3a 0a 09 09 77 68 69 6c op(self):...whil
1040: 65 20 54 72 75 65 3a 0a 09 09 09 6c 69 6e 65 20 e True:....line
1050: 3d 20 73 79 73 2e 73 74 64 69 6e 2e 72 65 61 64 = sys.stdin.read
1060: 6c 69 6e 65 28 29 0a 09 09 09 69 66 20 6c 65 6e line()....if len
1070: 28 6c 69 6e 65 29 20 3d 3d 20 30 3a 0a 09 09 09 (line) == 0:....
1080: 09 62 72 65 61 6b 0a 09 09 09 73 65 6c 66 2e 63 .break....self.c
1090: 68 65 63 6b 28 6c 69 6e 65 29 0a 09 09 73 65 6c heck(line)...sel
10a0: 66 2e 5f 6c 6f 63 6b 5f 65 78 69 74 2e 61 63 71 f._lock_exit.acq
10b0: 75 69 72 65 28 29 0a 0a 23 20 6b 71 75 65 75 65 uire()..# kqueue
10c0: 20 65 6e 61 62 6c 65 20 63 6c 61 73 73 20 66 6f enable class fo
10d0: 72 20 42 53 44 27 73 20 58 58 58 20 62 72 6f 6b r BSD's XXX brok
10e0: 65 6e 20 66 6f 72 20 6e 6f 77 0a 63 6c 61 73 73 en for now.class
10f0: 20 43 68 65 63 6b 65 72 4b 71 75 65 75 65 28 43 CheckerKqueue(C
1100: 68 65 63 6b 65 72 29 3a 0a 09 5f 5f 73 6c 6f 74 hecker):..__slot
1110: 73 5f 5f 20 3d 20 66 72 6f 7a 65 6e 73 65 74 28 s__ = frozenset(
1120: 5b 27 5f 6b 71 27 2c 20 27 5f 73 65 6c 65 63 74 ['_kq', '_select
1130: 27 2c 20 27 5f 71 75 65 75 65 27 5d 29 0a 0a 09 ', '_queue'])...
1140: 64 65 66 20 5f 5f 69 6e 69 74 5f 5f 28 73 65 6c def __init__(sel
1150: 66 29 3a 0a 09 09 23 20 62 61 73 69 63 20 69 6e f):...# basic in
1160: 69 74 69 61 6c 69 73 61 74 69 6f 6e 0a 09 09 43 itialisation...C
1170: 68 65 63 6b 65 72 2e 5f 5f 69 6e 69 74 5f 5f 28 hecker.__init__(
1180: 73 65 6c 66 29 0a 0a 09 09 23 20 69 6d 70 6f 72 self)....# impor
1190: 74 69 6e 67 20 73 65 6c 65 63 74 20 6d 6f 64 75 ting select modu
11a0: 6c 65 0a 09 09 69 6d 70 6f 72 74 20 73 65 6c 65 le...import sele
11b0: 63 74 0a 09 09 73 65 6c 66 2e 5f 73 65 6c 65 63 ct...self._selec
11c0: 74 20 3d 20 73 65 6c 65 63 74 0a 0a 09 09 23 20 t = select....#
11d0: 6b 72 65 61 74 69 6e 67 20 6b 71 75 65 75 65 0a kreating kqueue.
11e0: 09 09 73 65 6c 66 2e 5f 6b 71 20 3d 20 73 65 6c ..self._kq = sel
11f0: 66 2e 5f 73 65 6c 65 63 74 2e 6b 71 75 65 75 65 f._select.kqueue
1200: 28 29 0a 09 09 61 73 73 65 72 74 20 28 73 65 6c ()...assert (sel
1210: 66 2e 5f 6b 71 2e 66 69 6c 65 6e 6f 28 29 20 21 f._kq.fileno() !
1220: 3d 20 2d 31 29 0a 0a 09 09 23 20 77 61 74 63 68 = -1)....# watch
1230: 69 6e 67 20 73 79 73 2e 73 74 64 69 6e 20 66 6f ing sys.stdin fo
1240: 72 20 64 61 74 61 0a 09 09 73 65 6c 66 2e 5f 6b r data...self._k
1250: 71 2e 63 6f 6e 74 72 6f 6c 28 5b 73 65 6c 66 2e q.control([self.
1260: 5f 73 65 6c 65 63 74 2e 6b 65 76 65 6e 74 28 73 _select.kevent(s
1270: 79 73 2e 73 74 64 69 6e 2c 20 73 65 6c 66 2e 5f ys.stdin, self._
1280: 73 65 6c 65 63 74 2e 4b 51 5f 46 49 4c 54 45 52 select.KQ_FILTER
1290: 5f 52 45 41 44 2c 20 73 65 6c 66 2e 5f 73 65 6c _READ, self._sel
12a0: 65 63 74 2e 4b 51 5f 45 56 5f 41 44 44 29 5d 2c ect.KQ_EV_ADD)],
12b0: 20 30 29 0a 0a 09 09 23 20 63 72 65 61 74 69 6e 0)....# creatin
12c0: 67 20 64 61 74 61 20 71 75 65 75 65 0a 09 09 73 g data queue...s
12d0: 65 6c 66 2e 5f 71 75 65 75 65 20 3d 20 5b 5d 0a elf._queue = [].
12e0: 0a 09 64 65 66 20 6c 6f 6f 70 28 73 65 6c 66 29 ..def loop(self)
12f0: 3a 0a 09 09 23 20 57 61 69 74 20 66 6f 72 20 64 :...# Wait for d
1300: 61 74 61 20 62 79 20 64 65 66 61 75 6c 74 0a 09 ata by default..
1310: 09 74 69 6d 65 6f 75 74 20 3d 20 4e 6f 6e 65 0a .timeout = None.
1320: 09 09 77 68 69 6c 65 20 54 72 75 65 3a 0a 09 09 ..while True:...
1330: 09 23 20 63 68 65 63 6b 69 6e 67 20 69 66 20 74 .# checking if t
1340: 68 65 72 65 20 69 73 20 61 6e 79 20 64 61 74 61 here is any data
1350: 0a 09 09 09 6b 65 76 73 20 3d 20 73 65 6c 66 2e ....kevs = self.
1360: 5f 6b 71 2e 63 6f 6e 74 72 6f 6c 28 4e 6f 6e 65 _kq.control(None
1370: 2c 20 31 2c 20 74 69 6d 65 6f 75 74 29 0a 09 09 , 1, timeout)...
1380: 09 69 66 20 6c 65 6e 28 6b 65 76 73 29 20 3e 20 .if len(kevs) >
1390: 30 3a 0a 09 09 09 09 23 6b 65 76 20 3d 20 6b 65 0:.....#kev = ke
13a0: 76 73 5b 30 5d 0a 09 09 09 09 23 20 58 58 58 20 vs[0].....# XXX
13b0: 61 64 64 20 73 6f 6d 65 20 63 6f 64 65 20 74 6f add some code to
13c0: 20 72 65 61 64 20 6f 6e 6c 79 20 6b 6e 6f 77 6e read only known
13d0: 20 64 61 74 61 20 73 69 7a 65 20 61 6e 64 20 63 data size and c
13e0: 68 65 63 6b 20 66 6f 72 20 6e 65 77 6c 69 6e 65 heck for newline
13f0: 73 0a 09 09 09 09 6c 69 6e 65 20 3d 20 73 79 73 s.....line = sys
1400: 2e 73 74 64 69 6e 2e 72 65 61 64 6c 69 6e 65 28 .stdin.readline(
1410: 29 0a 09 09 09 09 23 20 61 64 64 20 64 61 74 61 ).....# add data
1420: 20 74 6f 20 74 68 65 20 71 75 65 75 65 0a 09 09 to the queue...
1430: 09 09 73 65 6c 66 2e 63 68 65 63 6b 28 6c 69 6e ..self.check(lin
1440: 65 29 0a 09 09 09 09 23 20 64 6f 6e 27 74 20 77 e).....# don't w
1450: 61 69 74 20 66 6f 72 20 64 61 74 61 2c 20 73 74 ait for data, st
1460: 61 72 74 20 70 72 6f 63 65 73 73 69 6e 67 0a 09 art processing..
1470: 09 09 09 74 69 6d 65 6f 75 74 20 3d 20 30 0a 09 ...timeout = 0..
1480: 09 09 65 6c 73 65 3a 0a 09 09 09 09 72 65 71 20 ..else:.....req
1490: 3d 20 73 65 6c 66 2e 5f 71 75 65 75 65 2e 70 6f = self._queue.po
14a0: 70 28 30 29 0a 09 09 09 09 43 68 65 63 6b 65 72 p(0).....Checker
14b0: 2e 70 72 6f 63 65 73 73 28 73 65 6c 66 2c 20 72 .process(self, r
14c0: 65 71 5b 30 5d 2c 20 72 65 71 5b 31 5d 2c 20 72 eq[0], req[1], r
14d0: 65 71 5b 32 5d 2c 20 72 65 71 5b 33 5d 29 0a 09 eq[2], req[3])..
14e0: 09 09 09 69 66 20 6c 65 6e 28 73 65 6c 66 2e 5f ...if len(self._
14f0: 71 75 65 75 65 29 20 3d 3d 20 30 3a 0a 09 09 09 queue) == 0:....
1500: 09 09 23 20 77 61 69 74 20 66 6f 72 20 64 61 74 ..# wait for dat
1510: 61 20 2d 20 77 65 20 68 61 76 65 20 6e 6f 74 68 a - we have noth
1520: 69 6e 67 20 74 6f 20 70 72 6f 63 65 73 73 0a 09 ing to process..
1530: 09 09 09 09 74 69 6d 65 6f 75 74 20 3d 20 4e 6f ....timeout = No
1540: 6e 65 0a 0a 09 64 65 66 20 70 72 6f 63 65 73 73 ne...def process
1550: 28 73 65 6c 66 2c 20 69 64 2c 20 73 69 74 65 2c (self, id, site,
1560: 20 69 70 5f 61 64 64 72 65 73 73 2c 20 75 72 6c ip_address, url
1570: 5f 70 61 74 68 2c 20 6c 69 6e 65 29 3a 0a 09 09 _path, line):...
1580: 73 65 6c 66 2e 5f 71 75 65 75 65 2e 61 70 70 65 self._queue.appe
1590: 6e 64 28 28 69 64 2c 20 73 69 74 65 2c 20 69 70 nd((id, site, ip
15a0: 5f 61 64 64 72 65 73 73 2c 20 75 72 6c 5f 70 61 _address, url_pa
15b0: 74 68 29 29 0a 09 09 73 65 6c 66 2e 5f 6c 6f 67 th))...self._log
15c0: 2e 69 6e 66 6f 28 27 72 65 71 75 65 73 74 20 7b .info('request {
15d0: 7d 20 71 75 65 75 65 64 20 28 7b 7d 29 5c 6e 27 } queued ({})\n'
15e0: 2e 66 6f 72 6d 61 74 28 69 64 2c 20 6c 69 6e 65 .format(id, line
15f0: 29 29 0a 0a 23 20 74 68 69 73 20 63 6c 61 73 73 ))..# this class
1600: 65 73 20 70 72 6f 63 65 73 73 65 73 20 63 6f 6e es processes con
1610: 66 69 67 20 66 69 6c 65 20 61 6e 64 20 73 75 62 fig file and sub
1620: 73 74 69 74 75 74 65 73 20 64 65 66 61 75 6c 74 stitutes default
1630: 20 76 61 6c 75 65 73 0a 63 6c 61 73 73 20 43 6f values.class Co
1640: 6e 66 69 67 3a 0a 09 5f 5f 73 6c 6f 74 73 5f 5f nfig:..__slots__
1650: 20 3d 20 66 72 6f 7a 65 6e 73 65 74 28 5b 27 5f = frozenset(['_
1660: 63 6f 6e 66 69 67 27 2c 20 27 5f 64 65 66 61 75 config', '_defau
1670: 6c 74 27 2c 20 27 5f 73 65 63 74 69 6f 6e 27 5d lt', '_section']
1680: 29 0a 09 5f 64 65 66 61 75 6c 74 20 3d 20 7b 0a ).._default = {.
1690: 09 09 27 72 65 61 63 74 6f 72 27 3a 20 7b 0a 09 ..'reactor': {..
16a0: 09 09 27 72 65 61 63 74 6f 72 27 3a 20 27 74 68 ..'reactor': 'th
16b0: 72 65 61 64 27 2c 0a 09 09 7d 2c 0a 09 09 27 6c read',...},...'l
16c0: 6f 67 27 3a 20 7b 0a 09 09 09 27 73 69 6c 65 6e og': {....'silen
16d0: 74 27 3a 20 27 6e 6f 27 2c 0a 09 09 7d 2c 0a 09 t': 'no',...},..
16e0: 09 27 64 61 74 61 62 61 73 65 27 3a 20 7b 0a 09 .'database': {..
16f0: 09 09 27 68 6f 73 74 27 3a 20 27 6c 6f 63 61 6c ..'host': 'local
1700: 68 6f 73 74 27 2c 0a 09 09 09 27 64 61 74 61 62 host',....'datab
1710: 61 73 65 27 3a 20 27 73 71 75 69 64 54 61 67 27 ase': 'squidTag'
1720: 2c 0a 09 7d 2c 7d 0a 0a 09 23 20 66 75 6e 63 74 ,..},}...# funct
1730: 69 6f 6e 20 74 6f 20 72 65 61 64 20 69 6e 20 63 ion to read in c
1740: 6f 6e 66 69 67 20 66 69 6c 65 0a 09 64 65 66 20 onfig file..def
1750: 5f 5f 69 6e 69 74 5f 5f 28 73 65 6c 66 29 3a 0a __init__(self):.
1760: 09 09 70 61 72 73 65 72 20 3d 20 6f 70 74 70 61 ..parser = optpa
1770: 72 73 65 2e 4f 70 74 69 6f 6e 50 61 72 73 65 72 rse.OptionParser
1780: 28 29 0a 09 09 70 61 72 73 65 72 2e 61 64 64 5f ()...parser.add_
1790: 6f 70 74 69 6f 6e 28 27 2d 63 27 2c 20 27 2d 2d option('-c', '--
17a0: 63 6f 6e 66 69 67 27 2c 20 64 65 73 74 20 3d 20 config', dest =
17b0: 27 63 6f 6e 66 69 67 27 2c 0a 09 09 09 68 65 6c 'config',....hel
17c0: 70 20 3d 20 27 63 6f 6e 66 69 67 20 66 69 6c 65 p = 'config file
17d0: 20 6c 6f 63 61 74 69 6f 6e 27 2c 20 6d 65 74 61 location', meta
17e0: 76 61 72 20 3d 20 27 46 49 4c 45 27 2c 0a 09 09 var = 'FILE',...
17f0: 09 64 65 66 61 75 6c 74 20 3d 20 27 2f 75 73 72 .default = '/usr
1800: 2f 6c 6f 63 61 6c 2f 65 74 63 2f 73 71 75 69 64 /local/etc/squid
1810: 2d 74 61 67 67 65 72 2e 63 6f 6e 66 27 29 0a 0a -tagger.conf')..
1820: 09 09 28 6f 70 74 69 6f 6e 73 2c 20 61 72 67 73 ..(options, args
1830: 29 20 3d 20 70 61 72 73 65 72 2e 70 61 72 73 65 ) = parser.parse
1840: 5f 61 72 67 73 28 29 0a 0a 09 09 69 66 20 6e 6f _args()....if no
1850: 74 20 6f 73 2e 61 63 63 65 73 73 28 6f 70 74 69 t os.access(opti
1860: 6f 6e 73 2e 63 6f 6e 66 69 67 2c 20 6f 73 2e 52 ons.config, os.R
1870: 5f 4f 4b 29 3a 0a 09 09 09 70 72 69 6e 74 28 22 _OK):....print("
1880: 43 61 6e 27 74 20 72 65 61 64 20 7b 7d 3a 20 65 Can't read {}: e
1890: 78 69 74 74 69 6e 67 22 2e 66 6f 72 6d 61 74 28 xitting".format(
18a0: 6f 70 74 69 6f 6e 73 2e 63 6f 6e 66 69 67 29 29 options.config))
18b0: 0a 09 09 09 73 79 73 2e 65 78 69 74 28 32 29 0a ....sys.exit(2).
18c0: 0a 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 20 ...self._config
18d0: 3d 20 63 6f 6e 66 69 67 70 61 72 73 65 72 2e 43 = configparser.C
18e0: 6f 6e 66 69 67 50 61 72 73 65 72 28 29 0a 09 09 onfigParser()...
18f0: 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 72 65 61 self._config.rea
1900: 64 66 70 28 6f 70 65 6e 28 6f 70 74 69 6f 6e 73 dfp(open(options
1910: 2e 63 6f 6e 66 69 67 29 29 0a 0a 09 23 20 66 75 .config))...# fu
1920: 6e 63 74 69 6f 6e 20 74 6f 20 73 65 6c 65 63 74 nction to select
1930: 20 63 6f 6e 66 69 67 20 66 69 6c 65 20 73 65 63 config file sec
1940: 74 69 6f 6e 20 6f 72 20 63 72 65 61 74 65 20 6f tion or create o
1950: 6e 65 0a 09 64 65 66 20 73 65 63 74 69 6f 6e 28 ne..def section(
1960: 73 65 6c 66 2c 20 73 65 63 74 69 6f 6e 29 3a 0a self, section):.
1970: 09 09 69 66 20 6e 6f 74 20 73 65 6c 66 2e 5f 63 ..if not self._c
1980: 6f 6e 66 69 67 2e 68 61 73 5f 73 65 63 74 69 6f onfig.has_sectio
1990: 6e 28 73 65 63 74 69 6f 6e 29 3a 0a 09 09 09 73 n(section):....s
19a0: 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 61 64 64 5f elf._config.add_
19b0: 73 65 63 74 69 6f 6e 28 73 65 63 74 69 6f 6e 29 section(section)
19c0: 0a 09 09 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e ...self._section
19d0: 20 3d 20 73 65 63 74 69 6f 6e 0a 0a 09 23 20 66 = section...# f
19e0: 75 6e 63 74 69 6f 6e 20 74 6f 20 67 65 74 20 63 unction to get c
19f0: 6f 6e 66 69 67 20 70 61 72 61 6d 65 74 65 72 2c onfig parameter,
1a00: 20 69 66 20 70 61 72 61 6d 65 74 65 72 20 64 6f if parameter do
1a10: 65 73 6e 27 74 20 65 78 69 73 74 73 20 74 68 65 esn't exists the
1a20: 20 64 65 66 61 75 6c 74 0a 09 23 20 76 61 6c 75 default..# valu
1a30: 65 20 6f 72 20 4e 6f 6e 65 20 69 73 20 73 75 62 e or None is sub
1a40: 73 74 69 74 75 74 65 64 0a 09 64 65 66 20 5f 5f stituted..def __
1a50: 67 65 74 69 74 65 6d 5f 5f 28 73 65 6c 66 2c 20 getitem__(self,
1a60: 6e 61 6d 65 29 3a 0a 09 09 69 66 20 6e 6f 74 20 name):...if not
1a70: 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 68 61 73 self._config.has
1a80: 5f 6f 70 74 69 6f 6e 28 73 65 6c 66 2e 5f 73 65 _option(self._se
1a90: 63 74 69 6f 6e 2c 20 6e 61 6d 65 29 3a 0a 09 09 ction, name):...
1aa0: 09 69 66 20 73 65 6c 66 2e 5f 73 65 63 74 69 6f .if self._sectio
1ab0: 6e 20 69 6e 20 73 65 6c 66 2e 5f 64 65 66 61 75 n in self._defau
1ac0: 6c 74 3a 0a 09 09 09 09 69 66 20 6e 61 6d 65 20 lt:.....if name
1ad0: 69 6e 20 73 65 6c 66 2e 5f 64 65 66 61 75 6c 74 in self._default
1ae0: 5b 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 5d 3a [self._section]:
1af0: 0a 09 09 09 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 ......self._conf
1b00: 69 67 2e 73 65 74 28 73 65 6c 66 2e 5f 73 65 63 ig.set(self._sec
1b10: 74 69 6f 6e 2c 20 6e 61 6d 65 2c 20 73 65 6c 66 tion, name, self
1b20: 2e 5f 64 65 66 61 75 6c 74 5b 73 65 6c 66 2e 5f ._default[self._
1b30: 73 65 63 74 69 6f 6e 5d 5b 6e 61 6d 65 5d 29 0a section][name]).
1b40: 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 73 ....else:......s
1b50: 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 73 65 74 28 elf._config.set(
1b60: 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e self._section, n
1b70: 61 6d 65 2c 20 4e 6f 6e 65 29 0a 09 09 09 65 6c ame, None)....el
1b80: 73 65 3a 0a 09 09 09 09 73 65 6c 66 2e 5f 63 6f se:.....self._co
1b90: 6e 66 69 67 2e 73 65 74 28 73 65 6c 66 2e 5f 73 nfig.set(self._s
1ba0: 65 63 74 69 6f 6e 2c 20 6e 61 6d 65 2c 20 4e 6f ection, name, No
1bb0: 6e 65 29 0a 09 09 72 65 74 75 72 6e 28 73 65 6c ne)...return(sel
1bc0: 66 2e 5f 63 6f 6e 66 69 67 2e 67 65 74 28 73 65 f._config.get(se
1bd0: 6c 66 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e 61 6d lf._section, nam
1be0: 65 29 29 0a 0a 23 20 69 6e 69 74 69 61 6c 69 7a e))..# initializ
1bf0: 69 6e 67 20 61 6e 64 20 72 65 61 64 69 6e 67 20 ing and reading
1c00: 69 6e 20 63 6f 6e 66 69 67 20 66 69 6c 65 0a 63 in config file.c
1c10: 6f 6e 66 69 67 20 3d 20 43 6f 6e 66 69 67 28 29 onfig = Config()
1c20: 0a 0a 63 6f 6e 66 69 67 2e 73 65 63 74 69 6f 6e ..config.section
1c30: 28 27 72 65 61 63 74 6f 72 27 29 0a 69 66 20 63 ('reactor').if c
1c40: 6f 6e 66 69 67 5b 27 72 65 61 63 74 6f 72 27 5d onfig['reactor']
1c50: 20 3d 3d 20 27 74 68 72 65 61 64 27 3a 0a 09 63 == 'thread':..c
1c60: 68 65 63 6b 65 72 20 3d 20 43 68 65 63 6b 65 72 hecker = Checker
1c70: 54 68 72 65 61 64 28 29 0a 65 6c 69 66 20 63 6f Thread().elif co
1c80: 6e 66 69 67 5b 27 72 65 61 63 74 6f 72 27 5d 20 nfig['reactor']
1c90: 3d 3d 20 27 70 6c 61 69 6e 27 3a 0a 09 63 68 65 == 'plain':..che
1ca0: 63 6b 65 72 20 3d 20 43 68 65 63 6b 65 72 28 29 cker = Checker()
1cb0: 0a 65 6c 69 66 20 63 6f 6e 66 69 67 5b 27 72 65 .elif config['re
1cc0: 61 63 74 6f 72 27 5d 20 3d 3d 20 27 6b 71 75 65 actor'] == 'kque
1cd0: 75 65 27 3a 0a 09 63 68 65 63 6b 65 72 20 3d 20 ue':..checker =
1ce0: 43 68 65 63 6b 65 72 4b 71 75 65 75 65 28 29 0a CheckerKqueue().
1cf0: 0a 63 68 65 63 6b 65 72 2e 6c 6f 6f 70 28 29 0a .checker.loop().