0000: 23 21 2f 75 73 72 2f 62 69 6e 2f 65 6e 76 20 70 #!/usr/bin/env p
0010: 79 74 68 6f 6e 33 2e 31 0a 0a 69 6d 70 6f 72 74 ython3.1..import
0020: 20 63 6f 6e 66 69 67 70 61 72 73 65 72 2c 20 6f configparser, o
0030: 70 74 70 61 72 73 65 2c 20 6f 73 2c 20 70 6f 73 ptparse, os, pos
0040: 74 67 72 65 73 71 6c 2e 61 70 69 2c 20 72 65 2c tgresql.api, re,
0050: 20 73 79 73 2c 20 5f 74 68 72 65 61 64 0a 0a 63 sys, _thread..c
0060: 6c 61 73 73 20 4c 6f 67 67 65 72 3a 0a 09 5f 5f lass Logger:..__
0070: 73 6c 6f 74 73 5f 5f 20 3d 20 66 72 6f 7a 65 6e slots__ = frozen
0080: 73 65 74 28 5b 27 5f 73 79 73 6c 6f 67 27 5d 29 set(['_syslog'])
0090: 0a 0a 09 64 65 66 20 5f 5f 69 6e 69 74 5f 5f 28 ...def __init__(
00a0: 73 65 6c 66 29 3a 0a 09 09 63 6f 6e 66 69 67 2e self):...config.
00b0: 73 65 63 74 69 6f 6e 28 27 6c 6f 67 27 29 0a 09 section('log')..
00c0: 09 69 66 20 63 6f 6e 66 69 67 5b 27 73 69 6c 65 .if config['sile
00d0: 6e 74 27 5d 20 3d 3d 20 27 79 65 73 27 3a 0a 09 nt'] == 'yes':..
00e0: 09 09 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 20 3d ..self._syslog =
00f0: 20 4e 6f 6e 65 0a 09 09 65 6c 73 65 3a 0a 09 09 None...else:...
0100: 09 69 6d 70 6f 72 74 20 73 79 73 6c 6f 67 0a 09 .import syslog..
0110: 09 09 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 20 3d ..self._syslog =
0120: 20 73 79 73 6c 6f 67 0a 09 09 09 73 65 6c 66 2e syslog....self.
0130: 5f 73 79 73 6c 6f 67 2e 6f 70 65 6e 6c 6f 67 28 _syslog.openlog(
0140: 27 73 71 75 69 64 54 61 67 27 29 0a 0a 09 64 65 'squidTag')...de
0150: 66 20 69 6e 66 6f 28 73 65 6c 66 2c 20 6d 65 73 f info(self, mes
0160: 73 61 67 65 29 3a 0a 09 09 69 66 20 73 65 6c 66 sage):...if self
0170: 2e 5f 73 79 73 6c 6f 67 3a 0a 09 09 09 73 65 6c ._syslog:....sel
0180: 66 2e 5f 73 79 73 6c 6f 67 2e 73 79 73 6c 6f 67 f._syslog.syslog
0190: 28 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 2e 4c 4f (self._syslog.LO
01a0: 47 5f 49 4e 46 4f 2c 20 6d 65 73 73 61 67 65 29 G_INFO, message)
01b0: 0a 0a 09 64 65 66 20 6e 6f 74 69 63 65 28 73 65 ...def notice(se
01c0: 6c 66 2c 20 6d 65 73 73 61 67 65 29 3a 0a 09 09 lf, message):...
01d0: 69 66 20 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 3a if self._syslog:
01e0: 0a 09 09 09 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 ....self._syslog
01f0: 2e 73 79 73 6c 6f 67 28 73 65 6c 66 2e 5f 73 79 .syslog(self._sy
0200: 73 6c 6f 67 2e 4c 4f 47 5f 4e 4f 54 49 43 45 2c slog.LOG_NOTICE,
0210: 20 6d 65 73 73 61 67 65 29 0a 0a 63 6c 61 73 73 message)..class
0220: 20 74 61 67 44 42 3a 0a 09 5f 5f 73 6c 6f 74 73 tagDB:..__slots
0230: 5f 5f 20 3d 20 66 72 6f 7a 65 6e 73 65 74 28 5b __ = frozenset([
0240: 27 5f 70 72 65 70 61 72 65 64 27 2c 20 27 5f 63 '_prepared', '_c
0250: 68 65 63 6b 5f 73 74 6d 74 27 2c 20 27 5f 64 62 heck_stmt', '_db
0260: 27 5d 29 0a 0a 09 64 65 66 20 5f 5f 69 6e 69 74 '])...def __init
0270: 5f 5f 28 73 65 6c 66 29 3a 0a 09 09 73 65 6c 66 __(self):...self
0280: 2e 5f 70 72 65 70 61 72 65 64 20 3d 20 73 65 74 ._prepared = set
0290: 28 29 0a 09 09 73 65 6c 66 2e 5f 64 62 20 3d 20 ()...self._db =
02a0: 46 61 6c 73 65 0a 09 09 73 65 6c 66 2e 5f 63 68 False...self._ch
02b0: 65 63 6b 5f 73 74 6d 74 20 3d 20 73 65 6c 66 2e eck_stmt = self.
02c0: 5f 63 75 72 73 28 29 2e 70 72 65 70 61 72 65 28 _curs().prepare(
02d0: 22 73 65 6c 65 63 74 20 72 65 64 69 72 65 63 74 "select redirect
02e0: 5f 75 72 6c 2c 20 72 65 67 65 78 70 20 66 72 6f _url, regexp fro
02f0: 6d 20 73 69 74 65 5f 72 75 6c 65 20 77 68 65 72 m site_rule wher
0300: 65 20 73 69 74 65 20 3c 40 20 74 72 69 70 64 6f e site <@ tripdo
0310: 6d 61 69 6e 28 24 31 29 20 61 6e 64 20 6e 65 74 main($1) and net
0320: 6d 61 73 6b 20 3e 3e 20 24 32 3a 3a 74 65 78 74 mask >> $2::text
0330: 3a 3a 69 6e 65 74 20 6f 72 64 65 72 20 62 79 20 ::inet order by
0340: 61 72 72 61 79 5f 6c 65 6e 67 74 68 28 73 69 74 array_length(sit
0350: 65 2c 20 31 29 20 64 65 73 63 22 29 0a 0a 09 64 e, 1) desc")...d
0360: 65 66 20 5f 63 75 72 73 28 73 65 6c 66 29 3a 0a ef _curs(self):.
0370: 09 09 69 66 20 6e 6f 74 20 73 65 6c 66 2e 5f 64 ..if not self._d
0380: 62 3a 0a 09 09 09 63 6f 6e 66 69 67 2e 73 65 63 b:....config.sec
0390: 74 69 6f 6e 28 27 64 61 74 61 62 61 73 65 27 29 tion('database')
03a0: 0a 09 09 09 73 65 6c 66 2e 5f 64 62 20 3d 20 70 ....self._db = p
03b0: 6f 73 74 67 72 65 73 71 6c 2e 6f 70 65 6e 28 0a ostgresql.open(.
03c0: 09 09 09 09 27 70 71 3a 2f 2f 7b 7d 3a 7b 7d 40 ....'pq://{}:{}@
03d0: 7b 7d 2f 7b 7d 27 2e 66 6f 72 6d 61 74 28 0a 09 {}/{}'.format(..
03e0: 09 09 09 09 63 6f 6e 66 69 67 5b 27 75 73 65 72 ....config['user
03f0: 27 5d 2c 0a 09 09 09 09 09 63 6f 6e 66 69 67 5b '],......config[
0400: 27 70 61 73 73 77 6f 72 64 27 5d 2c 0a 09 09 09 'password'],....
0410: 09 09 63 6f 6e 66 69 67 5b 27 68 6f 73 74 27 5d ..config['host']
0420: 2c 0a 09 09 09 09 09 63 6f 6e 66 69 67 5b 27 64 ,......config['d
0430: 61 74 61 62 61 73 65 27 5d 2c 0a 09 09 09 29 20 atabase'],....)
0440: 29 0a 09 09 72 65 74 75 72 6e 28 73 65 6c 66 2e )...return(self.
0450: 5f 64 62 29 0a 0a 09 64 65 66 20 63 68 65 63 6b _db)...def check
0460: 28 73 65 6c 66 2c 20 69 70 5f 61 64 64 72 65 73 (self, ip_addres
0470: 73 2c 20 73 69 74 65 29 3a 0a 09 09 72 65 74 75 s, site):...retu
0480: 72 6e 20 73 65 6c 66 2e 5f 63 68 65 63 6b 5f 73 rn self._check_s
0490: 74 6d 74 28 73 69 74 65 2c 20 69 70 5f 61 64 64 tmt(site, ip_add
04a0: 72 65 73 73 29 0a 0a 63 6c 61 73 73 20 43 68 65 ress)..class Che
04b0: 63 6b 65 72 54 68 72 65 61 64 3a 0a 09 5f 5f 73 ckerThread:..__s
04c0: 6c 6f 74 73 5f 5f 20 3d 20 66 72 6f 7a 65 6e 73 lots__ = frozens
04d0: 65 74 28 5b 27 5f 64 62 27 2c 20 27 5f 6c 6f 63 et(['_db', '_loc
04e0: 6b 27 2c 20 27 5f 6c 6f 63 6b 5f 71 75 65 75 65 k', '_lock_queue
04f0: 27 2c 20 27 5f 6c 6f 67 27 2c 20 27 5f 71 75 65 ', '_log', '_que
0500: 75 65 27 5d 29 0a 0a 09 64 65 66 20 5f 5f 69 6e ue'])...def __in
0510: 69 74 5f 5f 28 73 65 6c 66 2c 20 64 62 2c 20 6c it__(self, db, l
0520: 6f 67 29 3a 0a 09 09 73 65 6c 66 2e 5f 64 62 20 og):...self._db
0530: 3d 20 64 62 0a 09 09 73 65 6c 66 2e 5f 6c 6f 67 = db...self._log
0540: 20 3d 20 6c 6f 67 0a 09 09 23 20 53 70 69 6e 20 = log...# Spin
0550: 6c 6f 63 6b 2e 20 4c 6f 6f 70 20 61 63 71 75 69 lock. Loop acqui
0560: 72 65 73 20 69 74 20 6f 6e 20 73 74 61 72 74 20 res it on start
0570: 74 68 65 6e 20 72 65 6c 65 61 73 65 73 20 69 74 then releases it
0580: 20 77 68 65 6e 20 68 6f 6c 64 69 6e 67 20 71 75 when holding qu
0590: 65 75 65 0a 09 09 23 20 6c 6f 63 6b 2e 20 54 68 eue...# lock. Th
05a0: 69 73 20 77 61 79 20 74 68 65 20 74 68 72 65 61 is way the threa
05b0: 64 20 70 72 6f 63 65 65 64 73 20 77 69 74 68 6f d proceeds witho
05c0: 75 74 20 73 74 6f 70 73 20 77 68 69 6c 65 20 71 ut stops while q
05d0: 75 65 75 65 20 68 61 73 20 64 61 74 61 20 61 6e ueue has data an
05e0: 64 0a 09 09 23 20 67 65 74 73 20 73 74 61 6c 6c d...# gets stall
05f0: 65 64 20 77 68 65 6e 20 6e 6f 20 64 61 74 61 20 ed when no data
0600: 70 72 65 73 65 6e 74 2e 20 54 68 65 20 6c 6f 63 present. The loc
0610: 6b 20 69 73 20 72 65 6c 65 61 73 65 64 20 62 79 k is released by
0620: 20 71 75 65 75 65 20 77 72 69 74 65 72 0a 09 09 queue writer...
0630: 23 20 61 66 74 65 72 20 73 74 6f 72 69 6e 67 20 # after storing
0640: 73 6f 6d 65 74 68 69 6e 67 20 69 6e 74 6f 20 74 something into t
0650: 68 65 20 71 75 65 75 65 0a 09 09 73 65 6c 66 2e he queue...self.
0660: 5f 6c 6f 63 6b 20 3d 20 5f 74 68 72 65 61 64 2e _lock = _thread.
0670: 61 6c 6c 6f 63 61 74 65 5f 6c 6f 63 6b 28 29 0a allocate_lock().
0680: 09 09 73 65 6c 66 2e 5f 6c 6f 63 6b 5f 71 75 65 ..self._lock_que
0690: 75 65 20 3d 20 5f 74 68 72 65 61 64 2e 61 6c 6c ue = _thread.all
06a0: 6f 63 61 74 65 5f 6c 6f 63 6b 28 29 0a 09 09 73 ocate_lock()...s
06b0: 65 6c 66 2e 5f 6c 6f 63 6b 2e 61 63 71 75 69 72 elf._lock.acquir
06c0: 65 28 29 0a 09 09 73 65 6c 66 2e 5f 71 75 65 75 e()...self._queu
06d0: 65 20 3d 20 5b 5d 0a 09 09 5f 74 68 72 65 61 64 e = []..._thread
06e0: 2e 73 74 61 72 74 5f 6e 65 77 5f 74 68 72 65 61 .start_new_threa
06f0: 64 28 73 65 6c 66 2e 5f 73 74 61 72 74 2c 20 28 d(self._start, (
0700: 29 29 0a 0a 09 64 65 66 20 5f 73 74 61 72 74 28 ))...def _start(
0710: 73 65 6c 66 29 3a 0a 09 09 77 68 69 6c 65 20 54 self):...while T
0720: 72 75 65 3a 0a 09 09 09 73 65 6c 66 2e 5f 6c 6f rue:....self._lo
0730: 63 6b 2e 61 63 71 75 69 72 65 28 29 0a 09 09 09 ck.acquire()....
0740: 73 65 6c 66 2e 5f 6c 6f 63 6b 5f 71 75 65 75 65 self._lock_queue
0750: 2e 61 63 71 75 69 72 65 28 29 0a 09 09 09 23 20 .acquire()....#
0760: 79 65 73 20 74 68 69 73 20 73 68 6f 75 6c 64 20 yes this should
0770: 62 65 20 77 72 69 74 74 65 6e 20 74 68 69 73 20 be written this
0780: 77 61 79 2c 20 61 6e 64 20 79 65 73 2c 20 74 68 way, and yes, th
0790: 69 73 20 69 73 20 77 68 79 20 49 20 68 61 74 65 is is why I hate
07a0: 20 74 68 72 65 61 64 69 6e 67 0a 09 09 09 69 66 threading....if
07b0: 20 6c 65 6e 28 73 65 6c 66 2e 5f 71 75 65 75 65 len(self._queue
07c0: 29 20 3e 20 31 20 61 6e 64 20 73 65 6c 66 2e 5f ) > 1 and self._
07d0: 6c 6f 63 6b 2e 6c 6f 63 6b 65 64 28 29 3a 0a 09 lock.locked():..
07e0: 09 09 09 73 65 6c 66 2e 5f 6c 6f 63 6b 2e 72 65 ...self._lock.re
07f0: 6c 65 61 73 65 28 29 0a 09 09 09 72 65 71 20 3d lease()....req =
0800: 20 73 65 6c 66 2e 5f 71 75 65 75 65 2e 70 6f 70 self._queue.pop
0810: 28 30 29 0a 09 09 09 73 65 6c 66 2e 5f 6c 6f 63 (0)....self._loc
0820: 6b 5f 71 75 65 75 65 2e 72 65 6c 65 61 73 65 28 k_queue.release(
0830: 29 0a 09 09 09 73 65 6c 66 2e 5f 6c 6f 67 2e 69 )....self._log.i
0840: 6e 66 6f 28 27 74 72 79 69 6e 67 20 7b 7d 5c 6e nfo('trying {}\n
0850: 27 2e 66 6f 72 6d 61 74 28 72 65 71 5b 31 5d 29 '.format(req[1])
0860: 29 0a 09 09 09 72 65 73 75 6c 74 20 3d 20 73 65 )....result = se
0870: 6c 66 2e 5f 64 62 2e 63 68 65 63 6b 28 72 65 71 lf._db.check(req
0880: 5b 32 5d 2c 20 72 65 71 5b 31 5d 29 0a 09 09 09 [2], req[1])....
0890: 23 72 65 70 6c 79 20 3d 20 27 7b 7d 3a 2f 2f 7b #reply = '{}://{
08a0: 7d 2f 7b 7d 27 2e 66 6f 72 6d 61 74 28 72 65 71 }/{}'.format(req
08b0: 5b 34 5d 2c 20 72 65 71 5b 31 5d 2c 20 72 65 71 [4], req[1], req
08c0: 5b 33 5d 29 0a 09 09 09 72 65 70 6c 79 20 3d 20 [3])....reply =
08d0: 27 2d 27 0a 09 09 09 66 6f 72 20 72 6f 77 20 69 '-'....for row i
08e0: 6e 20 72 65 73 75 6c 74 3a 0a 09 09 09 09 69 66 n result:.....if
08f0: 20 72 6f 77 20 21 3d 20 4e 6f 6e 65 20 61 6e 64 row != None and
0900: 20 72 6f 77 5b 30 5d 20 21 3d 20 4e 6f 6e 65 3a row[0] != None:
0910: 0a 09 09 09 09 09 69 66 20 72 6f 77 5b 31 5d 20 ......if row[1]
0920: 21 3d 20 4e 6f 6e 65 3a 0a 09 09 09 09 09 09 73 != None:.......s
0930: 65 6c 66 2e 5f 6c 6f 67 2e 69 6e 66 6f 28 27 74 elf._log.info('t
0940: 72 79 69 6e 67 20 72 65 67 65 78 70 20 22 7b 7d rying regexp "{}
0950: 22 20 76 65 72 73 75 73 20 22 7b 7d 22 5c 6e 27 " versus "{}"\n'
0960: 2e 66 6f 72 6d 61 74 28 72 6f 77 5b 31 5d 2c 20 .format(row[1],
0970: 72 65 71 5b 33 5d 29 29 0a 09 09 09 09 09 09 69 req[3])).......i
0980: 66 20 72 65 2e 63 6f 6d 70 69 6c 65 28 72 6f 77 f re.compile(row
0990: 5b 31 5d 29 2e 6d 61 74 63 68 28 72 65 71 5b 33 [1]).match(req[3
09a0: 5d 29 3a 0a 09 09 09 09 09 09 09 72 65 70 6c 79 ]):........reply
09b0: 20 3d 20 27 33 30 32 3a 27 20 2b 20 72 6f 77 5b = '302:' + row[
09c0: 30 5d 0a 09 09 09 09 09 09 09 62 72 65 61 6b 0a 0]........break.
09d0: 09 09 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 ......else:.....
09e0: 09 09 09 63 6f 6e 74 69 6e 75 65 0a 09 09 09 09 ...continue.....
09f0: 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 72 65 70 .else:.......rep
0a00: 6c 79 20 3d 20 27 33 30 32 3a 27 20 2b 20 72 6f ly = '302:' + ro
0a10: 77 5b 30 5d 0a 09 09 09 09 09 09 62 72 65 61 6b w[0].......break
0a20: 0a 09 09 09 77 72 69 74 65 6c 69 6e 65 28 27 7b ....writeline('{
0a30: 7d 20 7b 7d 5c 6e 27 2e 66 6f 72 6d 61 74 28 72 } {}\n'.format(r
0a40: 65 71 5b 30 5d 2c 20 72 65 70 6c 79 29 29 0a 0a eq[0], reply))..
0a50: 09 64 65 66 20 63 68 65 63 6b 28 73 65 6c 66 2c .def check(self,
0a60: 20 6c 69 6e 65 29 3a 0a 09 09 72 65 71 75 65 73 line):...reques
0a70: 74 20 3d 20 72 65 2e 63 6f 6d 70 69 6c 65 28 27 t = re.compile('
0a80: 5e 28 5b 30 2d 39 5d 2b 29 5c 20 28 68 74 74 70 ^([0-9]+)\ (http
0a90: 7c 66 74 70 29 3a 5c 2f 5c 2f 28 5b 2d 5c 77 2e |ftp):\/\/([-\w.
0aa0: 3a 5d 2b 29 5c 2f 28 5b 5e 20 5d 2a 29 5c 20 28 :]+)\/([^ ]*)\ (
0ab0: 5b 30 2d 39 2e 5d 2b 29 5c 2f 28 2d 7c 5b 5c 77 [0-9.]+)\/(-|[\w
0ac0: 5c 2e 5d 2b 29 5c 20 28 2d 7c 5c 77 2b 29 5c 20 \.]+)\ (-|\w+)\
0ad0: 28 2d 7c 47 45 54 7c 48 45 41 44 7c 50 4f 53 54 (-|GET|HEAD|POST
0ae0: 29 2e 2a 24 27 29 2e 6d 61 74 63 68 28 6c 69 6e ).*$').match(lin
0af0: 65 29 0a 09 09 69 66 20 72 65 71 75 65 73 74 3a e)...if request:
0b00: 0a 09 09 09 69 64 20 3d 20 72 65 71 75 65 73 74 ....id = request
0b10: 2e 67 72 6f 75 70 28 31 29 0a 09 09 09 23 70 72 .group(1)....#pr
0b20: 6f 74 6f 20 3d 20 72 65 71 75 65 73 74 2e 67 72 oto = request.gr
0b30: 6f 75 70 28 32 29 0a 09 09 09 73 69 74 65 20 3d oup(2)....site =
0b40: 20 72 65 71 75 65 73 74 2e 67 72 6f 75 70 28 33 request.group(3
0b50: 29 0a 09 09 09 75 72 6c 5f 70 61 74 68 20 3d 20 )....url_path =
0b60: 72 65 71 75 65 73 74 2e 67 72 6f 75 70 28 34 29 request.group(4)
0b70: 0a 09 09 09 69 70 5f 61 64 64 72 65 73 73 20 3d ....ip_address =
0b80: 20 72 65 71 75 65 73 74 2e 67 72 6f 75 70 28 35 request.group(5
0b90: 29 0a 09 09 09 73 65 6c 66 2e 5f 6c 6f 63 6b 5f )....self._lock_
0ba0: 71 75 65 75 65 2e 61 63 71 75 69 72 65 28 29 0a queue.acquire().
0bb0: 09 09 09 73 65 6c 66 2e 5f 71 75 65 75 65 2e 61 ...self._queue.a
0bc0: 70 70 65 6e 64 28 28 69 64 2c 20 73 69 74 65 2c ppend((id, site,
0bd0: 20 69 70 5f 61 64 64 72 65 73 73 2c 20 75 72 6c ip_address, url
0be0: 5f 70 61 74 68 29 29 0a 09 09 09 69 66 20 73 65 _path))....if se
0bf0: 6c 66 2e 5f 6c 6f 63 6b 2e 6c 6f 63 6b 65 64 28 lf._lock.locked(
0c00: 29 3a 0a 09 09 09 09 73 65 6c 66 2e 5f 6c 6f 63 ):.....self._loc
0c10: 6b 2e 72 65 6c 65 61 73 65 28 29 0a 09 09 09 73 k.release()....s
0c20: 65 6c 66 2e 5f 6c 6f 63 6b 5f 71 75 65 75 65 2e elf._lock_queue.
0c30: 72 65 6c 65 61 73 65 28 29 0a 09 09 09 73 65 6c release()....sel
0c40: 66 2e 5f 6c 6f 67 2e 69 6e 66 6f 28 27 72 65 71 f._log.info('req
0c50: 75 65 73 74 20 7b 7d 20 71 75 65 75 65 64 20 28 uest {} queued (
0c60: 7b 7d 29 5c 6e 27 2e 66 6f 72 6d 61 74 28 69 64 {})\n'.format(id
0c70: 2c 20 6c 69 6e 65 29 29 0a 09 09 65 6c 73 65 3a , line))...else:
0c80: 0a 09 09 09 73 65 6c 66 2e 5f 6c 6f 67 2e 69 6e ....self._log.in
0c90: 66 6f 28 27 62 61 64 20 72 65 71 75 65 73 74 5c fo('bad request\
0ca0: 6e 27 29 0a 09 09 09 77 72 69 74 65 6c 69 6e 65 n')....writeline
0cb0: 28 6c 69 6e 65 29 0a 0a 64 65 66 20 77 72 69 74 (line)..def writ
0cc0: 65 6c 69 6e 65 28 73 74 72 69 6e 67 29 3a 0a 09 eline(string):..
0cd0: 6c 6f 67 2e 69 6e 66 6f 28 27 73 65 6e 64 69 6e log.info('sendin
0ce0: 67 3a 20 27 20 2b 20 73 74 72 69 6e 67 29 0a 09 g: ' + string)..
0cf0: 73 79 73 2e 73 74 64 6f 75 74 2e 77 72 69 74 65 sys.stdout.write
0d00: 28 73 74 72 69 6e 67 29 0a 09 73 79 73 2e 73 74 (string)..sys.st
0d10: 64 6f 75 74 2e 66 6c 75 73 68 28 29 0a 0a 23 20 dout.flush()..#
0d20: 74 68 69 73 20 63 6c 61 73 73 65 73 20 70 72 6f this classes pro
0d30: 63 65 73 73 65 73 20 63 6f 6e 66 69 67 20 66 69 cesses config fi
0d40: 6c 65 20 61 6e 64 20 73 75 62 73 74 69 74 75 74 le and substitut
0d50: 65 73 20 64 65 66 61 75 6c 74 20 76 61 6c 75 65 es default value
0d60: 73 0a 63 6c 61 73 73 20 43 6f 6e 66 69 67 3a 0a s.class Config:.
0d70: 09 5f 5f 73 6c 6f 74 73 5f 5f 20 3d 20 66 72 6f .__slots__ = fro
0d80: 7a 65 6e 73 65 74 28 5b 27 5f 63 6f 6e 66 69 67 zenset(['_config
0d90: 27 2c 20 27 5f 64 65 66 61 75 6c 74 73 27 2c 20 ', '_defaults',
0da0: 27 5f 73 65 63 74 69 6f 6e 27 5d 29 0a 09 5f 64 '_section']).._d
0db0: 65 66 61 75 6c 74 73 20 3d 20 7b 0a 09 09 27 6c efaults = {...'l
0dc0: 6f 67 27 3a 20 7b 0a 09 09 09 27 73 69 6c 65 6e og': {....'silen
0dd0: 74 27 3a 20 27 6e 6f 27 2c 0a 09 09 7d 2c 0a 09 t': 'no',...},..
0de0: 09 27 64 61 74 61 62 61 73 65 27 3a 20 7b 0a 09 .'database': {..
0df0: 09 09 27 68 6f 73 74 27 3a 20 27 6c 6f 63 61 6c ..'host': 'local
0e00: 68 6f 73 74 27 2c 0a 09 09 09 27 64 61 74 61 62 host',....'datab
0e10: 61 73 65 27 3a 20 27 73 71 75 69 64 54 61 67 27 ase': 'squidTag'
0e20: 2c 0a 09 7d 2c 7d 0a 0a 09 23 20 66 75 6e 63 74 ,..},}...# funct
0e30: 69 6f 6e 20 74 6f 20 72 65 61 64 20 69 6e 20 63 ion to read in c
0e40: 6f 6e 66 69 67 20 66 69 6c 65 0a 09 64 65 66 20 onfig file..def
0e50: 5f 5f 69 6e 69 74 5f 5f 28 73 65 6c 66 29 3a 0a __init__(self):.
0e60: 09 09 70 61 72 73 65 72 20 3d 20 6f 70 74 70 61 ..parser = optpa
0e70: 72 73 65 2e 4f 70 74 69 6f 6e 50 61 72 73 65 72 rse.OptionParser
0e80: 28 29 0a 09 09 70 61 72 73 65 72 2e 61 64 64 5f ()...parser.add_
0e90: 6f 70 74 69 6f 6e 28 27 2d 63 27 2c 20 27 2d 2d option('-c', '--
0ea0: 63 6f 6e 66 69 67 27 2c 20 64 65 73 74 20 3d 20 config', dest =
0eb0: 27 63 6f 6e 66 69 67 27 2c 0a 09 09 09 68 65 6c 'config',....hel
0ec0: 70 20 3d 20 27 63 6f 6e 66 69 67 20 66 69 6c 65 p = 'config file
0ed0: 20 6c 6f 63 61 74 69 6f 6e 27 2c 20 6d 65 74 61 location', meta
0ee0: 76 61 72 20 3d 20 27 46 49 4c 45 27 2c 0a 09 09 var = 'FILE',...
0ef0: 09 64 65 66 61 75 6c 74 20 3d 20 27 2f 75 73 72 .default = '/usr
0f00: 2f 6c 6f 63 61 6c 2f 65 74 63 2f 73 71 75 69 64 /local/etc/squid
0f10: 2d 74 61 67 67 65 72 2e 63 6f 6e 66 27 29 0a 0a -tagger.conf')..
0f20: 09 09 28 6f 70 74 69 6f 6e 73 2c 20 61 72 67 73 ..(options, args
0f30: 29 20 3d 20 70 61 72 73 65 72 2e 70 61 72 73 65 ) = parser.parse
0f40: 5f 61 72 67 73 28 29 0a 0a 09 09 69 66 20 6e 6f _args()....if no
0f50: 74 20 6f 73 2e 61 63 63 65 73 73 28 6f 70 74 69 t os.access(opti
0f60: 6f 6e 73 2e 63 6f 6e 66 69 67 2c 20 6f 73 2e 52 ons.config, os.R
0f70: 5f 4f 4b 29 3a 0a 09 09 09 70 72 69 6e 74 28 22 _OK):....print("
0f80: 43 61 6e 27 74 20 72 65 61 64 20 7b 7d 3a 20 65 Can't read {}: e
0f90: 78 69 74 74 69 6e 67 22 2e 66 6f 72 6d 61 74 28 xitting".format(
0fa0: 6f 70 74 69 6f 6e 73 2e 63 6f 6e 66 69 67 29 29 options.config))
0fb0: 0a 09 09 09 73 79 73 2e 65 78 69 74 28 32 29 0a ....sys.exit(2).
0fc0: 0a 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 20 ...self._config
0fd0: 3d 20 63 6f 6e 66 69 67 70 61 72 73 65 72 2e 43 = configparser.C
0fe0: 6f 6e 66 69 67 50 61 72 73 65 72 28 29 0a 09 09 onfigParser()...
0ff0: 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 72 65 61 self._config.rea
1000: 64 66 70 28 6f 70 65 6e 28 6f 70 74 69 6f 6e 73 dfp(open(options
1010: 2e 63 6f 6e 66 69 67 29 29 0a 0a 09 23 20 66 75 .config))...# fu
1020: 6e 63 74 69 6f 6e 20 74 6f 20 73 65 6c 65 63 74 nction to select
1030: 20 63 6f 6e 66 69 67 20 66 69 6c 65 20 73 65 63 config file sec
1040: 74 69 6f 6e 20 6f 72 20 63 72 65 61 74 65 20 6f tion or create o
1050: 6e 65 0a 09 64 65 66 20 73 65 63 74 69 6f 6e 28 ne..def section(
1060: 73 65 6c 66 2c 20 73 65 63 74 69 6f 6e 29 3a 0a self, section):.
1070: 09 09 69 66 20 6e 6f 74 20 73 65 6c 66 2e 5f 63 ..if not self._c
1080: 6f 6e 66 69 67 2e 68 61 73 5f 73 65 63 74 69 6f onfig.has_sectio
1090: 6e 28 73 65 63 74 69 6f 6e 29 3a 0a 09 09 09 73 n(section):....s
10a0: 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 61 64 64 5f elf._config.add_
10b0: 73 65 63 74 69 6f 6e 28 73 65 63 74 69 6f 6e 29 section(section)
10c0: 0a 09 09 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e ...self._section
10d0: 20 3d 20 73 65 63 74 69 6f 6e 0a 0a 09 23 20 66 = section...# f
10e0: 75 6e 63 74 69 6f 6e 20 74 6f 20 67 65 74 20 63 unction to get c
10f0: 6f 6e 66 69 67 20 70 61 72 61 6d 65 74 65 72 2c onfig parameter,
1100: 20 69 66 20 70 61 72 61 6d 65 74 65 72 20 64 6f if parameter do
1110: 65 73 6e 27 74 20 65 78 69 73 74 73 20 74 68 65 esn't exists the
1120: 20 64 65 66 61 75 6c 74 0a 09 23 20 76 61 6c 75 default..# valu
1130: 65 20 6f 72 20 4e 6f 6e 65 20 69 73 20 73 75 62 e or None is sub
1140: 73 74 69 74 75 74 65 64 0a 09 64 65 66 20 5f 5f stituted..def __
1150: 67 65 74 69 74 65 6d 5f 5f 28 73 65 6c 66 2c 20 getitem__(self,
1160: 6e 61 6d 65 29 3a 0a 09 09 69 66 20 6e 6f 74 20 name):...if not
1170: 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 68 61 73 self._config.has
1180: 5f 6f 70 74 69 6f 6e 28 73 65 6c 66 2e 5f 73 65 _option(self._se
1190: 63 74 69 6f 6e 2c 20 6e 61 6d 65 29 3a 0a 09 09 ction, name):...
11a0: 09 69 66 20 73 65 6c 66 2e 5f 64 65 66 61 75 6c .if self._defaul
11b0: 74 2e 68 61 73 5f 6b 65 79 28 73 65 6c 66 2e 5f t.has_key(self._
11c0: 73 65 63 74 69 6f 6e 29 3a 0a 09 09 09 09 69 66 section):.....if
11d0: 20 73 65 6c 66 2e 5f 64 65 66 61 75 6c 74 5b 73 self._default[s
11e0: 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 5d 2e 68 61 elf._section].ha
11f0: 73 5f 6b 65 79 28 6e 61 6d 65 29 3a 0a 09 09 09 s_key(name):....
1200: 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 73 ..self._config.s
1210: 65 74 28 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e et(self._section
1220: 2c 20 6e 61 6d 65 2c 20 73 65 6c 66 2e 5f 64 65 , name, self._de
1230: 66 61 75 6c 74 5b 73 65 6c 66 2e 5f 73 65 63 74 fault[self._sect
1240: 69 6f 6e 5d 5b 6e 61 6d 65 5d 29 0a 09 09 09 09 ion][name]).....
1250: 65 6c 73 65 3a 0a 09 09 09 09 09 73 65 6c 66 2e else:......self.
1260: 5f 63 6f 6e 66 69 67 2e 73 65 74 28 73 65 6c 66 _config.set(self
1270: 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e 61 6d 65 2c ._section, name,
1280: 20 4e 6f 6e 65 29 0a 09 09 09 65 6c 73 65 3a 0a None)....else:.
1290: 09 09 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 ....self._config
12a0: 2e 73 65 74 28 73 65 6c 66 2e 5f 73 65 63 74 69 .set(self._secti
12b0: 6f 6e 2c 20 6e 61 6d 65 2c 20 4e 6f 6e 65 29 0a on, name, None).
12c0: 09 09 72 65 74 75 72 6e 20 73 65 6c 66 2e 5f 63 ..return self._c
12d0: 6f 6e 66 69 67 2e 67 65 74 28 73 65 6c 66 2e 5f onfig.get(self._
12e0: 73 65 63 74 69 6f 6e 2c 20 6e 61 6d 65 29 0a 0a section, name)..
12f0: 23 20 69 6e 69 74 69 61 6c 69 7a 69 6e 67 20 61 # initializing a
1300: 6e 64 20 72 65 61 64 69 6e 67 20 69 6e 20 63 6f nd reading in co
1310: 6e 66 69 67 20 66 69 6c 65 0a 63 6f 6e 66 69 67 nfig file.config
1320: 20 3d 20 43 6f 6e 66 69 67 28 29 0a 0a 6c 6f 67 = Config()..log
1330: 20 3d 20 4c 6f 67 67 65 72 28 29 0a 64 62 20 3d = Logger().db =
1340: 20 74 61 67 44 42 28 29 0a 63 68 65 63 6b 65 72 tagDB().checker
1350: 20 3d 20 43 68 65 63 6b 65 72 54 68 72 65 61 64 = CheckerThread
1360: 28 64 62 2c 6c 6f 67 29 0a 0a 77 68 69 6c 65 20 (db,log)..while
1370: 54 72 75 65 3a 0a 09 6c 69 6e 65 20 3d 20 73 79 True:..line = sy
1380: 73 2e 73 74 64 69 6e 2e 72 65 61 64 6c 69 6e 65 s.stdin.readline
1390: 28 29 0a 09 69 66 20 6c 65 6e 28 6c 69 6e 65 29 ()..if len(line)
13a0: 20 3d 3d 20 30 3a 0a 09 09 62 72 65 61 6b 0a 09 == 0:...break..
13b0: 63 68 65 63 6b 65 72 2e 63 68 65 63 6b 28 6c 69 checker.check(li
13c0: 6e 65 29 0a ne).