0000: 23 21 2f 75 73 72 2f 62 69 6e 2f 65 6e 76 20 70 #!/usr/bin/env p
0010: 79 74 68 6f 6e 33 2e 31 0a 0a 69 6d 70 6f 72 74 ython3.1..import
0020: 20 63 6f 6e 66 69 67 70 61 72 73 65 72 2c 20 6f configparser, o
0030: 70 74 70 61 72 73 65 2c 20 6f 73 2c 20 70 6f 73 ptparse, os, pos
0040: 74 67 72 65 73 71 6c 2e 61 70 69 2c 20 72 65 2c tgresql.api, re,
0050: 20 73 79 73 2c 20 5f 74 68 72 65 61 64 0a 0a 63 sys, _thread..c
0060: 6c 61 73 73 20 4c 6f 67 67 65 72 3a 0a 09 5f 5f lass Logger:..__
0070: 73 6c 6f 74 73 5f 5f 20 3d 20 66 72 6f 7a 65 6e slots__ = frozen
0080: 73 65 74 28 5b 27 5f 73 79 73 6c 6f 67 27 5d 29 set(['_syslog'])
0090: 0a 0a 09 64 65 66 20 5f 5f 69 6e 69 74 5f 5f 28 ...def __init__(
00a0: 73 65 6c 66 29 3a 0a 09 09 63 6f 6e 66 69 67 2e self):...config.
00b0: 73 65 63 74 69 6f 6e 28 27 6c 6f 67 27 29 0a 09 section('log')..
00c0: 09 69 66 20 63 6f 6e 66 69 67 5b 27 73 69 6c 65 .if config['sile
00d0: 6e 74 27 5d 20 3d 3d 20 27 79 65 73 27 3a 0a 09 nt'] == 'yes':..
00e0: 09 09 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 20 3d ..self._syslog =
00f0: 20 4e 6f 6e 65 0a 09 09 65 6c 73 65 3a 0a 09 09 None...else:...
0100: 09 69 6d 70 6f 72 74 20 73 79 73 6c 6f 67 0a 09 .import syslog..
0110: 09 09 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 20 3d ..self._syslog =
0120: 20 73 79 73 6c 6f 67 0a 09 09 09 73 65 6c 66 2e syslog....self.
0130: 5f 73 79 73 6c 6f 67 2e 6f 70 65 6e 6c 6f 67 28 _syslog.openlog(
0140: 27 73 71 75 69 64 54 61 67 27 29 0a 0a 09 64 65 'squidTag')...de
0150: 66 20 69 6e 66 6f 28 73 65 6c 66 2c 20 6d 65 73 f info(self, mes
0160: 73 61 67 65 29 3a 0a 09 09 69 66 20 73 65 6c 66 sage):...if self
0170: 2e 5f 73 79 73 6c 6f 67 3a 0a 09 09 09 73 65 6c ._syslog:....sel
0180: 66 2e 5f 73 79 73 6c 6f 67 2e 73 79 73 6c 6f 67 f._syslog.syslog
0190: 28 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 2e 4c 4f (self._syslog.LO
01a0: 47 5f 49 4e 46 4f 2c 20 6d 65 73 73 61 67 65 29 G_INFO, message)
01b0: 0a 0a 09 64 65 66 20 6e 6f 74 69 63 65 28 73 65 ...def notice(se
01c0: 6c 66 2c 20 6d 65 73 73 61 67 65 29 3a 0a 09 09 lf, message):...
01d0: 69 66 20 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 3a if self._syslog:
01e0: 0a 09 09 09 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 ....self._syslog
01f0: 2e 73 79 73 6c 6f 67 28 73 65 6c 66 2e 5f 73 79 .syslog(self._sy
0200: 73 6c 6f 67 2e 4c 4f 47 5f 4e 4f 54 49 43 45 2c slog.LOG_NOTICE,
0210: 20 6d 65 73 73 61 67 65 29 0a 0a 63 6c 61 73 73 message)..class
0220: 20 74 61 67 44 42 3a 0a 09 5f 5f 73 6c 6f 74 73 tagDB:..__slots
0230: 5f 5f 20 3d 20 66 72 6f 7a 65 6e 73 65 74 28 5b __ = frozenset([
0240: 27 5f 70 72 65 70 61 72 65 64 27 2c 20 27 5f 63 '_prepared', '_c
0250: 68 65 63 6b 5f 73 74 6d 74 27 2c 20 27 5f 64 62 heck_stmt', '_db
0260: 27 5d 29 0a 0a 09 64 65 66 20 5f 5f 69 6e 69 74 '])...def __init
0270: 5f 5f 28 73 65 6c 66 29 3a 0a 09 09 73 65 6c 66 __(self):...self
0280: 2e 5f 70 72 65 70 61 72 65 64 20 3d 20 73 65 74 ._prepared = set
0290: 28 29 0a 09 09 73 65 6c 66 2e 5f 64 62 20 3d 20 ()...self._db =
02a0: 46 61 6c 73 65 0a 09 09 73 65 6c 66 2e 5f 63 68 False...self._ch
02b0: 65 63 6b 5f 73 74 6d 74 20 3d 20 73 65 6c 66 2e eck_stmt = self.
02c0: 5f 63 75 72 73 28 29 2e 70 72 65 70 61 72 65 28 _curs().prepare(
02d0: 22 73 65 6c 65 63 74 20 72 65 64 69 72 65 63 74 "select redirect
02e0: 5f 75 72 6c 2c 20 72 65 67 65 78 70 20 66 72 6f _url, regexp fro
02f0: 6d 20 73 69 74 65 5f 72 75 6c 65 20 77 68 65 72 m site_rule wher
0300: 65 20 73 69 74 65 20 3c 40 20 74 72 69 70 64 6f e site <@ tripdo
0310: 6d 61 69 6e 28 24 31 29 20 61 6e 64 20 6e 65 74 main($1) and net
0320: 6d 61 73 6b 20 3e 3e 20 24 32 3a 3a 74 65 78 74 mask >> $2::text
0330: 3a 3a 69 6e 65 74 20 6f 72 64 65 72 20 62 79 20 ::inet order by
0340: 61 72 72 61 79 5f 6c 65 6e 67 74 68 28 73 69 74 array_length(sit
0350: 65 2c 20 31 29 20 64 65 73 63 22 29 0a 0a 09 64 e, 1) desc")...d
0360: 65 66 20 5f 63 75 72 73 28 73 65 6c 66 29 3a 0a ef _curs(self):.
0370: 09 09 69 66 20 6e 6f 74 20 73 65 6c 66 2e 5f 64 ..if not self._d
0380: 62 3a 0a 09 09 09 63 6f 6e 66 69 67 2e 73 65 63 b:....config.sec
0390: 74 69 6f 6e 28 27 64 61 74 61 62 61 73 65 27 29 tion('database')
03a0: 0a 09 09 09 73 65 6c 66 2e 5f 64 62 20 3d 20 70 ....self._db = p
03b0: 6f 73 74 67 72 65 73 71 6c 2e 6f 70 65 6e 28 0a ostgresql.open(.
03c0: 09 09 09 09 27 70 71 3a 2f 2f 7b 30 7d 3a 7b 31 ....'pq://{0}:{1
03d0: 7d 40 7b 32 7d 2f 7b 33 7d 27 2e 66 6f 72 6d 61 }@{2}/{3}'.forma
03e0: 74 28 0a 09 09 09 09 09 63 6f 6e 66 69 67 5b 27 t(......config['
03f0: 75 73 65 72 27 5d 2c 0a 09 09 09 09 09 63 6f 6e user'],......con
0400: 66 69 67 5b 27 70 61 73 73 77 6f 72 64 27 5d 2c fig['password'],
0410: 0a 09 09 09 09 09 63 6f 6e 66 69 67 5b 27 68 6f ......config['ho
0420: 73 74 27 5d 2c 0a 09 09 09 09 09 63 6f 6e 66 69 st'],......confi
0430: 67 5b 27 64 61 74 61 62 61 73 65 27 5d 2c 0a 09 g['database'],..
0440: 09 09 29 20 29 0a 09 09 72 65 74 75 72 6e 28 73 ..) )...return(s
0450: 65 6c 66 2e 5f 64 62 29 0a 0a 09 64 65 66 20 63 elf._db)...def c
0460: 68 65 63 6b 28 73 65 6c 66 2c 20 69 70 5f 61 64 heck(self, ip_ad
0470: 64 72 65 73 73 2c 20 73 69 74 65 29 3a 0a 09 09 dress, site):...
0480: 72 65 74 75 72 6e 20 73 65 6c 66 2e 5f 63 68 65 return self._che
0490: 63 6b 5f 73 74 6d 74 28 73 69 74 65 2c 20 69 70 ck_stmt(site, ip
04a0: 5f 61 64 64 72 65 73 73 29 0a 0a 63 6c 61 73 73 _address)..class
04b0: 20 43 68 65 63 6b 65 72 54 68 72 65 61 64 3a 0a CheckerThread:.
04c0: 09 5f 5f 73 6c 6f 74 73 5f 5f 20 3d 20 66 72 6f .__slots__ = fro
04d0: 7a 65 6e 73 65 74 28 5b 27 5f 64 62 27 2c 20 27 zenset(['_db', '
04e0: 5f 6c 6f 63 6b 27 2c 20 27 5f 6c 6f 63 6b 5f 71 _lock', '_lock_q
04f0: 75 65 75 65 27 2c 20 27 5f 6c 6f 67 27 2c 20 27 ueue', '_log', '
0500: 5f 71 75 65 75 65 27 5d 29 0a 0a 09 64 65 66 20 _queue'])...def
0510: 5f 5f 69 6e 69 74 5f 5f 28 73 65 6c 66 2c 20 64 __init__(self, d
0520: 62 2c 20 6c 6f 67 29 3a 0a 09 09 73 65 6c 66 2e b, log):...self.
0530: 5f 64 62 20 3d 20 64 62 0a 09 09 73 65 6c 66 2e _db = db...self.
0540: 5f 6c 6f 67 20 3d 20 6c 6f 67 0a 09 09 23 20 53 _log = log...# S
0550: 70 69 6e 20 6c 6f 63 6b 2e 20 4c 6f 6f 70 20 61 pin lock. Loop a
0560: 63 71 75 69 72 65 73 20 69 74 20 6f 6e 20 73 74 cquires it on st
0570: 61 72 74 20 74 68 65 6e 20 72 65 6c 65 61 73 65 art then release
0580: 73 20 69 74 20 77 68 65 6e 20 68 6f 6c 64 69 6e s it when holdin
0590: 67 20 71 75 65 75 65 0a 09 09 23 20 6c 6f 63 6b g queue...# lock
05a0: 2e 20 54 68 69 73 20 77 61 79 20 74 68 65 20 74 . This way the t
05b0: 68 72 65 61 64 20 70 72 6f 63 65 65 64 73 20 77 hread proceeds w
05c0: 69 74 68 6f 75 74 20 73 74 6f 70 73 20 77 68 69 ithout stops whi
05d0: 6c 65 20 71 75 65 75 65 20 68 61 73 20 64 61 74 le queue has dat
05e0: 61 20 61 6e 64 0a 09 09 23 20 67 65 74 73 20 73 a and...# gets s
05f0: 74 61 6c 6c 65 64 20 77 68 65 6e 20 6e 6f 20 64 talled when no d
0600: 61 74 61 20 70 72 65 73 65 6e 74 2e 20 54 68 65 ata present. The
0610: 20 6c 6f 63 6b 20 69 73 20 72 65 6c 65 61 73 65 lock is release
0620: 64 20 62 79 20 71 75 65 75 65 20 77 72 69 74 65 d by queue write
0630: 72 0a 09 09 23 20 61 66 74 65 72 20 73 74 6f 72 r...# after stor
0640: 69 6e 67 20 73 6f 6d 65 74 68 69 6e 67 20 69 6e ing something in
0650: 74 6f 20 74 68 65 20 71 75 65 75 65 0a 09 09 73 to the queue...s
0660: 65 6c 66 2e 5f 6c 6f 63 6b 20 3d 20 5f 74 68 72 elf._lock = _thr
0670: 65 61 64 2e 61 6c 6c 6f 63 61 74 65 5f 6c 6f 63 ead.allocate_loc
0680: 6b 28 29 0a 09 09 73 65 6c 66 2e 5f 6c 6f 63 6b k()...self._lock
0690: 5f 71 75 65 75 65 20 3d 20 5f 74 68 72 65 61 64 _queue = _thread
06a0: 2e 61 6c 6c 6f 63 61 74 65 5f 6c 6f 63 6b 28 29 .allocate_lock()
06b0: 0a 09 09 73 65 6c 66 2e 5f 6c 6f 63 6b 2e 61 63 ...self._lock.ac
06c0: 71 75 69 72 65 28 29 0a 09 09 73 65 6c 66 2e 5f quire()...self._
06d0: 71 75 65 75 65 20 3d 20 5b 5d 0a 09 09 5f 74 68 queue = []..._th
06e0: 72 65 61 64 2e 73 74 61 72 74 5f 6e 65 77 5f 74 read.start_new_t
06f0: 68 72 65 61 64 28 73 65 6c 66 2e 5f 73 74 61 72 hread(self._star
0700: 74 2c 20 28 29 29 0a 0a 09 64 65 66 20 5f 73 74 t, ())...def _st
0710: 61 72 74 28 73 65 6c 66 29 3a 0a 09 09 77 68 69 art(self):...whi
0720: 6c 65 20 54 72 75 65 3a 0a 09 09 09 73 65 6c 66 le True:....self
0730: 2e 5f 6c 6f 63 6b 2e 61 63 71 75 69 72 65 28 29 ._lock.acquire()
0740: 0a 09 09 09 73 65 6c 66 2e 5f 6c 6f 63 6b 5f 71 ....self._lock_q
0750: 75 65 75 65 2e 61 63 71 75 69 72 65 28 29 0a 09 ueue.acquire()..
0760: 09 09 23 20 79 65 73 20 74 68 69 73 20 73 68 6f ..# yes this sho
0770: 75 6c 64 20 62 65 20 77 72 69 74 74 65 6e 20 74 uld be written t
0780: 68 69 73 20 77 61 79 2c 20 61 6e 64 20 79 65 73 his way, and yes
0790: 2c 20 74 68 69 73 20 69 73 20 77 68 79 20 49 20 , this is why I
07a0: 68 61 74 65 20 74 68 72 65 61 64 69 6e 67 0a 09 hate threading..
07b0: 09 09 69 66 20 6c 65 6e 28 73 65 6c 66 2e 5f 71 ..if len(self._q
07c0: 75 65 75 65 29 20 3e 20 31 20 61 6e 64 20 73 65 ueue) > 1 and se
07d0: 6c 66 2e 5f 6c 6f 63 6b 2e 6c 6f 63 6b 65 64 28 lf._lock.locked(
07e0: 29 3a 0a 09 09 09 09 73 65 6c 66 2e 5f 6c 6f 63 ):.....self._loc
07f0: 6b 2e 72 65 6c 65 61 73 65 28 29 0a 09 09 09 72 k.release()....r
0800: 65 71 20 3d 20 73 65 6c 66 2e 5f 71 75 65 75 65 eq = self._queue
0810: 2e 70 6f 70 28 30 29 0a 09 09 09 73 65 6c 66 2e .pop(0)....self.
0820: 5f 6c 6f 63 6b 5f 71 75 65 75 65 2e 72 65 6c 65 _lock_queue.rele
0830: 61 73 65 28 29 0a 09 09 09 73 65 6c 66 2e 5f 6c ase()....self._l
0840: 6f 67 2e 69 6e 66 6f 28 27 74 72 79 69 6e 67 20 og.info('trying
0850: 25 73 5c 6e 27 25 72 65 71 5b 31 5d 29 0a 09 09 %s\n'%req[1])...
0860: 09 72 65 73 75 6c 74 20 3d 20 73 65 6c 66 2e 5f .result = self._
0870: 64 62 2e 63 68 65 63 6b 28 72 65 71 5b 32 5d 2c db.check(req[2],
0880: 20 72 65 71 5b 31 5d 29 0a 09 09 09 66 6f 72 20 req[1])....for
0890: 72 6f 77 20 69 6e 20 72 65 73 75 6c 74 3a 0a 09 row in result:..
08a0: 09 09 09 69 66 20 72 6f 77 20 21 3d 20 4e 6f 6e ...if row != Non
08b0: 65 20 61 6e 64 20 72 6f 77 5b 30 5d 20 21 3d 20 e and row[0] !=
08c0: 4e 6f 6e 65 3a 0a 09 09 09 09 09 69 66 20 72 6f None:......if ro
08d0: 77 5b 31 5d 20 21 3d 20 4e 6f 6e 65 3a 0a 09 09 w[1] != None:...
08e0: 09 09 09 09 73 65 6c 66 2e 5f 6c 6f 67 2e 69 6e ....self._log.in
08f0: 66 6f 28 27 74 72 79 69 6e 67 20 72 65 67 65 78 fo('trying regex
0900: 70 20 22 7b 30 7d 22 20 76 65 72 73 75 73 20 22 p "{0}" versus "
0910: 7b 31 7d 22 5c 6e 27 2e 66 6f 72 6d 61 74 28 72 {1}"\n'.format(r
0920: 6f 77 5b 31 5d 2c 20 72 65 71 5b 33 5d 29 29 0a ow[1], req[3])).
0930: 09 09 09 09 09 09 69 66 20 72 65 2e 63 6f 6d 70 ......if re.comp
0940: 69 6c 65 28 72 6f 77 5b 31 5d 29 2e 6d 61 74 63 ile(row[1]).matc
0950: 68 28 72 65 71 5b 33 5d 29 3a 0a 09 09 09 09 09 h(req[3]):......
0960: 09 09 77 72 69 74 65 6c 69 6e 65 28 27 25 73 20 ..writeline('%s
0970: 33 30 32 3a 25 73 5c 6e 27 25 28 72 65 71 5b 30 302:%s\n'%(req[0
0980: 5d 2c 20 72 6f 77 5b 30 5d 29 29 0a 09 09 09 09 ], row[0])).....
0990: 09 09 09 62 72 65 61 6b 0a 09 09 09 09 09 09 65 ...break.......e
09a0: 6c 73 65 3a 0a 09 09 09 09 09 09 09 63 6f 6e 74 lse:........cont
09b0: 69 6e 75 65 0a 09 09 09 09 09 65 6c 73 65 3a 0a inue......else:.
09c0: 09 09 09 09 09 09 77 72 69 74 65 6c 69 6e 65 28 ......writeline(
09d0: 27 25 73 20 33 30 32 3a 25 73 5c 6e 27 25 28 72 '%s 302:%s\n'%(r
09e0: 65 71 5b 30 5d 2c 20 72 6f 77 5b 30 5d 29 29 0a eq[0], row[0])).
09f0: 09 09 09 09 09 09 62 72 65 61 6b 0a 09 09 09 77 ......break....w
0a00: 72 69 74 65 6c 69 6e 65 28 27 25 73 20 2d 5c 6e riteline('%s -\n
0a10: 27 25 72 65 71 5b 30 5d 29 0a 0a 09 64 65 66 20 '%req[0])...def
0a20: 63 68 65 63 6b 28 73 65 6c 66 2c 20 6c 69 6e 65 check(self, line
0a30: 29 3a 0a 09 09 72 65 71 75 65 73 74 20 3d 20 72 ):...request = r
0a40: 65 2e 63 6f 6d 70 69 6c 65 28 27 5e 28 5b 30 2d e.compile('^([0-
0a50: 39 5d 2b 29 5c 20 28 68 74 74 70 7c 66 74 70 29 9]+)\ (http|ftp)
0a60: 3a 5c 2f 5c 2f 28 5b 2d 5c 77 2e 3a 5d 2b 29 5c :\/\/([-\w.:]+)\
0a70: 2f 28 5b 5e 20 5d 2a 29 5c 20 28 5b 30 2d 39 2e /([^ ]*)\ ([0-9.
0a80: 5d 2b 29 5c 2f 28 2d 7c 5b 5c 77 5c 2e 5d 2b 29 ]+)\/(-|[\w\.]+)
0a90: 5c 20 28 2d 7c 5c 77 2b 29 5c 20 28 2d 7c 47 45 \ (-|\w+)\ (-|GE
0aa0: 54 7c 48 45 41 44 7c 50 4f 53 54 29 2e 2a 24 27 T|HEAD|POST).*$'
0ab0: 29 2e 6d 61 74 63 68 28 6c 69 6e 65 29 0a 09 09 ).match(line)...
0ac0: 69 66 20 72 65 71 75 65 73 74 3a 0a 09 09 09 69 if request:....i
0ad0: 64 20 3d 20 72 65 71 75 65 73 74 2e 67 72 6f 75 d = request.grou
0ae0: 70 28 31 29 0a 09 09 09 73 69 74 65 20 3d 20 72 p(1)....site = r
0af0: 65 71 75 65 73 74 2e 67 72 6f 75 70 28 33 29 0a equest.group(3).
0b00: 09 09 09 75 72 6c 5f 70 61 74 68 20 3d 20 72 65 ...url_path = re
0b10: 71 75 65 73 74 2e 67 72 6f 75 70 28 34 29 0a 09 quest.group(4)..
0b20: 09 09 69 70 5f 61 64 64 72 65 73 73 20 3d 20 72 ..ip_address = r
0b30: 65 71 75 65 73 74 2e 67 72 6f 75 70 28 35 29 0a equest.group(5).
0b40: 09 09 09 73 65 6c 66 2e 5f 6c 6f 63 6b 5f 71 75 ...self._lock_qu
0b50: 65 75 65 2e 61 63 71 75 69 72 65 28 29 0a 09 09 eue.acquire()...
0b60: 09 73 65 6c 66 2e 5f 71 75 65 75 65 2e 61 70 70 .self._queue.app
0b70: 65 6e 64 28 28 69 64 2c 20 73 69 74 65 2c 20 69 end((id, site, i
0b80: 70 5f 61 64 64 72 65 73 73 2c 20 75 72 6c 5f 70 p_address, url_p
0b90: 61 74 68 29 29 0a 09 09 09 69 66 20 73 65 6c 66 ath))....if self
0ba0: 2e 5f 6c 6f 63 6b 2e 6c 6f 63 6b 65 64 28 29 3a ._lock.locked():
0bb0: 0a 09 09 09 09 73 65 6c 66 2e 5f 6c 6f 63 6b 2e .....self._lock.
0bc0: 72 65 6c 65 61 73 65 28 29 0a 09 09 09 73 65 6c release()....sel
0bd0: 66 2e 5f 6c 6f 63 6b 5f 71 75 65 75 65 2e 72 65 f._lock_queue.re
0be0: 6c 65 61 73 65 28 29 0a 09 09 09 73 65 6c 66 2e lease()....self.
0bf0: 5f 6c 6f 67 2e 69 6e 66 6f 28 27 72 65 71 75 65 _log.info('reque
0c00: 73 74 20 25 73 20 71 75 65 75 65 64 20 28 25 73 st %s queued (%s
0c10: 29 5c 6e 27 25 28 69 64 2c 20 6c 69 6e 65 29 29 )\n'%(id, line))
0c20: 0a 09 09 65 6c 73 65 3a 0a 09 09 09 73 65 6c 66 ...else:....self
0c30: 2e 5f 6c 6f 67 2e 69 6e 66 6f 28 27 62 61 64 20 ._log.info('bad
0c40: 72 65 71 75 65 73 74 5c 6e 27 29 0a 09 09 09 77 request\n')....w
0c50: 72 69 74 65 6c 69 6e 65 28 6c 69 6e 65 29 0a 0a riteline(line)..
0c60: 64 65 66 20 77 72 69 74 65 6c 69 6e 65 28 73 74 def writeline(st
0c70: 72 69 6e 67 29 3a 0a 09 6c 6f 67 2e 69 6e 66 6f ring):..log.info
0c80: 28 27 73 65 6e 64 69 6e 67 3a 20 25 73 27 25 73 ('sending: %s'%s
0c90: 74 72 69 6e 67 29 0a 09 73 79 73 2e 73 74 64 6f tring)..sys.stdo
0ca0: 75 74 2e 77 72 69 74 65 28 73 74 72 69 6e 67 29 ut.write(string)
0cb0: 0a 09 73 79 73 2e 73 74 64 6f 75 74 2e 66 6c 75 ..sys.stdout.flu
0cc0: 73 68 28 29 0a 0a 63 6c 61 73 73 20 43 6f 6e 66 sh()..class Conf
0cd0: 69 67 3a 0a 09 5f 5f 73 6c 6f 74 73 5f 5f 20 3d ig:..__slots__ =
0ce0: 20 66 72 6f 7a 65 6e 73 65 74 28 5b 27 5f 63 6f frozenset(['_co
0cf0: 6e 66 69 67 27 2c 20 27 5f 73 65 63 74 69 6f 6e nfig', '_section
0d00: 27 5d 29 0a 0a 09 64 65 66 20 5f 5f 69 6e 69 74 '])...def __init
0d10: 5f 5f 28 73 65 6c 66 29 3a 0a 09 09 70 61 72 73 __(self):...pars
0d20: 65 72 20 3d 20 6f 70 74 70 61 72 73 65 2e 4f 70 er = optparse.Op
0d30: 74 69 6f 6e 50 61 72 73 65 72 28 29 0a 09 09 70 tionParser()...p
0d40: 61 72 73 65 72 2e 61 64 64 5f 6f 70 74 69 6f 6e arser.add_option
0d50: 28 27 2d 63 27 2c 20 27 2d 2d 63 6f 6e 66 69 67 ('-c', '--config
0d60: 27 2c 20 64 65 73 74 20 3d 20 27 63 6f 6e 66 69 ', dest = 'confi
0d70: 67 27 2c 0a 09 09 09 68 65 6c 70 20 3d 20 27 63 g',....help = 'c
0d80: 6f 6e 66 69 67 20 66 69 6c 65 20 6c 6f 63 61 74 onfig file locat
0d90: 69 6f 6e 27 2c 20 6d 65 74 61 76 61 72 20 3d 20 ion', metavar =
0da0: 27 46 49 4c 45 27 2c 0a 09 09 09 64 65 66 61 75 'FILE',....defau
0db0: 6c 74 20 3d 20 27 2f 75 73 72 2f 6c 6f 63 61 6c lt = '/usr/local
0dc0: 2f 65 74 63 2f 73 71 75 69 64 2d 74 61 67 67 65 /etc/squid-tagge
0dd0: 72 2e 63 6f 6e 66 27 29 0a 0a 09 09 28 6f 70 74 r.conf')....(opt
0de0: 69 6f 6e 73 2c 20 61 72 67 73 29 20 3d 20 70 61 ions, args) = pa
0df0: 72 73 65 72 2e 70 61 72 73 65 5f 61 72 67 73 28 rser.parse_args(
0e00: 29 0a 0a 09 09 69 66 20 6e 6f 74 20 6f 73 2e 61 )....if not os.a
0e10: 63 63 65 73 73 28 6f 70 74 69 6f 6e 73 2e 63 6f ccess(options.co
0e20: 6e 66 69 67 2c 20 6f 73 2e 52 5f 4f 4b 29 3a 0a nfig, os.R_OK):.
0e30: 09 09 09 70 72 69 6e 74 28 22 43 61 6e 27 74 20 ...print("Can't
0e40: 72 65 61 64 20 7b 7d 3a 20 65 78 69 74 74 69 6e read {}: exittin
0e50: 67 22 2e 66 6f 72 6d 61 74 28 6f 70 74 69 6f 6e g".format(option
0e60: 73 2e 63 6f 6e 66 69 67 29 29 0a 09 09 09 73 79 s.config))....sy
0e70: 73 2e 65 78 69 74 28 32 29 0a 0a 09 09 73 65 6c s.exit(2)....sel
0e80: 66 2e 5f 63 6f 6e 66 69 67 20 3d 20 63 6f 6e 66 f._config = conf
0e90: 69 67 70 61 72 73 65 72 2e 43 6f 6e 66 69 67 50 igparser.ConfigP
0ea0: 61 72 73 65 72 28 29 0a 09 09 73 65 6c 66 2e 5f arser()...self._
0eb0: 63 6f 6e 66 69 67 2e 72 65 61 64 66 70 28 6f 70 config.readfp(op
0ec0: 65 6e 28 6f 70 74 69 6f 6e 73 2e 63 6f 6e 66 69 en(options.confi
0ed0: 67 29 29 0a 0a 09 64 65 66 20 73 65 63 74 69 6f g))...def sectio
0ee0: 6e 28 73 65 6c 66 2c 20 73 65 63 74 69 6f 6e 29 n(self, section)
0ef0: 3a 0a 09 09 73 65 6c 66 2e 5f 73 65 63 74 69 6f :...self._sectio
0f00: 6e 20 3d 20 73 65 63 74 69 6f 6e 0a 0a 09 64 65 n = section...de
0f10: 66 20 5f 5f 67 65 74 69 74 65 6d 5f 5f 28 73 65 f __getitem__(se
0f20: 6c 66 2c 20 6e 61 6d 65 29 3a 0a 09 09 72 65 74 lf, name):...ret
0f30: 75 72 6e 20 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 urn self._config
0f40: 2e 67 65 74 28 73 65 6c 66 2e 5f 73 65 63 74 69 .get(self._secti
0f50: 6f 6e 2c 20 6e 61 6d 65 29 0a 0a 63 6f 6e 66 69 on, name)..confi
0f60: 67 20 3d 20 43 6f 6e 66 69 67 28 29 0a 0a 6c 6f g = Config()..lo
0f70: 67 20 3d 20 4c 6f 67 67 65 72 28 29 0a 64 62 20 g = Logger().db
0f80: 3d 20 74 61 67 44 42 28 29 0a 63 68 65 63 6b 65 = tagDB().checke
0f90: 72 20 3d 20 43 68 65 63 6b 65 72 54 68 72 65 61 r = CheckerThrea
0fa0: 64 28 64 62 2c 6c 6f 67 29 0a 0a 77 68 69 6c 65 d(db,log)..while
0fb0: 20 54 72 75 65 3a 0a 09 6c 69 6e 65 20 3d 20 73 True:..line = s
0fc0: 79 73 2e 73 74 64 69 6e 2e 72 65 61 64 6c 69 6e ys.stdin.readlin
0fd0: 65 28 29 0a 09 69 66 20 6c 65 6e 28 6c 69 6e 65 e()..if len(line
0fe0: 29 20 3d 3d 20 30 3a 0a 09 09 62 72 65 61 6b 0a ) == 0:...break.
0ff0: 09 63 68 65 63 6b 65 72 2e 63 68 65 63 6b 28 6c .checker.check(l
1000: 69 6e 65 29 0a ine).