0000: 23 21 2f 75 73 72 2f 62 69 6e 2f 65 6e 76 20 70 #!/usr/bin/env p
0010: 79 74 68 6f 6e 33 2e 31 0a 0a 69 6d 70 6f 72 74 ython3.1..import
0020: 20 63 6f 6e 66 69 67 70 61 72 73 65 72 2c 20 6f configparser, o
0030: 70 74 70 61 72 73 65 2c 20 6f 73 2c 20 70 6f 73 ptparse, os, pos
0040: 74 67 72 65 73 71 6c 2e 61 70 69 2c 20 72 65 2c tgresql.api, re,
0050: 20 73 79 73 2c 20 5f 74 68 72 65 61 64 0a 0a 23 sys, _thread..#
0060: 20 77 72 61 70 70 65 72 20 61 72 6f 75 6e 64 20 wrapper around
0070: 73 79 73 6c 6f 67 2c 20 63 61 6e 20 62 65 20 6d syslog, can be m
0080: 75 74 65 64 0a 63 6c 61 73 73 20 4c 6f 67 67 65 uted.class Logge
0090: 72 3a 0a 09 5f 5f 73 6c 6f 74 73 5f 5f 20 3d 20 r:..__slots__ =
00a0: 66 72 6f 7a 65 6e 73 65 74 28 5b 27 5f 73 79 73 frozenset(['_sys
00b0: 6c 6f 67 27 5d 29 0a 0a 09 64 65 66 20 5f 5f 69 log'])...def __i
00c0: 6e 69 74 5f 5f 28 73 65 6c 66 29 3a 0a 09 09 63 nit__(self):...c
00d0: 6f 6e 66 69 67 2e 73 65 63 74 69 6f 6e 28 27 6c onfig.section('l
00e0: 6f 67 27 29 0a 09 09 69 66 20 63 6f 6e 66 69 67 og')...if config
00f0: 5b 27 73 69 6c 65 6e 74 27 5d 20 3d 3d 20 27 79 ['silent'] == 'y
0100: 65 73 27 3a 0a 09 09 09 73 65 6c 66 2e 5f 73 79 es':....self._sy
0110: 73 6c 6f 67 20 3d 20 4e 6f 6e 65 0a 09 09 65 6c slog = None...el
0120: 73 65 3a 0a 09 09 09 69 6d 70 6f 72 74 20 73 79 se:....import sy
0130: 73 6c 6f 67 0a 09 09 09 73 65 6c 66 2e 5f 73 79 slog....self._sy
0140: 73 6c 6f 67 20 3d 20 73 79 73 6c 6f 67 0a 09 09 slog = syslog...
0150: 09 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 2e 6f 70 .self._syslog.op
0160: 65 6e 6c 6f 67 28 27 73 71 75 69 64 54 61 67 27 enlog('squidTag'
0170: 29 0a 0a 09 64 65 66 20 69 6e 66 6f 28 73 65 6c )...def info(sel
0180: 66 2c 20 6d 65 73 73 61 67 65 29 3a 0a 09 09 69 f, message):...i
0190: 66 20 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 3a 0a f self._syslog:.
01a0: 09 09 09 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 2e ...self._syslog.
01b0: 73 79 73 6c 6f 67 28 73 65 6c 66 2e 5f 73 79 73 syslog(self._sys
01c0: 6c 6f 67 2e 4c 4f 47 5f 49 4e 46 4f 2c 20 6d 65 log.LOG_INFO, me
01d0: 73 73 61 67 65 29 0a 0a 09 64 65 66 20 6e 6f 74 ssage)...def not
01e0: 69 63 65 28 73 65 6c 66 2c 20 6d 65 73 73 61 67 ice(self, messag
01f0: 65 29 3a 0a 09 09 69 66 20 73 65 6c 66 2e 5f 73 e):...if self._s
0200: 79 73 6c 6f 67 3a 0a 09 09 09 73 65 6c 66 2e 5f yslog:....self._
0210: 73 79 73 6c 6f 67 2e 73 79 73 6c 6f 67 28 73 65 syslog.syslog(se
0220: 6c 66 2e 5f 73 79 73 6c 6f 67 2e 4c 4f 47 5f 4e lf._syslog.LOG_N
0230: 4f 54 49 43 45 2c 20 6d 65 73 73 61 67 65 29 0a OTICE, message).
0240: 0a 23 20 77 72 61 70 70 65 72 20 61 72 6f 75 6e .# wrapper aroun
0250: 64 20 64 61 74 61 62 61 73 65 0a 63 6c 61 73 73 d database.class
0260: 20 74 61 67 44 42 3a 0a 09 5f 5f 73 6c 6f 74 73 tagDB:..__slots
0270: 5f 5f 20 3d 20 66 72 6f 7a 65 6e 73 65 74 28 5b __ = frozenset([
0280: 27 5f 70 72 65 70 61 72 65 64 27 2c 20 27 5f 63 '_prepared', '_c
0290: 68 65 63 6b 5f 73 74 6d 74 27 2c 20 27 5f 64 62 heck_stmt', '_db
02a0: 27 5d 29 0a 0a 09 64 65 66 20 5f 5f 69 6e 69 74 '])...def __init
02b0: 5f 5f 28 73 65 6c 66 29 3a 0a 09 09 73 65 6c 66 __(self):...self
02c0: 2e 5f 70 72 65 70 61 72 65 64 20 3d 20 73 65 74 ._prepared = set
02d0: 28 29 0a 09 09 73 65 6c 66 2e 5f 64 62 20 3d 20 ()...self._db =
02e0: 46 61 6c 73 65 0a 09 09 73 65 6c 66 2e 5f 63 68 False...self._ch
02f0: 65 63 6b 5f 73 74 6d 74 20 3d 20 73 65 6c 66 2e eck_stmt = self.
0300: 5f 63 75 72 73 28 29 2e 70 72 65 70 61 72 65 28 _curs().prepare(
0310: 22 73 65 6c 65 63 74 20 72 65 64 69 72 65 63 74 "select redirect
0320: 5f 75 72 6c 2c 20 72 65 67 65 78 70 20 66 72 6f _url, regexp fro
0330: 6d 20 73 69 74 65 5f 72 75 6c 65 20 77 68 65 72 m site_rule wher
0340: 65 20 73 69 74 65 20 3c 40 20 74 72 69 70 64 6f e site <@ tripdo
0350: 6d 61 69 6e 28 24 31 29 20 61 6e 64 20 6e 65 74 main($1) and net
0360: 6d 61 73 6b 20 3e 3e 20 24 32 3a 3a 74 65 78 74 mask >> $2::text
0370: 3a 3a 69 6e 65 74 20 6f 72 64 65 72 20 62 79 20 ::inet order by
0380: 61 72 72 61 79 5f 6c 65 6e 67 74 68 28 73 69 74 array_length(sit
0390: 65 2c 20 31 29 20 64 65 73 63 22 29 0a 0a 09 64 e, 1) desc")...d
03a0: 65 66 20 5f 63 75 72 73 28 73 65 6c 66 29 3a 0a ef _curs(self):.
03b0: 09 09 69 66 20 6e 6f 74 20 73 65 6c 66 2e 5f 64 ..if not self._d
03c0: 62 3a 0a 09 09 09 63 6f 6e 66 69 67 2e 73 65 63 b:....config.sec
03d0: 74 69 6f 6e 28 27 64 61 74 61 62 61 73 65 27 29 tion('database')
03e0: 0a 09 09 09 73 65 6c 66 2e 5f 64 62 20 3d 20 70 ....self._db = p
03f0: 6f 73 74 67 72 65 73 71 6c 2e 6f 70 65 6e 28 0a ostgresql.open(.
0400: 09 09 09 09 27 70 71 3a 2f 2f 7b 7d 3a 7b 7d 40 ....'pq://{}:{}@
0410: 7b 7d 2f 7b 7d 27 2e 66 6f 72 6d 61 74 28 0a 09 {}/{}'.format(..
0420: 09 09 09 09 63 6f 6e 66 69 67 5b 27 75 73 65 72 ....config['user
0430: 27 5d 2c 0a 09 09 09 09 09 63 6f 6e 66 69 67 5b '],......config[
0440: 27 70 61 73 73 77 6f 72 64 27 5d 2c 0a 09 09 09 'password'],....
0450: 09 09 63 6f 6e 66 69 67 5b 27 68 6f 73 74 27 5d ..config['host']
0460: 2c 0a 09 09 09 09 09 63 6f 6e 66 69 67 5b 27 64 ,......config['d
0470: 61 74 61 62 61 73 65 27 5d 2c 0a 09 09 09 29 20 atabase'],....)
0480: 29 0a 09 09 72 65 74 75 72 6e 28 73 65 6c 66 2e )...return(self.
0490: 5f 64 62 29 0a 0a 09 64 65 66 20 63 68 65 63 6b _db)...def check
04a0: 28 73 65 6c 66 2c 20 73 69 74 65 2c 20 69 70 5f (self, site, ip_
04b0: 61 64 64 72 65 73 73 29 3a 0a 09 09 72 65 74 75 address):...retu
04c0: 72 6e 28 73 65 6c 66 2e 5f 63 68 65 63 6b 5f 73 rn(self._check_s
04d0: 74 6d 74 28 73 69 74 65 2c 20 69 70 5f 61 64 64 tmt(site, ip_add
04e0: 72 65 73 73 29 29 0a 0a 23 20 61 62 73 74 72 61 ress))..# abstra
04f0: 63 74 20 63 6c 61 73 73 20 77 69 74 68 20 62 61 ct class with ba
0500: 73 69 63 20 63 68 65 63 6b 69 6e 67 20 66 75 6e sic checking fun
0510: 63 74 69 6f 6e 61 6c 69 74 79 0a 63 6c 61 73 73 ctionality.class
0520: 20 43 68 65 63 6b 65 72 3a 0a 09 5f 5f 73 6c 6f Checker:..__slo
0530: 74 73 5f 5f 20 3d 20 66 72 6f 7a 65 6e 73 65 74 ts__ = frozenset
0540: 28 5b 27 5f 64 62 27 2c 20 27 5f 6c 6f 67 27 2c (['_db', '_log',
0550: 20 27 5f 71 75 65 75 65 27 5d 29 0a 0a 09 64 65 '_queue'])...de
0560: 66 20 5f 5f 69 6e 69 74 5f 5f 28 73 65 6c 66 29 f __init__(self)
0570: 3a 0a 09 09 73 65 6c 66 2e 5f 64 62 20 3d 20 74 :...self._db = t
0580: 61 67 44 42 28 29 0a 09 09 73 65 6c 66 2e 5f 6c agDB()...self._l
0590: 6f 67 20 3d 20 4c 6f 67 67 65 72 28 29 0a 0a 09 og = Logger()...
05a0: 64 65 66 20 70 72 6f 63 65 73 73 28 73 65 6c 66 def process(self
05b0: 2c 20 69 64 2c 20 73 69 74 65 2c 20 69 70 5f 61 , id, site, ip_a
05c0: 64 64 72 65 73 73 2c 20 75 72 6c 5f 70 61 74 68 ddress, url_path
05d0: 29 3a 0a 09 09 73 65 6c 66 2e 5f 6c 6f 67 2e 69 ):...self._log.i
05e0: 6e 66 6f 28 27 74 72 79 69 6e 67 20 7b 7d 5c 6e nfo('trying {}\n
05f0: 27 2e 66 6f 72 6d 61 74 28 73 69 74 65 29 29 0a '.format(site)).
0600: 09 09 72 65 73 75 6c 74 20 3d 20 73 65 6c 66 2e ..result = self.
0610: 5f 64 62 2e 63 68 65 63 6b 28 73 69 74 65 2c 20 _db.check(site,
0620: 69 70 5f 61 64 64 72 65 73 73 29 0a 09 09 23 72 ip_address)...#r
0630: 65 70 6c 79 20 3d 20 27 7b 7d 3a 2f 2f 7b 7d 2f eply = '{}://{}/
0640: 7b 7d 27 2e 66 6f 72 6d 61 74 28 72 65 71 5b 34 {}'.format(req[4
0650: 5d 2c 20 72 65 71 5b 31 5d 2c 20 72 65 71 5b 33 ], req[1], req[3
0660: 5d 29 0a 09 09 72 65 70 6c 79 20 3d 20 27 2d 27 ])...reply = '-'
0670: 0a 09 09 66 6f 72 20 72 6f 77 20 69 6e 20 72 65 ...for row in re
0680: 73 75 6c 74 3a 0a 09 09 09 69 66 20 72 6f 77 20 sult:....if row
0690: 21 3d 20 4e 6f 6e 65 20 61 6e 64 20 72 6f 77 5b != None and row[
06a0: 30 5d 20 21 3d 20 4e 6f 6e 65 3a 0a 09 09 09 09 0] != None:.....
06b0: 69 66 20 72 6f 77 5b 31 5d 20 21 3d 20 4e 6f 6e if row[1] != Non
06c0: 65 3a 0a 09 09 09 09 09 73 65 6c 66 2e 5f 6c 6f e:......self._lo
06d0: 67 2e 69 6e 66 6f 28 27 74 72 79 69 6e 67 20 72 g.info('trying r
06e0: 65 67 65 78 70 20 22 7b 7d 22 20 76 65 72 73 75 egexp "{}" versu
06f0: 73 20 22 7b 7d 22 5c 6e 27 2e 66 6f 72 6d 61 74 s "{}"\n'.format
0700: 28 72 6f 77 5b 31 5d 2c 20 75 72 6c 5f 70 61 74 (row[1], url_pat
0710: 68 29 29 0a 09 09 09 09 09 69 66 20 72 65 2e 63 h))......if re.c
0720: 6f 6d 70 69 6c 65 28 72 6f 77 5b 31 5d 29 2e 6d ompile(row[1]).m
0730: 61 74 63 68 28 75 72 6c 5f 70 61 74 68 29 3a 0a atch(url_path):.
0740: 09 09 09 09 09 09 72 65 70 6c 79 20 3d 20 27 33 ......reply = '3
0750: 30 32 3a 27 20 2b 20 72 6f 77 5b 30 5d 0a 09 09 02:' + row[0]...
0760: 09 09 09 09 62 72 65 61 6b 0a 09 09 09 09 09 65 ....break......e
0770: 6c 73 65 3a 0a 09 09 09 09 09 09 63 6f 6e 74 69 lse:.......conti
0780: 6e 75 65 0a 09 09 09 09 65 6c 73 65 3a 0a 09 09 nue.....else:...
0790: 09 09 09 72 65 70 6c 79 20 3d 20 27 33 30 32 3a ...reply = '302:
07a0: 27 20 2b 20 72 6f 77 5b 30 5d 0a 09 09 09 09 09 ' + row[0]......
07b0: 62 72 65 61 6b 0a 09 09 73 65 6c 66 2e 77 72 69 break...self.wri
07c0: 74 65 6c 69 6e 65 28 27 7b 7d 20 7b 7d 5c 6e 27 teline('{} {}\n'
07d0: 2e 66 6f 72 6d 61 74 28 69 64 2c 20 72 65 70 6c .format(id, repl
07e0: 79 29 29 0a 0a 09 64 65 66 20 63 68 65 63 6b 28 y))...def check(
07f0: 73 65 6c 66 2c 20 6c 69 6e 65 29 3a 0a 09 09 72 self, line):...r
0800: 65 71 75 65 73 74 20 3d 20 72 65 2e 63 6f 6d 70 equest = re.comp
0810: 69 6c 65 28 27 5e 28 5b 30 2d 39 5d 2b 29 5c 20 ile('^([0-9]+)\
0820: 28 68 74 74 70 7c 66 74 70 29 3a 5c 2f 5c 2f 28 (http|ftp):\/\/(
0830: 5b 2d 5c 77 2e 3a 5d 2b 29 5c 2f 28 5b 5e 20 5d [-\w.:]+)\/([^ ]
0840: 2a 29 5c 20 28 5b 30 2d 39 2e 5d 2b 29 5c 2f 28 *)\ ([0-9.]+)\/(
0850: 2d 7c 5b 5c 77 5c 2e 5d 2b 29 5c 20 28 2d 7c 5c -|[\w\.]+)\ (-|\
0860: 77 2b 29 5c 20 28 2d 7c 47 45 54 7c 48 45 41 44 w+)\ (-|GET|HEAD
0870: 7c 50 4f 53 54 29 2e 2a 24 27 29 2e 6d 61 74 63 |POST).*$').matc
0880: 68 28 6c 69 6e 65 29 0a 09 09 69 66 20 72 65 71 h(line)...if req
0890: 75 65 73 74 3a 0a 09 09 09 69 64 20 3d 20 72 65 uest:....id = re
08a0: 71 75 65 73 74 2e 67 72 6f 75 70 28 31 29 0a 09 quest.group(1)..
08b0: 09 09 23 70 72 6f 74 6f 20 3d 20 72 65 71 75 65 ..#proto = reque
08c0: 73 74 2e 67 72 6f 75 70 28 32 29 0a 09 09 09 73 st.group(2)....s
08d0: 69 74 65 20 3d 20 72 65 71 75 65 73 74 2e 67 72 ite = request.gr
08e0: 6f 75 70 28 33 29 0a 09 09 09 75 72 6c 5f 70 61 oup(3)....url_pa
08f0: 74 68 20 3d 20 72 65 71 75 65 73 74 2e 67 72 6f th = request.gro
0900: 75 70 28 34 29 0a 09 09 09 69 70 5f 61 64 64 72 up(4)....ip_addr
0910: 65 73 73 20 3d 20 72 65 71 75 65 73 74 2e 67 72 ess = request.gr
0920: 6f 75 70 28 35 29 0a 09 09 09 73 65 6c 66 2e 69 oup(5)....self.i
0930: 6e 73 65 72 74 28 69 64 2c 20 73 69 74 65 2c 20 nsert(id, site,
0940: 69 70 5f 61 64 64 72 65 73 73 2c 20 75 72 6c 5f ip_address, url_
0950: 70 61 74 68 29 0a 0a 09 09 09 73 65 6c 66 2e 5f path).....self._
0960: 6c 6f 67 2e 69 6e 66 6f 28 27 72 65 71 75 65 73 log.info('reques
0970: 74 20 7b 7d 20 71 75 65 75 65 64 20 28 7b 7d 29 t {} queued ({})
0980: 5c 6e 27 2e 66 6f 72 6d 61 74 28 69 64 2c 20 6c \n'.format(id, l
0990: 69 6e 65 29 29 0a 09 09 65 6c 73 65 3a 0a 09 09 ine))...else:...
09a0: 09 73 65 6c 66 2e 5f 6c 6f 67 2e 69 6e 66 6f 28 .self._log.info(
09b0: 27 62 61 64 20 72 65 71 75 65 73 74 5c 6e 27 29 'bad request\n')
09c0: 0a 09 09 09 73 65 6c 66 2e 77 72 69 74 65 6c 69 ....self.writeli
09d0: 6e 65 28 6c 69 6e 65 29 0a 0a 09 64 65 66 20 69 ne(line)...def i
09e0: 6e 73 65 72 74 28 73 65 6c 66 2c 20 69 64 2c 20 nsert(self, id,
09f0: 73 69 74 65 2c 20 69 70 5f 61 64 64 72 65 73 73 site, ip_address
0a00: 2c 20 75 72 6c 5f 70 61 74 68 29 3a 0a 09 09 73 , url_path):...s
0a10: 65 6c 66 2e 5f 71 75 65 75 65 2e 61 70 70 65 6e elf._queue.appen
0a20: 64 28 28 69 64 2c 20 73 69 74 65 2c 20 69 70 5f d((id, site, ip_
0a30: 61 64 64 72 65 73 73 2c 20 75 72 6c 5f 70 61 74 address, url_pat
0a40: 68 29 29 0a 0a 09 64 65 66 20 77 72 69 74 65 6c h))...def writel
0a50: 69 6e 65 28 73 65 6c 66 2c 20 73 74 72 69 6e 67 ine(self, string
0a60: 29 3a 0a 09 09 73 65 6c 66 2e 5f 6c 6f 67 2e 69 ):...self._log.i
0a70: 6e 66 6f 28 27 73 65 6e 64 69 6e 67 3a 20 27 20 nfo('sending: '
0a80: 2b 20 73 74 72 69 6e 67 29 0a 09 09 73 79 73 2e + string)...sys.
0a90: 73 74 64 6f 75 74 2e 77 72 69 74 65 28 73 74 72 stdout.write(str
0aa0: 69 6e 67 29 0a 09 09 73 79 73 2e 73 74 64 6f 75 ing)...sys.stdou
0ab0: 74 2e 66 6c 75 73 68 28 29 0a 0a 23 20 74 68 72 t.flush()..# thr
0ac0: 65 61 64 65 64 20 63 68 65 63 6b 69 6e 67 20 66 eaded checking f
0ad0: 61 63 69 6c 69 74 79 0a 63 6c 61 73 73 20 43 68 acility.class Ch
0ae0: 65 63 6b 65 72 54 68 72 65 61 64 28 43 68 65 63 eckerThread(Chec
0af0: 6b 65 72 29 3a 0a 09 5f 5f 73 6c 6f 74 73 5f 5f ker):..__slots__
0b00: 20 3d 20 66 72 6f 7a 65 6e 73 65 74 28 5b 27 5f = frozenset(['_
0b10: 6c 6f 63 6b 27 2c 20 27 5f 6c 6f 63 6b 5f 71 75 lock', '_lock_qu
0b20: 65 75 65 27 5d 29 0a 0a 09 64 65 66 20 5f 5f 69 eue'])...def __i
0b30: 6e 69 74 5f 5f 28 73 65 6c 66 29 3a 0a 09 09 43 nit__(self):...C
0b40: 68 65 63 6b 65 72 2e 5f 5f 69 6e 69 74 5f 5f 28 hecker.__init__(
0b50: 73 65 6c 66 29 0a 09 09 23 20 53 70 69 6e 20 6c self)...# Spin l
0b60: 6f 63 6b 2e 20 4c 6f 6f 70 20 61 63 71 75 69 72 ock. Loop acquir
0b70: 65 73 20 69 74 20 6f 6e 20 73 74 61 72 74 20 74 es it on start t
0b80: 68 65 6e 20 72 65 6c 65 61 73 65 73 20 69 74 20 hen releases it
0b90: 77 68 65 6e 20 68 6f 6c 64 69 6e 67 20 71 75 65 when holding que
0ba0: 75 65 0a 09 09 23 20 6c 6f 63 6b 2e 20 54 68 69 ue...# lock. Thi
0bb0: 73 20 77 61 79 20 74 68 65 20 74 68 72 65 61 64 s way the thread
0bc0: 20 70 72 6f 63 65 65 64 73 20 77 69 74 68 6f 75 proceeds withou
0bd0: 74 20 73 74 6f 70 73 20 77 68 69 6c 65 20 71 75 t stops while qu
0be0: 65 75 65 20 68 61 73 20 64 61 74 61 20 61 6e 64 eue has data and
0bf0: 0a 09 09 23 20 67 65 74 73 20 73 74 61 6c 6c 65 ...# gets stalle
0c00: 64 20 77 68 65 6e 20 6e 6f 20 64 61 74 61 20 70 d when no data p
0c10: 72 65 73 65 6e 74 2e 20 54 68 65 20 6c 6f 63 6b resent. The lock
0c20: 20 69 73 20 72 65 6c 65 61 73 65 64 20 62 79 20 is released by
0c30: 71 75 65 75 65 20 77 72 69 74 65 72 0a 09 09 23 queue writer...#
0c40: 20 61 66 74 65 72 20 73 74 6f 72 69 6e 67 20 73 after storing s
0c50: 6f 6d 65 74 68 69 6e 67 20 69 6e 74 6f 20 74 68 omething into th
0c60: 65 20 71 75 65 75 65 0a 09 09 73 65 6c 66 2e 5f e queue...self._
0c70: 6c 6f 63 6b 20 3d 20 5f 74 68 72 65 61 64 2e 61 lock = _thread.a
0c80: 6c 6c 6f 63 61 74 65 5f 6c 6f 63 6b 28 29 0a 09 llocate_lock()..
0c90: 09 73 65 6c 66 2e 5f 6c 6f 63 6b 5f 71 75 65 75 .self._lock_queu
0ca0: 65 20 3d 20 5f 74 68 72 65 61 64 2e 61 6c 6c 6f e = _thread.allo
0cb0: 63 61 74 65 5f 6c 6f 63 6b 28 29 0a 09 09 73 65 cate_lock()...se
0cc0: 6c 66 2e 5f 6c 6f 63 6b 2e 61 63 71 75 69 72 65 lf._lock.acquire
0cd0: 28 29 0a 09 09 73 65 6c 66 2e 5f 71 75 65 75 65 ()...self._queue
0ce0: 20 3d 20 5b 5d 0a 09 09 5f 74 68 72 65 61 64 2e = []..._thread.
0cf0: 73 74 61 72 74 5f 6e 65 77 5f 74 68 72 65 61 64 start_new_thread
0d00: 28 73 65 6c 66 2e 5f 73 74 61 72 74 2c 20 28 29 (self._start, ()
0d10: 29 0a 0a 09 64 65 66 20 5f 73 74 61 72 74 28 73 )...def _start(s
0d20: 65 6c 66 29 3a 0a 09 09 77 68 69 6c 65 20 54 72 elf):...while Tr
0d30: 75 65 3a 0a 09 09 09 73 65 6c 66 2e 5f 6c 6f 63 ue:....self._loc
0d40: 6b 2e 61 63 71 75 69 72 65 28 29 0a 09 09 09 73 k.acquire()....s
0d50: 65 6c 66 2e 5f 6c 6f 63 6b 5f 71 75 65 75 65 2e elf._lock_queue.
0d60: 61 63 71 75 69 72 65 28 29 0a 09 09 09 23 20 79 acquire()....# y
0d70: 65 73 20 74 68 69 73 20 73 68 6f 75 6c 64 20 62 es this should b
0d80: 65 20 77 72 69 74 74 65 6e 20 74 68 69 73 20 77 e written this w
0d90: 61 79 2c 20 61 6e 64 20 79 65 73 2c 20 74 68 69 ay, and yes, thi
0da0: 73 20 69 73 20 77 68 79 20 49 20 68 61 74 65 20 s is why I hate
0db0: 74 68 72 65 61 64 69 6e 67 0a 09 09 09 69 66 20 threading....if
0dc0: 6c 65 6e 28 73 65 6c 66 2e 5f 71 75 65 75 65 29 len(self._queue)
0dd0: 20 3e 20 31 20 61 6e 64 20 73 65 6c 66 2e 5f 6c > 1 and self._l
0de0: 6f 63 6b 2e 6c 6f 63 6b 65 64 28 29 3a 0a 09 09 ock.locked():...
0df0: 09 09 73 65 6c 66 2e 5f 6c 6f 63 6b 2e 72 65 6c ..self._lock.rel
0e00: 65 61 73 65 28 29 0a 09 09 09 72 65 71 20 3d 20 ease()....req =
0e10: 73 65 6c 66 2e 5f 71 75 65 75 65 2e 70 6f 70 28 self._queue.pop(
0e20: 30 29 0a 09 09 09 73 65 6c 66 2e 5f 6c 6f 63 6b 0)....self._lock
0e30: 5f 71 75 65 75 65 2e 72 65 6c 65 61 73 65 28 29 _queue.release()
0e40: 0a 09 09 09 73 65 6c 66 2e 70 72 6f 63 65 73 73 ....self.process
0e50: 28 72 65 71 5b 30 5d 2c 20 72 65 71 5b 31 5d 2c (req[0], req[1],
0e60: 20 72 65 71 5b 32 5d 2c 20 72 65 71 5b 33 5d 29 req[2], req[3])
0e70: 0a 0a 09 64 65 66 20 69 6e 73 65 72 74 28 73 65 ...def insert(se
0e80: 6c 66 2c 20 69 64 2c 20 73 69 74 65 2c 20 69 70 lf, id, site, ip
0e90: 5f 61 64 64 72 65 73 73 2c 20 75 72 6c 5f 70 61 _address, url_pa
0ea0: 74 68 29 3a 0a 09 09 73 65 6c 66 2e 5f 6c 6f 63 th):...self._loc
0eb0: 6b 5f 71 75 65 75 65 2e 61 63 71 75 69 72 65 28 k_queue.acquire(
0ec0: 29 0a 09 09 43 68 65 63 6b 65 72 2e 69 6e 73 65 )...Checker.inse
0ed0: 72 74 28 73 65 6c 66 2c 20 69 64 2c 20 73 69 74 rt(self, id, sit
0ee0: 65 2c 20 69 70 5f 61 64 64 72 65 73 73 2c 20 75 e, ip_address, u
0ef0: 72 6c 5f 70 61 74 68 29 0a 09 09 69 66 20 73 65 rl_path)...if se
0f00: 6c 66 2e 5f 6c 6f 63 6b 2e 6c 6f 63 6b 65 64 28 lf._lock.locked(
0f10: 29 3a 0a 09 09 09 73 65 6c 66 2e 5f 6c 6f 63 6b ):....self._lock
0f20: 2e 72 65 6c 65 61 73 65 28 29 0a 09 09 73 65 6c .release()...sel
0f30: 66 2e 5f 6c 6f 63 6b 5f 71 75 65 75 65 2e 72 65 f._lock_queue.re
0f40: 6c 65 61 73 65 28 29 0a 0a 23 20 74 68 69 73 20 lease()..# this
0f50: 63 6c 61 73 73 65 73 20 70 72 6f 63 65 73 73 65 classes processe
0f60: 73 20 63 6f 6e 66 69 67 20 66 69 6c 65 20 61 6e s config file an
0f70: 64 20 73 75 62 73 74 69 74 75 74 65 73 20 64 65 d substitutes de
0f80: 66 61 75 6c 74 20 76 61 6c 75 65 73 0a 63 6c 61 fault values.cla
0f90: 73 73 20 43 6f 6e 66 69 67 3a 0a 09 5f 5f 73 6c ss Config:..__sl
0fa0: 6f 74 73 5f 5f 20 3d 20 66 72 6f 7a 65 6e 73 65 ots__ = frozense
0fb0: 74 28 5b 27 5f 63 6f 6e 66 69 67 27 2c 20 27 5f t(['_config', '_
0fc0: 64 65 66 61 75 6c 74 27 2c 20 27 5f 73 65 63 74 default', '_sect
0fd0: 69 6f 6e 27 5d 29 0a 09 5f 64 65 66 61 75 6c 74 ion']).._default
0fe0: 20 3d 20 7b 0a 09 09 27 72 65 61 63 74 6f 72 27 = {...'reactor'
0ff0: 3a 20 7b 0a 09 09 09 27 72 65 61 63 74 6f 72 27 : {....'reactor'
1000: 3a 20 27 74 68 72 65 61 64 27 2c 0a 09 09 7d 2c : 'thread',...},
1010: 0a 09 09 27 6c 6f 67 27 3a 20 7b 0a 09 09 09 27 ...'log': {....'
1020: 73 69 6c 65 6e 74 27 3a 20 27 6e 6f 27 2c 0a 09 silent': 'no',..
1030: 09 7d 2c 0a 09 09 27 64 61 74 61 62 61 73 65 27 .},...'database'
1040: 3a 20 7b 0a 09 09 09 27 68 6f 73 74 27 3a 20 27 : {....'host': '
1050: 6c 6f 63 61 6c 68 6f 73 74 27 2c 0a 09 09 09 27 localhost',....'
1060: 64 61 74 61 62 61 73 65 27 3a 20 27 73 71 75 69 database': 'squi
1070: 64 54 61 67 27 2c 0a 09 7d 2c 7d 0a 0a 09 23 20 dTag',..},}...#
1080: 66 75 6e 63 74 69 6f 6e 20 74 6f 20 72 65 61 64 function to read
1090: 20 69 6e 20 63 6f 6e 66 69 67 20 66 69 6c 65 0a in config file.
10a0: 09 64 65 66 20 5f 5f 69 6e 69 74 5f 5f 28 73 65 .def __init__(se
10b0: 6c 66 29 3a 0a 09 09 70 61 72 73 65 72 20 3d 20 lf):...parser =
10c0: 6f 70 74 70 61 72 73 65 2e 4f 70 74 69 6f 6e 50 optparse.OptionP
10d0: 61 72 73 65 72 28 29 0a 09 09 70 61 72 73 65 72 arser()...parser
10e0: 2e 61 64 64 5f 6f 70 74 69 6f 6e 28 27 2d 63 27 .add_option('-c'
10f0: 2c 20 27 2d 2d 63 6f 6e 66 69 67 27 2c 20 64 65 , '--config', de
1100: 73 74 20 3d 20 27 63 6f 6e 66 69 67 27 2c 0a 09 st = 'config',..
1110: 09 09 68 65 6c 70 20 3d 20 27 63 6f 6e 66 69 67 ..help = 'config
1120: 20 66 69 6c 65 20 6c 6f 63 61 74 69 6f 6e 27 2c file location',
1130: 20 6d 65 74 61 76 61 72 20 3d 20 27 46 49 4c 45 metavar = 'FILE
1140: 27 2c 0a 09 09 09 64 65 66 61 75 6c 74 20 3d 20 ',....default =
1150: 27 2f 75 73 72 2f 6c 6f 63 61 6c 2f 65 74 63 2f '/usr/local/etc/
1160: 73 71 75 69 64 2d 74 61 67 67 65 72 2e 63 6f 6e squid-tagger.con
1170: 66 27 29 0a 0a 09 09 28 6f 70 74 69 6f 6e 73 2c f')....(options,
1180: 20 61 72 67 73 29 20 3d 20 70 61 72 73 65 72 2e args) = parser.
1190: 70 61 72 73 65 5f 61 72 67 73 28 29 0a 0a 09 09 parse_args()....
11a0: 69 66 20 6e 6f 74 20 6f 73 2e 61 63 63 65 73 73 if not os.access
11b0: 28 6f 70 74 69 6f 6e 73 2e 63 6f 6e 66 69 67 2c (options.config,
11c0: 20 6f 73 2e 52 5f 4f 4b 29 3a 0a 09 09 09 70 72 os.R_OK):....pr
11d0: 69 6e 74 28 22 43 61 6e 27 74 20 72 65 61 64 20 int("Can't read
11e0: 7b 7d 3a 20 65 78 69 74 74 69 6e 67 22 2e 66 6f {}: exitting".fo
11f0: 72 6d 61 74 28 6f 70 74 69 6f 6e 73 2e 63 6f 6e rmat(options.con
1200: 66 69 67 29 29 0a 09 09 09 73 79 73 2e 65 78 69 fig))....sys.exi
1210: 74 28 32 29 0a 0a 09 09 73 65 6c 66 2e 5f 63 6f t(2)....self._co
1220: 6e 66 69 67 20 3d 20 63 6f 6e 66 69 67 70 61 72 nfig = configpar
1230: 73 65 72 2e 43 6f 6e 66 69 67 50 61 72 73 65 72 ser.ConfigParser
1240: 28 29 0a 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 ()...self._confi
1250: 67 2e 72 65 61 64 66 70 28 6f 70 65 6e 28 6f 70 g.readfp(open(op
1260: 74 69 6f 6e 73 2e 63 6f 6e 66 69 67 29 29 0a 0a tions.config))..
1270: 09 23 20 66 75 6e 63 74 69 6f 6e 20 74 6f 20 73 .# function to s
1280: 65 6c 65 63 74 20 63 6f 6e 66 69 67 20 66 69 6c elect config fil
1290: 65 20 73 65 63 74 69 6f 6e 20 6f 72 20 63 72 65 e section or cre
12a0: 61 74 65 20 6f 6e 65 0a 09 64 65 66 20 73 65 63 ate one..def sec
12b0: 74 69 6f 6e 28 73 65 6c 66 2c 20 73 65 63 74 69 tion(self, secti
12c0: 6f 6e 29 3a 0a 09 09 69 66 20 6e 6f 74 20 73 65 on):...if not se
12d0: 6c 66 2e 5f 63 6f 6e 66 69 67 2e 68 61 73 5f 73 lf._config.has_s
12e0: 65 63 74 69 6f 6e 28 73 65 63 74 69 6f 6e 29 3a ection(section):
12f0: 0a 09 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 ....self._config
1300: 2e 61 64 64 5f 73 65 63 74 69 6f 6e 28 73 65 63 .add_section(sec
1310: 74 69 6f 6e 29 0a 09 09 73 65 6c 66 2e 5f 73 65 tion)...self._se
1320: 63 74 69 6f 6e 20 3d 20 73 65 63 74 69 6f 6e 0a ction = section.
1330: 0a 09 23 20 66 75 6e 63 74 69 6f 6e 20 74 6f 20 ..# function to
1340: 67 65 74 20 63 6f 6e 66 69 67 20 70 61 72 61 6d get config param
1350: 65 74 65 72 2c 20 69 66 20 70 61 72 61 6d 65 74 eter, if paramet
1360: 65 72 20 64 6f 65 73 6e 27 74 20 65 78 69 73 74 er doesn't exist
1370: 73 20 74 68 65 20 64 65 66 61 75 6c 74 0a 09 23 s the default..#
1380: 20 76 61 6c 75 65 20 6f 72 20 4e 6f 6e 65 20 69 value or None i
1390: 73 20 73 75 62 73 74 69 74 75 74 65 64 0a 09 64 s substituted..d
13a0: 65 66 20 5f 5f 67 65 74 69 74 65 6d 5f 5f 28 73 ef __getitem__(s
13b0: 65 6c 66 2c 20 6e 61 6d 65 29 3a 0a 09 09 69 66 elf, name):...if
13c0: 20 6e 6f 74 20 73 65 6c 66 2e 5f 63 6f 6e 66 69 not self._confi
13d0: 67 2e 68 61 73 5f 6f 70 74 69 6f 6e 28 73 65 6c g.has_option(sel
13e0: 66 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e 61 6d 65 f._section, name
13f0: 29 3a 0a 09 09 09 69 66 20 73 65 6c 66 2e 5f 73 ):....if self._s
1400: 65 63 74 69 6f 6e 20 69 6e 20 73 65 6c 66 2e 5f ection in self._
1410: 64 65 66 61 75 6c 74 3a 0a 09 09 09 09 69 66 20 default:.....if
1420: 6e 61 6d 65 20 69 6e 20 73 65 6c 66 2e 5f 64 65 name in self._de
1430: 66 61 75 6c 74 5b 73 65 6c 66 2e 5f 73 65 63 74 fault[self._sect
1440: 69 6f 6e 5d 3a 0a 09 09 09 09 09 73 65 6c 66 2e ion]:......self.
1450: 5f 63 6f 6e 66 69 67 2e 73 65 74 28 73 65 6c 66 _config.set(self
1460: 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e 61 6d 65 2c ._section, name,
1470: 20 73 65 6c 66 2e 5f 64 65 66 61 75 6c 74 5b 73 self._default[s
1480: 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 5d 5b 6e 61 elf._section][na
1490: 6d 65 5d 29 0a 09 09 09 09 65 6c 73 65 3a 0a 09 me]).....else:..
14a0: 09 09 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 ....self._config
14b0: 2e 73 65 74 28 73 65 6c 66 2e 5f 73 65 63 74 69 .set(self._secti
14c0: 6f 6e 2c 20 6e 61 6d 65 2c 20 4e 6f 6e 65 29 0a on, name, None).
14d0: 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 73 65 6c ...else:.....sel
14e0: 66 2e 5f 63 6f 6e 66 69 67 2e 73 65 74 28 73 65 f._config.set(se
14f0: 6c 66 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e 61 6d lf._section, nam
1500: 65 2c 20 4e 6f 6e 65 29 0a 09 09 72 65 74 75 72 e, None)...retur
1510: 6e 28 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 67 n(self._config.g
1520: 65 74 28 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e et(self._section
1530: 2c 20 6e 61 6d 65 29 29 0a 0a 23 20 69 6e 69 74 , name))..# init
1540: 69 61 6c 69 7a 69 6e 67 20 61 6e 64 20 72 65 61 ializing and rea
1550: 64 69 6e 67 20 69 6e 20 63 6f 6e 66 69 67 20 66 ding in config f
1560: 69 6c 65 0a 63 6f 6e 66 69 67 20 3d 20 43 6f 6e ile.config = Con
1570: 66 69 67 28 29 0a 0a 63 6f 6e 66 69 67 2e 73 65 fig()..config.se
1580: 63 74 69 6f 6e 28 27 72 65 61 63 74 6f 72 27 29 ction('reactor')
1590: 0a 69 66 20 63 6f 6e 66 69 67 5b 27 72 65 61 63 .if config['reac
15a0: 74 6f 72 27 5d 20 3d 3d 20 27 74 68 72 65 61 64 tor'] == 'thread
15b0: 27 3a 0a 09 63 68 65 63 6b 65 72 20 3d 20 43 68 ':..checker = Ch
15c0: 65 63 6b 65 72 54 68 72 65 61 64 28 29 0a 0a 77 eckerThread()..w
15d0: 68 69 6c 65 20 54 72 75 65 3a 0a 09 6c 69 6e 65 hile True:..line
15e0: 20 3d 20 73 79 73 2e 73 74 64 69 6e 2e 72 65 61 = sys.stdin.rea
15f0: 64 6c 69 6e 65 28 29 0a 09 69 66 20 6c 65 6e 28 dline()..if len(
1600: 6c 69 6e 65 29 20 3d 3d 20 30 3a 0a 09 09 62 72 line) == 0:...br
1610: 65 61 6b 0a 09 63 68 65 63 6b 65 72 2e 63 68 65 eak..checker.che
1620: 63 6b 28 6c 69 6e 65 29 0a ck(line).