0000: 23 21 2f 75 73 72 2f 62 69 6e 2f 65 6e 76 20 70 #!/usr/bin/env p
0010: 79 74 68 6f 6e 0a 0a 66 72 6f 6d 20 5f 5f 66 75 ython..from __fu
0020: 74 75 72 65 5f 5f 20 69 6d 70 6f 72 74 20 64 69 ture__ import di
0030: 76 69 73 69 6f 6e 2c 20 70 72 69 6e 74 5f 66 75 vision, print_fu
0040: 6e 63 74 69 6f 6e 2c 20 75 6e 69 63 6f 64 65 5f nction, unicode_
0050: 6c 69 74 65 72 61 6c 73 0a 0a 69 6d 70 6f 72 74 literals..import
0060: 20 67 65 76 65 6e 74 2e 6d 6f 6e 6b 65 79 0a 67 gevent.monkey.g
0070: 65 76 65 6e 74 2e 6d 6f 6e 6b 65 79 2e 70 61 74 event.monkey.pat
0080: 63 68 5f 61 6c 6c 28 29 0a 0a 69 6d 70 6f 72 74 ch_all()..import
0090: 20 66 63 6e 74 6c 2c 20 67 65 76 65 6e 74 2e 63 fcntl, gevent.c
00a0: 6f 72 65 2c 20 67 65 76 65 6e 74 2e 70 6f 6f 6c ore, gevent.pool
00b0: 2c 20 67 65 76 65 6e 74 2e 71 75 65 75 65 2c 20 , gevent.queue,
00c0: 67 65 76 65 6e 74 2e 73 6f 63 6b 65 74 2c 20 6f gevent.socket, o
00d0: 73 2c 20 70 73 79 63 6f 70 67 32 2c 20 72 65 2c s, psycopg2, re,
00e0: 20 73 79 73 0a 0a 23 20 2f 2f 69 6e 63 6c 75 73 sys..# //inclus
00f0: 69 6f 6e 20 73 74 61 72 74 0a 23 20 43 6f 70 79 ion start.# Copy
0100: 72 69 67 68 74 20 28 43 29 20 32 30 31 30 20 44 right (C) 2010 D
0110: 61 6e 69 65 6c 65 20 56 61 72 72 61 7a 7a 6f 20 aniele Varrazzo
0120: 3c 64 61 6e 69 65 6c 65 2e 76 61 72 72 61 7a 7a <daniele.varrazz
0130: 6f 40 67 6d 61 69 6c 2e 63 6f 6d 3e 0a 23 20 61 o@gmail.com>.# a
0140: 6e 64 20 6c 69 63 65 6e 73 65 64 20 75 6e 64 65 nd licensed unde
0150: 72 20 74 68 65 20 4d 49 54 20 6c 69 63 65 6e 73 r the MIT licens
0160: 65 3a 0a 0a 64 65 66 20 67 65 76 65 6e 74 5f 77 e:..def gevent_w
0170: 61 69 74 5f 63 61 6c 6c 62 61 63 6b 28 63 6f 6e ait_callback(con
0180: 6e 2c 20 74 69 6d 65 6f 75 74 3d 4e 6f 6e 65 29 n, timeout=None)
0190: 3a 0a 09 22 22 22 41 20 77 61 69 74 20 63 61 6c :.."""A wait cal
01a0: 6c 62 61 63 6b 20 75 73 65 66 75 6c 20 74 6f 20 lback useful to
01b0: 61 6c 6c 6f 77 20 67 65 76 65 6e 74 20 74 6f 20 allow gevent to
01c0: 77 6f 72 6b 20 77 69 74 68 20 50 73 79 63 6f 70 work with Psycop
01d0: 67 2e 22 22 22 0a 09 77 68 69 6c 65 20 31 3a 0a g."""..while 1:.
01e0: 09 09 73 74 61 74 65 20 3d 20 63 6f 6e 6e 2e 70 ..state = conn.p
01f0: 6f 6c 6c 28 29 0a 09 09 69 66 20 73 74 61 74 65 oll()...if state
0200: 20 3d 3d 20 70 73 79 63 6f 70 67 32 2e 65 78 74 == psycopg2.ext
0210: 65 6e 73 69 6f 6e 73 2e 50 4f 4c 4c 5f 4f 4b 3a ensions.POLL_OK:
0220: 0a 09 09 09 62 72 65 61 6b 0a 09 09 65 6c 69 66 ....break...elif
0230: 20 73 74 61 74 65 20 3d 3d 20 70 73 79 63 6f 70 state == psycop
0240: 67 32 2e 65 78 74 65 6e 73 69 6f 6e 73 2e 50 4f g2.extensions.PO
0250: 4c 4c 5f 52 45 41 44 3a 0a 09 09 09 67 65 76 65 LL_READ:....geve
0260: 6e 74 2e 73 6f 63 6b 65 74 2e 77 61 69 74 5f 72 nt.socket.wait_r
0270: 65 61 64 28 63 6f 6e 6e 2e 66 69 6c 65 6e 6f 28 ead(conn.fileno(
0280: 29 2c 20 74 69 6d 65 6f 75 74 3d 74 69 6d 65 6f ), timeout=timeo
0290: 75 74 29 0a 09 09 65 6c 69 66 20 73 74 61 74 65 ut)...elif state
02a0: 20 3d 3d 20 70 73 79 63 6f 70 67 32 2e 65 78 74 == psycopg2.ext
02b0: 65 6e 73 69 6f 6e 73 2e 50 4f 4c 4c 5f 57 52 49 ensions.POLL_WRI
02c0: 54 45 3a 0a 09 09 09 67 65 76 65 6e 74 2e 73 6f TE:....gevent.so
02d0: 63 6b 65 74 2e 77 61 69 74 5f 77 72 69 74 65 28 cket.wait_write(
02e0: 63 6f 6e 6e 2e 66 69 6c 65 6e 6f 28 29 2c 20 74 conn.fileno(), t
02f0: 69 6d 65 6f 75 74 3d 74 69 6d 65 6f 75 74 29 0a imeout=timeout).
0300: 09 09 65 6c 73 65 3a 0a 09 09 09 72 61 69 73 65 ..else:....raise
0310: 20 70 73 79 63 6f 70 67 32 2e 4f 70 65 72 61 74 psycopg2.Operat
0320: 69 6f 6e 61 6c 45 72 72 6f 72 28 22 42 61 64 20 ionalError("Bad
0330: 72 65 73 75 6c 74 20 66 72 6f 6d 20 70 6f 6c 6c result from poll
0340: 3a 20 25 72 22 20 25 20 73 74 61 74 65 29 0a 0a : %r" % state)..
0350: 69 66 20 6e 6f 74 20 68 61 73 61 74 74 72 28 70 if not hasattr(p
0360: 73 79 63 6f 70 67 32 2e 65 78 74 65 6e 73 69 6f sycopg2.extensio
0370: 6e 73 2c 20 27 73 65 74 5f 77 61 69 74 5f 63 61 ns, 'set_wait_ca
0380: 6c 6c 62 61 63 6b 27 29 3a 0a 09 72 61 69 73 65 llback'):..raise
0390: 20 49 6d 70 6f 72 74 45 72 72 6f 72 28 22 73 75 ImportError("su
03a0: 70 70 6f 72 74 20 66 6f 72 20 63 6f 72 6f 75 74 pport for corout
03b0: 69 6e 65 73 20 6e 6f 74 20 61 76 61 69 6c 61 62 ines not availab
03c0: 6c 65 20 69 6e 20 74 68 69 73 20 50 73 79 63 6f le in this Psyco
03d0: 70 67 20 76 65 72 73 69 6f 6e 20 28 25 73 29 22 pg version (%s)"
03e0: 20 25 20 70 73 79 63 6f 70 67 32 2e 5f 5f 76 65 % psycopg2.__ve
03f0: 72 73 69 6f 6e 5f 5f 29 0a 09 70 73 79 63 6f 70 rsion__)..psycop
0400: 67 32 2e 65 78 74 65 6e 73 69 6f 6e 73 2e 73 65 g2.extensions.se
0410: 74 5f 77 61 69 74 5f 63 61 6c 6c 62 61 63 6b 28 t_wait_callback(
0420: 67 65 76 65 6e 74 5f 77 61 69 74 5f 63 61 6c 6c gevent_wait_call
0430: 62 61 63 6b 29 0a 0a 23 20 2f 2f 69 6e 63 6c 75 back)..# //inclu
0440: 73 69 6f 6e 20 65 6e 64 0a 0a 23 20 74 68 69 73 sion end..# this
0450: 20 63 6c 61 73 73 65 73 20 70 72 6f 63 65 73 73 classes process
0460: 65 73 20 63 6f 6e 66 69 67 20 66 69 6c 65 20 61 es config file a
0470: 6e 64 20 73 75 62 73 74 69 74 75 74 65 73 20 64 nd substitutes d
0480: 65 66 61 75 6c 74 20 76 61 6c 75 65 73 0a 63 6c efault values.cl
0490: 61 73 73 20 43 6f 6e 66 69 67 3a 0a 09 5f 5f 73 ass Config:..__s
04a0: 6c 6f 74 73 5f 5f 20 3d 20 66 72 6f 7a 65 6e 73 lots__ = frozens
04b0: 65 74 28 5b 27 5f 63 6f 6e 66 69 67 27 2c 20 27 et(['_config', '
04c0: 5f 64 65 66 61 75 6c 74 27 2c 20 27 5f 73 65 63 _default', '_sec
04d0: 74 69 6f 6e 27 2c 20 27 6f 70 74 69 6f 6e 73 27 tion', 'options'
04e0: 5d 29 0a 09 5f 64 65 66 61 75 6c 74 20 3d 20 7b ]).._default = {
04f0: 0a 09 09 27 6c 6f 67 27 3a 20 7b 0a 09 09 09 27 ...'log': {....'
0500: 73 69 6c 65 6e 74 27 3a 20 27 6e 6f 27 2c 0a 09 silent': 'no',..
0510: 09 7d 2c 0a 09 09 27 64 61 74 61 62 61 73 65 27 .},...'database'
0520: 3a 20 7b 0a 09 09 09 27 64 61 74 61 62 61 73 65 : {....'database
0530: 27 3a 20 27 73 71 75 69 64 54 61 67 27 2c 0a 09 ': 'squidTag',..
0540: 7d 2c 7d 0a 0a 09 23 20 66 75 6e 63 74 69 6f 6e },}...# function
0550: 20 74 6f 20 72 65 61 64 20 69 6e 20 63 6f 6e 66 to read in conf
0560: 69 67 20 66 69 6c 65 0a 09 64 65 66 20 5f 5f 69 ig file..def __i
0570: 6e 69 74 5f 5f 28 73 65 6c 66 29 3a 0a 09 09 69 nit__(self):...i
0580: 6d 70 6f 72 74 20 43 6f 6e 66 69 67 50 61 72 73 mport ConfigPars
0590: 65 72 2c 20 6f 70 74 70 61 72 73 65 2c 20 6f 73 er, optparse, os
05a0: 0a 0a 09 09 70 61 72 73 65 72 20 3d 20 6f 70 74 ....parser = opt
05b0: 70 61 72 73 65 2e 4f 70 74 69 6f 6e 50 61 72 73 parse.OptionPars
05c0: 65 72 28 29 0a 09 09 70 61 72 73 65 72 2e 61 64 er()...parser.ad
05d0: 64 5f 6f 70 74 69 6f 6e 28 27 2d 63 27 2c 20 27 d_option('-c', '
05e0: 2d 2d 63 6f 6e 66 69 67 27 2c 20 64 65 73 74 20 --config', dest
05f0: 3d 20 27 63 6f 6e 66 69 67 27 2c 0a 09 09 09 68 = 'config',....h
0600: 65 6c 70 20 3d 20 27 63 6f 6e 66 69 67 20 66 69 elp = 'config fi
0610: 6c 65 20 6c 6f 63 61 74 69 6f 6e 27 2c 20 6d 65 le location', me
0620: 74 61 76 61 72 20 3d 20 27 46 49 4c 45 27 2c 0a tavar = 'FILE',.
0630: 09 09 09 64 65 66 61 75 6c 74 20 3d 20 27 2f 75 ...default = '/u
0640: 73 72 2f 6c 6f 63 61 6c 2f 65 74 63 2f 73 71 75 sr/local/etc/squ
0650: 69 64 2d 74 61 67 67 65 72 2e 63 6f 6e 66 27 29 id-tagger.conf')
0660: 0a 09 09 70 61 72 73 65 72 2e 61 64 64 5f 6f 70 ...parser.add_op
0670: 74 69 6f 6e 28 27 2d 64 27 2c 20 27 2d 2d 64 75 tion('-d', '--du
0680: 6d 70 27 2c 20 64 65 73 74 20 3d 20 27 64 75 6d mp', dest = 'dum
0690: 70 27 2c 0a 09 09 09 68 65 6c 70 20 3d 20 27 64 p',....help = 'd
06a0: 75 6d 70 20 64 61 74 61 62 61 73 65 27 2c 20 61 ump database', a
06b0: 63 74 69 6f 6e 20 3d 20 27 73 74 6f 72 65 5f 74 ction = 'store_t
06c0: 72 75 65 27 2c 20 6d 65 74 61 76 61 72 20 3d 20 rue', metavar =
06d0: 27 62 6f 6f 6c 27 2c 0a 09 09 09 64 65 66 61 75 'bool',....defau
06e0: 6c 74 20 3d 20 46 61 6c 73 65 29 0a 09 09 70 61 lt = False)...pa
06f0: 72 73 65 72 2e 61 64 64 5f 6f 70 74 69 6f 6e 28 rser.add_option(
0700: 27 2d 66 27 2c 20 27 2d 2d 66 6c 75 73 68 2d 64 '-f', '--flush-d
0710: 61 74 61 62 61 73 65 27 2c 20 64 65 73 74 20 3d atabase', dest =
0720: 20 27 66 6c 75 73 68 5f 64 62 27 2c 0a 09 09 09 'flush_db',....
0730: 68 65 6c 70 20 3d 20 27 66 6c 75 73 68 20 70 72 help = 'flush pr
0740: 65 76 69 6f 75 73 20 64 61 74 61 62 61 73 65 20 evious database
0750: 6f 6e 20 6c 6f 61 64 27 2c 20 64 65 66 61 75 6c on load', defaul
0760: 74 20 3d 20 46 61 6c 73 65 2c 0a 09 09 09 61 63 t = False,....ac
0770: 74 69 6f 6e 20 3d 20 27 73 74 6f 72 65 5f 74 72 tion = 'store_tr
0780: 75 65 27 2c 20 6d 65 74 61 76 61 72 20 3d 20 27 ue', metavar = '
0790: 62 6f 6f 6c 27 29 0a 09 09 70 61 72 73 65 72 2e bool')...parser.
07a0: 61 64 64 5f 6f 70 74 69 6f 6e 28 27 2d 6c 27 2c add_option('-l',
07b0: 20 27 2d 2d 6c 6f 61 64 27 2c 20 64 65 73 74 20 '--load', dest
07c0: 3d 20 27 6c 6f 61 64 27 2c 0a 09 09 09 68 65 6c = 'load',....hel
07d0: 70 20 3d 20 27 6c 6f 61 64 20 64 61 74 61 62 61 p = 'load databa
07e0: 73 65 27 2c 20 61 63 74 69 6f 6e 20 3d 20 27 73 se', action = 's
07f0: 74 6f 72 65 5f 74 72 75 65 27 2c 20 6d 65 74 61 tore_true', meta
0800: 76 61 72 20 3d 20 27 62 6f 6f 6c 27 2c 0a 09 09 var = 'bool',...
0810: 09 64 65 66 61 75 6c 74 20 3d 20 46 61 6c 73 65 .default = False
0820: 29 0a 09 09 70 61 72 73 65 72 2e 61 64 64 5f 6f )...parser.add_o
0830: 70 74 69 6f 6e 28 27 2d 44 27 2c 20 27 2d 2d 64 ption('-D', '--d
0840: 75 6d 70 2d 63 6f 6e 66 27 2c 20 64 65 73 74 20 ump-conf', dest
0850: 3d 20 27 64 75 6d 70 5f 63 6f 6e 66 27 2c 0a 09 = 'dump_conf',..
0860: 09 09 68 65 6c 70 20 3d 20 27 64 75 6d 70 20 66 ..help = 'dump f
0870: 69 6c 74 65 72 69 6e 67 20 72 75 6c 65 73 27 2c iltering rules',
0880: 20 64 65 66 61 75 6c 74 20 3d 20 46 61 6c 73 65 default = False
0890: 2c 20 6d 65 74 61 76 61 72 20 3d 20 27 62 6f 6f , metavar = 'boo
08a0: 6c 27 2c 0a 09 09 09 61 63 74 69 6f 6e 20 3d 20 l',....action =
08b0: 27 73 74 6f 72 65 5f 74 72 75 65 27 29 0a 09 09 'store_true')...
08c0: 70 61 72 73 65 72 2e 61 64 64 5f 6f 70 74 69 6f parser.add_optio
08d0: 6e 28 27 2d 4c 27 2c 20 27 2d 2d 6c 6f 61 64 2d n('-L', '--load-
08e0: 63 6f 6e 66 27 2c 20 64 65 73 74 20 3d 20 27 6c conf', dest = 'l
08f0: 6f 61 64 5f 63 6f 6e 66 27 2c 0a 09 09 09 68 65 oad_conf',....he
0900: 6c 70 20 3d 20 27 6c 6f 61 64 20 66 69 6c 74 65 lp = 'load filte
0910: 72 69 6e 67 20 72 75 6c 65 73 27 2c 20 64 65 66 ring rules', def
0920: 61 75 6c 74 20 3d 20 46 61 6c 73 65 2c 20 6d 65 ault = False, me
0930: 74 61 76 61 72 20 3d 20 27 62 6f 6f 6c 27 2c 0a tavar = 'bool',.
0940: 09 09 09 61 63 74 69 6f 6e 20 3d 20 27 73 74 6f ...action = 'sto
0950: 72 65 5f 74 72 75 65 27 29 0a 0a 09 09 28 73 65 re_true')....(se
0960: 6c 66 2e 6f 70 74 69 6f 6e 73 2c 20 61 72 67 73 lf.options, args
0970: 29 20 3d 20 70 61 72 73 65 72 2e 70 61 72 73 65 ) = parser.parse
0980: 5f 61 72 67 73 28 29 0a 0a 09 09 61 73 73 65 72 _args()....asser
0990: 74 20 6f 73 2e 61 63 63 65 73 73 28 73 65 6c 66 t os.access(self
09a0: 2e 6f 70 74 69 6f 6e 73 2e 63 6f 6e 66 69 67 2c .options.config,
09b0: 20 6f 73 2e 52 5f 4f 4b 29 2c 20 22 46 61 74 61 os.R_OK), "Fata
09c0: 6c 20 65 72 72 6f 72 3a 20 63 61 6e 27 74 20 72 l error: can't r
09d0: 65 61 64 20 7b 7d 22 2e 66 6f 72 6d 61 74 28 73 ead {}".format(s
09e0: 65 6c 66 2e 6f 70 74 69 6f 6e 73 2e 63 6f 6e 66 elf.options.conf
09f0: 69 67 29 0a 0a 09 09 73 65 6c 66 2e 5f 63 6f 6e ig)....self._con
0a00: 66 69 67 20 3d 20 43 6f 6e 66 69 67 50 61 72 73 fig = ConfigPars
0a10: 65 72 2e 43 6f 6e 66 69 67 50 61 72 73 65 72 28 er.ConfigParser(
0a20: 29 0a 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 )...self._config
0a30: 2e 72 65 61 64 66 70 28 6f 70 65 6e 28 73 65 6c .readfp(open(sel
0a40: 66 2e 6f 70 74 69 6f 6e 73 2e 63 6f 6e 66 69 67 f.options.config
0a50: 29 29 0a 0a 09 23 20 66 75 6e 63 74 69 6f 6e 20 ))...# function
0a60: 74 6f 20 73 65 6c 65 63 74 20 63 6f 6e 66 69 67 to select config
0a70: 20 66 69 6c 65 20 73 65 63 74 69 6f 6e 20 6f 72 file section or
0a80: 20 63 72 65 61 74 65 20 6f 6e 65 0a 09 64 65 66 create one..def
0a90: 20 73 65 63 74 69 6f 6e 28 73 65 6c 66 2c 20 73 section(self, s
0aa0: 65 63 74 69 6f 6e 29 3a 0a 09 09 69 66 20 6e 6f ection):...if no
0ab0: 74 20 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 68 t self._config.h
0ac0: 61 73 5f 73 65 63 74 69 6f 6e 28 73 65 63 74 69 as_section(secti
0ad0: 6f 6e 29 3a 0a 09 09 09 73 65 6c 66 2e 5f 63 6f on):....self._co
0ae0: 6e 66 69 67 2e 61 64 64 5f 73 65 63 74 69 6f 6e nfig.add_section
0af0: 28 73 65 63 74 69 6f 6e 29 0a 09 09 73 65 6c 66 (section)...self
0b00: 2e 5f 73 65 63 74 69 6f 6e 20 3d 20 73 65 63 74 ._section = sect
0b10: 69 6f 6e 0a 0a 09 23 20 66 75 6e 63 74 69 6f 6e ion...# function
0b20: 20 74 6f 20 67 65 74 20 63 6f 6e 66 69 67 20 70 to get config p
0b30: 61 72 61 6d 65 74 65 72 2c 20 69 66 20 70 61 72 arameter, if par
0b40: 61 6d 65 74 65 72 20 64 6f 65 73 6e 27 74 20 65 ameter doesn't e
0b50: 78 69 73 74 73 20 74 68 65 20 64 65 66 61 75 6c xists the defaul
0b60: 74 0a 09 23 20 76 61 6c 75 65 20 6f 72 20 4e 6f t..# value or No
0b70: 6e 65 20 69 73 20 73 75 62 73 74 69 74 75 74 65 ne is substitute
0b80: 64 0a 09 64 65 66 20 5f 5f 67 65 74 69 74 65 6d d..def __getitem
0b90: 5f 5f 28 73 65 6c 66 2c 20 6e 61 6d 65 29 3a 0a __(self, name):.
0ba0: 09 09 69 66 20 6e 6f 74 20 73 65 6c 66 2e 5f 63 ..if not self._c
0bb0: 6f 6e 66 69 67 2e 68 61 73 5f 6f 70 74 69 6f 6e onfig.has_option
0bc0: 28 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 2c 20 (self._section,
0bd0: 6e 61 6d 65 29 3a 0a 09 09 09 69 66 20 73 65 6c name):....if sel
0be0: 66 2e 5f 73 65 63 74 69 6f 6e 20 69 6e 20 73 65 f._section in se
0bf0: 6c 66 2e 5f 64 65 66 61 75 6c 74 3a 0a 09 09 09 lf._default:....
0c00: 09 69 66 20 6e 61 6d 65 20 69 6e 20 73 65 6c 66 .if name in self
0c10: 2e 5f 64 65 66 61 75 6c 74 5b 73 65 6c 66 2e 5f ._default[self._
0c20: 73 65 63 74 69 6f 6e 5d 3a 0a 09 09 09 09 09 73 section]:......s
0c30: 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 73 65 74 28 elf._config.set(
0c40: 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e self._section, n
0c50: 61 6d 65 2c 20 73 65 6c 66 2e 5f 64 65 66 61 75 ame, self._defau
0c60: 6c 74 5b 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e lt[self._section
0c70: 5d 5b 6e 61 6d 65 5d 29 0a 09 09 09 09 65 6c 73 ][name]).....els
0c80: 65 3a 0a 09 09 09 09 09 73 65 6c 66 2e 5f 63 6f e:......self._co
0c90: 6e 66 69 67 2e 73 65 74 28 73 65 6c 66 2e 5f 73 nfig.set(self._s
0ca0: 65 63 74 69 6f 6e 2c 20 6e 61 6d 65 2c 20 4e 6f ection, name, No
0cb0: 6e 65 29 0a 09 09 09 65 6c 73 65 3a 0a 09 09 09 ne)....else:....
0cc0: 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 73 65 .self._config.se
0cd0: 74 28 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 2c t(self._section,
0ce0: 20 6e 61 6d 65 2c 20 4e 6f 6e 65 29 0a 09 09 72 name, None)...r
0cf0: 65 74 75 72 6e 28 73 65 6c 66 2e 5f 63 6f 6e 66 eturn(self._conf
0d00: 69 67 2e 67 65 74 28 73 65 6c 66 2e 5f 73 65 63 ig.get(self._sec
0d10: 74 69 6f 6e 2c 20 6e 61 6d 65 29 29 0a 0a 23 20 tion, name))..#
0d20: 69 6e 69 74 69 61 6c 69 7a 69 6e 67 20 61 6e 64 initializing and
0d30: 20 72 65 61 64 69 6e 67 20 69 6e 20 63 6f 6e 66 reading in conf
0d40: 69 67 20 66 69 6c 65 0a 63 6f 6e 66 69 67 20 3d ig file.config =
0d50: 20 43 6f 6e 66 69 67 28 29 0a 0a 69 6d 70 6f 72 Config()..impor
0d60: 74 20 6c 6f 67 67 69 6e 67 2c 20 6c 6f 67 67 69 t logging, loggi
0d70: 6e 67 2e 68 61 6e 64 6c 65 72 73 0a 0a 23 20 77 ng.handlers..# w
0d80: 72 61 70 70 65 72 20 61 72 6f 75 6e 64 20 6c 6f rapper around lo
0d90: 67 67 69 6e 67 20 68 61 6e 64 6c 65 72 20 74 6f gging handler to
0da0: 20 6d 61 6b 65 20 69 74 20 71 75 65 75 65 20 72 make it queue r
0db0: 65 63 6f 72 64 73 20 61 6e 64 20 64 6f 6e 27 74 ecords and don't
0dc0: 20 73 74 61 6c 6c 20 77 68 65 6e 20 73 65 6e 64 stall when send
0dd0: 69 6e 67 20 74 68 65 6d 0a 0a 63 6c 61 73 73 20 ing them..class
0de0: 53 79 73 4c 6f 67 48 61 6e 64 6c 65 72 51 75 65 SysLogHandlerQue
0df0: 75 65 28 6c 6f 67 67 69 6e 67 2e 68 61 6e 64 6c ue(logging.handl
0e00: 65 72 73 2e 53 79 73 4c 6f 67 48 61 6e 64 6c 65 ers.SysLogHandle
0e10: 72 29 3a 0a 09 5f 5f 73 6c 6f 74 73 5f 5f 20 3d r):..__slots__ =
0e20: 20 66 72 6f 7a 65 6e 73 65 74 28 5b 27 5f 72 75 frozenset(['_ru
0e30: 6e 6e 69 6e 67 27 2c 20 27 5f 74 61 69 6c 27 2c nning', '_tail',
0e40: 20 27 5f 77 6f 72 6b 65 72 27 5d 29 0a 0a 09 64 '_worker'])...d
0e50: 65 66 20 5f 5f 69 6e 69 74 5f 5f 28 73 65 6c 66 ef __init__(self
0e60: 29 3a 0a 09 09 6c 6f 67 67 69 6e 67 2e 68 61 6e ):...logging.han
0e70: 64 6c 65 72 73 2e 53 79 73 4c 6f 67 48 61 6e 64 dlers.SysLogHand
0e80: 6c 65 72 2e 5f 5f 69 6e 69 74 5f 5f 28 73 65 6c ler.__init__(sel
0e90: 66 2c 20 27 2f 64 65 76 2f 6c 6f 67 27 29 0a 09 f, '/dev/log')..
0ea0: 09 73 65 6c 66 2e 5f 74 61 69 6c 20 3d 20 67 65 .self._tail = ge
0eb0: 76 65 6e 74 2e 71 75 65 75 65 2e 51 75 65 75 65 vent.queue.Queue
0ec0: 28 29 0a 09 09 73 65 6c 66 2e 5f 77 6f 72 6b 65 ()...self._worke
0ed0: 72 20 3d 20 4e 6f 6e 65 0a 0a 09 64 65 66 20 65 r = None...def e
0ee0: 6d 69 74 28 73 65 6c 66 2c 20 72 65 63 6f 72 64 mit(self, record
0ef0: 29 3a 0a 09 09 74 72 79 3a 0a 09 09 09 73 65 6c ):...try:....sel
0f00: 66 2e 5f 74 61 69 6c 2e 70 75 74 28 72 65 63 6f f._tail.put(reco
0f10: 72 64 29 0a 09 09 65 78 63 65 70 74 20 28 4b 65 rd)...except (Ke
0f20: 79 62 6f 61 72 64 49 6e 74 65 72 72 75 70 74 2c yboardInterrupt,
0f30: 20 53 79 73 74 65 6d 45 78 69 74 29 3a 0a 09 09 SystemExit):...
0f40: 09 72 61 69 73 65 0a 09 09 65 78 63 65 70 74 3a .raise...except:
0f50: 0a 09 09 09 73 65 6c 66 2e 68 61 6e 64 6c 65 45 ....self.handleE
0f60: 72 72 6f 72 28 72 65 63 6f 72 64 29 0a 09 09 69 rror(record)...i
0f70: 66 20 73 65 6c 66 2e 5f 77 6f 72 6b 65 72 20 3d f self._worker =
0f80: 3d 20 4e 6f 6e 65 3a 0a 09 09 09 23 20 69 6e 20 = None:....# in
0f90: 63 61 73 65 20 71 75 65 75 65 20 69 73 20 65 6d case queue is em
0fa0: 70 74 79 20 77 65 20 77 69 6c 6c 20 73 70 61 77 pty we will spaw
0fb0: 6e 20 6e 65 77 20 77 6f 72 6b 65 72 0a 09 09 09 n new worker....
0fc0: 23 20 61 6c 6c 20 77 6f 72 6b 65 72 73 20 61 72 # all workers ar
0fd0: 65 20 6c 6f 67 67 65 64 20 73 6f 20 77 65 20 63 e logged so we c
0fe0: 61 6e 20 6b 69 6c 6c 20 74 68 65 6d 20 6f 6e 20 an kill them on
0ff0: 63 6c 6f 73 65 28 29 0a 09 09 09 73 65 6c 66 2e close()....self.
1000: 5f 77 6f 72 6b 65 72 20 3d 20 67 65 76 65 6e 74 _worker = gevent
1010: 2e 73 70 61 77 6e 28 73 65 6c 66 2e 5f 77 72 69 .spawn(self._wri
1020: 74 65 72 29 0a 0a 09 64 65 66 20 5f 77 72 69 74 ter)...def _writ
1030: 65 72 28 73 65 6c 66 29 3a 0a 09 09 23 20 68 65 er(self):...# he
1040: 72 65 20 77 65 20 61 72 65 20 6c 6f 63 6b 69 6e re we are lockin
1050: 67 20 74 68 65 20 71 75 65 75 65 20 73 6f 20 77 g the queue so w
1060: 65 20 63 61 6e 20 62 65 20 73 75 72 65 20 77 65 e can be sure we
1070: 20 61 72 65 20 74 68 65 20 6f 6e 6c 79 20 6f 6e are the only on
1080: 65 0a 09 09 77 68 69 6c 65 20 6e 6f 74 20 73 65 e...while not se
1090: 6c 66 2e 5f 74 61 69 6c 2e 65 6d 70 74 79 28 29 lf._tail.empty()
10a0: 3a 0a 09 09 09 6c 6f 67 67 69 6e 67 2e 68 61 6e :....logging.han
10b0: 64 6c 65 72 73 2e 53 79 73 4c 6f 67 48 61 6e 64 dlers.SysLogHand
10c0: 6c 65 72 2e 65 6d 69 74 28 73 65 6c 66 2c 20 73 ler.emit(self, s
10d0: 65 6c 66 2e 5f 74 61 69 6c 2e 67 65 74 28 29 29 elf._tail.get())
10e0: 0a 09 09 73 65 6c 66 2e 5f 77 6f 72 6b 65 72 20 ...self._worker
10f0: 3d 20 4e 6f 6e 65 0a 0a 09 64 65 66 20 63 6c 6f = None...def clo
1100: 73 65 28 73 65 6c 66 29 3a 0a 09 09 69 66 20 73 se(self):...if s
1110: 65 6c 66 2e 5f 77 6f 72 6b 65 72 20 21 3d 20 4e elf._worker != N
1120: 6f 6e 65 3a 0a 09 09 09 67 65 76 65 6e 74 2e 6b one:....gevent.k
1130: 69 6c 6c 28 73 65 6c 66 2e 5f 77 6f 72 6b 65 72 ill(self._worker
1140: 29 0a 09 09 6c 6f 67 67 69 6e 67 2e 68 61 6e 64 )...logging.hand
1150: 6c 65 72 73 2e 53 79 73 4c 6f 67 48 61 6e 64 6c lers.SysLogHandl
1160: 65 72 2e 63 6c 6f 73 65 28 73 65 6c 66 29 0a 0a er.close(self)..
1170: 6c 6f 67 67 65 72 20 3d 20 6c 6f 67 67 69 6e 67 logger = logging
1180: 2e 67 65 74 4c 6f 67 67 65 72 28 27 73 71 75 69 .getLogger('squi
1190: 64 54 61 67 27 29 0a 6c 6f 67 67 65 72 2e 73 65 dTag').logger.se
11a0: 74 4c 65 76 65 6c 28 6c 6f 67 67 69 6e 67 2e 49 tLevel(logging.I
11b0: 4e 46 4f 29 0a 68 61 6e 64 6c 65 72 20 3d 20 53 NFO).handler = S
11c0: 79 73 4c 6f 67 48 61 6e 64 6c 65 72 51 75 65 75 ysLogHandlerQueu
11d0: 65 28 29 0a 68 61 6e 64 6c 65 72 2e 73 65 74 46 e().handler.setF
11e0: 6f 72 6d 61 74 74 65 72 28 6c 6f 67 67 69 6e 67 ormatter(logging
11f0: 2e 46 6f 72 6d 61 74 74 65 72 28 73 74 72 28 27 .Formatter(str('
1200: 73 71 75 69 64 54 61 67 5b 25 28 70 72 6f 63 65 squidTag[%(proce
1210: 73 73 29 73 5d 3a 20 25 28 6d 65 73 73 61 67 65 ss)s]: %(message
1220: 29 73 27 29 29 29 0a 6c 6f 67 67 65 72 2e 61 64 )s'))).logger.ad
1230: 64 48 61 6e 64 6c 65 72 28 68 61 6e 64 6c 65 72 dHandler(handler
1240: 29 0a 0a 23 20 74 69 6e 79 20 77 72 61 70 70 65 )..# tiny wrappe
1250: 72 20 61 72 6f 75 6e 64 20 61 20 66 69 6c 65 20 r around a file
1260: 74 6f 20 6d 61 6b 65 20 72 65 61 64 73 20 66 72 to make reads fr
1270: 6f 6d 20 69 74 20 67 65 76 65 6e 74 61 62 6c 65 om it geventable
1280: 0a 23 20 6f 72 20 73 68 6f 75 6c 64 20 69 20 6d .# or should i m
1290: 6f 76 65 20 74 68 69 73 20 73 6f 6d 65 77 68 65 ove this somewhe
12a0: 72 65 3f 0a 0a 63 6c 61 73 73 20 46 52 65 61 64 re?..class FRead
12b0: 6c 69 6e 65 51 75 65 75 65 28 67 65 76 65 6e 74 lineQueue(gevent
12c0: 2e 71 75 65 75 65 2e 51 75 65 75 65 29 3a 0a 09 .queue.Queue):..
12d0: 23 20 73 74 6f 72 69 6e 67 20 66 69 6c 65 6e 6f # storing fileno
12e0: 20 64 65 73 63 72 69 70 74 6f 72 2c 20 6c 65 66 descriptor, lef
12f0: 74 6f 76 65 72 0a 09 5f 5f 73 6c 6f 74 73 5f 5f tover..__slots__
1300: 20 3d 20 66 72 6f 7a 65 6e 73 65 74 28 5b 27 5f = frozenset(['_
1310: 66 6e 27 2c 20 27 5f 74 61 69 6c 27 5d 29 0a 0a fn', '_tail'])..
1320: 09 64 65 66 20 5f 5f 69 6e 69 74 5f 5f 28 73 65 .def __init__(se
1330: 6c 66 2c 20 66 64 29 3a 0a 09 09 23 20 69 6e 69 lf, fd):...# ini
1340: 74 69 61 6c 69 73 69 6e 67 20 63 6c 61 73 73 0a tialising class.
1350: 09 09 67 65 76 65 6e 74 2e 71 75 65 75 65 2e 51 ..gevent.queue.Q
1360: 75 65 75 65 2e 5f 5f 69 6e 69 74 5f 5f 28 73 65 ueue.__init__(se
1370: 6c 66 29 0a 09 09 73 65 6c 66 2e 5f 66 6e 20 3d lf)...self._fn =
1380: 20 66 64 2e 66 69 6c 65 6e 6f 28 29 0a 09 09 23 fd.fileno()...#
1390: 20 75 73 69 6e 67 20 65 6d 70 74 79 20 74 61 69 using empty tai
13a0: 6c 0a 09 09 73 65 6c 66 2e 5f 74 61 69 6c 20 3d l...self._tail =
13b0: 20 27 27 0a 09 09 23 20 70 75 74 74 69 6e 67 20 ''...# putting
13c0: 66 69 6c 65 20 74 6f 20 6e 6f 6e 62 6c 6f 63 6b file to nonblock
13d0: 69 6e 67 20 6d 6f 64 65 0a 09 09 67 65 76 65 6e ing mode...geven
13e0: 74 2e 6f 73 2e 6d 61 6b 65 5f 6e 6f 6e 62 6c 6f t.os.make_nonblo
13f0: 63 6b 69 6e 67 28 66 64 29 0a 09 09 23 20 73 74 cking(fd)...# st
1400: 61 72 74 69 6e 67 20 6d 61 69 6e 20 6c 6f 6f 70 arting main loop
1410: 0a 09 09 67 65 76 65 6e 74 2e 73 70 61 77 6e 28 ...gevent.spawn(
1420: 73 65 6c 66 2e 5f 66 72 6f 62 62 65 72 29 0a 0a self._frobber)..
1430: 09 64 65 66 20 5f 66 72 6f 62 62 65 72 28 73 65 .def _frobber(se
1440: 6c 66 29 3a 0a 09 09 77 68 69 6c 65 20 54 72 75 lf):...while Tru
1450: 65 3a 0a 09 09 09 23 20 72 65 61 64 69 6e 67 20 e:....# reading
1460: 6f 6e 65 20 62 75 66 66 65 72 20 66 72 6f 6d 20 one buffer from
1470: 73 74 72 65 61 6d 0a 09 09 09 62 75 66 20 3d 20 stream....buf =
1480: 67 65 76 65 6e 74 2e 6f 73 2e 6e 62 5f 72 65 61 gevent.os.nb_rea
1490: 64 28 73 65 6c 66 2e 5f 66 6e 2c 20 34 30 39 36 d(self._fn, 4096
14a0: 29 0a 09 09 09 23 20 45 4f 46 20 66 6f 75 6e 64 )....# EOF found
14b0: 0a 09 09 09 69 66 20 6c 65 6e 28 62 75 66 29 20 ....if len(buf)
14c0: 3d 3d 20 30 3a 0a 09 09 09 09 62 72 65 61 6b 0a == 0:.....break.
14d0: 09 09 09 23 20 73 70 6c 69 74 74 69 6e 67 20 73 ...# splitting s
14e0: 74 72 65 61 6d 20 62 79 20 6c 69 6e 65 20 65 6e tream by line en
14f0: 64 73 0a 09 09 09 72 6f 77 73 20 3d 20 62 75 66 ds....rows = buf
1500: 2e 64 65 63 6f 64 65 28 27 6c 31 27 29 2e 73 70 .decode('l1').sp
1510: 6c 69 74 28 27 5c 6e 27 29 0a 09 09 09 23 20 61 lit('\n')....# a
1520: 64 64 69 6e 67 20 74 61 69 6c 20 74 6f 20 74 68 dding tail to th
1530: 65 20 66 69 72 73 74 20 65 6c 65 6d 65 6e 74 20 e first element
1540: 69 66 20 74 68 65 72 65 20 69 73 20 73 6f 6d 65 if there is some
1550: 20 74 61 69 6c 0a 09 09 09 69 66 20 6c 65 6e 28 tail....if len(
1560: 73 65 6c 66 2e 5f 74 61 69 6c 29 20 3e 20 30 3a self._tail) > 0:
1570: 0a 09 09 09 09 72 6f 77 73 5b 30 5d 20 3d 20 73 .....rows[0] = s
1580: 65 6c 66 2e 5f 74 61 69 6c 20 2b 20 72 6f 77 73 elf._tail + rows
1590: 5b 30 5d 0a 09 09 09 23 20 70 6f 70 70 69 6e 67 [0]....# popping
15a0: 20 6f 75 74 20 6c 61 73 74 20 28 69 6e 63 6f 6d out last (incom
15b0: 70 6c 65 74 65 29 20 65 6c 65 6d 65 6e 74 0a 09 plete) element..
15c0: 09 09 73 65 6c 66 2e 5f 74 61 69 6c 20 3d 20 72 ..self._tail = r
15d0: 6f 77 73 2e 70 6f 70 28 2d 31 29 0a 09 09 09 23 ows.pop(-1)....#
15e0: 20 64 72 6f 70 70 69 6e 67 20 61 6c 6c 20 63 6f dropping all co
15f0: 6d 70 6c 65 74 65 20 65 6c 65 6d 65 6e 74 73 20 mplete elements
1600: 74 6f 20 74 68 65 20 71 75 65 75 65 0a 09 09 09 to the queue....
1610: 66 6f 72 20 72 6f 77 20 69 6e 20 72 6f 77 73 3a for row in rows:
1620: 0a 09 09 09 09 73 65 6c 66 2e 70 75 74 5f 6e 6f .....self.put_no
1630: 77 61 69 74 28 72 6f 77 29 0a 20 20 20 20 20 20 wait(row).
1640: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
1650: 20 20 20 20 20 20 20 20 20 20 6c 6f 67 67 65 72 logger
1660: 2e 69 6e 66 6f 28 27 3c 20 27 20 2b 20 72 6f 77 .info('< ' + row
1670: 5b 30 3a 31 30 32 34 5d 29 0a 09 09 23 20 73 65 [0:1024])...# se
1680: 6e 64 69 6e 67 20 45 4f 46 0a 09 09 73 65 6c 66 nding EOF...self
1690: 2e 70 75 74 5f 6e 6f 77 61 69 74 28 4e 6f 6e 65 .put_nowait(None
16a0: 29 0a 0a 73 74 64 69 6e 20 3d 20 46 52 65 61 64 )..stdin = FRead
16b0: 6c 69 6e 65 51 75 65 75 65 28 73 79 73 2e 73 74 lineQueue(sys.st
16c0: 64 69 6e 29 0a 0a 23 20 77 72 61 70 70 65 72 20 din)..# wrapper
16d0: 61 67 61 69 6e 73 74 20 66 69 6c 65 20 68 61 6e against file han
16e0: 64 6c 65 72 20 74 68 61 74 20 6d 61 6b 65 73 20 dler that makes
16f0: 70 6f 73 73 69 62 6c 65 20 74 6f 20 71 75 65 75 possible to queu
1700: 65 20 73 6f 6d 65 20 77 72 69 74 65 73 20 77 69 e some writes wi
1710: 74 68 6f 75 74 20 73 74 61 6c 6c 69 6e 67 0a 0a thout stalling..
1720: 63 6c 61 73 73 20 46 57 72 69 74 65 6c 69 6e 65 class FWriteline
1730: 51 75 65 75 65 28 67 65 76 65 6e 74 2e 71 75 65 Queue(gevent.que
1740: 75 65 2e 4a 6f 69 6e 61 62 6c 65 51 75 65 75 65 ue.JoinableQueue
1750: 29 3a 0a 09 23 20 73 74 6f 72 69 6e 67 20 66 69 ):..# storing fi
1760: 6c 65 6e 6f 2c 20 6c 65 66 74 6f 76 65 72 0a 09 leno, leftover..
1770: 5f 5f 73 6c 6f 74 73 5f 5f 20 3d 20 66 72 6f 7a __slots__ = froz
1780: 65 6e 73 65 74 28 5b 27 5f 66 6e 27 2c 20 27 5f enset(['_fn', '_
1790: 74 61 69 6c 27 5d 29 0a 0a 09 64 65 66 20 5f 5f tail'])...def __
17a0: 69 6e 69 74 5f 5f 28 73 65 6c 66 2c 20 66 64 29 init__(self, fd)
17b0: 3a 0a 09 09 23 20 69 6e 69 74 69 61 6c 69 73 69 :...# initialisi
17c0: 6e 67 20 63 6c 61 73 73 0a 09 09 67 65 76 65 6e ng class...geven
17d0: 74 2e 71 75 65 75 65 2e 4a 6f 69 6e 61 62 6c 65 t.queue.Joinable
17e0: 51 75 65 75 65 2e 5f 5f 69 6e 69 74 5f 5f 28 73 Queue.__init__(s
17f0: 65 6c 66 29 0a 09 09 23 20 73 74 6f 72 69 6e 67 elf)...# storing
1800: 20 66 69 6c 65 6e 6f 0a 09 09 73 65 6c 66 2e 5f fileno...self._
1810: 66 6e 20 3d 20 66 64 2e 66 69 6c 65 6e 6f 28 29 fn = fd.fileno()
1820: 0a 09 09 23 20 70 75 74 74 69 6e 67 20 66 69 6c ...# putting fil
1830: 65 20 74 6f 20 6e 6f 6e 62 6c 6f 63 6b 69 6e 67 e to nonblocking
1840: 20 6d 6f 64 65 0a 09 09 67 65 76 65 6e 74 2e 6f mode...gevent.o
1850: 73 2e 6d 61 6b 65 5f 6e 6f 6e 62 6c 6f 63 6b 69 s.make_nonblocki
1860: 6e 67 28 66 64 29 0a 09 09 23 20 75 73 69 6e 67 ng(fd)...# using
1870: 20 65 6d 70 74 79 20 74 61 69 6c 0a 09 09 73 65 empty tail...se
1880: 6c 66 2e 5f 74 61 69 6c 20 3d 20 4e 6f 6e 65 0a lf._tail = None.
1890: 0a 09 64 65 66 20 5f 5f 64 65 6c 5f 5f 28 73 65 ..def __del__(se
18a0: 6c 66 29 3a 0a 09 09 23 20 70 75 72 67 65 20 71 lf):...# purge q
18b0: 75 65 75 65 20 62 65 66 6f 72 65 20 64 65 6c 65 ueue before dele
18c0: 74 69 6e 67 0a 09 09 69 66 20 6e 6f 74 20 73 65 ting...if not se
18d0: 6c 66 2e 65 6d 70 74 79 28 29 3a 0a 09 09 09 73 lf.empty():....s
18e0: 65 6c 66 2e 6a 6f 69 6e 28 29 0a 0a 09 64 65 66 elf.join()...def
18f0: 20 70 75 74 28 73 65 6c 66 2c 20 69 74 65 6d 2c put(self, item,
1900: 20 62 6c 6f 63 6b 3d 54 72 75 65 2c 20 74 69 6d block=True, tim
1910: 65 6f 75 74 3d 4e 6f 6e 65 29 3a 0a 09 09 23 20 eout=None):...#
1920: 63 61 6c 6c 69 6e 67 20 72 65 61 6c 20 70 75 74 calling real put
1930: 0a 09 09 67 65 76 65 6e 74 2e 71 75 65 75 65 2e ...gevent.queue.
1940: 4a 6f 69 6e 61 62 6c 65 51 75 65 75 65 2e 70 75 JoinableQueue.pu
1950: 74 28 73 65 6c 66 2c 20 69 74 65 6d 2c 20 62 6c t(self, item, bl
1960: 6f 63 6b 2c 20 74 69 6d 65 6f 75 74 29 0a 09 09 ock, timeout)...
1970: 23 20 73 74 61 72 74 69 6e 67 20 6d 61 69 6e 20 # starting main
1980: 6c 6f 6f 70 0a 09 09 67 65 76 65 6e 74 2e 73 70 loop...gevent.sp
1990: 61 77 6e 28 73 65 6c 66 2e 5f 66 72 6f 62 62 65 awn(self._frobbe
19a0: 72 29 0a 0a 09 64 65 66 20 5f 66 72 6f 62 62 65 r)...def _frobbe
19b0: 72 28 73 65 6c 66 29 3a 0a 09 09 23 20 63 68 65 r(self):...# che
19c0: 63 6b 69 6e 67 20 6c 65 66 74 6f 76 65 72 0a 09 cking leftover..
19d0: 09 77 68 69 6c 65 20 54 72 75 65 3a 0a 09 09 09 .while True:....
19e0: 69 66 20 73 65 6c 66 2e 5f 74 61 69 6c 20 3d 3d if self._tail ==
19f0: 20 4e 6f 6e 65 3a 0a 09 09 09 09 74 72 79 3a 0a None:.....try:.
1a00: 09 09 09 09 09 73 65 6c 66 2e 5f 74 61 69 6c 20 .....self._tail
1a10: 3d 20 73 74 72 28 73 65 6c 66 2e 67 65 74 5f 6e = str(self.get_n
1a20: 6f 77 61 69 74 28 29 29 2e 65 6e 63 6f 64 65 28 owait()).encode(
1a30: 27 75 74 66 2d 38 27 29 20 2b 20 27 5c 6e 27 0a 'utf-8') + '\n'.
1a40: 09 09 09 09 65 78 63 65 70 74 20 67 65 76 65 6e ....except geven
1a50: 74 2e 71 75 65 75 65 2e 45 6d 70 74 79 3a 0a 09 t.queue.Empty:..
1a60: 09 09 09 09 73 65 6c 66 2e 5f 74 61 69 6c 20 3d ....self._tail =
1a70: 20 4e 6f 6e 65 0a 09 09 09 09 09 72 65 74 75 72 None......retur
1a80: 6e 0a 09 09 09 23 20 77 72 69 74 69 6e 67 20 74 n....# writing t
1a90: 61 69 6c 0a 09 09 09 77 72 69 74 74 65 6e 20 3d ail....written =
1aa0: 20 67 65 76 65 6e 74 2e 6f 73 2e 6e 62 5f 77 72 gevent.os.nb_wr
1ab0: 69 74 65 28 73 65 6c 66 2e 5f 66 6e 2c 20 73 65 ite(self._fn, se
1ac0: 6c 66 2e 5f 74 61 69 6c 29 0a 09 09 09 6c 65 6e lf._tail)....len
1ad0: 67 74 68 20 3d 20 6c 65 6e 28 73 65 6c 66 2e 5f gth = len(self._
1ae0: 74 61 69 6c 29 0a 09 09 09 69 66 20 77 72 69 74 tail)....if writ
1af0: 74 65 6e 20 3d 3d 20 6c 65 6e 67 74 68 3a 0a 09 ten == length:..
1b00: 09 09 09 73 65 6c 66 2e 5f 74 61 69 6c 20 3d 20 ...self._tail =
1b10: 4e 6f 6e 65 0a 09 09 09 65 6c 69 66 20 77 72 69 None....elif wri
1b20: 74 74 65 6e 20 3c 20 6c 65 6e 67 74 68 3a 0a 09 tten < length:..
1b30: 09 09 09 73 65 6c 66 2e 5f 74 61 69 6c 20 3d 20 ...self._tail =
1b40: 73 65 6c 66 2e 5f 74 61 69 6c 5b 77 72 69 74 74 self._tail[writt
1b50: 65 6e 3a 5d 0a 0a 23 20 77 72 61 70 70 65 72 20 en:]..# wrapper
1b60: 61 72 6f 75 6e 64 20 64 61 74 61 62 61 73 65 0a around database.
1b70: 63 6c 61 73 73 20 74 61 67 44 42 28 6f 62 6a 65 class tagDB(obje
1b80: 63 74 29 3a 0a 09 5f 5f 73 6c 6f 74 73 5f 5f 20 ct):..__slots__
1b90: 3d 20 66 72 6f 7a 65 6e 73 65 74 28 5b 27 5f 63 = frozenset(['_c
1ba0: 75 72 73 6f 72 27 2c 20 27 5f 64 62 27 5d 29 0a ursor', '_db']).
1bb0: 0a 09 64 65 66 20 5f 5f 69 6e 69 74 5f 5f 28 73 ..def __init__(s
1bc0: 65 6c 66 29 3a 0a 09 09 63 6f 6e 66 69 67 2e 73 elf):...config.s
1bd0: 65 63 74 69 6f 6e 28 27 64 61 74 61 62 61 73 65 ection('database
1be0: 27 29 0a 09 09 69 66 20 63 6f 6e 66 69 67 5b 27 ')...if config['
1bf0: 68 6f 73 74 27 5d 20 3d 3d 20 4e 6f 6e 65 3a 0a host'] == None:.
1c00: 09 09 09 73 65 6c 66 2e 5f 64 62 20 3d 20 70 73 ...self._db = ps
1c10: 79 63 6f 70 67 32 2e 63 6f 6e 6e 65 63 74 28 0a ycopg2.connect(.
1c20: 09 09 09 09 64 61 74 61 62 61 73 65 20 3d 20 63 ....database = c
1c30: 6f 6e 66 69 67 5b 27 64 61 74 61 62 61 73 65 27 onfig['database'
1c40: 5d 2c 0a 09 09 09 09 75 73 65 72 20 3d 20 63 6f ],.....user = co
1c50: 6e 66 69 67 5b 27 75 73 65 72 27 5d 2c 0a 09 09 nfig['user'],...
1c60: 09 09 70 61 73 73 77 6f 72 64 20 3d 20 63 6f 6e ..password = con
1c70: 66 69 67 5b 27 70 61 73 73 77 6f 72 64 27 5d 0a fig['password'].
1c80: 09 09 09 29 0a 09 09 65 6c 73 65 3a 0a 09 09 09 ...)...else:....
1c90: 73 65 6c 66 2e 5f 64 62 20 3d 20 70 73 79 63 6f self._db = psyco
1ca0: 70 67 32 2e 63 6f 6e 6e 65 63 74 28 0a 09 09 09 pg2.connect(....
1cb0: 09 64 61 74 61 62 61 73 65 20 3d 20 63 6f 6e 66 .database = conf
1cc0: 69 67 5b 27 64 61 74 61 62 61 73 65 27 5d 2c 0a ig['database'],.
1cd0: 09 09 09 09 68 6f 73 74 20 3d 20 63 6f 6e 66 69 ....host = confi
1ce0: 67 5b 27 68 6f 73 74 27 5d 2c 0a 09 09 09 09 75 g['host'],.....u
1cf0: 73 65 72 20 3d 20 63 6f 6e 66 69 67 5b 27 75 73 ser = config['us
1d00: 65 72 27 5d 2c 0a 09 09 09 09 70 61 73 73 77 6f er'],.....passwo
1d10: 72 64 20 3d 20 63 6f 6e 66 69 67 5b 27 70 61 73 rd = config['pas
1d20: 73 77 6f 72 64 27 5d 0a 09 09 09 29 0a 09 09 73 sword']....)...s
1d30: 65 6c 66 2e 5f 63 75 72 73 6f 72 20 3d 20 73 65 elf._cursor = se
1d40: 6c 66 2e 5f 64 62 2e 63 75 72 73 6f 72 28 29 0a lf._db.cursor().
1d50: 0a 09 64 65 66 20 5f 66 69 65 6c 64 5f 6e 61 6d ..def _field_nam
1d60: 65 73 28 73 65 6c 66 29 3a 0a 09 09 6e 61 6d 65 es(self):...name
1d70: 73 20 3d 20 5b 5d 0a 09 09 66 6f 72 20 72 65 63 s = []...for rec
1d80: 6f 72 64 20 69 6e 20 73 65 6c 66 2e 5f 63 75 72 ord in self._cur
1d90: 73 6f 72 2e 64 65 73 63 72 69 70 74 69 6f 6e 3a sor.description:
1da0: 0a 09 09 09 6e 61 6d 65 73 2e 61 70 70 65 6e 64 ....names.append
1db0: 28 72 65 63 6f 72 64 2e 6e 61 6d 65 29 0a 09 09 (record.name)...
1dc0: 72 65 74 75 72 6e 28 6e 61 6d 65 73 29 0a 0a 09 return(names)...
1dd0: 64 65 66 20 63 68 65 63 6b 28 73 65 6c 66 2c 20 def check(self,
1de0: 73 69 74 65 2c 20 69 70 5f 61 64 64 72 65 73 73 site, ip_address
1df0: 29 3a 0a 09 09 73 65 6c 66 2e 5f 63 75 72 73 6f ):...self._curso
1e00: 72 2e 65 78 65 63 75 74 65 28 22 73 65 6c 65 63 r.execute("selec
1e10: 74 20 2a 20 66 72 6f 6d 20 28 73 65 6c 65 63 74 t * from (select
1e20: 20 72 65 64 69 72 65 63 74 5f 75 72 6c 2c 20 72 redirect_url, r
1e30: 65 67 65 78 70 20 66 72 6f 6d 20 73 69 74 65 5f egexp from site_
1e40: 72 75 6c 65 20 77 68 65 72 65 20 73 69 74 65 20 rule where site
1e50: 3c 40 20 74 72 69 70 64 6f 6d 61 69 6e 28 25 73 <@ tripdomain(%s
1e60: 29 20 61 6e 64 20 6e 65 74 6d 61 73 6b 20 3e 3e ) and netmask >>
1e70: 3d 20 25 73 20 6f 72 64 65 72 20 62 79 20 61 72 = %s order by ar
1e80: 72 61 79 5f 6c 65 6e 67 74 68 28 73 69 74 65 2c ray_length(site,
1e90: 20 31 29 20 64 65 73 63 29 20 61 20 67 72 6f 75 1) desc) a grou
1ea0: 70 20 62 79 20 72 65 64 69 72 65 63 74 5f 75 72 p by redirect_ur
1eb0: 6c 2c 20 72 65 67 65 78 70 22 2c 20 5b 73 69 74 l, regexp", [sit
1ec0: 65 2c 20 69 70 5f 61 64 64 72 65 73 73 5d 29 0a e, ip_address]).
1ed0: 09 09 72 65 74 75 72 6e 28 73 65 6c 66 2e 5f 63 ..return(self._c
1ee0: 75 72 73 6f 72 2e 66 65 74 63 68 61 6c 6c 28 29 ursor.fetchall()
1ef0: 29 0a 0a 09 64 65 66 20 64 75 6d 70 28 73 65 6c )...def dump(sel
1f00: 66 29 3a 0a 09 09 73 65 6c 66 2e 5f 63 75 72 73 f):...self._curs
1f10: 6f 72 2e 65 78 65 63 75 74 65 28 22 73 65 6c 65 or.execute("sele
1f20: 63 74 20 75 6e 74 72 69 70 28 73 69 74 65 29 20 ct untrip(site)
1f30: 61 73 20 73 69 74 65 2c 20 74 61 67 3a 3a 74 65 as site, tag::te
1f40: 78 74 2c 20 72 65 67 65 78 70 20 66 72 6f 6d 20 xt, regexp from
1f50: 75 72 6c 73 20 6f 72 64 65 72 20 62 79 20 73 69 urls order by si
1f60: 74 65 2c 20 74 61 67 22 29 0a 09 09 72 65 74 75 te, tag")...retu
1f70: 72 6e 28 73 65 6c 66 2e 5f 66 69 65 6c 64 5f 6e rn(self._field_n
1f80: 61 6d 65 73 28 29 2c 20 73 65 6c 66 2e 5f 63 75 ames(), self._cu
1f90: 72 73 6f 72 2e 66 65 74 63 68 61 6c 6c 28 29 29 rsor.fetchall())
1fa0: 0a 0a 09 64 65 66 20 6c 6f 61 64 28 73 65 6c 66 ...def load(self
1fb0: 2c 20 64 61 74 61 29 3a 0a 09 09 69 66 20 63 6f , data):...if co
1fc0: 6e 66 69 67 2e 6f 70 74 69 6f 6e 73 2e 66 6c 75 nfig.options.flu
1fd0: 73 68 5f 64 62 3a 0a 09 09 09 73 65 6c 66 2e 5f sh_db:....self._
1fe0: 63 75 72 73 6f 72 2e 65 78 65 63 75 74 65 28 27 cursor.execute('
1ff0: 64 65 6c 65 74 65 20 66 72 6f 6d 20 75 72 6c 73 delete from urls
2000: 3b 27 29 0a 09 09 62 75 6e 64 6c 65 20 3d 20 5b ;')...bundle = [
2010: 5d 0a 09 09 66 6f 72 20 72 6f 77 20 69 6e 20 64 ]...for row in d
2020: 61 74 61 3a 0a 09 09 09 69 66 20 6c 65 6e 28 72 ata:....if len(r
2030: 6f 77 29 20 3d 3d 20 32 3a 0a 09 09 09 09 62 75 ow) == 2:.....bu
2040: 6e 64 6c 65 2e 61 70 70 65 6e 64 28 5b 72 6f 77 ndle.append([row
2050: 5b 30 5d 2c 20 72 6f 77 5b 31 5d 2c 20 4e 6f 6e [0], row[1], Non
2060: 65 5d 29 0a 09 09 09 65 6c 73 65 3a 0a 09 09 09 e])....else:....
2070: 09 62 75 6e 64 6c 65 2e 61 70 70 65 6e 64 28 5b .bundle.append([
2080: 72 6f 77 5b 30 5d 2c 20 72 6f 77 5b 31 5d 2c 20 row[0], row[1],
2090: 72 6f 77 5b 32 5d 5d 29 0a 09 09 73 65 6c 66 2e row[2]])...self.
20a0: 5f 63 75 72 73 6f 72 2e 65 78 65 63 75 74 65 6d _cursor.executem
20b0: 61 6e 79 28 22 69 6e 73 65 72 74 20 69 6e 74 6f any("insert into
20c0: 20 75 72 6c 73 20 28 73 69 74 65 2c 20 74 61 67 urls (site, tag
20d0: 2c 20 72 65 67 65 78 70 29 20 76 61 6c 75 65 73 , regexp) values
20e0: 20 28 74 72 69 70 64 6f 6d 61 69 6e 28 25 73 29 (tripdomain(%s)
20f0: 2c 20 25 73 2c 20 25 73 29 22 2c 20 62 75 6e 64 , %s, %s)", bund
2100: 6c 65 29 0a 09 09 73 65 6c 66 2e 5f 63 75 72 73 le)...self._curs
2110: 6f 72 2e 65 78 65 63 75 74 65 28 22 75 70 64 61 or.execute("upda
2120: 74 65 20 75 72 6c 73 20 73 65 74 20 72 65 67 65 te urls set rege
2130: 78 70 20 3d 20 4e 55 4c 4c 20 77 68 65 72 65 20 xp = NULL where
2140: 72 65 67 65 78 70 20 3d 20 27 27 22 29 0a 09 09 regexp = ''")...
2150: 73 65 6c 66 2e 5f 64 62 2e 63 6f 6d 6d 69 74 28 self._db.commit(
2160: 29 0a 0a 09 64 65 66 20 6c 6f 61 64 5f 63 6f 6e )...def load_con
2170: 66 28 73 65 6c 66 2c 20 63 73 76 5f 64 61 74 61 f(self, csv_data
2180: 29 3a 0a 09 09 73 65 6c 66 2e 5f 63 75 72 73 6f ):...self._curso
2190: 72 2e 65 78 65 63 75 74 65 28 27 64 65 6c 65 74 r.execute('delet
21a0: 65 20 66 72 6f 6d 20 72 75 6c 65 73 3b 27 29 0a e from rules;').
21b0: 09 09 62 75 6e 64 6c 65 20 3d 20 5b 5d 0a 09 09 ..bundle = []...
21c0: 66 6f 72 20 72 6f 77 20 69 6e 20 63 73 76 5f 64 for row in csv_d
21d0: 61 74 61 3a 0a 09 09 09 62 75 6e 64 6c 65 2e 61 ata:....bundle.a
21e0: 70 70 65 6e 64 28 5b 72 6f 77 5b 30 5d 2c 20 72 ppend([row[0], r
21f0: 6f 77 5b 31 5d 2c 20 69 6e 74 28 72 6f 77 5b 32 ow[1], int(row[2
2200: 5d 29 2c 20 69 6e 74 28 72 6f 77 5b 33 5d 29 2c ]), int(row[3]),
2210: 20 72 6f 77 5b 34 5d 2c 20 72 6f 77 5b 35 5d 2c row[4], row[5],
2220: 20 72 6f 77 5b 36 5d 5d 29 0a 09 09 73 65 6c 66 row[6]])...self
2230: 2e 5f 63 75 72 73 6f 72 2e 65 78 65 63 75 74 65 ._cursor.execute
2240: 6d 61 6e 79 28 22 69 6e 73 65 72 74 20 69 6e 74 many("insert int
2250: 6f 20 72 75 6c 65 73 20 28 6e 65 74 6d 61 73 6b o rules (netmask
2260: 2c 20 72 65 64 69 72 65 63 74 5f 75 72 6c 2c 20 , redirect_url,
2270: 66 72 6f 6d 5f 77 65 65 6b 64 61 79 2c 20 74 6f from_weekday, to
2280: 5f 77 65 65 6b 64 61 79 2c 20 66 72 6f 6d 5f 74 _weekday, from_t
2290: 69 6d 65 2c 20 74 6f 5f 74 69 6d 65 2c 20 74 61 ime, to_time, ta
22a0: 67 29 20 76 61 6c 75 65 73 20 28 25 73 3a 3a 74 g) values (%s::t
22b0: 65 78 74 3a 3a 63 69 64 72 2c 20 25 73 2c 20 25 ext::cidr, %s, %
22c0: 73 2c 20 25 73 2c 20 25 73 3a 3a 74 65 78 74 3a s, %s, %s::text:
22d0: 3a 74 69 6d 65 2c 20 25 73 3a 3a 74 65 78 74 3a :time, %s::text:
22e0: 3a 74 69 6d 65 2c 20 25 73 3a 3a 74 65 78 74 3a :time, %s::text:
22f0: 3a 74 65 78 74 5b 5d 29 22 2c 20 62 75 6e 64 6c :text[])", bundl
2300: 65 29 0a 09 09 73 65 6c 66 2e 5f 64 62 2e 63 6f e)...self._db.co
2310: 6d 6d 69 74 28 29 0a 0a 09 64 65 66 20 64 75 6d mmit()...def dum
2320: 70 5f 63 6f 6e 66 28 73 65 6c 66 29 3a 0a 09 09 p_conf(self):...
2330: 73 65 6c 66 2e 5f 63 75 72 73 6f 72 2e 65 78 65 self._cursor.exe
2340: 63 75 74 65 28 22 73 65 6c 65 63 74 20 6e 65 74 cute("select net
2350: 6d 61 73 6b 2c 20 72 65 64 69 72 65 63 74 5f 75 mask, redirect_u
2360: 72 6c 2c 20 66 72 6f 6d 5f 77 65 65 6b 64 61 79 rl, from_weekday
2370: 2c 20 74 6f 5f 77 65 65 6b 64 61 79 2c 20 66 72 , to_weekday, fr
2380: 6f 6d 5f 74 69 6d 65 2c 20 74 6f 5f 74 69 6d 65 om_time, to_time
2390: 2c 20 74 61 67 3a 3a 74 65 78 74 20 66 72 6f 6d , tag::text from
23a0: 20 72 75 6c 65 73 22 29 0a 09 09 72 65 74 75 72 rules")...retur
23b0: 6e 28 73 65 6c 66 2e 5f 66 69 65 6c 64 5f 6e 61 n(self._field_na
23c0: 6d 65 73 28 29 2c 20 73 65 6c 66 2e 5f 63 75 72 mes(), self._cur
23d0: 73 6f 72 2e 66 65 74 63 68 61 6c 6c 28 29 29 0a sor.fetchall()).
23e0: 0a 23 20 61 62 73 74 72 61 63 74 20 63 6c 61 73 .# abstract clas
23f0: 73 20 77 69 74 68 20 62 61 73 69 63 20 63 68 65 s with basic che
2400: 63 6b 69 6e 67 20 66 75 6e 63 74 69 6f 6e 61 6c cking functional
2410: 69 74 79 0a 63 6c 61 73 73 20 43 68 65 63 6b 65 ity.class Checke
2420: 72 28 6f 62 6a 65 63 74 29 3a 0a 09 5f 5f 73 6c r(object):..__sl
2430: 6f 74 73 5f 5f 20 3d 20 66 72 6f 7a 65 6e 73 65 ots__ = frozense
2440: 74 28 5b 27 5f 64 62 27 2c 20 27 5f 6c 6f 67 27 t(['_db', '_log'
2450: 2c 20 27 5f 71 75 65 75 65 27 2c 20 27 5f 72 65 , '_queue', '_re
2460: 71 75 65 73 74 27 2c 20 27 5f 73 74 64 6f 75 74 quest', '_stdout
2470: 27 5d 29 0a 0a 09 64 65 66 20 5f 5f 69 6e 69 74 '])...def __init
2480: 5f 5f 28 73 65 6c 66 2c 20 71 75 65 75 65 2c 20 __(self, queue,
2490: 6c 6f 67 67 65 72 29 3a 0a 09 09 73 65 6c 66 2e logger):...self.
24a0: 5f 64 62 20 3d 20 74 61 67 44 42 28 29 0a 09 09 _db = tagDB()...
24b0: 73 65 6c 66 2e 5f 6c 6f 67 20 3d 20 6c 6f 67 67 self._log = logg
24c0: 65 72 0a 09 09 73 65 6c 66 2e 5f 6c 6f 67 2e 69 er...self._log.i
24d0: 6e 66 6f 28 27 73 74 61 72 74 65 64 27 29 0a 09 nfo('started')..
24e0: 09 73 65 6c 66 2e 5f 72 65 71 75 65 73 74 20 3d .self._request =
24f0: 20 72 65 2e 63 6f 6d 70 69 6c 65 28 27 5e 28 5b re.compile('^([
2500: 30 2d 39 5d 2b 29 5c 20 28 28 68 74 74 70 7c 66 0-9]+)\ ((http|f
2510: 74 70 29 3a 5c 2f 5c 2f 29 3f 28 5b 2d 5c 77 2e tp):\/\/)?([-\w.
2520: 5d 2b 29 28 3a 5b 30 2d 39 5d 2b 29 3f 28 5c 2f ]+)(:[0-9]+)?(\/
2530: 28 5b 5e 20 5d 2a 29 29 3f 5c 20 28 5b 30 2d 39 ([^ ]*))?\ ([0-9
2540: 2e 3a 5d 2b 29 5c 2f 28 2d 7c 5b 5c 77 2e 2d 5d .:]+)\/(-|[\w.-]
2550: 2b 29 5c 20 28 2d 7c 5c 77 2b 29 5c 20 28 2d 7c +)\ (-|\w+)\ (-|
2560: 47 45 54 7c 48 45 41 44 7c 50 4f 53 54 7c 43 4f GET|HEAD|POST|CO
2570: 4e 4e 45 43 54 7c 4f 50 54 49 4f 4e 53 29 2e 2a NNECT|OPTIONS).*
2580: 24 27 29 0a 09 09 73 65 6c 66 2e 5f 71 75 65 75 $')...self._queu
2590: 65 20 3d 20 71 75 65 75 65 0a 09 09 73 65 6c 66 e = queue...self
25a0: 2e 5f 73 74 64 6f 75 74 20 3d 20 46 57 72 69 74 ._stdout = FWrit
25b0: 65 6c 69 6e 65 51 75 65 75 65 28 73 79 73 2e 73 elineQueue(sys.s
25c0: 74 64 6f 75 74 29 0a 0a 09 64 65 66 20 70 72 6f tdout)...def pro
25d0: 63 65 73 73 28 73 65 6c 66 2c 20 69 64 2c 20 73 cess(self, id, s
25e0: 69 74 65 2c 20 69 70 5f 61 64 64 72 65 73 73 2c ite, ip_address,
25f0: 20 75 72 6c 5f 70 61 74 68 2c 20 6c 69 6e 65 20 url_path, line
2600: 3d 20 4e 6f 6e 65 29 3a 0a 09 09 23 73 65 6c 66 = None):...#self
2610: 2e 5f 6c 6f 67 2e 69 6e 66 6f 28 27 74 72 79 69 ._log.info('tryi
2620: 6e 67 20 7b 7d 27 2e 66 6f 72 6d 61 74 28 73 69 ng {}'.format(si
2630: 74 65 29 29 0a 09 09 72 65 73 75 6c 74 20 3d 20 te))...result =
2640: 73 65 6c 66 2e 5f 64 62 2e 63 68 65 63 6b 28 73 self._db.check(s
2650: 69 74 65 2c 20 69 70 5f 61 64 64 72 65 73 73 29 ite, ip_address)
2660: 0a 09 09 72 65 70 6c 79 20 3d 20 4e 6f 6e 65 0a ...reply = None.
2670: 09 09 23 73 65 6c 66 2e 5f 6c 6f 67 2e 69 6e 66 ..#self._log.inf
2680: 6f 28 27 67 6f 74 20 7b 7d 20 6c 69 6e 65 73 20 o('got {} lines
2690: 66 72 6f 6d 20 64 61 74 61 62 61 73 65 27 2e 66 from database'.f
26a0: 6f 72 6d 61 74 28 6c 65 6e 28 72 65 73 75 6c 74 ormat(len(result
26b0: 29 29 29 0a 09 09 66 6f 72 20 72 6f 77 20 69 6e )))...for row in
26c0: 20 72 65 73 75 6c 74 3a 0a 09 09 09 69 66 20 72 result:....if r
26d0: 6f 77 20 21 3d 20 4e 6f 6e 65 20 61 6e 64 20 72 ow != None and r
26e0: 6f 77 5b 30 5d 20 21 3d 20 4e 6f 6e 65 3a 0a 09 ow[0] != None:..
26f0: 09 09 09 69 66 20 72 6f 77 5b 31 5d 20 21 3d 20 ...if row[1] !=
2700: 4e 6f 6e 65 20 61 6e 64 20 75 72 6c 5f 70 61 74 None and url_pat
2710: 68 20 21 3d 20 4e 6f 6e 65 3a 0a 09 09 09 09 09 h != None:......
2720: 73 65 6c 66 2e 5f 6c 6f 67 2e 69 6e 66 6f 28 27 self._log.info('
2730: 74 72 79 69 6e 67 20 72 65 67 65 78 70 20 22 7b trying regexp "{
2740: 7d 22 20 76 65 72 73 75 73 20 22 7b 7d 22 27 2e }" versus "{}"'.
2750: 66 6f 72 6d 61 74 28 72 6f 77 5b 31 5d 2c 20 75 format(row[1], u
2760: 72 6c 5f 70 61 74 68 29 29 0a 09 09 09 09 09 74 rl_path))......t
2770: 72 79 3a 0a 09 09 09 09 09 09 69 66 20 72 65 2e ry:.......if re.
2780: 63 6f 6d 70 69 6c 65 28 72 6f 77 5b 31 5d 29 2e compile(row[1]).
2790: 6d 61 74 63 68 28 75 72 6c 5f 70 61 74 68 29 3a match(url_path):
27a0: 0a 09 09 09 09 09 09 09 72 65 70 6c 79 20 3d 20 ........reply =
27b0: 72 6f 77 5b 30 5d 2e 66 6f 72 6d 61 74 28 68 6f row[0].format(ho
27c0: 73 74 20 3d 20 73 69 74 65 2c 20 70 61 74 68 20 st = site, path
27d0: 3d 20 75 72 6c 5f 70 61 74 68 29 0a 09 09 09 09 = url_path).....
27e0: 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 09 63 ..else:........c
27f0: 6f 6e 74 69 6e 75 65 0a 09 09 09 09 09 65 78 63 ontinue......exc
2800: 65 70 74 3a 0a 09 09 09 09 09 09 73 65 6c 66 2e ept:.......self.
2810: 5f 6c 6f 67 2e 69 6e 66 6f 28 22 63 61 6e 27 74 _log.info("can't
2820: 20 63 6f 6d 70 69 6c 65 20 6f 72 20 65 78 65 63 compile or exec
2830: 75 74 65 20 72 65 67 65 78 70 22 29 0a 09 09 09 ute regexp")....
2840: 09 65 6c 73 65 3a 0a 09 09 09 09 09 72 65 70 6c .else:......repl
2850: 79 20 3d 20 72 6f 77 5b 30 5d 2e 66 6f 72 6d 61 y = row[0].forma
2860: 74 28 68 6f 73 74 20 3d 20 73 69 74 65 2c 20 70 t(host = site, p
2870: 61 74 68 20 3d 20 75 72 6c 5f 70 61 74 68 29 0a ath = url_path).
2880: 09 09 09 69 66 20 72 65 70 6c 79 20 21 3d 20 4e ...if reply != N
2890: 6f 6e 65 3a 0a 09 09 09 09 73 65 6c 66 2e 77 72 one:.....self.wr
28a0: 69 74 65 6c 69 6e 65 28 27 7b 7d 20 7b 7d 27 2e iteline('{} {}'.
28b0: 66 6f 72 6d 61 74 28 69 64 2c 20 72 65 70 6c 79 format(id, reply
28c0: 29 29 0a 09 09 09 09 72 65 74 75 72 6e 28 54 72 )).....return(Tr
28d0: 75 65 29 0a 09 09 73 65 6c 66 2e 77 72 69 74 65 ue)...self.write
28e0: 6c 69 6e 65 28 27 7b 7d 27 2e 66 6f 72 6d 61 74 line('{}'.format
28f0: 28 69 64 29 29 0a 0a 09 64 65 66 20 6c 6f 6f 70 (id))...def loop
2900: 28 73 65 6c 66 29 3a 0a 09 09 77 68 69 6c 65 20 (self):...while
2910: 54 72 75 65 3a 0a 09 09 09 6c 69 6e 65 20 3d 20 True:....line =
2920: 73 65 6c 66 2e 5f 71 75 65 75 65 2e 67 65 74 28 self._queue.get(
2930: 29 0a 09 09 09 69 66 20 6c 69 6e 65 20 3d 3d 20 )....if line ==
2940: 4e 6f 6e 65 3a 0a 09 09 09 09 62 72 65 61 6b 0a None:.....break.
2950: 09 09 09 23 73 65 6c 66 2e 5f 6c 6f 67 2e 69 6e ...#self._log.in
2960: 66 6f 28 27 72 65 71 75 65 73 74 3a 20 27 20 2b fo('request: ' +
2970: 20 6c 69 6e 65 29 0a 09 09 09 72 65 71 75 65 73 line)....reques
2980: 74 20 3d 20 73 65 6c 66 2e 5f 72 65 71 75 65 73 t = self._reques
2990: 74 2e 6d 61 74 63 68 28 6c 69 6e 65 29 0a 09 09 t.match(line)...
29a0: 09 69 66 20 72 65 71 75 65 73 74 3a 0a 09 09 09 .if request:....
29b0: 09 69 64 20 3d 20 72 65 71 75 65 73 74 2e 67 72 .id = request.gr
29c0: 6f 75 70 28 31 29 0a 09 09 09 09 23 70 72 6f 74 oup(1).....#prot
29d0: 6f 20 3d 20 72 65 71 75 65 73 74 2e 67 72 6f 75 o = request.grou
29e0: 70 28 33 29 0a 09 09 09 09 73 69 74 65 20 3d 20 p(3).....site =
29f0: 72 65 71 75 65 73 74 2e 67 72 6f 75 70 28 34 29 request.group(4)
2a00: 0a 09 09 09 09 75 72 6c 5f 70 61 74 68 20 3d 20 .....url_path =
2a10: 72 65 71 75 65 73 74 2e 67 72 6f 75 70 28 37 29 request.group(7)
2a20: 0a 09 09 09 09 69 70 5f 61 64 64 72 65 73 73 20 .....ip_address
2a30: 3d 20 72 65 71 75 65 73 74 2e 67 72 6f 75 70 28 = request.group(
2a40: 38 29 0a 09 09 09 09 73 65 6c 66 2e 70 72 6f 63 8).....self.proc
2a50: 65 73 73 28 69 64 2c 20 73 69 74 65 2c 20 69 70 ess(id, site, ip
2a60: 5f 61 64 64 72 65 73 73 2c 20 75 72 6c 5f 70 61 _address, url_pa
2a70: 74 68 2c 20 6c 69 6e 65 29 0a 09 09 09 65 6c 73 th, line)....els
2a80: 65 3a 0a 09 09 09 09 73 65 6c 66 2e 5f 6c 6f 67 e:.....self._log
2a90: 2e 69 6e 66 6f 28 27 62 61 64 20 72 65 71 75 65 .info('bad reque
2aa0: 73 74 27 29 0a 09 09 09 09 73 65 6c 66 2e 77 72 st').....self.wr
2ab0: 69 74 65 6c 69 6e 65 28 6c 69 6e 65 29 0a 0a 09 iteline(line)...
2ac0: 64 65 66 20 77 72 69 74 65 6c 69 6e 65 28 73 65 def writeline(se
2ad0: 6c 66 2c 20 73 74 72 69 6e 67 29 3a 0a 09 09 73 lf, string):...s
2ae0: 65 6c 66 2e 5f 6c 6f 67 2e 69 6e 66 6f 28 27 3e elf._log.info('>
2af0: 20 27 20 2b 20 73 74 72 69 6e 67 29 0a 09 09 73 ' + string)...s
2b00: 65 6c 66 2e 5f 73 74 64 6f 75 74 2e 70 75 74 28 elf._stdout.put(
2b10: 73 74 72 69 6e 67 29 0a 0a 69 66 20 63 6f 6e 66 string)..if conf
2b20: 69 67 2e 6f 70 74 69 6f 6e 73 2e 64 75 6d 70 20 ig.options.dump
2b30: 6f 72 20 63 6f 6e 66 69 67 2e 6f 70 74 69 6f 6e or config.option
2b40: 73 2e 6c 6f 61 64 20 6f 72 20 63 6f 6e 66 69 67 s.load or config
2b50: 2e 6f 70 74 69 6f 6e 73 2e 64 75 6d 70 5f 63 6f .options.dump_co
2b60: 6e 66 20 6f 72 20 63 6f 6e 66 69 67 2e 6f 70 74 nf or config.opt
2b70: 69 6f 6e 73 2e 6c 6f 61 64 5f 63 6f 6e 66 3a 0a ions.load_conf:.
2b80: 09 69 6d 70 6f 72 74 20 63 73 76 0a 0a 09 74 61 .import csv...ta
2b90: 67 64 62 20 3d 20 74 61 67 44 42 28 29 0a 09 64 gdb = tagDB()..d
2ba0: 61 74 61 5f 66 69 65 6c 64 73 20 3d 20 5b 27 73 ata_fields = ['s
2bb0: 69 74 65 27 2c 20 27 74 61 67 27 2c 20 27 72 65 ite', 'tag', 're
2bc0: 67 65 78 70 27 5d 0a 09 63 6f 6e 66 5f 66 69 65 gexp']..conf_fie
2bd0: 6c 64 73 20 3d 20 5b 27 6e 65 74 6d 61 73 6b 27 lds = ['netmask'
2be0: 2c 20 27 72 65 64 69 72 65 63 74 5f 75 72 6c 27 , 'redirect_url'
2bf0: 2c 20 27 66 72 6f 6d 5f 77 65 65 6b 64 61 79 27 , 'from_weekday'
2c00: 2c 20 27 74 6f 5f 77 65 65 6b 64 61 79 27 2c 20 , 'to_weekday',
2c10: 27 66 72 6f 6d 5f 74 69 6d 65 27 2c 20 27 74 6f 'from_time', 'to
2c20: 5f 74 69 6d 65 27 2c 20 27 74 61 67 27 5d 0a 0a _time', 'tag']..
2c30: 09 69 66 20 63 6f 6e 66 69 67 2e 6f 70 74 69 6f .if config.optio
2c40: 6e 73 2e 64 75 6d 70 20 6f 72 20 63 6f 6e 66 69 ns.dump or confi
2c50: 67 2e 6f 70 74 69 6f 6e 73 2e 64 75 6d 70 5f 63 g.options.dump_c
2c60: 6f 6e 66 3a 0a 09 09 63 73 76 5f 77 72 69 74 65 onf:...csv_write
2c70: 72 20 3d 20 63 73 76 2e 77 72 69 74 65 72 28 73 r = csv.writer(s
2c80: 79 73 2e 73 74 64 6f 75 74 29 0a 09 09 69 66 20 ys.stdout)...if
2c90: 63 6f 6e 66 69 67 2e 6f 70 74 69 6f 6e 73 2e 64 config.options.d
2ca0: 75 6d 70 3a 0a 09 09 09 64 75 6d 70 20 3d 20 74 ump:....dump = t
2cb0: 61 67 64 62 2e 64 75 6d 70 28 29 0a 09 09 65 6c agdb.dump()...el
2cc0: 69 66 20 63 6f 6e 66 69 67 2e 6f 70 74 69 6f 6e if config.option
2cd0: 73 2e 64 75 6d 70 5f 63 6f 6e 66 3a 0a 09 09 09 s.dump_conf:....
2ce0: 64 75 6d 70 20 3d 20 74 61 67 64 62 2e 64 75 6d dump = tagdb.dum
2cf0: 70 5f 63 6f 6e 66 28 29 0a 0a 09 09 63 73 76 5f p_conf()....csv_
2d00: 77 72 69 74 65 72 2e 77 72 69 74 65 72 6f 77 28 writer.writerow(
2d10: 64 75 6d 70 5b 30 5d 29 0a 09 09 66 6f 72 20 6c dump[0])...for l
2d20: 69 6e 65 20 69 6e 20 64 75 6d 70 5b 31 5d 3a 0a ine in dump[1]:.
2d30: 09 09 09 63 73 76 5f 77 72 69 74 65 72 2e 77 72 ...csv_writer.wr
2d40: 69 74 65 72 6f 77 28 6c 69 6e 65 29 0a 0a 09 65 iterow(line)...e
2d50: 6c 69 66 20 63 6f 6e 66 69 67 2e 6f 70 74 69 6f lif config.optio
2d60: 6e 73 2e 6c 6f 61 64 20 6f 72 20 63 6f 6e 66 69 ns.load or confi
2d70: 67 2e 6f 70 74 69 6f 6e 73 2e 6c 6f 61 64 5f 63 g.options.load_c
2d80: 6f 6e 66 3a 0a 09 09 63 73 76 5f 72 65 61 64 65 onf:...csv_reade
2d90: 72 20 3d 20 63 73 76 2e 72 65 61 64 65 72 28 73 r = csv.reader(s
2da0: 79 73 2e 73 74 64 69 6e 29 0a 09 09 66 69 72 73 ys.stdin)...firs
2db0: 74 5f 72 6f 77 20 3d 20 6e 65 78 74 28 63 73 76 t_row = next(csv
2dc0: 5f 72 65 61 64 65 72 29 0a 0a 09 09 69 66 20 63 _reader)....if c
2dd0: 6f 6e 66 69 67 2e 6f 70 74 69 6f 6e 73 2e 6c 6f onfig.options.lo
2de0: 61 64 3a 0a 09 09 09 66 69 65 6c 64 73 20 3d 20 ad:....fields =
2df0: 64 61 74 61 5f 66 69 65 6c 64 73 0a 09 09 09 6c data_fields....l
2e00: 6f 61 64 20 3d 20 74 61 67 64 62 2e 6c 6f 61 64 oad = tagdb.load
2e10: 0a 09 09 65 6c 69 66 20 63 6f 6e 66 69 67 2e 6f ...elif config.o
2e20: 70 74 69 6f 6e 73 2e 6c 6f 61 64 5f 63 6f 6e 66 ptions.load_conf
2e30: 3a 0a 09 09 09 66 69 65 6c 64 73 20 3d 20 63 6f :....fields = co
2e40: 6e 66 5f 66 69 65 6c 64 73 0a 09 09 09 6c 6f 61 nf_fields....loa
2e50: 64 20 3d 20 74 61 67 64 62 2e 6c 6f 61 64 5f 63 d = tagdb.load_c
2e60: 6f 6e 66 0a 0a 09 09 61 73 73 65 72 74 20 66 69 onf....assert fi
2e70: 72 73 74 5f 72 6f 77 20 3d 3d 20 66 69 65 6c 64 rst_row == field
2e80: 73 2c 20 27 46 69 6c 65 20 6d 75 73 74 20 63 6f s, 'File must co
2e90: 6e 74 61 69 6e 20 63 73 76 20 64 61 74 61 20 77 ntain csv data w
2ea0: 69 74 68 20 74 68 65 65 73 65 20 63 6f 6c 75 6d ith theese colum
2eb0: 6e 73 3a 20 27 20 2b 20 72 65 70 72 28 66 69 65 ns: ' + repr(fie
2ec0: 6c 64 73 29 0a 09 09 6c 6f 61 64 28 63 73 76 5f lds)...load(csv_
2ed0: 72 65 61 64 65 72 29 0a 0a 65 6c 73 65 3a 0a 09 reader)..else:..
2ee0: 23 20 6d 61 69 6e 20 6c 6f 6f 70 0a 09 43 68 65 # main loop..Che
2ef0: 63 6b 65 72 28 73 74 64 69 6e 2c 20 6c 6f 67 67 cker(stdin, logg
2f00: 65 72 29 2e 6c 6f 6f 70 28 29 0a er).loop().