0000: 23 21 2f 75 73 72 2f 62 69 6e 2f 65 6e 76 20 70 #!/usr/bin/env p
0010: 79 74 68 6f 6e 0a 0a 66 72 6f 6d 20 5f 5f 66 75 ython..from __fu
0020: 74 75 72 65 5f 5f 20 69 6d 70 6f 72 74 20 64 69 ture__ import di
0030: 76 69 73 69 6f 6e 2c 20 70 72 69 6e 74 5f 66 75 vision, print_fu
0040: 6e 63 74 69 6f 6e 2c 20 75 6e 69 63 6f 64 65 5f nction, unicode_
0050: 6c 69 74 65 72 61 6c 73 0a 0a 69 6d 70 6f 72 74 literals..import
0060: 20 67 65 76 65 6e 74 2e 6d 6f 6e 6b 65 79 0a 67 gevent.monkey.g
0070: 65 76 65 6e 74 2e 6d 6f 6e 6b 65 79 2e 70 61 74 event.monkey.pat
0080: 63 68 5f 61 6c 6c 28 29 0a 0a 69 6d 70 6f 72 74 ch_all()..import
0090: 20 66 63 6e 74 6c 2c 20 67 65 76 65 6e 74 2e 63 fcntl, gevent.c
00a0: 6f 72 65 2c 20 67 65 76 65 6e 74 2e 70 6f 6f 6c ore, gevent.pool
00b0: 2c 20 67 65 76 65 6e 74 2e 71 75 65 75 65 2c 20 , gevent.queue,
00c0: 67 65 76 65 6e 74 2e 73 6f 63 6b 65 74 2c 20 6f gevent.socket, o
00d0: 73 2c 20 70 73 79 63 6f 70 67 32 2c 20 72 65 2c s, psycopg2, re,
00e0: 20 73 79 73 0a 0a 23 20 2f 2f 69 6e 63 6c 75 73 sys..# //inclus
00f0: 69 6f 6e 20 73 74 61 72 74 0a 23 20 43 6f 70 79 ion start.# Copy
0100: 72 69 67 68 74 20 28 43 29 20 32 30 31 30 20 44 right (C) 2010 D
0110: 61 6e 69 65 6c 65 20 56 61 72 72 61 7a 7a 6f 20 aniele Varrazzo
0120: 3c 64 61 6e 69 65 6c 65 2e 76 61 72 72 61 7a 7a <daniele.varrazz
0130: 6f 40 67 6d 61 69 6c 2e 63 6f 6d 3e 0a 23 20 61 o@gmail.com>.# a
0140: 6e 64 20 6c 69 63 65 6e 73 65 64 20 75 6e 64 65 nd licensed unde
0150: 72 20 74 68 65 20 4d 49 54 20 6c 69 63 65 6e 73 r the MIT licens
0160: 65 3a 0a 0a 64 65 66 20 67 65 76 65 6e 74 5f 77 e:..def gevent_w
0170: 61 69 74 5f 63 61 6c 6c 62 61 63 6b 28 63 6f 6e ait_callback(con
0180: 6e 2c 20 74 69 6d 65 6f 75 74 3d 4e 6f 6e 65 29 n, timeout=None)
0190: 3a 0a 09 22 22 22 41 20 77 61 69 74 20 63 61 6c :.."""A wait cal
01a0: 6c 62 61 63 6b 20 75 73 65 66 75 6c 20 74 6f 20 lback useful to
01b0: 61 6c 6c 6f 77 20 67 65 76 65 6e 74 20 74 6f 20 allow gevent to
01c0: 77 6f 72 6b 20 77 69 74 68 20 50 73 79 63 6f 70 work with Psycop
01d0: 67 2e 22 22 22 0a 09 77 68 69 6c 65 20 31 3a 0a g."""..while 1:.
01e0: 09 09 73 74 61 74 65 20 3d 20 63 6f 6e 6e 2e 70 ..state = conn.p
01f0: 6f 6c 6c 28 29 0a 09 09 69 66 20 73 74 61 74 65 oll()...if state
0200: 20 3d 3d 20 70 73 79 63 6f 70 67 32 2e 65 78 74 == psycopg2.ext
0210: 65 6e 73 69 6f 6e 73 2e 50 4f 4c 4c 5f 4f 4b 3a ensions.POLL_OK:
0220: 0a 09 09 09 62 72 65 61 6b 0a 09 09 65 6c 69 66 ....break...elif
0230: 20 73 74 61 74 65 20 3d 3d 20 70 73 79 63 6f 70 state == psycop
0240: 67 32 2e 65 78 74 65 6e 73 69 6f 6e 73 2e 50 4f g2.extensions.PO
0250: 4c 4c 5f 52 45 41 44 3a 0a 09 09 09 67 65 76 65 LL_READ:....geve
0260: 6e 74 2e 73 6f 63 6b 65 74 2e 77 61 69 74 5f 72 nt.socket.wait_r
0270: 65 61 64 28 63 6f 6e 6e 2e 66 69 6c 65 6e 6f 28 ead(conn.fileno(
0280: 29 2c 20 74 69 6d 65 6f 75 74 3d 74 69 6d 65 6f ), timeout=timeo
0290: 75 74 29 0a 09 09 65 6c 69 66 20 73 74 61 74 65 ut)...elif state
02a0: 20 3d 3d 20 70 73 79 63 6f 70 67 32 2e 65 78 74 == psycopg2.ext
02b0: 65 6e 73 69 6f 6e 73 2e 50 4f 4c 4c 5f 57 52 49 ensions.POLL_WRI
02c0: 54 45 3a 0a 09 09 09 67 65 76 65 6e 74 2e 73 6f TE:....gevent.so
02d0: 63 6b 65 74 2e 77 61 69 74 5f 77 72 69 74 65 28 cket.wait_write(
02e0: 63 6f 6e 6e 2e 66 69 6c 65 6e 6f 28 29 2c 20 74 conn.fileno(), t
02f0: 69 6d 65 6f 75 74 3d 74 69 6d 65 6f 75 74 29 0a imeout=timeout).
0300: 09 09 65 6c 73 65 3a 0a 09 09 09 72 61 69 73 65 ..else:....raise
0310: 20 70 73 79 63 6f 70 67 32 2e 4f 70 65 72 61 74 psycopg2.Operat
0320: 69 6f 6e 61 6c 45 72 72 6f 72 28 22 42 61 64 20 ionalError("Bad
0330: 72 65 73 75 6c 74 20 66 72 6f 6d 20 70 6f 6c 6c result from poll
0340: 3a 20 25 72 22 20 25 20 73 74 61 74 65 29 0a 0a : %r" % state)..
0350: 69 66 20 6e 6f 74 20 68 61 73 61 74 74 72 28 70 if not hasattr(p
0360: 73 79 63 6f 70 67 32 2e 65 78 74 65 6e 73 69 6f sycopg2.extensio
0370: 6e 73 2c 20 27 73 65 74 5f 77 61 69 74 5f 63 61 ns, 'set_wait_ca
0380: 6c 6c 62 61 63 6b 27 29 3a 0a 09 72 61 69 73 65 llback'):..raise
0390: 20 49 6d 70 6f 72 74 45 72 72 6f 72 28 22 73 75 ImportError("su
03a0: 70 70 6f 72 74 20 66 6f 72 20 63 6f 72 6f 75 74 pport for corout
03b0: 69 6e 65 73 20 6e 6f 74 20 61 76 61 69 6c 61 62 ines not availab
03c0: 6c 65 20 69 6e 20 74 68 69 73 20 50 73 79 63 6f le in this Psyco
03d0: 70 67 20 76 65 72 73 69 6f 6e 20 28 25 73 29 22 pg version (%s)"
03e0: 20 25 20 70 73 79 63 6f 70 67 32 2e 5f 5f 76 65 % psycopg2.__ve
03f0: 72 73 69 6f 6e 5f 5f 29 0a 09 70 73 79 63 6f 70 rsion__)..psycop
0400: 67 32 2e 65 78 74 65 6e 73 69 6f 6e 73 2e 73 65 g2.extensions.se
0410: 74 5f 77 61 69 74 5f 63 61 6c 6c 62 61 63 6b 28 t_wait_callback(
0420: 67 65 76 65 6e 74 5f 77 61 69 74 5f 63 61 6c 6c gevent_wait_call
0430: 62 61 63 6b 29 0a 0a 23 20 2f 2f 69 6e 63 6c 75 back)..# //inclu
0440: 73 69 6f 6e 20 65 6e 64 0a 0a 23 20 74 68 69 73 sion end..# this
0450: 20 63 6c 61 73 73 65 73 20 70 72 6f 63 65 73 73 classes process
0460: 65 73 20 63 6f 6e 66 69 67 20 66 69 6c 65 20 61 es config file a
0470: 6e 64 20 73 75 62 73 74 69 74 75 74 65 73 20 64 nd substitutes d
0480: 65 66 61 75 6c 74 20 76 61 6c 75 65 73 0a 63 6c efault values.cl
0490: 61 73 73 20 43 6f 6e 66 69 67 3a 0a 09 5f 5f 73 ass Config:..__s
04a0: 6c 6f 74 73 5f 5f 20 3d 20 66 72 6f 7a 65 6e 73 lots__ = frozens
04b0: 65 74 28 5b 27 5f 63 6f 6e 66 69 67 27 2c 20 27 et(['_config', '
04c0: 5f 64 65 66 61 75 6c 74 27 2c 20 27 5f 73 65 63 _default', '_sec
04d0: 74 69 6f 6e 27 2c 20 27 6f 70 74 69 6f 6e 73 27 tion', 'options'
04e0: 5d 29 0a 09 5f 64 65 66 61 75 6c 74 20 3d 20 7b ]).._default = {
04f0: 0a 09 09 27 6c 6f 67 27 3a 20 7b 0a 09 09 09 27 ...'log': {....'
0500: 73 69 6c 65 6e 74 27 3a 20 27 6e 6f 27 2c 0a 09 silent': 'no',..
0510: 09 7d 2c 0a 09 09 27 64 61 74 61 62 61 73 65 27 .},...'database'
0520: 3a 20 7b 0a 09 09 09 27 64 61 74 61 62 61 73 65 : {....'database
0530: 27 3a 20 27 73 71 75 69 64 54 61 67 27 2c 0a 09 ': 'squidTag',..
0540: 7d 2c 7d 0a 0a 09 23 20 66 75 6e 63 74 69 6f 6e },}...# function
0550: 20 74 6f 20 72 65 61 64 20 69 6e 20 63 6f 6e 66 to read in conf
0560: 69 67 20 66 69 6c 65 0a 09 64 65 66 20 5f 5f 69 ig file..def __i
0570: 6e 69 74 5f 5f 28 73 65 6c 66 29 3a 0a 09 09 69 nit__(self):...i
0580: 6d 70 6f 72 74 20 43 6f 6e 66 69 67 50 61 72 73 mport ConfigPars
0590: 65 72 2c 20 6f 70 74 70 61 72 73 65 2c 20 6f 73 er, optparse, os
05a0: 0a 0a 09 09 70 61 72 73 65 72 20 3d 20 6f 70 74 ....parser = opt
05b0: 70 61 72 73 65 2e 4f 70 74 69 6f 6e 50 61 72 73 parse.OptionPars
05c0: 65 72 28 29 0a 09 09 70 61 72 73 65 72 2e 61 64 er()...parser.ad
05d0: 64 5f 6f 70 74 69 6f 6e 28 27 2d 63 27 2c 20 27 d_option('-c', '
05e0: 2d 2d 63 6f 6e 66 69 67 27 2c 20 64 65 73 74 20 --config', dest
05f0: 3d 20 27 63 6f 6e 66 69 67 27 2c 0a 09 09 09 68 = 'config',....h
0600: 65 6c 70 20 3d 20 27 63 6f 6e 66 69 67 20 66 69 elp = 'config fi
0610: 6c 65 20 6c 6f 63 61 74 69 6f 6e 27 2c 20 6d 65 le location', me
0620: 74 61 76 61 72 20 3d 20 27 46 49 4c 45 27 2c 0a tavar = 'FILE',.
0630: 09 09 09 64 65 66 61 75 6c 74 20 3d 20 27 2f 75 ...default = '/u
0640: 73 72 2f 6c 6f 63 61 6c 2f 65 74 63 2f 73 71 75 sr/local/etc/squ
0650: 69 64 2d 74 61 67 67 65 72 2e 63 6f 6e 66 27 29 id-tagger.conf')
0660: 0a 09 09 70 61 72 73 65 72 2e 61 64 64 5f 6f 70 ...parser.add_op
0670: 74 69 6f 6e 28 27 2d 64 27 2c 20 27 2d 2d 64 75 tion('-d', '--du
0680: 6d 70 27 2c 20 64 65 73 74 20 3d 20 27 64 75 6d mp', dest = 'dum
0690: 70 27 2c 0a 09 09 09 68 65 6c 70 20 3d 20 27 64 p',....help = 'd
06a0: 75 6d 70 20 64 61 74 61 62 61 73 65 27 2c 20 61 ump database', a
06b0: 63 74 69 6f 6e 20 3d 20 27 73 74 6f 72 65 5f 74 ction = 'store_t
06c0: 72 75 65 27 2c 20 6d 65 74 61 76 61 72 20 3d 20 rue', metavar =
06d0: 27 62 6f 6f 6c 27 2c 0a 09 09 09 64 65 66 61 75 'bool',....defau
06e0: 6c 74 20 3d 20 46 61 6c 73 65 29 0a 09 09 70 61 lt = False)...pa
06f0: 72 73 65 72 2e 61 64 64 5f 6f 70 74 69 6f 6e 28 rser.add_option(
0700: 27 2d 66 27 2c 20 27 2d 2d 66 6c 75 73 68 2d 64 '-f', '--flush-d
0710: 61 74 61 62 61 73 65 27 2c 20 64 65 73 74 20 3d atabase', dest =
0720: 20 27 66 6c 75 73 68 5f 64 62 27 2c 0a 09 09 09 'flush_db',....
0730: 68 65 6c 70 20 3d 20 27 66 6c 75 73 68 20 70 72 help = 'flush pr
0740: 65 76 69 6f 75 73 20 64 61 74 61 62 61 73 65 20 evious database
0750: 6f 6e 20 6c 6f 61 64 27 2c 20 64 65 66 61 75 6c on load', defaul
0760: 74 20 3d 20 46 61 6c 73 65 2c 0a 09 09 09 61 63 t = False,....ac
0770: 74 69 6f 6e 20 3d 20 27 73 74 6f 72 65 5f 74 72 tion = 'store_tr
0780: 75 65 27 2c 20 6d 65 74 61 76 61 72 20 3d 20 27 ue', metavar = '
0790: 62 6f 6f 6c 27 29 0a 09 09 70 61 72 73 65 72 2e bool')...parser.
07a0: 61 64 64 5f 6f 70 74 69 6f 6e 28 27 2d 6c 27 2c add_option('-l',
07b0: 20 27 2d 2d 6c 6f 61 64 27 2c 20 64 65 73 74 20 '--load', dest
07c0: 3d 20 27 6c 6f 61 64 27 2c 0a 09 09 09 68 65 6c = 'load',....hel
07d0: 70 20 3d 20 27 6c 6f 61 64 20 64 61 74 61 62 61 p = 'load databa
07e0: 73 65 27 2c 20 61 63 74 69 6f 6e 20 3d 20 27 73 se', action = 's
07f0: 74 6f 72 65 5f 74 72 75 65 27 2c 20 6d 65 74 61 tore_true', meta
0800: 76 61 72 20 3d 20 27 62 6f 6f 6c 27 2c 0a 09 09 var = 'bool',...
0810: 09 64 65 66 61 75 6c 74 20 3d 20 46 61 6c 73 65 .default = False
0820: 29 0a 09 09 70 61 72 73 65 72 2e 61 64 64 5f 6f )...parser.add_o
0830: 70 74 69 6f 6e 28 27 2d 44 27 2c 20 27 2d 2d 64 ption('-D', '--d
0840: 75 6d 70 2d 63 6f 6e 66 27 2c 20 64 65 73 74 20 ump-conf', dest
0850: 3d 20 27 64 75 6d 70 5f 63 6f 6e 66 27 2c 0a 09 = 'dump_conf',..
0860: 09 09 68 65 6c 70 20 3d 20 27 64 75 6d 70 20 66 ..help = 'dump f
0870: 69 6c 74 65 72 69 6e 67 20 72 75 6c 65 73 27 2c iltering rules',
0880: 20 64 65 66 61 75 6c 74 20 3d 20 46 61 6c 73 65 default = False
0890: 2c 20 6d 65 74 61 76 61 72 20 3d 20 27 62 6f 6f , metavar = 'boo
08a0: 6c 27 2c 0a 09 09 09 61 63 74 69 6f 6e 20 3d 20 l',....action =
08b0: 27 73 74 6f 72 65 5f 74 72 75 65 27 29 0a 09 09 'store_true')...
08c0: 70 61 72 73 65 72 2e 61 64 64 5f 6f 70 74 69 6f parser.add_optio
08d0: 6e 28 27 2d 4c 27 2c 20 27 2d 2d 6c 6f 61 64 2d n('-L', '--load-
08e0: 63 6f 6e 66 27 2c 20 64 65 73 74 20 3d 20 27 6c conf', dest = 'l
08f0: 6f 61 64 5f 63 6f 6e 66 27 2c 0a 09 09 09 68 65 oad_conf',....he
0900: 6c 70 20 3d 20 27 6c 6f 61 64 20 66 69 6c 74 65 lp = 'load filte
0910: 72 69 6e 67 20 72 75 6c 65 73 27 2c 20 64 65 66 ring rules', def
0920: 61 75 6c 74 20 3d 20 46 61 6c 73 65 2c 20 6d 65 ault = False, me
0930: 74 61 76 61 72 20 3d 20 27 62 6f 6f 6c 27 2c 0a tavar = 'bool',.
0940: 09 09 09 61 63 74 69 6f 6e 20 3d 20 27 73 74 6f ...action = 'sto
0950: 72 65 5f 74 72 75 65 27 29 0a 0a 09 09 28 73 65 re_true')....(se
0960: 6c 66 2e 6f 70 74 69 6f 6e 73 2c 20 61 72 67 73 lf.options, args
0970: 29 20 3d 20 70 61 72 73 65 72 2e 70 61 72 73 65 ) = parser.parse
0980: 5f 61 72 67 73 28 29 0a 0a 09 09 61 73 73 65 72 _args()....asser
0990: 74 20 6f 73 2e 61 63 63 65 73 73 28 73 65 6c 66 t os.access(self
09a0: 2e 6f 70 74 69 6f 6e 73 2e 63 6f 6e 66 69 67 2c .options.config,
09b0: 20 6f 73 2e 52 5f 4f 4b 29 2c 20 22 46 61 74 61 os.R_OK), "Fata
09c0: 6c 20 65 72 72 6f 72 3a 20 63 61 6e 27 74 20 72 l error: can't r
09d0: 65 61 64 20 7b 7d 22 2e 66 6f 72 6d 61 74 28 73 ead {}".format(s
09e0: 65 6c 66 2e 6f 70 74 69 6f 6e 73 2e 63 6f 6e 66 elf.options.conf
09f0: 69 67 29 0a 0a 09 09 73 65 6c 66 2e 5f 63 6f 6e ig)....self._con
0a00: 66 69 67 20 3d 20 43 6f 6e 66 69 67 50 61 72 73 fig = ConfigPars
0a10: 65 72 2e 43 6f 6e 66 69 67 50 61 72 73 65 72 28 er.ConfigParser(
0a20: 29 0a 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 )...self._config
0a30: 2e 72 65 61 64 66 70 28 6f 70 65 6e 28 73 65 6c .readfp(open(sel
0a40: 66 2e 6f 70 74 69 6f 6e 73 2e 63 6f 6e 66 69 67 f.options.config
0a50: 29 29 0a 0a 09 23 20 66 75 6e 63 74 69 6f 6e 20 ))...# function
0a60: 74 6f 20 73 65 6c 65 63 74 20 63 6f 6e 66 69 67 to select config
0a70: 20 66 69 6c 65 20 73 65 63 74 69 6f 6e 20 6f 72 file section or
0a80: 20 63 72 65 61 74 65 20 6f 6e 65 0a 09 64 65 66 create one..def
0a90: 20 73 65 63 74 69 6f 6e 28 73 65 6c 66 2c 20 73 section(self, s
0aa0: 65 63 74 69 6f 6e 29 3a 0a 09 09 69 66 20 6e 6f ection):...if no
0ab0: 74 20 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 68 t self._config.h
0ac0: 61 73 5f 73 65 63 74 69 6f 6e 28 73 65 63 74 69 as_section(secti
0ad0: 6f 6e 29 3a 0a 09 09 09 73 65 6c 66 2e 5f 63 6f on):....self._co
0ae0: 6e 66 69 67 2e 61 64 64 5f 73 65 63 74 69 6f 6e nfig.add_section
0af0: 28 73 65 63 74 69 6f 6e 29 0a 09 09 73 65 6c 66 (section)...self
0b00: 2e 5f 73 65 63 74 69 6f 6e 20 3d 20 73 65 63 74 ._section = sect
0b10: 69 6f 6e 0a 0a 09 23 20 66 75 6e 63 74 69 6f 6e ion...# function
0b20: 20 74 6f 20 67 65 74 20 63 6f 6e 66 69 67 20 70 to get config p
0b30: 61 72 61 6d 65 74 65 72 2c 20 69 66 20 70 61 72 arameter, if par
0b40: 61 6d 65 74 65 72 20 64 6f 65 73 6e 27 74 20 65 ameter doesn't e
0b50: 78 69 73 74 73 20 74 68 65 20 64 65 66 61 75 6c xists the defaul
0b60: 74 0a 09 23 20 76 61 6c 75 65 20 6f 72 20 4e 6f t..# value or No
0b70: 6e 65 20 69 73 20 73 75 62 73 74 69 74 75 74 65 ne is substitute
0b80: 64 0a 09 64 65 66 20 5f 5f 67 65 74 69 74 65 6d d..def __getitem
0b90: 5f 5f 28 73 65 6c 66 2c 20 6e 61 6d 65 29 3a 0a __(self, name):.
0ba0: 09 09 69 66 20 6e 6f 74 20 73 65 6c 66 2e 5f 63 ..if not self._c
0bb0: 6f 6e 66 69 67 2e 68 61 73 5f 6f 70 74 69 6f 6e onfig.has_option
0bc0: 28 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 2c 20 (self._section,
0bd0: 6e 61 6d 65 29 3a 0a 09 09 09 69 66 20 73 65 6c name):....if sel
0be0: 66 2e 5f 73 65 63 74 69 6f 6e 20 69 6e 20 73 65 f._section in se
0bf0: 6c 66 2e 5f 64 65 66 61 75 6c 74 3a 0a 09 09 09 lf._default:....
0c00: 09 69 66 20 6e 61 6d 65 20 69 6e 20 73 65 6c 66 .if name in self
0c10: 2e 5f 64 65 66 61 75 6c 74 5b 73 65 6c 66 2e 5f ._default[self._
0c20: 73 65 63 74 69 6f 6e 5d 3a 0a 09 09 09 09 09 73 section]:......s
0c30: 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 73 65 74 28 elf._config.set(
0c40: 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e self._section, n
0c50: 61 6d 65 2c 20 73 65 6c 66 2e 5f 64 65 66 61 75 ame, self._defau
0c60: 6c 74 5b 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e lt[self._section
0c70: 5d 5b 6e 61 6d 65 5d 29 0a 09 09 09 09 65 6c 73 ][name]).....els
0c80: 65 3a 0a 09 09 09 09 09 73 65 6c 66 2e 5f 63 6f e:......self._co
0c90: 6e 66 69 67 2e 73 65 74 28 73 65 6c 66 2e 5f 73 nfig.set(self._s
0ca0: 65 63 74 69 6f 6e 2c 20 6e 61 6d 65 2c 20 4e 6f ection, name, No
0cb0: 6e 65 29 0a 09 09 09 65 6c 73 65 3a 0a 09 09 09 ne)....else:....
0cc0: 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 73 65 .self._config.se
0cd0: 74 28 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 2c t(self._section,
0ce0: 20 6e 61 6d 65 2c 20 4e 6f 6e 65 29 0a 09 09 72 name, None)...r
0cf0: 65 74 75 72 6e 28 73 65 6c 66 2e 5f 63 6f 6e 66 eturn(self._conf
0d00: 69 67 2e 67 65 74 28 73 65 6c 66 2e 5f 73 65 63 ig.get(self._sec
0d10: 74 69 6f 6e 2c 20 6e 61 6d 65 29 29 0a 0a 23 20 tion, name))..#
0d20: 69 6e 69 74 69 61 6c 69 7a 69 6e 67 20 61 6e 64 initializing and
0d30: 20 72 65 61 64 69 6e 67 20 69 6e 20 63 6f 6e 66 reading in conf
0d40: 69 67 20 66 69 6c 65 0a 63 6f 6e 66 69 67 20 3d ig file.config =
0d50: 20 43 6f 6e 66 69 67 28 29 0a 0a 69 6d 70 6f 72 Config()..impor
0d60: 74 20 6c 6f 67 67 69 6e 67 2c 20 6c 6f 67 67 69 t logging, loggi
0d70: 6e 67 2e 68 61 6e 64 6c 65 72 73 0a 0a 23 20 77 ng.handlers..# w
0d80: 72 61 70 70 65 72 20 61 72 6f 75 6e 64 20 6c 6f rapper around lo
0d90: 67 67 69 6e 67 20 68 61 6e 64 6c 65 72 20 74 6f gging handler to
0da0: 20 6d 61 6b 65 20 69 74 20 71 75 65 75 65 20 72 make it queue r
0db0: 65 63 6f 72 64 73 20 61 6e 64 20 64 6f 6e 27 74 ecords and don't
0dc0: 20 73 74 61 6c 6c 20 77 68 65 6e 20 73 65 6e 64 stall when send
0dd0: 69 6e 67 20 74 68 65 6d 0a 0a 63 6c 61 73 73 20 ing them..class
0de0: 53 79 73 4c 6f 67 48 61 6e 64 6c 65 72 51 75 65 SysLogHandlerQue
0df0: 75 65 28 6c 6f 67 67 69 6e 67 2e 68 61 6e 64 6c ue(logging.handl
0e00: 65 72 73 2e 53 79 73 4c 6f 67 48 61 6e 64 6c 65 ers.SysLogHandle
0e10: 72 29 3a 0a 09 5f 5f 73 6c 6f 74 73 5f 5f 20 3d r):..__slots__ =
0e20: 20 66 72 6f 7a 65 6e 73 65 74 28 5b 27 5f 72 75 frozenset(['_ru
0e30: 6e 6e 69 6e 67 27 2c 20 27 5f 74 61 69 6c 27 2c nning', '_tail',
0e40: 20 27 5f 77 6f 72 6b 65 72 27 5d 29 0a 0a 09 64 '_worker'])...d
0e50: 65 66 20 5f 5f 69 6e 69 74 5f 5f 28 73 65 6c 66 ef __init__(self
0e60: 29 3a 0a 09 09 6c 6f 67 67 69 6e 67 2e 68 61 6e ):...logging.han
0e70: 64 6c 65 72 73 2e 53 79 73 4c 6f 67 48 61 6e 64 dlers.SysLogHand
0e80: 6c 65 72 2e 5f 5f 69 6e 69 74 5f 5f 28 73 65 6c ler.__init__(sel
0e90: 66 2c 20 27 2f 64 65 76 2f 6c 6f 67 27 29 0a 09 f, '/dev/log')..
0ea0: 09 73 65 6c 66 2e 5f 74 61 69 6c 20 3d 20 67 65 .self._tail = ge
0eb0: 76 65 6e 74 2e 71 75 65 75 65 2e 51 75 65 75 65 vent.queue.Queue
0ec0: 28 29 0a 09 09 73 65 6c 66 2e 5f 77 6f 72 6b 65 ()...self._worke
0ed0: 72 20 3d 20 4e 6f 6e 65 0a 0a 09 64 65 66 20 65 r = None...def e
0ee0: 6d 69 74 28 73 65 6c 66 2c 20 72 65 63 6f 72 64 mit(self, record
0ef0: 29 3a 0a 09 09 74 72 79 3a 0a 09 09 09 73 65 6c ):...try:....sel
0f00: 66 2e 5f 74 61 69 6c 2e 70 75 74 28 72 65 63 6f f._tail.put(reco
0f10: 72 64 29 0a 09 09 65 78 63 65 70 74 20 28 4b 65 rd)...except (Ke
0f20: 79 62 6f 61 72 64 49 6e 74 65 72 72 75 70 74 2c yboardInterrupt,
0f30: 20 53 79 73 74 65 6d 45 78 69 74 29 3a 0a 09 09 SystemExit):...
0f40: 09 72 61 69 73 65 0a 09 09 65 78 63 65 70 74 3a .raise...except:
0f50: 0a 09 09 09 73 65 6c 66 2e 68 61 6e 64 6c 65 45 ....self.handleE
0f60: 72 72 6f 72 28 72 65 63 6f 72 64 29 0a 09 09 69 rror(record)...i
0f70: 66 20 73 65 6c 66 2e 5f 77 6f 72 6b 65 72 20 3d f self._worker =
0f80: 3d 20 4e 6f 6e 65 3a 0a 09 09 09 23 20 69 6e 20 = None:....# in
0f90: 63 61 73 65 20 71 75 65 75 65 20 69 73 20 65 6d case queue is em
0fa0: 70 74 79 20 77 65 20 77 69 6c 6c 20 73 70 61 77 pty we will spaw
0fb0: 6e 20 6e 65 77 20 77 6f 72 6b 65 72 0a 09 09 09 n new worker....
0fc0: 23 20 61 6c 6c 20 77 6f 72 6b 65 72 73 20 61 72 # all workers ar
0fd0: 65 20 6c 6f 67 67 65 64 20 73 6f 20 77 65 20 63 e logged so we c
0fe0: 61 6e 20 6b 69 6c 6c 20 74 68 65 6d 20 6f 6e 20 an kill them on
0ff0: 63 6c 6f 73 65 28 29 0a 09 09 09 73 65 6c 66 2e close()....self.
1000: 5f 77 6f 72 6b 65 72 20 3d 20 67 65 76 65 6e 74 _worker = gevent
1010: 2e 73 70 61 77 6e 28 73 65 6c 66 2e 5f 77 72 69 .spawn(self._wri
1020: 74 65 72 29 0a 0a 09 64 65 66 20 5f 77 72 69 74 ter)...def _writ
1030: 65 72 28 73 65 6c 66 29 3a 0a 09 09 23 20 68 65 er(self):...# he
1040: 72 65 20 77 65 20 61 72 65 20 6c 6f 63 6b 69 6e re we are lockin
1050: 67 20 74 68 65 20 71 75 65 75 65 20 73 6f 20 77 g the queue so w
1060: 65 20 63 61 6e 20 62 65 20 73 75 72 65 20 77 65 e can be sure we
1070: 20 61 72 65 20 74 68 65 20 6f 6e 6c 79 20 6f 6e are the only on
1080: 65 0a 09 09 77 68 69 6c 65 20 6e 6f 74 20 73 65 e...while not se
1090: 6c 66 2e 5f 74 61 69 6c 2e 65 6d 70 74 79 28 29 lf._tail.empty()
10a0: 3a 0a 09 09 09 6c 6f 67 67 69 6e 67 2e 68 61 6e :....logging.han
10b0: 64 6c 65 72 73 2e 53 79 73 4c 6f 67 48 61 6e 64 dlers.SysLogHand
10c0: 6c 65 72 2e 65 6d 69 74 28 73 65 6c 66 2c 20 73 ler.emit(self, s
10d0: 65 6c 66 2e 5f 74 61 69 6c 2e 67 65 74 28 29 29 elf._tail.get())
10e0: 0a 09 09 73 65 6c 66 2e 5f 77 6f 72 6b 65 72 20 ...self._worker
10f0: 3d 20 4e 6f 6e 65 0a 0a 09 64 65 66 20 63 6c 6f = None...def clo
1100: 73 65 28 73 65 6c 66 29 3a 0a 09 09 69 66 20 73 se(self):...if s
1110: 65 6c 66 2e 5f 77 6f 72 6b 65 72 20 21 3d 20 4e elf._worker != N
1120: 6f 6e 65 3a 0a 09 09 09 67 65 76 65 6e 74 2e 6b one:....gevent.k
1130: 69 6c 6c 28 73 65 6c 66 2e 5f 77 6f 72 6b 65 72 ill(self._worker
1140: 29 0a 09 09 6c 6f 67 67 69 6e 67 2e 68 61 6e 64 )...logging.hand
1150: 6c 65 72 73 2e 53 79 73 4c 6f 67 48 61 6e 64 6c lers.SysLogHandl
1160: 65 72 2e 63 6c 6f 73 65 28 73 65 6c 66 29 0a 0a er.close(self)..
1170: 6c 6f 67 67 65 72 20 3d 20 6c 6f 67 67 69 6e 67 logger = logging
1180: 2e 67 65 74 4c 6f 67 67 65 72 28 27 73 71 75 69 .getLogger('squi
1190: 64 54 61 67 27 29 0a 6c 6f 67 67 65 72 2e 73 65 dTag').logger.se
11a0: 74 4c 65 76 65 6c 28 6c 6f 67 67 69 6e 67 2e 49 tLevel(logging.I
11b0: 4e 46 4f 29 0a 68 61 6e 64 6c 65 72 20 3d 20 53 NFO).handler = S
11c0: 79 73 4c 6f 67 48 61 6e 64 6c 65 72 51 75 65 75 ysLogHandlerQueu
11d0: 65 28 29 0a 68 61 6e 64 6c 65 72 2e 73 65 74 46 e().handler.setF
11e0: 6f 72 6d 61 74 74 65 72 28 6c 6f 67 67 69 6e 67 ormatter(logging
11f0: 2e 46 6f 72 6d 61 74 74 65 72 28 73 74 72 28 27 .Formatter(str('
1200: 73 71 75 69 64 54 61 67 5b 25 28 70 72 6f 63 65 squidTag[%(proce
1210: 73 73 29 73 5d 3a 20 25 28 6d 65 73 73 61 67 65 ss)s]: %(message
1220: 29 73 27 29 29 29 0a 6c 6f 67 67 65 72 2e 61 64 )s'))).logger.ad
1230: 64 48 61 6e 64 6c 65 72 28 68 61 6e 64 6c 65 72 dHandler(handler
1240: 29 0a 0a 23 20 74 69 6e 79 20 77 72 61 70 70 65 )..# tiny wrappe
1250: 72 20 61 72 6f 75 6e 64 20 61 20 66 69 6c 65 20 r around a file
1260: 74 6f 20 6d 61 6b 65 20 72 65 61 64 73 20 66 72 to make reads fr
1270: 6f 6d 20 69 74 20 67 65 76 65 6e 74 61 62 6c 65 om it geventable
1280: 0a 23 20 6f 72 20 73 68 6f 75 6c 64 20 69 20 6d .# or should i m
1290: 6f 76 65 20 74 68 69 73 20 73 6f 6d 65 77 68 65 ove this somewhe
12a0: 72 65 3f 0a 0a 63 6c 61 73 73 20 46 52 65 61 64 re?..class FRead
12b0: 6c 69 6e 65 51 75 65 75 65 28 67 65 76 65 6e 74 lineQueue(gevent
12c0: 2e 71 75 65 75 65 2e 51 75 65 75 65 29 3a 0a 09 .queue.Queue):..
12d0: 23 20 73 74 6f 72 69 6e 67 20 66 69 6c 65 6e 6f # storing fileno
12e0: 20 64 65 73 63 72 69 70 74 6f 72 2c 20 6c 65 66 descriptor, lef
12f0: 74 6f 76 65 72 0a 09 5f 5f 73 6c 6f 74 73 5f 5f tover..__slots__
1300: 20 3d 20 66 72 6f 7a 65 6e 73 65 74 28 5b 27 5f = frozenset(['_
1310: 66 6e 27 2c 20 27 5f 74 61 69 6c 27 5d 29 0a 0a fn', '_tail'])..
1320: 09 64 65 66 20 5f 5f 69 6e 69 74 5f 5f 28 73 65 .def __init__(se
1330: 6c 66 2c 20 66 64 29 3a 0a 09 09 23 20 69 6e 69 lf, fd):...# ini
1340: 74 69 61 6c 69 73 69 6e 67 20 63 6c 61 73 73 0a tialising class.
1350: 09 09 67 65 76 65 6e 74 2e 71 75 65 75 65 2e 51 ..gevent.queue.Q
1360: 75 65 75 65 2e 5f 5f 69 6e 69 74 5f 5f 28 73 65 ueue.__init__(se
1370: 6c 66 29 0a 09 09 73 65 6c 66 2e 5f 66 6e 20 3d lf)...self._fn =
1380: 20 66 64 2e 66 69 6c 65 6e 6f 28 29 0a 09 09 23 fd.fileno()...#
1390: 20 75 73 69 6e 67 20 65 6d 70 74 79 20 74 61 69 using empty tai
13a0: 6c 0a 09 09 73 65 6c 66 2e 5f 74 61 69 6c 20 3d l...self._tail =
13b0: 20 27 27 0a 09 09 23 20 70 75 74 74 69 6e 67 20 ''...# putting
13c0: 66 69 6c 65 20 74 6f 20 6e 6f 6e 62 6c 6f 63 6b file to nonblock
13d0: 69 6e 67 20 6d 6f 64 65 0a 09 09 67 65 76 65 6e ing mode...geven
13e0: 74 2e 6f 73 2e 6d 61 6b 65 5f 6e 6f 6e 62 6c 6f t.os.make_nonblo
13f0: 63 6b 69 6e 67 28 66 64 29 0a 09 09 23 20 73 74 cking(fd)...# st
1400: 61 72 74 69 6e 67 20 6d 61 69 6e 20 6c 6f 6f 70 arting main loop
1410: 0a 09 09 67 65 76 65 6e 74 2e 73 70 61 77 6e 28 ...gevent.spawn(
1420: 73 65 6c 66 2e 5f 66 72 6f 62 62 65 72 29 0a 0a self._frobber)..
1430: 09 64 65 66 20 5f 66 72 6f 62 62 65 72 28 73 65 .def _frobber(se
1440: 6c 66 29 3a 0a 09 09 77 68 69 6c 65 20 54 72 75 lf):...while Tru
1450: 65 3a 0a 09 09 09 23 20 72 65 61 64 69 6e 67 20 e:....# reading
1460: 6f 6e 65 20 62 75 66 66 65 72 20 66 72 6f 6d 20 one buffer from
1470: 73 74 72 65 61 6d 0a 09 09 09 62 75 66 20 3d 20 stream....buf =
1480: 67 65 76 65 6e 74 2e 6f 73 2e 6e 62 5f 72 65 61 gevent.os.nb_rea
1490: 64 28 73 65 6c 66 2e 5f 66 6e 2c 20 34 30 39 36 d(self._fn, 4096
14a0: 29 0a 09 09 09 23 20 45 4f 46 20 66 6f 75 6e 64 )....# EOF found
14b0: 0a 09 09 09 69 66 20 6c 65 6e 28 62 75 66 29 20 ....if len(buf)
14c0: 3d 3d 20 30 3a 0a 09 09 09 09 62 72 65 61 6b 0a == 0:.....break.
14d0: 09 09 09 23 20 73 70 6c 69 74 74 69 6e 67 20 73 ...# splitting s
14e0: 74 72 65 61 6d 20 62 79 20 6c 69 6e 65 20 65 6e tream by line en
14f0: 64 73 0a 09 09 09 72 6f 77 73 20 3d 20 62 75 66 ds....rows = buf
1500: 2e 64 65 63 6f 64 65 28 27 6c 31 27 29 2e 73 70 .decode('l1').sp
1510: 6c 69 74 28 27 5c 6e 27 29 0a 09 09 09 23 20 61 lit('\n')....# a
1520: 64 64 69 6e 67 20 74 61 69 6c 20 74 6f 20 74 68 dding tail to th
1530: 65 20 66 69 72 73 74 20 65 6c 65 6d 65 6e 74 20 e first element
1540: 69 66 20 74 68 65 72 65 20 69 73 20 73 6f 6d 65 if there is some
1550: 20 74 61 69 6c 0a 09 09 09 69 66 20 6c 65 6e 28 tail....if len(
1560: 73 65 6c 66 2e 5f 74 61 69 6c 29 20 3e 20 30 3a self._tail) > 0:
1570: 0a 09 09 09 09 72 6f 77 73 5b 30 5d 20 3d 20 73 .....rows[0] = s
1580: 65 6c 66 2e 5f 74 61 69 6c 20 2b 20 72 6f 77 73 elf._tail + rows
1590: 5b 30 5d 0a 09 09 09 23 20 70 6f 70 70 69 6e 67 [0]....# popping
15a0: 20 6f 75 74 20 6c 61 73 74 20 28 69 6e 63 6f 6d out last (incom
15b0: 70 6c 65 74 65 29 20 65 6c 65 6d 65 6e 74 0a 09 plete) element..
15c0: 09 09 73 65 6c 66 2e 5f 74 61 69 6c 20 3d 20 72 ..self._tail = r
15d0: 6f 77 73 2e 70 6f 70 28 2d 31 29 0a 09 09 09 23 ows.pop(-1)....#
15e0: 20 64 72 6f 70 70 69 6e 67 20 61 6c 6c 20 63 6f dropping all co
15f0: 6d 70 6c 65 74 65 20 65 6c 65 6d 65 6e 74 73 20 mplete elements
1600: 74 6f 20 74 68 65 20 71 75 65 75 65 0a 09 09 09 to the queue....
1610: 66 6f 72 20 72 6f 77 20 69 6e 20 72 6f 77 73 3a for row in rows:
1620: 0a 09 09 09 09 73 65 6c 66 2e 70 75 74 5f 6e 6f .....self.put_no
1630: 77 61 69 74 28 72 6f 77 29 0a 09 09 09 09 6c 6f wait(row).....lo
1640: 67 67 65 72 2e 69 6e 66 6f 28 27 3c 20 27 20 2b gger.info('< ' +
1650: 20 72 6f 77 29 0a 09 09 23 20 73 65 6e 64 69 6e row)...# sendin
1660: 67 20 45 4f 46 0a 09 09 73 65 6c 66 2e 70 75 74 g EOF...self.put
1670: 5f 6e 6f 77 61 69 74 28 4e 6f 6e 65 29 0a 0a 73 _nowait(None)..s
1680: 74 64 69 6e 20 3d 20 46 52 65 61 64 6c 69 6e 65 tdin = FReadline
1690: 51 75 65 75 65 28 73 79 73 2e 73 74 64 69 6e 29 Queue(sys.stdin)
16a0: 0a 0a 23 20 77 72 61 70 70 65 72 20 61 67 61 69 ..# wrapper agai
16b0: 6e 73 74 20 66 69 6c 65 20 68 61 6e 64 6c 65 72 nst file handler
16c0: 20 74 68 61 74 20 6d 61 6b 65 73 20 70 6f 73 73 that makes poss
16d0: 69 62 6c 65 20 74 6f 20 71 75 65 75 65 20 73 6f ible to queue so
16e0: 6d 65 20 77 72 69 74 65 73 20 77 69 74 68 6f 75 me writes withou
16f0: 74 20 73 74 61 6c 6c 69 6e 67 0a 0a 63 6c 61 73 t stalling..clas
1700: 73 20 46 57 72 69 74 65 6c 69 6e 65 51 75 65 75 s FWritelineQueu
1710: 65 28 67 65 76 65 6e 74 2e 71 75 65 75 65 2e 4a e(gevent.queue.J
1720: 6f 69 6e 61 62 6c 65 51 75 65 75 65 29 3a 0a 09 oinableQueue):..
1730: 23 20 73 74 6f 72 69 6e 67 20 66 69 6c 65 6e 6f # storing fileno
1740: 2c 20 6c 65 66 74 6f 76 65 72 0a 09 5f 5f 73 6c , leftover..__sl
1750: 6f 74 73 5f 5f 20 3d 20 66 72 6f 7a 65 6e 73 65 ots__ = frozense
1760: 74 28 5b 27 5f 66 6e 27 2c 20 27 5f 74 61 69 6c t(['_fn', '_tail
1770: 27 5d 29 0a 0a 09 64 65 66 20 5f 5f 69 6e 69 74 '])...def __init
1780: 5f 5f 28 73 65 6c 66 2c 20 66 64 29 3a 0a 09 09 __(self, fd):...
1790: 23 20 69 6e 69 74 69 61 6c 69 73 69 6e 67 20 63 # initialising c
17a0: 6c 61 73 73 0a 09 09 67 65 76 65 6e 74 2e 71 75 lass...gevent.qu
17b0: 65 75 65 2e 4a 6f 69 6e 61 62 6c 65 51 75 65 75 eue.JoinableQueu
17c0: 65 2e 5f 5f 69 6e 69 74 5f 5f 28 73 65 6c 66 29 e.__init__(self)
17d0: 0a 09 09 23 20 73 74 6f 72 69 6e 67 20 66 69 6c ...# storing fil
17e0: 65 6e 6f 0a 09 09 73 65 6c 66 2e 5f 66 6e 20 3d eno...self._fn =
17f0: 20 66 64 2e 66 69 6c 65 6e 6f 28 29 0a 09 09 23 fd.fileno()...#
1800: 20 70 75 74 74 69 6e 67 20 66 69 6c 65 20 74 6f putting file to
1810: 20 6e 6f 6e 62 6c 6f 63 6b 69 6e 67 20 6d 6f 64 nonblocking mod
1820: 65 0a 09 09 67 65 76 65 6e 74 2e 6f 73 2e 6d 61 e...gevent.os.ma
1830: 6b 65 5f 6e 6f 6e 62 6c 6f 63 6b 69 6e 67 28 66 ke_nonblocking(f
1840: 64 29 0a 09 09 23 20 75 73 69 6e 67 20 65 6d 70 d)...# using emp
1850: 74 79 20 74 61 69 6c 0a 09 09 73 65 6c 66 2e 5f ty tail...self._
1860: 74 61 69 6c 20 3d 20 4e 6f 6e 65 0a 0a 09 64 65 tail = None...de
1870: 66 20 5f 5f 64 65 6c 5f 5f 28 73 65 6c 66 29 3a f __del__(self):
1880: 0a 09 09 23 20 70 75 72 67 65 20 71 75 65 75 65 ...# purge queue
1890: 20 62 65 66 6f 72 65 20 64 65 6c 65 74 69 6e 67 before deleting
18a0: 0a 09 09 69 66 20 6e 6f 74 20 73 65 6c 66 2e 65 ...if not self.e
18b0: 6d 70 74 79 28 29 3a 0a 09 09 09 73 65 6c 66 2e mpty():....self.
18c0: 6a 6f 69 6e 28 29 0a 0a 09 64 65 66 20 70 75 74 join()...def put
18d0: 28 73 65 6c 66 2c 20 69 74 65 6d 2c 20 62 6c 6f (self, item, blo
18e0: 63 6b 3d 54 72 75 65 2c 20 74 69 6d 65 6f 75 74 ck=True, timeout
18f0: 3d 4e 6f 6e 65 29 3a 0a 09 09 23 20 63 61 6c 6c =None):...# call
1900: 69 6e 67 20 72 65 61 6c 20 70 75 74 0a 09 09 67 ing real put...g
1910: 65 76 65 6e 74 2e 71 75 65 75 65 2e 4a 6f 69 6e event.queue.Join
1920: 61 62 6c 65 51 75 65 75 65 2e 70 75 74 28 73 65 ableQueue.put(se
1930: 6c 66 2c 20 69 74 65 6d 2c 20 62 6c 6f 63 6b 2c lf, item, block,
1940: 20 74 69 6d 65 6f 75 74 29 0a 09 09 23 20 73 74 timeout)...# st
1950: 61 72 74 69 6e 67 20 6d 61 69 6e 20 6c 6f 6f 70 arting main loop
1960: 0a 09 09 67 65 76 65 6e 74 2e 73 70 61 77 6e 28 ...gevent.spawn(
1970: 73 65 6c 66 2e 5f 66 72 6f 62 62 65 72 29 0a 0a self._frobber)..
1980: 09 64 65 66 20 5f 66 72 6f 62 62 65 72 28 73 65 .def _frobber(se
1990: 6c 66 29 3a 0a 09 09 23 20 63 68 65 63 6b 69 6e lf):...# checkin
19a0: 67 20 6c 65 66 74 6f 76 65 72 0a 09 09 77 68 69 g leftover...whi
19b0: 6c 65 20 54 72 75 65 3a 0a 09 09 09 69 66 20 73 le True:....if s
19c0: 65 6c 66 2e 5f 74 61 69 6c 20 3d 3d 20 4e 6f 6e elf._tail == Non
19d0: 65 3a 0a 09 09 09 09 74 72 79 3a 0a 09 09 09 09 e:.....try:.....
19e0: 09 73 65 6c 66 2e 5f 74 61 69 6c 20 3d 20 73 74 .self._tail = st
19f0: 72 28 73 65 6c 66 2e 67 65 74 5f 6e 6f 77 61 69 r(self.get_nowai
1a00: 74 28 29 29 2e 65 6e 63 6f 64 65 28 27 75 74 66 t()).encode('utf
1a10: 2d 38 27 29 20 2b 20 27 5c 6e 27 0a 09 09 09 09 -8') + '\n'.....
1a20: 65 78 63 65 70 74 20 67 65 76 65 6e 74 2e 71 75 except gevent.qu
1a30: 65 75 65 2e 45 6d 70 74 79 3a 0a 09 09 09 09 09 eue.Empty:......
1a40: 73 65 6c 66 2e 5f 74 61 69 6c 20 3d 20 4e 6f 6e self._tail = Non
1a50: 65 0a 09 09 09 09 09 72 65 74 75 72 6e 0a 09 09 e......return...
1a60: 09 23 20 77 72 69 74 69 6e 67 20 74 61 69 6c 0a .# writing tail.
1a70: 09 09 09 77 72 69 74 74 65 6e 20 3d 20 67 65 76 ...written = gev
1a80: 65 6e 74 2e 6f 73 2e 6e 62 5f 77 72 69 74 65 28 ent.os.nb_write(
1a90: 73 65 6c 66 2e 5f 66 6e 2c 20 73 65 6c 66 2e 5f self._fn, self._
1aa0: 74 61 69 6c 29 0a 09 09 09 6c 65 6e 67 74 68 20 tail)....length
1ab0: 3d 20 6c 65 6e 28 73 65 6c 66 2e 5f 74 61 69 6c = len(self._tail
1ac0: 29 0a 09 09 09 69 66 20 77 72 69 74 74 65 6e 20 )....if written
1ad0: 3d 3d 20 6c 65 6e 67 74 68 3a 0a 09 09 09 09 73 == length:.....s
1ae0: 65 6c 66 2e 5f 74 61 69 6c 20 3d 20 4e 6f 6e 65 elf._tail = None
1af0: 0a 09 09 09 65 6c 69 66 20 77 72 69 74 74 65 6e ....elif written
1b00: 20 3c 20 6c 65 6e 67 74 68 3a 0a 09 09 09 09 73 < length:.....s
1b10: 65 6c 66 2e 5f 74 61 69 6c 20 3d 20 73 65 6c 66 elf._tail = self
1b20: 2e 5f 74 61 69 6c 5b 77 72 69 74 74 65 6e 3a 5d ._tail[written:]
1b30: 0a 0a 23 20 77 72 61 70 70 65 72 20 61 72 6f 75 ..# wrapper arou
1b40: 6e 64 20 64 61 74 61 62 61 73 65 0a 63 6c 61 73 nd database.clas
1b50: 73 20 74 61 67 44 42 28 6f 62 6a 65 63 74 29 3a s tagDB(object):
1b60: 0a 09 5f 5f 73 6c 6f 74 73 5f 5f 20 3d 20 66 72 ..__slots__ = fr
1b70: 6f 7a 65 6e 73 65 74 28 5b 27 5f 63 75 72 73 6f ozenset(['_curso
1b80: 72 27 2c 20 27 5f 64 62 27 5d 29 0a 0a 09 64 65 r', '_db'])...de
1b90: 66 20 5f 5f 69 6e 69 74 5f 5f 28 73 65 6c 66 29 f __init__(self)
1ba0: 3a 0a 09 09 63 6f 6e 66 69 67 2e 73 65 63 74 69 :...config.secti
1bb0: 6f 6e 28 27 64 61 74 61 62 61 73 65 27 29 0a 09 on('database')..
1bc0: 09 69 66 20 63 6f 6e 66 69 67 5b 27 68 6f 73 74 .if config['host
1bd0: 27 5d 20 3d 3d 20 4e 6f 6e 65 3a 0a 09 09 09 73 '] == None:....s
1be0: 65 6c 66 2e 5f 64 62 20 3d 20 70 73 79 63 6f 70 elf._db = psycop
1bf0: 67 32 2e 63 6f 6e 6e 65 63 74 28 0a 09 09 09 09 g2.connect(.....
1c00: 64 61 74 61 62 61 73 65 20 3d 20 63 6f 6e 66 69 database = confi
1c10: 67 5b 27 64 61 74 61 62 61 73 65 27 5d 2c 0a 09 g['database'],..
1c20: 09 09 09 75 73 65 72 20 3d 20 63 6f 6e 66 69 67 ...user = config
1c30: 5b 27 75 73 65 72 27 5d 2c 0a 09 09 09 09 70 61 ['user'],.....pa
1c40: 73 73 77 6f 72 64 20 3d 20 63 6f 6e 66 69 67 5b ssword = config[
1c50: 27 70 61 73 73 77 6f 72 64 27 5d 0a 09 09 09 29 'password']....)
1c60: 0a 09 09 65 6c 73 65 3a 0a 09 09 09 73 65 6c 66 ...else:....self
1c70: 2e 5f 64 62 20 3d 20 70 73 79 63 6f 70 67 32 2e ._db = psycopg2.
1c80: 63 6f 6e 6e 65 63 74 28 0a 09 09 09 09 64 61 74 connect(.....dat
1c90: 61 62 61 73 65 20 3d 20 63 6f 6e 66 69 67 5b 27 abase = config['
1ca0: 64 61 74 61 62 61 73 65 27 5d 2c 0a 09 09 09 09 database'],.....
1cb0: 68 6f 73 74 20 3d 20 63 6f 6e 66 69 67 5b 27 68 host = config['h
1cc0: 6f 73 74 27 5d 2c 0a 09 09 09 09 75 73 65 72 20 ost'],.....user
1cd0: 3d 20 63 6f 6e 66 69 67 5b 27 75 73 65 72 27 5d = config['user']
1ce0: 2c 0a 09 09 09 09 70 61 73 73 77 6f 72 64 20 3d ,.....password =
1cf0: 20 63 6f 6e 66 69 67 5b 27 70 61 73 73 77 6f 72 config['passwor
1d00: 64 27 5d 0a 09 09 09 29 0a 09 09 73 65 6c 66 2e d']....)...self.
1d10: 5f 63 75 72 73 6f 72 20 3d 20 73 65 6c 66 2e 5f _cursor = self._
1d20: 64 62 2e 63 75 72 73 6f 72 28 29 0a 0a 09 64 65 db.cursor()...de
1d30: 66 20 5f 66 69 65 6c 64 5f 6e 61 6d 65 73 28 73 f _field_names(s
1d40: 65 6c 66 29 3a 0a 09 09 6e 61 6d 65 73 20 3d 20 elf):...names =
1d50: 5b 5d 0a 09 09 66 6f 72 20 72 65 63 6f 72 64 20 []...for record
1d60: 69 6e 20 73 65 6c 66 2e 5f 63 75 72 73 6f 72 2e in self._cursor.
1d70: 64 65 73 63 72 69 70 74 69 6f 6e 3a 0a 09 09 09 description:....
1d80: 6e 61 6d 65 73 2e 61 70 70 65 6e 64 28 72 65 63 names.append(rec
1d90: 6f 72 64 2e 6e 61 6d 65 29 0a 09 09 72 65 74 75 ord.name)...retu
1da0: 72 6e 28 6e 61 6d 65 73 29 0a 0a 09 64 65 66 20 rn(names)...def
1db0: 63 68 65 63 6b 28 73 65 6c 66 2c 20 73 69 74 65 check(self, site
1dc0: 2c 20 69 70 5f 61 64 64 72 65 73 73 29 3a 0a 09 , ip_address):..
1dd0: 09 73 65 6c 66 2e 5f 63 75 72 73 6f 72 2e 65 78 .self._cursor.ex
1de0: 65 63 75 74 65 28 22 73 65 6c 65 63 74 20 2a 20 ecute("select *
1df0: 66 72 6f 6d 20 28 73 65 6c 65 63 74 20 72 65 64 from (select red
1e00: 69 72 65 63 74 5f 75 72 6c 2c 20 72 65 67 65 78 irect_url, regex
1e10: 70 20 66 72 6f 6d 20 73 69 74 65 5f 72 75 6c 65 p from site_rule
1e20: 20 77 68 65 72 65 20 73 69 74 65 20 3c 40 20 74 where site <@ t
1e30: 72 69 70 64 6f 6d 61 69 6e 28 25 73 29 20 61 6e ripdomain(%s) an
1e40: 64 20 6e 65 74 6d 61 73 6b 20 3e 3e 3d 20 25 73 d netmask >>= %s
1e50: 20 6f 72 64 65 72 20 62 79 20 61 72 72 61 79 5f order by array_
1e60: 6c 65 6e 67 74 68 28 73 69 74 65 2c 20 31 29 20 length(site, 1)
1e70: 64 65 73 63 29 20 61 20 67 72 6f 75 70 20 62 79 desc) a group by
1e80: 20 72 65 64 69 72 65 63 74 5f 75 72 6c 2c 20 72 redirect_url, r
1e90: 65 67 65 78 70 22 2c 20 5b 73 69 74 65 2c 20 69 egexp", [site, i
1ea0: 70 5f 61 64 64 72 65 73 73 5d 29 0a 09 09 72 65 p_address])...re
1eb0: 74 75 72 6e 28 73 65 6c 66 2e 5f 63 75 72 73 6f turn(self._curso
1ec0: 72 2e 66 65 74 63 68 61 6c 6c 28 29 29 0a 0a 09 r.fetchall())...
1ed0: 64 65 66 20 64 75 6d 70 28 73 65 6c 66 29 3a 0a def dump(self):.
1ee0: 09 09 73 65 6c 66 2e 5f 63 75 72 73 6f 72 2e 65 ..self._cursor.e
1ef0: 78 65 63 75 74 65 28 22 73 65 6c 65 63 74 20 75 xecute("select u
1f00: 6e 74 72 69 70 28 73 69 74 65 29 20 61 73 20 73 ntrip(site) as s
1f10: 69 74 65 2c 20 74 61 67 3a 3a 74 65 78 74 2c 20 ite, tag::text,
1f20: 72 65 67 65 78 70 20 66 72 6f 6d 20 75 72 6c 73 regexp from urls
1f30: 20 6f 72 64 65 72 20 62 79 20 73 69 74 65 2c 20 order by site,
1f40: 74 61 67 22 29 0a 09 09 72 65 74 75 72 6e 28 73 tag")...return(s
1f50: 65 6c 66 2e 5f 66 69 65 6c 64 5f 6e 61 6d 65 73 elf._field_names
1f60: 28 29 2c 20 73 65 6c 66 2e 5f 63 75 72 73 6f 72 (), self._cursor
1f70: 2e 66 65 74 63 68 61 6c 6c 28 29 29 0a 0a 09 64 .fetchall())...d
1f80: 65 66 20 6c 6f 61 64 28 73 65 6c 66 2c 20 64 61 ef load(self, da
1f90: 74 61 29 3a 0a 09 09 69 66 20 63 6f 6e 66 69 67 ta):...if config
1fa0: 2e 6f 70 74 69 6f 6e 73 2e 66 6c 75 73 68 5f 64 .options.flush_d
1fb0: 62 3a 0a 09 09 09 73 65 6c 66 2e 5f 63 75 72 73 b:....self._curs
1fc0: 6f 72 2e 65 78 65 63 75 74 65 28 27 64 65 6c 65 or.execute('dele
1fd0: 74 65 20 66 72 6f 6d 20 75 72 6c 73 3b 27 29 0a te from urls;').
1fe0: 09 09 62 75 6e 64 6c 65 20 3d 20 5b 5d 0a 09 09 ..bundle = []...
1ff0: 66 6f 72 20 72 6f 77 20 69 6e 20 64 61 74 61 3a for row in data:
2000: 0a 09 09 09 69 66 20 6c 65 6e 28 72 6f 77 29 20 ....if len(row)
2010: 3d 3d 20 32 3a 0a 09 09 09 09 62 75 6e 64 6c 65 == 2:.....bundle
2020: 2e 61 70 70 65 6e 64 28 5b 72 6f 77 5b 30 5d 2c .append([row[0],
2030: 20 72 6f 77 5b 31 5d 2c 20 4e 6f 6e 65 5d 29 0a row[1], None]).
2040: 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 62 75 6e ...else:.....bun
2050: 64 6c 65 2e 61 70 70 65 6e 64 28 5b 72 6f 77 5b dle.append([row[
2060: 30 5d 2c 20 72 6f 77 5b 31 5d 2c 20 72 6f 77 5b 0], row[1], row[
2070: 32 5d 5d 29 0a 09 09 73 65 6c 66 2e 5f 63 75 72 2]])...self._cur
2080: 73 6f 72 2e 65 78 65 63 75 74 65 6d 61 6e 79 28 sor.executemany(
2090: 22 69 6e 73 65 72 74 20 69 6e 74 6f 20 75 72 6c "insert into url
20a0: 73 20 28 73 69 74 65 2c 20 74 61 67 2c 20 72 65 s (site, tag, re
20b0: 67 65 78 70 29 20 76 61 6c 75 65 73 20 28 74 72 gexp) values (tr
20c0: 69 70 64 6f 6d 61 69 6e 28 25 73 29 2c 20 25 73 ipdomain(%s), %s
20d0: 2c 20 25 73 29 22 2c 20 62 75 6e 64 6c 65 29 0a , %s)", bundle).
20e0: 09 09 73 65 6c 66 2e 5f 63 75 72 73 6f 72 2e 65 ..self._cursor.e
20f0: 78 65 63 75 74 65 28 22 75 70 64 61 74 65 20 75 xecute("update u
2100: 72 6c 73 20 73 65 74 20 72 65 67 65 78 70 20 3d rls set regexp =
2110: 20 4e 55 4c 4c 20 77 68 65 72 65 20 72 65 67 65 NULL where rege
2120: 78 70 20 3d 20 27 27 22 29 0a 09 09 73 65 6c 66 xp = ''")...self
2130: 2e 5f 64 62 2e 63 6f 6d 6d 69 74 28 29 0a 0a 09 ._db.commit()...
2140: 64 65 66 20 6c 6f 61 64 5f 63 6f 6e 66 28 73 65 def load_conf(se
2150: 6c 66 2c 20 63 73 76 5f 64 61 74 61 29 3a 0a 09 lf, csv_data):..
2160: 09 73 65 6c 66 2e 5f 63 75 72 73 6f 72 2e 65 78 .self._cursor.ex
2170: 65 63 75 74 65 28 27 64 65 6c 65 74 65 20 66 72 ecute('delete fr
2180: 6f 6d 20 72 75 6c 65 73 3b 27 29 0a 09 09 62 75 om rules;')...bu
2190: 6e 64 6c 65 20 3d 20 5b 5d 0a 09 09 66 6f 72 20 ndle = []...for
21a0: 72 6f 77 20 69 6e 20 63 73 76 5f 64 61 74 61 3a row in csv_data:
21b0: 0a 09 09 09 62 75 6e 64 6c 65 2e 61 70 70 65 6e ....bundle.appen
21c0: 64 28 5b 72 6f 77 5b 30 5d 2c 20 72 6f 77 5b 31 d([row[0], row[1
21d0: 5d 2c 20 69 6e 74 28 72 6f 77 5b 32 5d 29 2c 20 ], int(row[2]),
21e0: 69 6e 74 28 72 6f 77 5b 33 5d 29 2c 20 72 6f 77 int(row[3]), row
21f0: 5b 34 5d 2c 20 72 6f 77 5b 35 5d 2c 20 72 6f 77 [4], row[5], row
2200: 5b 36 5d 5d 29 0a 09 09 73 65 6c 66 2e 5f 63 75 [6]])...self._cu
2210: 72 73 6f 72 2e 65 78 65 63 75 74 65 6d 61 6e 79 rsor.executemany
2220: 28 22 69 6e 73 65 72 74 20 69 6e 74 6f 20 72 75 ("insert into ru
2230: 6c 65 73 20 28 6e 65 74 6d 61 73 6b 2c 20 72 65 les (netmask, re
2240: 64 69 72 65 63 74 5f 75 72 6c 2c 20 66 72 6f 6d direct_url, from
2250: 5f 77 65 65 6b 64 61 79 2c 20 74 6f 5f 77 65 65 _weekday, to_wee
2260: 6b 64 61 79 2c 20 66 72 6f 6d 5f 74 69 6d 65 2c kday, from_time,
2270: 20 74 6f 5f 74 69 6d 65 2c 20 74 61 67 29 20 76 to_time, tag) v
2280: 61 6c 75 65 73 20 28 25 73 3a 3a 74 65 78 74 3a alues (%s::text:
2290: 3a 63 69 64 72 2c 20 25 73 2c 20 25 73 2c 20 25 :cidr, %s, %s, %
22a0: 73 2c 20 25 73 3a 3a 74 65 78 74 3a 3a 74 69 6d s, %s::text::tim
22b0: 65 2c 20 25 73 3a 3a 74 65 78 74 3a 3a 74 69 6d e, %s::text::tim
22c0: 65 2c 20 25 73 3a 3a 74 65 78 74 3a 3a 74 65 78 e, %s::text::tex
22d0: 74 5b 5d 29 22 2c 20 62 75 6e 64 6c 65 29 0a 09 t[])", bundle)..
22e0: 09 73 65 6c 66 2e 5f 64 62 2e 63 6f 6d 6d 69 74 .self._db.commit
22f0: 28 29 0a 0a 09 64 65 66 20 64 75 6d 70 5f 63 6f ()...def dump_co
2300: 6e 66 28 73 65 6c 66 29 3a 0a 09 09 73 65 6c 66 nf(self):...self
2310: 2e 5f 63 75 72 73 6f 72 2e 65 78 65 63 75 74 65 ._cursor.execute
2320: 28 22 73 65 6c 65 63 74 20 6e 65 74 6d 61 73 6b ("select netmask
2330: 2c 20 72 65 64 69 72 65 63 74 5f 75 72 6c 2c 20 , redirect_url,
2340: 66 72 6f 6d 5f 77 65 65 6b 64 61 79 2c 20 74 6f from_weekday, to
2350: 5f 77 65 65 6b 64 61 79 2c 20 66 72 6f 6d 5f 74 _weekday, from_t
2360: 69 6d 65 2c 20 74 6f 5f 74 69 6d 65 2c 20 74 61 ime, to_time, ta
2370: 67 3a 3a 74 65 78 74 20 66 72 6f 6d 20 72 75 6c g::text from rul
2380: 65 73 22 29 0a 09 09 72 65 74 75 72 6e 28 73 65 es")...return(se
2390: 6c 66 2e 5f 66 69 65 6c 64 5f 6e 61 6d 65 73 28 lf._field_names(
23a0: 29 2c 20 73 65 6c 66 2e 5f 63 75 72 73 6f 72 2e ), self._cursor.
23b0: 66 65 74 63 68 61 6c 6c 28 29 29 0a 0a 23 20 61 fetchall())..# a
23c0: 62 73 74 72 61 63 74 20 63 6c 61 73 73 20 77 69 bstract class wi
23d0: 74 68 20 62 61 73 69 63 20 63 68 65 63 6b 69 6e th basic checkin
23e0: 67 20 66 75 6e 63 74 69 6f 6e 61 6c 69 74 79 0a g functionality.
23f0: 63 6c 61 73 73 20 43 68 65 63 6b 65 72 28 6f 62 class Checker(ob
2400: 6a 65 63 74 29 3a 0a 09 5f 5f 73 6c 6f 74 73 5f ject):..__slots_
2410: 5f 20 3d 20 66 72 6f 7a 65 6e 73 65 74 28 5b 27 _ = frozenset(['
2420: 5f 64 62 27 2c 20 27 5f 6c 6f 67 27 2c 20 27 5f _db', '_log', '_
2430: 71 75 65 75 65 27 2c 20 27 5f 72 65 71 75 65 73 queue', '_reques
2440: 74 27 2c 20 27 5f 73 74 64 6f 75 74 27 5d 29 0a t', '_stdout']).
2450: 0a 09 64 65 66 20 5f 5f 69 6e 69 74 5f 5f 28 73 ..def __init__(s
2460: 65 6c 66 2c 20 71 75 65 75 65 2c 20 6c 6f 67 67 elf, queue, logg
2470: 65 72 29 3a 0a 09 09 73 65 6c 66 2e 5f 64 62 20 er):...self._db
2480: 3d 20 74 61 67 44 42 28 29 0a 09 09 73 65 6c 66 = tagDB()...self
2490: 2e 5f 6c 6f 67 20 3d 20 6c 6f 67 67 65 72 0a 09 ._log = logger..
24a0: 09 73 65 6c 66 2e 5f 6c 6f 67 2e 69 6e 66 6f 28 .self._log.info(
24b0: 27 73 74 61 72 74 65 64 27 29 0a 09 09 73 65 6c 'started')...sel
24c0: 66 2e 5f 72 65 71 75 65 73 74 20 3d 20 72 65 2e f._request = re.
24d0: 63 6f 6d 70 69 6c 65 28 27 5e 28 5b 30 2d 39 5d compile('^([0-9]
24e0: 2b 29 5c 20 28 28 68 74 74 70 7c 66 74 70 29 3a +)\ ((http|ftp):
24f0: 5c 2f 5c 2f 29 3f 28 5b 2d 5c 77 2e 5d 2b 29 28 \/\/)?([-\w.]+)(
2500: 3a 5b 30 2d 39 5d 2b 29 3f 28 5c 2f 28 5b 5e 20 :[0-9]+)?(\/([^
2510: 5d 2a 29 29 3f 5c 20 28 5b 30 2d 39 2e 3a 5d 2b ]*))?\ ([0-9.:]+
2520: 29 5c 2f 28 2d 7c 5b 5c 77 5c 2e 5d 2b 29 5c 20 )\/(-|[\w\.]+)\
2530: 28 2d 7c 5c 77 2b 29 5c 20 28 2d 7c 47 45 54 7c (-|\w+)\ (-|GET|
2540: 48 45 41 44 7c 50 4f 53 54 7c 43 4f 4e 4e 45 43 HEAD|POST|CONNEC
2550: 54 29 2e 2a 24 27 29 0a 09 09 73 65 6c 66 2e 5f T).*$')...self._
2560: 71 75 65 75 65 20 3d 20 71 75 65 75 65 0a 09 09 queue = queue...
2570: 73 65 6c 66 2e 5f 73 74 64 6f 75 74 20 3d 20 46 self._stdout = F
2580: 57 72 69 74 65 6c 69 6e 65 51 75 65 75 65 28 73 WritelineQueue(s
2590: 79 73 2e 73 74 64 6f 75 74 29 0a 0a 09 64 65 66 ys.stdout)...def
25a0: 20 70 72 6f 63 65 73 73 28 73 65 6c 66 2c 20 69 process(self, i
25b0: 64 2c 20 73 69 74 65 2c 20 69 70 5f 61 64 64 72 d, site, ip_addr
25c0: 65 73 73 2c 20 75 72 6c 5f 70 61 74 68 2c 20 6c ess, url_path, l
25d0: 69 6e 65 20 3d 20 4e 6f 6e 65 29 3a 0a 09 09 23 ine = None):...#
25e0: 73 65 6c 66 2e 5f 6c 6f 67 2e 69 6e 66 6f 28 27 self._log.info('
25f0: 74 72 79 69 6e 67 20 7b 7d 27 2e 66 6f 72 6d 61 trying {}'.forma
2600: 74 28 73 69 74 65 29 29 0a 09 09 72 65 73 75 6c t(site))...resul
2610: 74 20 3d 20 73 65 6c 66 2e 5f 64 62 2e 63 68 65 t = self._db.che
2620: 63 6b 28 73 69 74 65 2c 20 69 70 5f 61 64 64 72 ck(site, ip_addr
2630: 65 73 73 29 0a 09 09 72 65 70 6c 79 20 3d 20 4e ess)...reply = N
2640: 6f 6e 65 0a 09 09 23 73 65 6c 66 2e 5f 6c 6f 67 one...#self._log
2650: 2e 69 6e 66 6f 28 27 67 6f 74 20 7b 7d 20 6c 69 .info('got {} li
2660: 6e 65 73 20 66 72 6f 6d 20 64 61 74 61 62 61 73 nes from databas
2670: 65 27 2e 66 6f 72 6d 61 74 28 6c 65 6e 28 72 65 e'.format(len(re
2680: 73 75 6c 74 29 29 29 0a 09 09 66 6f 72 20 72 6f sult)))...for ro
2690: 77 20 69 6e 20 72 65 73 75 6c 74 3a 0a 09 09 09 w in result:....
26a0: 69 66 20 72 6f 77 20 21 3d 20 4e 6f 6e 65 20 61 if row != None a
26b0: 6e 64 20 72 6f 77 5b 30 5d 20 21 3d 20 4e 6f 6e nd row[0] != Non
26c0: 65 3a 0a 09 09 09 09 69 66 20 72 6f 77 5b 31 5d e:.....if row[1]
26d0: 20 21 3d 20 4e 6f 6e 65 20 61 6e 64 20 75 72 6c != None and url
26e0: 5f 70 61 74 68 20 21 3d 20 4e 6f 6e 65 3a 0a 09 _path != None:..
26f0: 09 09 09 09 73 65 6c 66 2e 5f 6c 6f 67 2e 69 6e ....self._log.in
2700: 66 6f 28 27 74 72 79 69 6e 67 20 72 65 67 65 78 fo('trying regex
2710: 70 20 22 7b 7d 22 20 76 65 72 73 75 73 20 22 7b p "{}" versus "{
2720: 7d 22 27 2e 66 6f 72 6d 61 74 28 72 6f 77 5b 31 }"'.format(row[1
2730: 5d 2c 20 75 72 6c 5f 70 61 74 68 29 29 0a 09 09 ], url_path))...
2740: 09 09 09 74 72 79 3a 0a 09 09 09 09 09 09 69 66 ...try:.......if
2750: 20 72 65 2e 63 6f 6d 70 69 6c 65 28 72 6f 77 5b re.compile(row[
2760: 31 5d 29 2e 6d 61 74 63 68 28 75 72 6c 5f 70 61 1]).match(url_pa
2770: 74 68 29 3a 0a 09 09 09 09 09 09 09 72 65 70 6c th):........repl
2780: 79 20 3d 20 72 6f 77 5b 30 5d 2e 66 6f 72 6d 61 y = row[0].forma
2790: 74 28 68 6f 73 74 20 3d 20 73 69 74 65 2c 20 70 t(host = site, p
27a0: 61 74 68 20 3d 20 75 72 6c 5f 70 61 74 68 29 0a ath = url_path).
27b0: 09 09 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 ......else:.....
27c0: 09 09 09 63 6f 6e 74 69 6e 75 65 0a 09 09 09 09 ...continue.....
27d0: 09 65 78 63 65 70 74 3a 0a 09 09 09 09 09 09 73 .except:.......s
27e0: 65 6c 66 2e 5f 6c 6f 67 2e 69 6e 66 6f 28 22 63 elf._log.info("c
27f0: 61 6e 27 74 20 63 6f 6d 70 69 6c 65 20 6f 72 20 an't compile or
2800: 65 78 65 63 75 74 65 20 72 65 67 65 78 70 22 29 execute regexp")
2810: 0a 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 .....else:......
2820: 72 65 70 6c 79 20 3d 20 72 6f 77 5b 30 5d 2e 66 reply = row[0].f
2830: 6f 72 6d 61 74 28 68 6f 73 74 20 3d 20 73 69 74 ormat(host = sit
2840: 65 2c 20 70 61 74 68 20 3d 20 75 72 6c 5f 70 61 e, path = url_pa
2850: 74 68 29 0a 09 09 09 69 66 20 72 65 70 6c 79 20 th)....if reply
2860: 21 3d 20 4e 6f 6e 65 3a 0a 09 09 09 09 73 65 6c != None:.....sel
2870: 66 2e 77 72 69 74 65 6c 69 6e 65 28 27 7b 7d 20 f.writeline('{}
2880: 7b 7d 27 2e 66 6f 72 6d 61 74 28 69 64 2c 20 72 {}'.format(id, r
2890: 65 70 6c 79 29 29 0a 09 09 09 09 72 65 74 75 72 eply)).....retur
28a0: 6e 28 54 72 75 65 29 0a 09 09 73 65 6c 66 2e 77 n(True)...self.w
28b0: 72 69 74 65 6c 69 6e 65 28 27 7b 7d 27 2e 66 6f riteline('{}'.fo
28c0: 72 6d 61 74 28 69 64 29 29 0a 0a 09 64 65 66 20 rmat(id))...def
28d0: 6c 6f 6f 70 28 73 65 6c 66 29 3a 0a 09 09 77 68 loop(self):...wh
28e0: 69 6c 65 20 54 72 75 65 3a 0a 09 09 09 6c 69 6e ile True:....lin
28f0: 65 20 3d 20 73 65 6c 66 2e 5f 71 75 65 75 65 2e e = self._queue.
2900: 67 65 74 28 29 0a 09 09 09 69 66 20 6c 69 6e 65 get()....if line
2910: 20 3d 3d 20 4e 6f 6e 65 3a 0a 09 09 09 09 62 72 == None:.....br
2920: 65 61 6b 0a 09 09 09 23 73 65 6c 66 2e 5f 6c 6f eak....#self._lo
2930: 67 2e 69 6e 66 6f 28 27 72 65 71 75 65 73 74 3a g.info('request:
2940: 20 27 20 2b 20 6c 69 6e 65 29 0a 09 09 09 72 65 ' + line)....re
2950: 71 75 65 73 74 20 3d 20 73 65 6c 66 2e 5f 72 65 quest = self._re
2960: 71 75 65 73 74 2e 6d 61 74 63 68 28 6c 69 6e 65 quest.match(line
2970: 29 0a 09 09 09 69 66 20 72 65 71 75 65 73 74 3a )....if request:
2980: 0a 09 09 09 09 69 64 20 3d 20 72 65 71 75 65 73 .....id = reques
2990: 74 2e 67 72 6f 75 70 28 31 29 0a 09 09 09 09 23 t.group(1).....#
29a0: 70 72 6f 74 6f 20 3d 20 72 65 71 75 65 73 74 2e proto = request.
29b0: 67 72 6f 75 70 28 33 29 0a 09 09 09 09 73 69 74 group(3).....sit
29c0: 65 20 3d 20 72 65 71 75 65 73 74 2e 67 72 6f 75 e = request.grou
29d0: 70 28 34 29 0a 09 09 09 09 75 72 6c 5f 70 61 74 p(4).....url_pat
29e0: 68 20 3d 20 72 65 71 75 65 73 74 2e 67 72 6f 75 h = request.grou
29f0: 70 28 37 29 0a 09 09 09 09 69 70 5f 61 64 64 72 p(7).....ip_addr
2a00: 65 73 73 20 3d 20 72 65 71 75 65 73 74 2e 67 72 ess = request.gr
2a10: 6f 75 70 28 38 29 0a 09 09 09 09 73 65 6c 66 2e oup(8).....self.
2a20: 70 72 6f 63 65 73 73 28 69 64 2c 20 73 69 74 65 process(id, site
2a30: 2c 20 69 70 5f 61 64 64 72 65 73 73 2c 20 75 72 , ip_address, ur
2a40: 6c 5f 70 61 74 68 2c 20 6c 69 6e 65 29 0a 09 09 l_path, line)...
2a50: 09 65 6c 73 65 3a 0a 09 09 09 09 73 65 6c 66 2e .else:.....self.
2a60: 5f 6c 6f 67 2e 69 6e 66 6f 28 27 62 61 64 20 72 _log.info('bad r
2a70: 65 71 75 65 73 74 27 29 0a 09 09 09 09 73 65 6c equest').....sel
2a80: 66 2e 77 72 69 74 65 6c 69 6e 65 28 6c 69 6e 65 f.writeline(line
2a90: 29 0a 0a 09 64 65 66 20 77 72 69 74 65 6c 69 6e )...def writelin
2aa0: 65 28 73 65 6c 66 2c 20 73 74 72 69 6e 67 29 3a e(self, string):
2ab0: 0a 09 09 73 65 6c 66 2e 5f 6c 6f 67 2e 69 6e 66 ...self._log.inf
2ac0: 6f 28 27 3e 20 27 20 2b 20 73 74 72 69 6e 67 29 o('> ' + string)
2ad0: 0a 09 09 73 65 6c 66 2e 5f 73 74 64 6f 75 74 2e ...self._stdout.
2ae0: 70 75 74 28 73 74 72 69 6e 67 29 0a 0a 69 66 20 put(string)..if
2af0: 63 6f 6e 66 69 67 2e 6f 70 74 69 6f 6e 73 2e 64 config.options.d
2b00: 75 6d 70 20 6f 72 20 63 6f 6e 66 69 67 2e 6f 70 ump or config.op
2b10: 74 69 6f 6e 73 2e 6c 6f 61 64 20 6f 72 20 63 6f tions.load or co
2b20: 6e 66 69 67 2e 6f 70 74 69 6f 6e 73 2e 64 75 6d nfig.options.dum
2b30: 70 5f 63 6f 6e 66 20 6f 72 20 63 6f 6e 66 69 67 p_conf or config
2b40: 2e 6f 70 74 69 6f 6e 73 2e 6c 6f 61 64 5f 63 6f .options.load_co
2b50: 6e 66 3a 0a 09 69 6d 70 6f 72 74 20 63 73 76 0a nf:..import csv.
2b60: 0a 09 74 61 67 64 62 20 3d 20 74 61 67 44 42 28 ..tagdb = tagDB(
2b70: 29 0a 09 64 61 74 61 5f 66 69 65 6c 64 73 20 3d )..data_fields =
2b80: 20 5b 27 73 69 74 65 27 2c 20 27 74 61 67 27 2c ['site', 'tag',
2b90: 20 27 72 65 67 65 78 70 27 5d 0a 09 63 6f 6e 66 'regexp']..conf
2ba0: 5f 66 69 65 6c 64 73 20 3d 20 5b 27 6e 65 74 6d _fields = ['netm
2bb0: 61 73 6b 27 2c 20 27 72 65 64 69 72 65 63 74 5f ask', 'redirect_
2bc0: 75 72 6c 27 2c 20 27 66 72 6f 6d 5f 77 65 65 6b url', 'from_week
2bd0: 64 61 79 27 2c 20 27 74 6f 5f 77 65 65 6b 64 61 day', 'to_weekda
2be0: 79 27 2c 20 27 66 72 6f 6d 5f 74 69 6d 65 27 2c y', 'from_time',
2bf0: 20 27 74 6f 5f 74 69 6d 65 27 2c 20 27 74 61 67 'to_time', 'tag
2c00: 27 5d 0a 0a 09 69 66 20 63 6f 6e 66 69 67 2e 6f ']...if config.o
2c10: 70 74 69 6f 6e 73 2e 64 75 6d 70 20 6f 72 20 63 ptions.dump or c
2c20: 6f 6e 66 69 67 2e 6f 70 74 69 6f 6e 73 2e 64 75 onfig.options.du
2c30: 6d 70 5f 63 6f 6e 66 3a 0a 09 09 63 73 76 5f 77 mp_conf:...csv_w
2c40: 72 69 74 65 72 20 3d 20 63 73 76 2e 77 72 69 74 riter = csv.writ
2c50: 65 72 28 73 79 73 2e 73 74 64 6f 75 74 29 0a 09 er(sys.stdout)..
2c60: 09 69 66 20 63 6f 6e 66 69 67 2e 6f 70 74 69 6f .if config.optio
2c70: 6e 73 2e 64 75 6d 70 3a 0a 09 09 09 64 75 6d 70 ns.dump:....dump
2c80: 20 3d 20 74 61 67 64 62 2e 64 75 6d 70 28 29 0a = tagdb.dump().
2c90: 09 09 65 6c 69 66 20 63 6f 6e 66 69 67 2e 6f 70 ..elif config.op
2ca0: 74 69 6f 6e 73 2e 64 75 6d 70 5f 63 6f 6e 66 3a tions.dump_conf:
2cb0: 0a 09 09 09 64 75 6d 70 20 3d 20 74 61 67 64 62 ....dump = tagdb
2cc0: 2e 64 75 6d 70 5f 63 6f 6e 66 28 29 0a 0a 09 09 .dump_conf()....
2cd0: 63 73 76 5f 77 72 69 74 65 72 2e 77 72 69 74 65 csv_writer.write
2ce0: 72 6f 77 28 64 75 6d 70 5b 30 5d 29 0a 09 09 66 row(dump[0])...f
2cf0: 6f 72 20 6c 69 6e 65 20 69 6e 20 64 75 6d 70 5b or line in dump[
2d00: 31 5d 3a 0a 09 09 09 63 73 76 5f 77 72 69 74 65 1]:....csv_write
2d10: 72 2e 77 72 69 74 65 72 6f 77 28 6c 69 6e 65 29 r.writerow(line)
2d20: 0a 0a 09 65 6c 69 66 20 63 6f 6e 66 69 67 2e 6f ...elif config.o
2d30: 70 74 69 6f 6e 73 2e 6c 6f 61 64 20 6f 72 20 63 ptions.load or c
2d40: 6f 6e 66 69 67 2e 6f 70 74 69 6f 6e 73 2e 6c 6f onfig.options.lo
2d50: 61 64 5f 63 6f 6e 66 3a 0a 09 09 63 73 76 5f 72 ad_conf:...csv_r
2d60: 65 61 64 65 72 20 3d 20 63 73 76 2e 72 65 61 64 eader = csv.read
2d70: 65 72 28 73 79 73 2e 73 74 64 69 6e 29 0a 09 09 er(sys.stdin)...
2d80: 66 69 72 73 74 5f 72 6f 77 20 3d 20 6e 65 78 74 first_row = next
2d90: 28 63 73 76 5f 72 65 61 64 65 72 29 0a 0a 09 09 (csv_reader)....
2da0: 69 66 20 63 6f 6e 66 69 67 2e 6f 70 74 69 6f 6e if config.option
2db0: 73 2e 6c 6f 61 64 3a 0a 09 09 09 66 69 65 6c 64 s.load:....field
2dc0: 73 20 3d 20 64 61 74 61 5f 66 69 65 6c 64 73 0a s = data_fields.
2dd0: 09 09 09 6c 6f 61 64 20 3d 20 74 61 67 64 62 2e ...load = tagdb.
2de0: 6c 6f 61 64 0a 09 09 65 6c 69 66 20 63 6f 6e 66 load...elif conf
2df0: 69 67 2e 6f 70 74 69 6f 6e 73 2e 6c 6f 61 64 5f ig.options.load_
2e00: 63 6f 6e 66 3a 0a 09 09 09 66 69 65 6c 64 73 20 conf:....fields
2e10: 3d 20 63 6f 6e 66 5f 66 69 65 6c 64 73 0a 09 09 = conf_fields...
2e20: 09 6c 6f 61 64 20 3d 20 74 61 67 64 62 2e 6c 6f .load = tagdb.lo
2e30: 61 64 5f 63 6f 6e 66 0a 0a 09 09 61 73 73 65 72 ad_conf....asser
2e40: 74 20 66 69 72 73 74 5f 72 6f 77 20 3d 3d 20 66 t first_row == f
2e50: 69 65 6c 64 73 2c 20 27 46 69 6c 65 20 6d 75 73 ields, 'File mus
2e60: 74 20 63 6f 6e 74 61 69 6e 20 63 73 76 20 64 61 t contain csv da
2e70: 74 61 20 77 69 74 68 20 74 68 65 65 73 65 20 63 ta with theese c
2e80: 6f 6c 75 6d 6e 73 3a 20 27 20 2b 20 72 65 70 72 olumns: ' + repr
2e90: 28 66 69 65 6c 64 73 29 0a 09 09 6c 6f 61 64 28 (fields)...load(
2ea0: 63 73 76 5f 72 65 61 64 65 72 29 0a 0a 65 6c 73 csv_reader)..els
2eb0: 65 3a 0a 09 23 20 6d 61 69 6e 20 6c 6f 6f 70 0a e:..# main loop.
2ec0: 09 43 68 65 63 6b 65 72 28 73 74 64 69 6e 2c 20 .Checker(stdin,
2ed0: 6c 6f 67 67 65 72 29 2e 6c 6f 6f 70 28 29 0a logger).loop().