0000: 23 21 2f 75 73 72 2f 62 69 6e 2f 65 6e 76 20 70 #!/usr/bin/env p
0010: 79 74 68 6f 6e 0a 0a 66 72 6f 6d 20 5f 5f 66 75 ython..from __fu
0020: 74 75 72 65 5f 5f 20 69 6d 70 6f 72 74 20 64 69 ture__ import di
0030: 76 69 73 69 6f 6e 2c 20 70 72 69 6e 74 5f 66 75 vision, print_fu
0040: 6e 63 74 69 6f 6e 2c 20 75 6e 69 63 6f 64 65 5f nction, unicode_
0050: 6c 69 74 65 72 61 6c 73 0a 0a 69 6d 70 6f 72 74 literals..import
0060: 20 67 65 76 65 6e 74 2e 6d 6f 6e 6b 65 79 0a 67 gevent.monkey.g
0070: 65 76 65 6e 74 2e 6d 6f 6e 6b 65 79 2e 70 61 74 event.monkey.pat
0080: 63 68 5f 61 6c 6c 28 29 0a 0a 69 6d 70 6f 72 74 ch_all()..import
0090: 20 66 63 6e 74 6c 2c 20 67 65 76 65 6e 74 2e 63 fcntl, gevent.c
00a0: 6f 72 65 2c 20 67 65 76 65 6e 74 2e 70 6f 6f 6c ore, gevent.pool
00b0: 2c 20 67 65 76 65 6e 74 2e 71 75 65 75 65 2c 20 , gevent.queue,
00c0: 67 65 76 65 6e 74 2e 73 6f 63 6b 65 74 2c 20 6f gevent.socket, o
00d0: 73 2c 20 70 73 79 63 6f 70 67 32 2c 20 72 65 2c s, psycopg2, re,
00e0: 20 73 79 73 0a 0a 23 20 2f 2f 69 6e 63 6c 75 73 sys..# //inclus
00f0: 69 6f 6e 20 73 74 61 72 74 0a 23 20 43 6f 70 79 ion start.# Copy
0100: 72 69 67 68 74 20 28 43 29 20 32 30 31 30 20 44 right (C) 2010 D
0110: 61 6e 69 65 6c 65 20 56 61 72 72 61 7a 7a 6f 20 aniele Varrazzo
0120: 3c 64 61 6e 69 65 6c 65 2e 76 61 72 72 61 7a 7a <daniele.varrazz
0130: 6f 40 67 6d 61 69 6c 2e 63 6f 6d 3e 0a 23 20 61 o@gmail.com>.# a
0140: 6e 64 20 6c 69 63 65 6e 73 65 64 20 75 6e 64 65 nd licensed unde
0150: 72 20 74 68 65 20 4d 49 54 20 6c 69 63 65 6e 73 r the MIT licens
0160: 65 3a 0a 0a 64 65 66 20 67 65 76 65 6e 74 5f 77 e:..def gevent_w
0170: 61 69 74 5f 63 61 6c 6c 62 61 63 6b 28 63 6f 6e ait_callback(con
0180: 6e 2c 20 74 69 6d 65 6f 75 74 3d 4e 6f 6e 65 29 n, timeout=None)
0190: 3a 0a 09 22 22 22 41 20 77 61 69 74 20 63 61 6c :.."""A wait cal
01a0: 6c 62 61 63 6b 20 75 73 65 66 75 6c 20 74 6f 20 lback useful to
01b0: 61 6c 6c 6f 77 20 67 65 76 65 6e 74 20 74 6f 20 allow gevent to
01c0: 77 6f 72 6b 20 77 69 74 68 20 50 73 79 63 6f 70 work with Psycop
01d0: 67 2e 22 22 22 0a 09 77 68 69 6c 65 20 31 3a 0a g."""..while 1:.
01e0: 09 09 73 74 61 74 65 20 3d 20 63 6f 6e 6e 2e 70 ..state = conn.p
01f0: 6f 6c 6c 28 29 0a 09 09 69 66 20 73 74 61 74 65 oll()...if state
0200: 20 3d 3d 20 70 73 79 63 6f 70 67 32 2e 65 78 74 == psycopg2.ext
0210: 65 6e 73 69 6f 6e 73 2e 50 4f 4c 4c 5f 4f 4b 3a ensions.POLL_OK:
0220: 0a 09 09 09 62 72 65 61 6b 0a 09 09 65 6c 69 66 ....break...elif
0230: 20 73 74 61 74 65 20 3d 3d 20 70 73 79 63 6f 70 state == psycop
0240: 67 32 2e 65 78 74 65 6e 73 69 6f 6e 73 2e 50 4f g2.extensions.PO
0250: 4c 4c 5f 52 45 41 44 3a 0a 09 09 09 67 65 76 65 LL_READ:....geve
0260: 6e 74 2e 73 6f 63 6b 65 74 2e 77 61 69 74 5f 72 nt.socket.wait_r
0270: 65 61 64 28 63 6f 6e 6e 2e 66 69 6c 65 6e 6f 28 ead(conn.fileno(
0280: 29 2c 20 74 69 6d 65 6f 75 74 3d 74 69 6d 65 6f ), timeout=timeo
0290: 75 74 29 0a 09 09 65 6c 69 66 20 73 74 61 74 65 ut)...elif state
02a0: 20 3d 3d 20 70 73 79 63 6f 70 67 32 2e 65 78 74 == psycopg2.ext
02b0: 65 6e 73 69 6f 6e 73 2e 50 4f 4c 4c 5f 57 52 49 ensions.POLL_WRI
02c0: 54 45 3a 0a 09 09 09 67 65 76 65 6e 74 2e 73 6f TE:....gevent.so
02d0: 63 6b 65 74 2e 77 61 69 74 5f 77 72 69 74 65 28 cket.wait_write(
02e0: 63 6f 6e 6e 2e 66 69 6c 65 6e 6f 28 29 2c 20 74 conn.fileno(), t
02f0: 69 6d 65 6f 75 74 3d 74 69 6d 65 6f 75 74 29 0a imeout=timeout).
0300: 09 09 65 6c 73 65 3a 0a 09 09 09 72 61 69 73 65 ..else:....raise
0310: 20 70 73 79 63 6f 70 67 32 2e 4f 70 65 72 61 74 psycopg2.Operat
0320: 69 6f 6e 61 6c 45 72 72 6f 72 28 22 42 61 64 20 ionalError("Bad
0330: 72 65 73 75 6c 74 20 66 72 6f 6d 20 70 6f 6c 6c result from poll
0340: 3a 20 25 72 22 20 25 20 73 74 61 74 65 29 0a 0a : %r" % state)..
0350: 69 66 20 6e 6f 74 20 68 61 73 61 74 74 72 28 70 if not hasattr(p
0360: 73 79 63 6f 70 67 32 2e 65 78 74 65 6e 73 69 6f sycopg2.extensio
0370: 6e 73 2c 20 27 73 65 74 5f 77 61 69 74 5f 63 61 ns, 'set_wait_ca
0380: 6c 6c 62 61 63 6b 27 29 3a 0a 09 72 61 69 73 65 llback'):..raise
0390: 20 49 6d 70 6f 72 74 45 72 72 6f 72 28 22 73 75 ImportError("su
03a0: 70 70 6f 72 74 20 66 6f 72 20 63 6f 72 6f 75 74 pport for corout
03b0: 69 6e 65 73 20 6e 6f 74 20 61 76 61 69 6c 61 62 ines not availab
03c0: 6c 65 20 69 6e 20 74 68 69 73 20 50 73 79 63 6f le in this Psyco
03d0: 70 67 20 76 65 72 73 69 6f 6e 20 28 25 73 29 22 pg version (%s)"
03e0: 20 25 20 70 73 79 63 6f 70 67 32 2e 5f 5f 76 65 % psycopg2.__ve
03f0: 72 73 69 6f 6e 5f 5f 29 0a 09 70 73 79 63 6f 70 rsion__)..psycop
0400: 67 32 2e 65 78 74 65 6e 73 69 6f 6e 73 2e 73 65 g2.extensions.se
0410: 74 5f 77 61 69 74 5f 63 61 6c 6c 62 61 63 6b 28 t_wait_callback(
0420: 67 65 76 65 6e 74 5f 77 61 69 74 5f 63 61 6c 6c gevent_wait_call
0430: 62 61 63 6b 29 0a 0a 23 20 2f 2f 69 6e 63 6c 75 back)..# //inclu
0440: 73 69 6f 6e 20 65 6e 64 0a 0a 23 20 74 68 69 73 sion end..# this
0450: 20 63 6c 61 73 73 65 73 20 70 72 6f 63 65 73 73 classes process
0460: 65 73 20 63 6f 6e 66 69 67 20 66 69 6c 65 20 61 es config file a
0470: 6e 64 20 73 75 62 73 74 69 74 75 74 65 73 20 64 nd substitutes d
0480: 65 66 61 75 6c 74 20 76 61 6c 75 65 73 0a 63 6c efault values.cl
0490: 61 73 73 20 43 6f 6e 66 69 67 3a 0a 09 5f 5f 73 ass Config:..__s
04a0: 6c 6f 74 73 5f 5f 20 3d 20 66 72 6f 7a 65 6e 73 lots__ = frozens
04b0: 65 74 28 5b 27 5f 63 6f 6e 66 69 67 27 2c 20 27 et(['_config', '
04c0: 5f 64 65 66 61 75 6c 74 27 2c 20 27 5f 73 65 63 _default', '_sec
04d0: 74 69 6f 6e 27 2c 20 27 6f 70 74 69 6f 6e 73 27 tion', 'options'
04e0: 5d 29 0a 09 5f 64 65 66 61 75 6c 74 20 3d 20 7b ]).._default = {
04f0: 0a 09 09 27 6c 6f 67 27 3a 20 7b 0a 09 09 09 27 ...'log': {....'
0500: 73 69 6c 65 6e 74 27 3a 20 27 6e 6f 27 2c 0a 09 silent': 'no',..
0510: 09 7d 2c 0a 09 09 27 64 61 74 61 62 61 73 65 27 .},...'database'
0520: 3a 20 7b 0a 09 09 09 27 68 6f 73 74 27 3a 20 27 : {....'host': '
0530: 6c 6f 63 61 6c 68 6f 73 74 27 2c 0a 09 09 09 27 localhost',....'
0540: 64 61 74 61 62 61 73 65 27 3a 20 27 73 71 75 69 database': 'squi
0550: 64 54 61 67 27 2c 0a 09 7d 2c 7d 0a 0a 09 23 20 dTag',..},}...#
0560: 66 75 6e 63 74 69 6f 6e 20 74 6f 20 72 65 61 64 function to read
0570: 20 69 6e 20 63 6f 6e 66 69 67 20 66 69 6c 65 0a in config file.
0580: 09 64 65 66 20 5f 5f 69 6e 69 74 5f 5f 28 73 65 .def __init__(se
0590: 6c 66 29 3a 0a 09 09 69 6d 70 6f 72 74 20 43 6f lf):...import Co
05a0: 6e 66 69 67 50 61 72 73 65 72 2c 20 6f 70 74 70 nfigParser, optp
05b0: 61 72 73 65 2c 20 6f 73 0a 0a 09 09 70 61 72 73 arse, os....pars
05c0: 65 72 20 3d 20 6f 70 74 70 61 72 73 65 2e 4f 70 er = optparse.Op
05d0: 74 69 6f 6e 50 61 72 73 65 72 28 29 0a 09 09 70 tionParser()...p
05e0: 61 72 73 65 72 2e 61 64 64 5f 6f 70 74 69 6f 6e arser.add_option
05f0: 28 27 2d 63 27 2c 20 27 2d 2d 63 6f 6e 66 69 67 ('-c', '--config
0600: 27 2c 20 64 65 73 74 20 3d 20 27 63 6f 6e 66 69 ', dest = 'confi
0610: 67 27 2c 0a 09 09 09 68 65 6c 70 20 3d 20 27 63 g',....help = 'c
0620: 6f 6e 66 69 67 20 66 69 6c 65 20 6c 6f 63 61 74 onfig file locat
0630: 69 6f 6e 27 2c 20 6d 65 74 61 76 61 72 20 3d 20 ion', metavar =
0640: 27 46 49 4c 45 27 2c 0a 09 09 09 64 65 66 61 75 'FILE',....defau
0650: 6c 74 20 3d 20 27 2f 75 73 72 2f 6c 6f 63 61 6c lt = '/usr/local
0660: 2f 65 74 63 2f 73 71 75 69 64 2d 74 61 67 67 65 /etc/squid-tagge
0670: 72 2e 63 6f 6e 66 27 29 0a 09 09 70 61 72 73 65 r.conf')...parse
0680: 72 2e 61 64 64 5f 6f 70 74 69 6f 6e 28 27 2d 64 r.add_option('-d
0690: 27 2c 20 27 2d 2d 64 75 6d 70 27 2c 20 64 65 73 ', '--dump', des
06a0: 74 20 3d 20 27 64 75 6d 70 27 2c 0a 09 09 09 68 t = 'dump',....h
06b0: 65 6c 70 20 3d 20 27 64 75 6d 70 20 64 61 74 61 elp = 'dump data
06c0: 62 61 73 65 27 2c 20 61 63 74 69 6f 6e 20 3d 20 base', action =
06d0: 27 73 74 6f 72 65 5f 74 72 75 65 27 2c 20 6d 65 'store_true', me
06e0: 74 61 76 61 72 20 3d 20 27 62 6f 6f 6c 27 2c 0a tavar = 'bool',.
06f0: 09 09 09 64 65 66 61 75 6c 74 20 3d 20 46 61 6c ...default = Fal
0700: 73 65 29 0a 09 09 70 61 72 73 65 72 2e 61 64 64 se)...parser.add
0710: 5f 6f 70 74 69 6f 6e 28 27 2d 66 27 2c 20 27 2d _option('-f', '-
0720: 2d 66 6c 75 73 68 2d 64 61 74 61 62 61 73 65 27 -flush-database'
0730: 2c 20 64 65 73 74 20 3d 20 27 66 6c 75 73 68 5f , dest = 'flush_
0740: 64 62 27 2c 0a 09 09 09 68 65 6c 70 20 3d 20 27 db',....help = '
0750: 66 6c 75 73 68 20 70 72 65 76 69 6f 75 73 20 64 flush previous d
0760: 61 74 61 62 61 73 65 20 6f 6e 20 6c 6f 61 64 27 atabase on load'
0770: 2c 20 64 65 66 61 75 6c 74 20 3d 20 46 61 6c 73 , default = Fals
0780: 65 2c 0a 09 09 09 61 63 74 69 6f 6e 20 3d 20 27 e,....action = '
0790: 73 74 6f 72 65 5f 74 72 75 65 27 2c 20 6d 65 74 store_true', met
07a0: 61 76 61 72 20 3d 20 27 62 6f 6f 6c 27 29 0a 09 avar = 'bool')..
07b0: 09 70 61 72 73 65 72 2e 61 64 64 5f 6f 70 74 69 .parser.add_opti
07c0: 6f 6e 28 27 2d 6c 27 2c 20 27 2d 2d 6c 6f 61 64 on('-l', '--load
07d0: 27 2c 20 64 65 73 74 20 3d 20 27 6c 6f 61 64 27 ', dest = 'load'
07e0: 2c 0a 09 09 09 68 65 6c 70 20 3d 20 27 6c 6f 61 ,....help = 'loa
07f0: 64 20 64 61 74 61 62 61 73 65 27 2c 20 61 63 74 d database', act
0800: 69 6f 6e 20 3d 20 27 73 74 6f 72 65 5f 74 72 75 ion = 'store_tru
0810: 65 27 2c 20 6d 65 74 61 76 61 72 20 3d 20 27 62 e', metavar = 'b
0820: 6f 6f 6c 27 2c 0a 09 09 09 64 65 66 61 75 6c 74 ool',....default
0830: 20 3d 20 46 61 6c 73 65 29 0a 09 09 70 61 72 73 = False)...pars
0840: 65 72 2e 61 64 64 5f 6f 70 74 69 6f 6e 28 27 2d er.add_option('-
0850: 44 27 2c 20 27 2d 2d 64 75 6d 70 2d 63 6f 6e 66 D', '--dump-conf
0860: 27 2c 20 64 65 73 74 20 3d 20 27 64 75 6d 70 5f ', dest = 'dump_
0870: 63 6f 6e 66 27 2c 0a 09 09 09 68 65 6c 70 20 3d conf',....help =
0880: 20 27 64 75 6d 70 20 66 69 6c 74 65 72 69 6e 67 'dump filtering
0890: 20 72 75 6c 65 73 27 2c 20 64 65 66 61 75 6c 74 rules', default
08a0: 20 3d 20 46 61 6c 73 65 2c 20 6d 65 74 61 76 61 = False, metava
08b0: 72 20 3d 20 27 62 6f 6f 6c 27 2c 0a 09 09 09 61 r = 'bool',....a
08c0: 63 74 69 6f 6e 20 3d 20 27 73 74 6f 72 65 5f 74 ction = 'store_t
08d0: 72 75 65 27 29 0a 09 09 70 61 72 73 65 72 2e 61 rue')...parser.a
08e0: 64 64 5f 6f 70 74 69 6f 6e 28 27 2d 4c 27 2c 20 dd_option('-L',
08f0: 27 2d 2d 6c 6f 61 64 2d 63 6f 6e 66 27 2c 20 64 '--load-conf', d
0900: 65 73 74 20 3d 20 27 6c 6f 61 64 5f 63 6f 6e 66 est = 'load_conf
0910: 27 2c 0a 09 09 09 68 65 6c 70 20 3d 20 27 6c 6f ',....help = 'lo
0920: 61 64 20 66 69 6c 74 65 72 69 6e 67 20 72 75 6c ad filtering rul
0930: 65 73 27 2c 20 64 65 66 61 75 6c 74 20 3d 20 46 es', default = F
0940: 61 6c 73 65 2c 20 6d 65 74 61 76 61 72 20 3d 20 alse, metavar =
0950: 27 62 6f 6f 6c 27 2c 0a 09 09 09 61 63 74 69 6f 'bool',....actio
0960: 6e 20 3d 20 27 73 74 6f 72 65 5f 74 72 75 65 27 n = 'store_true'
0970: 29 0a 0a 09 09 28 73 65 6c 66 2e 6f 70 74 69 6f )....(self.optio
0980: 6e 73 2c 20 61 72 67 73 29 20 3d 20 70 61 72 73 ns, args) = pars
0990: 65 72 2e 70 61 72 73 65 5f 61 72 67 73 28 29 0a er.parse_args().
09a0: 0a 09 09 61 73 73 65 72 74 20 6f 73 2e 61 63 63 ...assert os.acc
09b0: 65 73 73 28 73 65 6c 66 2e 6f 70 74 69 6f 6e 73 ess(self.options
09c0: 2e 63 6f 6e 66 69 67 2c 20 6f 73 2e 52 5f 4f 4b .config, os.R_OK
09d0: 29 2c 20 22 46 61 74 61 6c 20 65 72 72 6f 72 3a ), "Fatal error:
09e0: 20 63 61 6e 27 74 20 72 65 61 64 20 7b 7d 22 2e can't read {}".
09f0: 66 6f 72 6d 61 74 28 73 65 6c 66 2e 6f 70 74 69 format(self.opti
0a00: 6f 6e 73 2e 63 6f 6e 66 69 67 29 0a 0a 09 09 73 ons.config)....s
0a10: 65 6c 66 2e 5f 63 6f 6e 66 69 67 20 3d 20 43 6f elf._config = Co
0a20: 6e 66 69 67 50 61 72 73 65 72 2e 43 6f 6e 66 69 nfigParser.Confi
0a30: 67 50 61 72 73 65 72 28 29 0a 09 09 73 65 6c 66 gParser()...self
0a40: 2e 5f 63 6f 6e 66 69 67 2e 72 65 61 64 66 70 28 ._config.readfp(
0a50: 6f 70 65 6e 28 73 65 6c 66 2e 6f 70 74 69 6f 6e open(self.option
0a60: 73 2e 63 6f 6e 66 69 67 29 29 0a 0a 09 23 20 66 s.config))...# f
0a70: 75 6e 63 74 69 6f 6e 20 74 6f 20 73 65 6c 65 63 unction to selec
0a80: 74 20 63 6f 6e 66 69 67 20 66 69 6c 65 20 73 65 t config file se
0a90: 63 74 69 6f 6e 20 6f 72 20 63 72 65 61 74 65 20 ction or create
0aa0: 6f 6e 65 0a 09 64 65 66 20 73 65 63 74 69 6f 6e one..def section
0ab0: 28 73 65 6c 66 2c 20 73 65 63 74 69 6f 6e 29 3a (self, section):
0ac0: 0a 09 09 69 66 20 6e 6f 74 20 73 65 6c 66 2e 5f ...if not self._
0ad0: 63 6f 6e 66 69 67 2e 68 61 73 5f 73 65 63 74 69 config.has_secti
0ae0: 6f 6e 28 73 65 63 74 69 6f 6e 29 3a 0a 09 09 09 on(section):....
0af0: 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 61 64 64 self._config.add
0b00: 5f 73 65 63 74 69 6f 6e 28 73 65 63 74 69 6f 6e _section(section
0b10: 29 0a 09 09 73 65 6c 66 2e 5f 73 65 63 74 69 6f )...self._sectio
0b20: 6e 20 3d 20 73 65 63 74 69 6f 6e 0a 0a 09 23 20 n = section...#
0b30: 66 75 6e 63 74 69 6f 6e 20 74 6f 20 67 65 74 20 function to get
0b40: 63 6f 6e 66 69 67 20 70 61 72 61 6d 65 74 65 72 config parameter
0b50: 2c 20 69 66 20 70 61 72 61 6d 65 74 65 72 20 64 , if parameter d
0b60: 6f 65 73 6e 27 74 20 65 78 69 73 74 73 20 74 68 oesn't exists th
0b70: 65 20 64 65 66 61 75 6c 74 0a 09 23 20 76 61 6c e default..# val
0b80: 75 65 20 6f 72 20 4e 6f 6e 65 20 69 73 20 73 75 ue or None is su
0b90: 62 73 74 69 74 75 74 65 64 0a 09 64 65 66 20 5f bstituted..def _
0ba0: 5f 67 65 74 69 74 65 6d 5f 5f 28 73 65 6c 66 2c _getitem__(self,
0bb0: 20 6e 61 6d 65 29 3a 0a 09 09 69 66 20 6e 6f 74 name):...if not
0bc0: 20 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 68 61 self._config.ha
0bd0: 73 5f 6f 70 74 69 6f 6e 28 73 65 6c 66 2e 5f 73 s_option(self._s
0be0: 65 63 74 69 6f 6e 2c 20 6e 61 6d 65 29 3a 0a 09 ection, name):..
0bf0: 09 09 69 66 20 73 65 6c 66 2e 5f 73 65 63 74 69 ..if self._secti
0c00: 6f 6e 20 69 6e 20 73 65 6c 66 2e 5f 64 65 66 61 on in self._defa
0c10: 75 6c 74 3a 0a 09 09 09 09 69 66 20 6e 61 6d 65 ult:.....if name
0c20: 20 69 6e 20 73 65 6c 66 2e 5f 64 65 66 61 75 6c in self._defaul
0c30: 74 5b 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 5d t[self._section]
0c40: 3a 0a 09 09 09 09 09 73 65 6c 66 2e 5f 63 6f 6e :......self._con
0c50: 66 69 67 2e 73 65 74 28 73 65 6c 66 2e 5f 73 65 fig.set(self._se
0c60: 63 74 69 6f 6e 2c 20 6e 61 6d 65 2c 20 73 65 6c ction, name, sel
0c70: 66 2e 5f 64 65 66 61 75 6c 74 5b 73 65 6c 66 2e f._default[self.
0c80: 5f 73 65 63 74 69 6f 6e 5d 5b 6e 61 6d 65 5d 29 _section][name])
0c90: 0a 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 .....else:......
0ca0: 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 73 65 74 self._config.set
0cb0: 28 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 2c 20 (self._section,
0cc0: 6e 61 6d 65 2c 20 4e 6f 6e 65 29 0a 09 09 09 65 name, None)....e
0cd0: 6c 73 65 3a 0a 09 09 09 09 73 65 6c 66 2e 5f 63 lse:.....self._c
0ce0: 6f 6e 66 69 67 2e 73 65 74 28 73 65 6c 66 2e 5f onfig.set(self._
0cf0: 73 65 63 74 69 6f 6e 2c 20 6e 61 6d 65 2c 20 4e section, name, N
0d00: 6f 6e 65 29 0a 09 09 72 65 74 75 72 6e 28 73 65 one)...return(se
0d10: 6c 66 2e 5f 63 6f 6e 66 69 67 2e 67 65 74 28 73 lf._config.get(s
0d20: 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e 61 elf._section, na
0d30: 6d 65 29 29 0a 0a 23 20 69 6e 69 74 69 61 6c 69 me))..# initiali
0d40: 7a 69 6e 67 20 61 6e 64 20 72 65 61 64 69 6e 67 zing and reading
0d50: 20 69 6e 20 63 6f 6e 66 69 67 20 66 69 6c 65 0a in config file.
0d60: 63 6f 6e 66 69 67 20 3d 20 43 6f 6e 66 69 67 28 config = Config(
0d70: 29 0a 0a 69 6d 70 6f 72 74 20 6c 6f 67 67 69 6e )..import loggin
0d80: 67 2c 20 6c 6f 67 67 69 6e 67 2e 68 61 6e 64 6c g, logging.handl
0d90: 65 72 73 0a 6c 6f 67 67 65 72 20 3d 20 6c 6f 67 ers.logger = log
0da0: 67 69 6e 67 2e 67 65 74 4c 6f 67 67 65 72 28 27 ging.getLogger('
0db0: 73 71 75 69 64 54 61 67 27 29 0a 6c 6f 67 67 65 squidTag').logge
0dc0: 72 2e 73 65 74 4c 65 76 65 6c 28 6c 6f 67 67 69 r.setLevel(loggi
0dd0: 6e 67 2e 49 4e 46 4f 29 0a 68 61 6e 64 6c 65 72 ng.INFO).handler
0de0: 20 3d 20 6c 6f 67 67 69 6e 67 2e 68 61 6e 64 6c = logging.handl
0df0: 65 72 73 2e 53 79 73 4c 6f 67 48 61 6e 64 6c 65 ers.SysLogHandle
0e00: 72 28 27 2f 64 65 76 2f 6c 6f 67 27 29 0a 68 61 r('/dev/log').ha
0e10: 6e 64 6c 65 72 2e 73 65 74 46 6f 72 6d 61 74 74 ndler.setFormatt
0e20: 65 72 28 6c 6f 67 67 69 6e 67 2e 46 6f 72 6d 61 er(logging.Forma
0e30: 74 74 65 72 28 73 74 72 28 27 73 71 75 69 64 54 tter(str('squidT
0e40: 61 67 5b 25 28 70 72 6f 63 65 73 73 29 73 5d 3a ag[%(process)s]:
0e50: 20 25 28 6d 65 73 73 61 67 65 29 73 27 29 29 29 %(message)s')))
0e60: 0a 6c 6f 67 67 65 72 2e 61 64 64 48 61 6e 64 6c .logger.addHandl
0e70: 65 72 28 68 61 6e 64 6c 65 72 29 0a 0a 23 20 74 er(handler)..# t
0e80: 69 6e 79 20 77 72 61 70 70 65 72 20 61 72 6f 75 iny wrapper arou
0e90: 6e 64 20 61 20 66 69 6c 65 20 74 6f 20 6d 61 6b nd a file to mak
0ea0: 65 20 72 65 61 64 73 20 66 72 6f 6d 20 69 74 20 e reads from it
0eb0: 67 65 76 65 6e 74 61 62 6c 65 0a 23 20 6f 72 20 geventable.# or
0ec0: 73 68 6f 75 6c 64 20 69 20 6d 6f 76 65 20 74 68 should i move th
0ed0: 69 73 20 73 6f 6d 65 77 68 65 72 65 3f 0a 0a 63 is somewhere?..c
0ee0: 6c 61 73 73 20 46 52 65 61 64 6c 69 6e 65 51 75 lass FReadlineQu
0ef0: 65 75 65 28 67 65 76 65 6e 74 2e 71 75 65 75 65 eue(gevent.queue
0f00: 2e 51 75 65 75 65 29 3a 0a 09 23 20 73 74 6f 72 .Queue):..# stor
0f10: 69 6e 67 20 66 69 6c 65 20 64 65 73 63 72 69 70 ing file descrip
0f20: 74 6f 72 2c 20 6c 65 66 74 6f 76 65 72 0a 09 5f tor, leftover.._
0f30: 5f 73 6c 6f 74 73 5f 5f 20 3d 20 66 72 6f 7a 65 _slots__ = froze
0f40: 6e 73 65 74 28 5b 27 5f 66 64 27 2c 20 27 5f 74 nset(['_fd', '_t
0f50: 61 69 6c 27 5d 29 0a 0a 09 64 65 66 20 5f 5f 69 ail'])...def __i
0f60: 6e 69 74 5f 5f 28 73 65 6c 66 2c 20 66 64 29 3a nit__(self, fd):
0f70: 0a 09 09 23 20 69 6e 69 74 69 61 6c 69 73 69 6e ...# initialisin
0f80: 67 20 63 6c 61 73 73 0a 09 09 67 65 76 65 6e 74 g class...gevent
0f90: 2e 71 75 65 75 65 2e 51 75 65 75 65 2e 5f 5f 69 .queue.Queue.__i
0fa0: 6e 69 74 5f 5f 28 73 65 6c 66 29 0a 09 09 23 20 nit__(self)...#
0fb0: 73 74 6f 72 69 6e 67 20 66 69 6c 65 20 64 65 73 storing file des
0fc0: 63 72 69 70 74 6f 72 0a 09 09 73 65 6c 66 2e 5f criptor...self._
0fd0: 66 64 20 3d 20 66 64 0a 09 09 23 20 75 73 69 6e fd = fd...# usin
0fe0: 67 20 65 6d 70 74 79 20 74 61 69 6c 0a 09 09 73 g empty tail...s
0ff0: 65 6c 66 2e 5f 74 61 69 6c 20 3d 20 27 27 0a 09 elf._tail = ''..
1000: 09 23 20 73 65 74 74 69 6e 67 20 75 70 20 65 76 .# setting up ev
1010: 65 6e 74 0a 09 09 73 65 6c 66 2e 5f 69 6e 73 74 ent...self._inst
1020: 61 6c 6c 5f 77 61 69 74 28 29 0a 0a 09 64 65 66 all_wait()...def
1030: 20 5f 69 6e 73 74 61 6c 6c 5f 77 61 69 74 28 73 _install_wait(s
1040: 65 6c 66 29 3a 0a 09 09 66 69 6c 65 6e 6f 20 3d elf):...fileno =
1050: 20 73 65 6c 66 2e 5f 66 64 2e 66 69 6c 65 6e 6f self._fd.fileno
1060: 28 29 0a 09 09 23 20 70 75 74 74 69 6e 67 20 66 ()...# putting f
1070: 69 6c 65 20 74 6f 20 6e 6f 6e 62 6c 6f 63 6b 69 ile to nonblocki
1080: 6e 67 20 6d 6f 64 65 0a 09 09 66 63 6e 74 6c 2e ng mode...fcntl.
1090: 66 63 6e 74 6c 28 66 69 6c 65 6e 6f 2c 20 66 63 fcntl(fileno, fc
10a0: 6e 74 6c 2e 46 5f 53 45 54 46 4c 2c 20 66 63 6e ntl.F_SETFL, fcn
10b0: 74 6c 2e 66 63 6e 74 6c 28 66 69 6c 65 6e 6f 2c tl.fcntl(fileno,
10c0: 20 66 63 6e 74 6c 2e 46 5f 47 45 54 46 4c 29 20 fcntl.F_GETFL)
10d0: 20 7c 20 6f 73 2e 4f 5f 4e 4f 4e 42 4c 4f 43 4b | os.O_NONBLOCK
10e0: 29 0a 09 09 23 20 69 6e 73 74 61 6c 6c 69 6e 67 )...# installing
10f0: 20 65 76 65 6e 74 20 68 61 6e 64 6c 65 72 0a 09 event handler..
1100: 09 67 65 76 65 6e 74 2e 63 6f 72 65 2e 72 65 61 .gevent.core.rea
1110: 64 5f 65 76 65 6e 74 28 66 69 6c 65 6e 6f 2c 20 d_event(fileno,
1120: 73 65 6c 66 2e 5f 77 61 69 74 5f 68 65 6c 70 65 self._wait_helpe
1130: 72 29 0a 0a 09 64 65 66 20 5f 77 61 69 74 5f 68 r)...def _wait_h
1140: 65 6c 70 65 72 28 73 65 6c 66 2c 20 65 76 2c 20 elper(self, ev,
1150: 65 76 74 79 70 65 29 3a 0a 09 09 23 20 72 65 61 evtype):...# rea
1160: 64 69 6e 67 20 6f 6e 65 20 62 75 66 66 65 72 20 ding one buffer
1170: 66 72 6f 6d 20 73 74 72 65 61 6d 0a 09 09 62 75 from stream...bu
1180: 66 20 3d 20 73 65 6c 66 2e 5f 66 64 2e 72 65 61 f = self._fd.rea
1190: 64 28 34 30 39 36 29 0a 09 09 23 20 73 70 6c 69 d(4096)...# spli
11a0: 74 74 69 6e 67 20 73 74 72 65 61 6d 20 62 79 20 tting stream by
11b0: 6c 69 6e 65 20 65 6e 64 73 0a 09 09 72 6f 77 73 line ends...rows
11c0: 20 3d 20 62 75 66 2e 64 65 63 6f 64 65 28 27 6c = buf.decode('l
11d0: 31 27 29 2e 73 70 6c 69 74 28 27 5c 6e 27 29 0a 1').split('\n').
11e0: 09 09 23 20 61 64 64 69 6e 67 20 74 61 69 6c 20 ..# adding tail
11f0: 74 6f 20 74 68 65 20 66 69 72 73 74 20 65 6c 65 to the first ele
1200: 6d 65 6e 74 20 69 66 20 74 68 65 72 65 20 69 73 ment if there is
1210: 20 73 6f 6d 65 20 74 61 69 6c 0a 09 09 69 66 20 some tail...if
1220: 6c 65 6e 28 73 65 6c 66 2e 5f 74 61 69 6c 29 20 len(self._tail)
1230: 3e 20 30 3a 0a 09 09 09 72 6f 77 73 5b 30 5d 20 > 0:....rows[0]
1240: 3d 20 73 65 6c 66 2e 5f 74 61 69 6c 20 2b 20 72 = self._tail + r
1250: 6f 77 73 5b 30 5d 0a 09 09 23 20 70 6f 70 70 69 ows[0]...# poppi
1260: 6e 67 20 6f 75 74 20 6c 61 73 74 20 28 69 6e 63 ng out last (inc
1270: 6f 6d 70 6c 65 74 65 29 20 65 6c 65 6d 65 6e 74 omplete) element
1280: 0a 09 09 73 65 6c 66 2e 5f 74 61 69 6c 20 3d 20 ...self._tail =
1290: 72 6f 77 73 2e 70 6f 70 28 2d 31 29 0a 09 09 23 rows.pop(-1)...#
12a0: 20 64 72 6f 70 70 69 6e 67 20 61 6c 6c 20 63 6f dropping all co
12b0: 6d 70 6c 65 74 65 20 65 6c 65 6d 65 6e 74 73 20 mplete elements
12c0: 74 6f 20 74 68 65 20 71 75 65 75 65 0a 09 09 66 to the queue...f
12d0: 6f 72 20 72 6f 77 20 69 6e 20 72 6f 77 73 3a 0a or row in rows:.
12e0: 09 09 09 73 65 6c 66 2e 70 75 74 5f 6e 6f 77 61 ...self.put_nowa
12f0: 69 74 28 72 6f 77 29 0a 09 09 09 6c 6f 67 67 65 it(row)....logge
1300: 72 2e 69 6e 66 6f 28 73 74 72 28 27 3c 20 27 20 r.info(str('< '
1310: 2b 20 72 6f 77 29 29 0a 09 09 69 66 20 6c 65 6e + row))...if len
1320: 28 62 75 66 29 20 3e 20 30 3a 0a 09 09 09 23 20 (buf) > 0:....#
1330: 6e 6f 20 45 4f 46 2c 20 72 65 69 6e 73 74 61 6c no EOF, reinstal
1340: 6c 69 6e 67 20 65 76 65 6e 74 20 68 61 6e 64 6c ling event handl
1350: 65 72 0a 09 09 09 67 65 76 65 6e 74 2e 63 6f 72 er....gevent.cor
1360: 65 2e 72 65 61 64 5f 65 76 65 6e 74 28 73 65 6c e.read_event(sel
1370: 66 2e 5f 66 64 2e 66 69 6c 65 6e 6f 28 29 2c 20 f._fd.fileno(),
1380: 73 65 6c 66 2e 5f 77 61 69 74 5f 68 65 6c 70 65 self._wait_helpe
1390: 72 29 0a 09 09 65 6c 73 65 3a 0a 09 09 09 23 20 r)...else:....#
13a0: 45 4f 46 20 66 6f 75 6e 64 2c 20 73 65 6e 64 69 EOF found, sendi
13b0: 6e 67 20 45 4f 46 20 74 6f 20 71 75 65 75 65 0a ng EOF to queue.
13c0: 09 09 09 73 65 6c 66 2e 70 75 74 5f 6e 6f 77 61 ...self.put_nowa
13d0: 69 74 28 4e 6f 6e 65 29 0a 0a 73 74 64 69 6e 20 it(None)..stdin
13e0: 3d 20 46 52 65 61 64 6c 69 6e 65 51 75 65 75 65 = FReadlineQueue
13f0: 28 73 79 73 2e 73 74 64 69 6e 29 0a 0a 63 6c 61 (sys.stdin)..cla
1400: 73 73 20 46 57 72 69 74 65 6c 69 6e 65 51 75 65 ss FWritelineQue
1410: 75 65 28 67 65 76 65 6e 74 2e 71 75 65 75 65 2e ue(gevent.queue.
1420: 4a 6f 69 6e 61 62 6c 65 51 75 65 75 65 29 3a 0a JoinableQueue):.
1430: 09 23 20 73 74 6f 72 69 6e 67 20 66 69 6c 65 6e .# storing filen
1440: 6f 2c 20 69 6f 20 69 6e 74 65 72 66 61 63 65 2c o, io interface,
1450: 20 6c 65 66 74 6f 76 65 72 0a 09 5f 5f 73 6c 6f leftover..__slo
1460: 74 73 5f 5f 20 3d 20 66 72 6f 7a 65 6e 73 65 74 ts__ = frozenset
1470: 28 5b 27 5f 66 69 6c 65 6e 6f 27 2c 20 27 5f 69 (['_fileno', '_i
1480: 6f 27 2c 20 27 5f 74 61 69 6c 27 5d 29 0a 0a 09 o', '_tail'])...
1490: 64 65 66 20 5f 5f 69 6e 69 74 5f 5f 28 73 65 6c def __init__(sel
14a0: 66 2c 20 66 64 2c 20 63 6c 6f 73 65 66 64 20 3d f, fd, closefd =
14b0: 20 54 72 75 65 29 3a 0a 09 09 69 6d 70 6f 72 74 True):...import
14c0: 20 69 6f 0a 09 09 23 20 69 6e 69 74 69 61 6c 69 io...# initiali
14d0: 73 69 6e 67 20 63 6c 61 73 73 0a 09 09 67 65 76 sing class...gev
14e0: 65 6e 74 2e 71 75 65 75 65 2e 4a 6f 69 6e 61 62 ent.queue.Joinab
14f0: 6c 65 51 75 65 75 65 2e 5f 5f 69 6e 69 74 5f 5f leQueue.__init__
1500: 28 73 65 6c 66 29 0a 09 09 23 20 73 74 6f 72 69 (self)...# stori
1510: 6e 67 20 66 69 6c 65 6e 6f 0a 09 09 73 65 6c 66 ng fileno...self
1520: 2e 5f 66 69 6c 65 6e 6f 20 3d 20 66 64 2e 66 69 ._fileno = fd.fi
1530: 6c 65 6e 6f 28 29 0a 09 09 23 20 63 72 65 61 74 leno()...# creat
1540: 69 6e 67 20 69 6e 74 65 72 66 61 63 65 0a 09 09 ing interface...
1550: 73 65 6c 66 2e 5f 69 6f 20 3d 20 69 6f 2e 46 69 self._io = io.Fi
1560: 6c 65 49 4f 28 73 65 6c 66 2e 5f 66 69 6c 65 6e leIO(self._filen
1570: 6f 2c 20 27 77 27 2c 20 63 6c 6f 73 65 66 64 29 o, 'w', closefd)
1580: 0a 09 09 23 20 75 73 69 6e 67 20 65 6d 70 74 79 ...# using empty
1590: 20 74 61 69 6c 0a 09 09 73 65 6c 66 2e 5f 74 61 tail...self._ta
15a0: 69 6c 20 3d 20 4e 6f 6e 65 0a 09 09 23 20 70 75 il = None...# pu
15b0: 74 74 69 6e 67 20 66 69 6c 65 20 74 6f 20 6e 6f tting file to no
15c0: 6e 62 6c 6f 63 6b 69 6e 67 20 6d 6f 64 65 0a 09 nblocking mode..
15d0: 09 66 63 6e 74 6c 2e 66 63 6e 74 6c 28 73 65 6c .fcntl.fcntl(sel
15e0: 66 2e 5f 66 69 6c 65 6e 6f 2c 20 66 63 6e 74 6c f._fileno, fcntl
15f0: 2e 46 5f 53 45 54 46 4c 2c 20 66 63 6e 74 6c 2e .F_SETFL, fcntl.
1600: 66 63 6e 74 6c 28 73 65 6c 66 2e 5f 66 69 6c 65 fcntl(self._file
1610: 6e 6f 2c 20 66 63 6e 74 6c 2e 46 5f 47 45 54 46 no, fcntl.F_GETF
1620: 4c 29 20 20 7c 20 6f 73 2e 4f 5f 4e 4f 4e 42 4c L) | os.O_NONBL
1630: 4f 43 4b 29 0a 0a 09 64 65 66 20 5f 5f 64 65 6c OCK)...def __del
1640: 5f 5f 28 73 65 6c 66 29 3a 0a 09 09 23 20 70 75 __(self):...# pu
1650: 72 67 65 20 71 75 65 75 65 20 62 65 66 6f 72 65 rge queue before
1660: 20 64 65 6c 65 74 69 6e 67 0a 09 09 69 66 20 6e deleting...if n
1670: 6f 74 20 73 65 6c 66 2e 65 6d 70 74 79 28 29 3a ot self.empty():
1680: 0a 09 09 09 73 65 6c 66 2e 6a 6f 69 6e 28 29 0a ....self.join().
1690: 0a 09 64 65 66 20 70 75 74 28 73 65 6c 66 2c 20 ..def put(self,
16a0: 69 74 65 6d 2c 20 62 6c 6f 63 6b 3d 54 72 75 65 item, block=True
16b0: 2c 20 74 69 6d 65 6f 75 74 3d 4e 6f 6e 65 29 3a , timeout=None):
16c0: 0a 09 09 23 20 63 61 6c 6c 69 6e 67 20 72 65 61 ...# calling rea
16d0: 6c 20 70 75 74 0a 09 09 67 65 76 65 6e 74 2e 71 l put...gevent.q
16e0: 75 65 75 65 2e 4a 6f 69 6e 61 62 6c 65 51 75 65 ueue.JoinableQue
16f0: 75 65 2e 70 75 74 28 73 65 6c 66 2c 20 69 74 65 ue.put(self, ite
1700: 6d 2c 20 62 6c 6f 63 6b 2c 20 74 69 6d 65 6f 75 m, block, timeou
1710: 74 29 0a 09 09 23 20 69 6e 73 74 61 6c 6c 69 6e t)...# installin
1720: 67 20 65 76 65 6e 74 20 68 61 6e 64 6c 65 72 0a g event handler.
1730: 09 09 67 65 76 65 6e 74 2e 63 6f 72 65 2e 77 72 ..gevent.core.wr
1740: 69 74 65 5f 65 76 65 6e 74 28 73 65 6c 66 2e 5f ite_event(self._
1750: 66 69 6c 65 6e 6f 2c 20 73 65 6c 66 2e 5f 77 61 fileno, self._wa
1760: 69 74 5f 68 65 6c 70 65 72 29 0a 0a 09 64 65 66 it_helper)...def
1770: 20 5f 77 61 69 74 5f 68 65 6c 70 65 72 28 73 65 _wait_helper(se
1780: 6c 66 2c 20 65 76 2c 20 65 76 74 79 70 65 29 3a lf, ev, evtype):
1790: 0a 09 09 23 20 58 58 58 20 65 76 2c 20 65 76 74 ...# XXX ev, evt
17a0: 79 70 65 20 63 68 65 63 6b 69 6e 67 3f 0a 09 09 ype checking?...
17b0: 23 20 63 68 65 63 6b 69 6e 67 20 6c 65 66 74 6f # checking lefto
17c0: 76 65 72 0a 09 09 77 68 69 6c 65 20 54 72 75 65 ver...while True
17d0: 3a 0a 09 09 09 69 66 20 73 65 6c 66 2e 5f 74 61 :....if self._ta
17e0: 69 6c 20 3d 3d 20 4e 6f 6e 65 3a 0a 09 09 09 09 il == None:.....
17f0: 74 72 79 3a 0a 09 09 09 09 09 73 65 6c 66 2e 5f try:......self._
1800: 74 61 69 6c 20 3d 20 73 74 72 28 73 65 6c 66 2e tail = str(self.
1810: 67 65 74 5f 6e 6f 77 61 69 74 28 29 29 2e 65 6e get_nowait()).en
1820: 63 6f 64 65 28 27 75 74 66 2d 38 27 29 20 2b 20 code('utf-8') +
1830: 27 5c 6e 27 0a 09 09 09 09 65 78 63 65 70 74 20 '\n'.....except
1840: 67 65 76 65 6e 74 2e 71 75 65 75 65 2e 45 6d 70 gevent.queue.Emp
1850: 74 79 3a 0a 09 09 09 09 09 73 65 6c 66 2e 5f 74 ty:......self._t
1860: 61 69 6c 20 3d 20 4e 6f 6e 65 0a 09 09 09 09 09 ail = None......
1870: 72 65 74 75 72 6e 0a 09 09 09 23 20 77 72 69 74 return....# writ
1880: 69 6e 67 20 74 61 69 6c 0a 09 09 09 77 72 69 74 ing tail....writ
1890: 74 65 6e 20 3d 20 73 65 6c 66 2e 5f 69 6f 2e 77 ten = self._io.w
18a0: 72 69 74 65 28 73 65 6c 66 2e 5f 74 61 69 6c 29 rite(self._tail)
18b0: 0a 09 09 09 6c 65 6e 67 74 68 20 3d 20 6c 65 6e ....length = len
18c0: 28 73 65 6c 66 2e 5f 74 61 69 6c 29 0a 09 09 09 (self._tail)....
18d0: 69 66 20 77 72 69 74 74 65 6e 20 3d 3d 20 6c 65 if written == le
18e0: 6e 67 74 68 3a 0a 09 09 09 09 73 65 6c 66 2e 5f ngth:.....self._
18f0: 74 61 69 6c 20 3d 20 4e 6f 6e 65 0a 09 09 09 65 tail = None....e
1900: 6c 69 66 20 77 72 69 74 74 65 6e 20 3c 20 6c 65 lif written < le
1910: 6e 67 74 68 3a 0a 09 09 09 09 73 65 6c 66 2e 5f ngth:.....self._
1920: 74 61 69 6c 20 3d 20 73 65 6c 66 2e 5f 74 61 69 tail = self._tai
1930: 6c 5b 77 72 69 74 74 65 6e 3a 5d 0a 09 09 09 09 l[written:].....
1940: 62 72 65 61 6b 0a 09 09 09 65 6c 73 65 3a 0a 09 break....else:..
1950: 09 09 09 62 72 65 61 6b 0a 09 09 23 20 72 65 69 ...break...# rei
1960: 6e 73 74 61 6c 6c 69 6e 67 20 65 76 65 6e 74 20 nstalling event
1970: 68 61 6e 64 6c 65 72 0a 09 09 67 65 76 65 6e 74 handler...gevent
1980: 2e 63 6f 72 65 2e 77 72 69 74 65 5f 65 76 65 6e .core.write_even
1990: 74 28 73 65 6c 66 2e 5f 66 69 6c 65 6e 6f 2c 20 t(self._fileno,
19a0: 73 65 6c 66 2e 5f 77 61 69 74 5f 68 65 6c 70 65 self._wait_helpe
19b0: 72 29 0a 0a 23 20 77 72 61 70 70 65 72 20 61 72 r)..# wrapper ar
19c0: 6f 75 6e 64 20 64 61 74 61 62 61 73 65 0a 63 6c ound database.cl
19d0: 61 73 73 20 74 61 67 44 42 28 6f 62 6a 65 63 74 ass tagDB(object
19e0: 29 3a 0a 09 5f 5f 73 6c 6f 74 73 5f 5f 20 3d 20 ):..__slots__ =
19f0: 66 72 6f 7a 65 6e 73 65 74 28 5b 27 5f 63 75 72 frozenset(['_cur
1a00: 73 6f 72 27 2c 20 27 5f 64 62 27 5d 29 0a 0a 09 sor', '_db'])...
1a10: 64 65 66 20 5f 5f 69 6e 69 74 5f 5f 28 73 65 6c def __init__(sel
1a20: 66 29 3a 0a 09 09 63 6f 6e 66 69 67 2e 73 65 63 f):...config.sec
1a30: 74 69 6f 6e 28 27 64 61 74 61 62 61 73 65 27 29 tion('database')
1a40: 0a 09 09 69 66 20 63 6f 6e 66 69 67 5b 27 68 6f ...if config['ho
1a50: 73 74 27 5d 20 3d 3d 20 4e 6f 6e 65 3a 0a 09 09 st'] == None:...
1a60: 09 73 65 6c 66 2e 5f 64 62 20 3d 20 70 73 79 63 .self._db = psyc
1a70: 6f 70 67 32 2e 63 6f 6e 6e 65 63 74 28 0a 09 09 opg2.connect(...
1a80: 09 09 64 61 74 61 62 61 73 65 20 3d 20 63 6f 6e ..database = con
1a90: 66 69 67 5b 27 64 61 74 61 62 61 73 65 27 5d 2c fig['database'],
1aa0: 0a 09 09 09 09 75 73 65 72 20 3d 20 63 6f 6e 66 .....user = conf
1ab0: 69 67 5b 27 75 73 65 72 27 5d 2c 0a 09 09 09 09 ig['user'],.....
1ac0: 70 61 73 73 77 6f 72 64 20 3d 20 63 6f 6e 66 69 password = confi
1ad0: 67 5b 27 70 61 73 73 77 6f 72 64 27 5d 0a 09 09 g['password']...
1ae0: 09 29 0a 09 09 65 6c 73 65 3a 0a 09 09 09 73 65 .)...else:....se
1af0: 6c 66 2e 5f 64 62 20 3d 20 70 73 79 63 6f 70 67 lf._db = psycopg
1b00: 32 2e 63 6f 6e 6e 65 63 74 28 0a 09 09 09 09 64 2.connect(.....d
1b10: 61 74 61 62 61 73 65 20 3d 20 63 6f 6e 66 69 67 atabase = config
1b20: 5b 27 64 61 74 61 62 61 73 65 27 5d 2c 0a 09 09 ['database'],...
1b30: 09 09 68 6f 73 74 20 3d 20 63 6f 6e 66 69 67 5b ..host = config[
1b40: 27 68 6f 73 74 27 5d 2c 0a 09 09 09 09 75 73 65 'host'],.....use
1b50: 72 20 3d 20 63 6f 6e 66 69 67 5b 27 75 73 65 72 r = config['user
1b60: 27 5d 2c 0a 09 09 09 09 70 61 73 73 77 6f 72 64 '],.....password
1b70: 20 3d 20 63 6f 6e 66 69 67 5b 27 70 61 73 73 77 = config['passw
1b80: 6f 72 64 27 5d 0a 09 09 09 29 0a 09 09 73 65 6c ord']....)...sel
1b90: 66 2e 5f 63 75 72 73 6f 72 20 3d 20 73 65 6c 66 f._cursor = self
1ba0: 2e 5f 64 62 2e 63 75 72 73 6f 72 28 29 0a 0a 09 ._db.cursor()...
1bb0: 64 65 66 20 5f 66 69 65 6c 64 5f 6e 61 6d 65 73 def _field_names
1bc0: 28 73 65 6c 66 29 3a 0a 09 09 6e 61 6d 65 73 20 (self):...names
1bd0: 3d 20 5b 5d 0a 09 09 66 6f 72 20 72 65 63 6f 72 = []...for recor
1be0: 64 20 69 6e 20 73 65 6c 66 2e 5f 63 75 72 73 6f d in self._curso
1bf0: 72 2e 64 65 73 63 72 69 70 74 69 6f 6e 3a 0a 09 r.description:..
1c00: 09 09 6e 61 6d 65 73 2e 61 70 70 65 6e 64 28 72 ..names.append(r
1c10: 65 63 6f 72 64 2e 6e 61 6d 65 29 0a 09 09 72 65 ecord.name)...re
1c20: 74 75 72 6e 28 6e 61 6d 65 73 29 0a 0a 09 64 65 turn(names)...de
1c30: 66 20 63 68 65 63 6b 28 73 65 6c 66 2c 20 73 69 f check(self, si
1c40: 74 65 2c 20 69 70 5f 61 64 64 72 65 73 73 29 3a te, ip_address):
1c50: 0a 09 09 73 65 6c 66 2e 5f 63 75 72 73 6f 72 2e ...self._cursor.
1c60: 65 78 65 63 75 74 65 28 22 73 65 6c 65 63 74 20 execute("select
1c70: 2a 20 66 72 6f 6d 20 28 73 65 6c 65 63 74 20 72 * from (select r
1c80: 65 64 69 72 65 63 74 5f 75 72 6c 2c 20 72 65 67 edirect_url, reg
1c90: 65 78 70 20 66 72 6f 6d 20 73 69 74 65 5f 72 75 exp from site_ru
1ca0: 6c 65 20 77 68 65 72 65 20 73 69 74 65 20 3c 40 le where site <@
1cb0: 20 74 72 69 70 64 6f 6d 61 69 6e 28 25 73 29 20 tripdomain(%s)
1cc0: 61 6e 64 20 6e 65 74 6d 61 73 6b 20 3e 3e 3d 20 and netmask >>=
1cd0: 25 73 20 6f 72 64 65 72 20 62 79 20 61 72 72 61 %s order by arra
1ce0: 79 5f 6c 65 6e 67 74 68 28 73 69 74 65 2c 20 31 y_length(site, 1
1cf0: 29 20 64 65 73 63 29 20 61 20 67 72 6f 75 70 20 ) desc) a group
1d00: 62 79 20 72 65 64 69 72 65 63 74 5f 75 72 6c 2c by redirect_url,
1d10: 20 72 65 67 65 78 70 22 2c 20 5b 73 69 74 65 2c regexp", [site,
1d20: 20 69 70 5f 61 64 64 72 65 73 73 5d 29 0a 09 09 ip_address])...
1d30: 72 65 74 75 72 6e 28 73 65 6c 66 2e 5f 63 75 72 return(self._cur
1d40: 73 6f 72 2e 66 65 74 63 68 61 6c 6c 28 29 29 0a sor.fetchall()).
1d50: 0a 09 64 65 66 20 64 75 6d 70 28 73 65 6c 66 29 ..def dump(self)
1d60: 3a 0a 09 09 73 65 6c 66 2e 5f 63 75 72 73 6f 72 :...self._cursor
1d70: 2e 65 78 65 63 75 74 65 28 22 73 65 6c 65 63 74 .execute("select
1d80: 20 75 6e 74 72 69 70 28 73 69 74 65 29 20 61 73 untrip(site) as
1d90: 20 73 69 74 65 2c 20 74 61 67 3a 3a 74 65 78 74 site, tag::text
1da0: 2c 20 72 65 67 65 78 70 20 66 72 6f 6d 20 75 72 , regexp from ur
1db0: 6c 73 20 6f 72 64 65 72 20 62 79 20 73 69 74 65 ls order by site
1dc0: 2c 20 74 61 67 22 29 0a 09 09 72 65 74 75 72 6e , tag")...return
1dd0: 28 73 65 6c 66 2e 5f 66 69 65 6c 64 5f 6e 61 6d (self._field_nam
1de0: 65 73 28 29 2c 20 73 65 6c 66 2e 5f 63 75 72 73 es(), self._curs
1df0: 6f 72 2e 66 65 74 63 68 61 6c 6c 28 29 29 0a 0a or.fetchall())..
1e00: 09 64 65 66 20 6c 6f 61 64 28 73 65 6c 66 2c 20 .def load(self,
1e10: 64 61 74 61 29 3a 0a 09 09 69 66 20 63 6f 6e 66 data):...if conf
1e20: 69 67 2e 6f 70 74 69 6f 6e 73 2e 66 6c 75 73 68 ig.options.flush
1e30: 5f 64 62 3a 0a 09 09 09 73 65 6c 66 2e 5f 63 75 _db:....self._cu
1e40: 72 73 6f 72 2e 65 78 65 63 75 74 65 28 27 64 65 rsor.execute('de
1e50: 6c 65 74 65 20 66 72 6f 6d 20 75 72 6c 73 3b 27 lete from urls;'
1e60: 29 0a 09 09 62 75 6e 64 6c 65 20 3d 20 5b 5d 0a )...bundle = [].
1e70: 09 09 66 6f 72 20 72 6f 77 20 69 6e 20 64 61 74 ..for row in dat
1e80: 61 3a 0a 09 09 09 69 66 20 6c 65 6e 28 72 6f 77 a:....if len(row
1e90: 29 20 3d 3d 20 32 3a 0a 09 09 09 09 62 75 6e 64 ) == 2:.....bund
1ea0: 6c 65 2e 61 70 70 65 6e 64 28 5b 72 6f 77 5b 30 le.append([row[0
1eb0: 5d 2c 20 72 6f 77 5b 31 5d 2c 20 4e 6f 6e 65 5d ], row[1], None]
1ec0: 29 0a 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 62 )....else:.....b
1ed0: 75 6e 64 6c 65 2e 61 70 70 65 6e 64 28 5b 72 6f undle.append([ro
1ee0: 77 5b 30 5d 2c 20 72 6f 77 5b 31 5d 2c 20 72 6f w[0], row[1], ro
1ef0: 77 5b 32 5d 5d 29 0a 09 09 73 65 6c 66 2e 5f 63 w[2]])...self._c
1f00: 75 72 73 6f 72 2e 65 78 65 63 75 74 65 6d 61 6e ursor.executeman
1f10: 79 28 22 69 6e 73 65 72 74 20 69 6e 74 6f 20 75 y("insert into u
1f20: 72 6c 73 20 28 73 69 74 65 2c 20 74 61 67 2c 20 rls (site, tag,
1f30: 72 65 67 65 78 70 29 20 76 61 6c 75 65 73 20 28 regexp) values (
1f40: 74 72 69 70 64 6f 6d 61 69 6e 28 25 73 29 2c 20 tripdomain(%s),
1f50: 25 73 2c 20 25 73 29 22 2c 20 62 75 6e 64 6c 65 %s, %s)", bundle
1f60: 29 0a 09 09 73 65 6c 66 2e 5f 63 75 72 73 6f 72 )...self._cursor
1f70: 2e 65 78 65 63 75 74 65 28 22 75 70 64 61 74 65 .execute("update
1f80: 20 75 72 6c 73 20 73 65 74 20 72 65 67 65 78 70 urls set regexp
1f90: 20 3d 20 4e 55 4c 4c 20 77 68 65 72 65 20 72 65 = NULL where re
1fa0: 67 65 78 70 20 3d 20 27 27 22 29 0a 09 09 73 65 gexp = ''")...se
1fb0: 6c 66 2e 5f 64 62 2e 63 6f 6d 6d 69 74 28 29 0a lf._db.commit().
1fc0: 0a 09 64 65 66 20 6c 6f 61 64 5f 63 6f 6e 66 28 ..def load_conf(
1fd0: 73 65 6c 66 2c 20 63 73 76 5f 64 61 74 61 29 3a self, csv_data):
1fe0: 0a 09 09 73 65 6c 66 2e 5f 63 75 72 73 6f 72 2e ...self._cursor.
1ff0: 65 78 65 63 75 74 65 28 27 64 65 6c 65 74 65 20 execute('delete
2000: 66 72 6f 6d 20 72 75 6c 65 73 3b 27 29 0a 09 09 from rules;')...
2010: 62 75 6e 64 6c 65 20 3d 20 5b 5d 0a 09 09 66 6f bundle = []...fo
2020: 72 20 72 6f 77 20 69 6e 20 63 73 76 5f 64 61 74 r row in csv_dat
2030: 61 3a 0a 09 09 09 62 75 6e 64 6c 65 2e 61 70 70 a:....bundle.app
2040: 65 6e 64 28 5b 72 6f 77 5b 30 5d 2c 20 72 6f 77 end([row[0], row
2050: 5b 31 5d 2c 20 69 6e 74 28 72 6f 77 5b 32 5d 29 [1], int(row[2])
2060: 2c 20 69 6e 74 28 72 6f 77 5b 33 5d 29 2c 20 72 , int(row[3]), r
2070: 6f 77 5b 34 5d 2c 20 72 6f 77 5b 35 5d 2c 20 72 ow[4], row[5], r
2080: 6f 77 5b 36 5d 5d 29 0a 09 09 73 65 6c 66 2e 5f ow[6]])...self._
2090: 63 75 72 73 6f 72 2e 65 78 65 63 75 74 65 6d 61 cursor.executema
20a0: 6e 79 28 22 69 6e 73 65 72 74 20 69 6e 74 6f 20 ny("insert into
20b0: 72 75 6c 65 73 20 28 6e 65 74 6d 61 73 6b 2c 20 rules (netmask,
20c0: 72 65 64 69 72 65 63 74 5f 75 72 6c 2c 20 66 72 redirect_url, fr
20d0: 6f 6d 5f 77 65 65 6b 64 61 79 2c 20 74 6f 5f 77 om_weekday, to_w
20e0: 65 65 6b 64 61 79 2c 20 66 72 6f 6d 5f 74 69 6d eekday, from_tim
20f0: 65 2c 20 74 6f 5f 74 69 6d 65 2c 20 74 61 67 29 e, to_time, tag)
2100: 20 76 61 6c 75 65 73 20 28 25 73 3a 3a 74 65 78 values (%s::tex
2110: 74 3a 3a 63 69 64 72 2c 20 25 73 2c 20 25 73 2c t::cidr, %s, %s,
2120: 20 25 73 2c 20 25 73 3a 3a 74 65 78 74 3a 3a 74 %s, %s::text::t
2130: 69 6d 65 2c 20 25 73 3a 3a 74 65 78 74 3a 3a 74 ime, %s::text::t
2140: 69 6d 65 2c 20 25 73 3a 3a 74 65 78 74 3a 3a 74 ime, %s::text::t
2150: 65 78 74 5b 5d 29 22 2c 20 62 75 6e 64 6c 65 29 ext[])", bundle)
2160: 0a 09 09 73 65 6c 66 2e 5f 64 62 2e 63 6f 6d 6d ...self._db.comm
2170: 69 74 28 29 0a 0a 09 64 65 66 20 64 75 6d 70 5f it()...def dump_
2180: 63 6f 6e 66 28 73 65 6c 66 29 3a 0a 09 09 73 65 conf(self):...se
2190: 6c 66 2e 5f 63 75 72 73 6f 72 2e 65 78 65 63 75 lf._cursor.execu
21a0: 74 65 28 22 73 65 6c 65 63 74 20 6e 65 74 6d 61 te("select netma
21b0: 73 6b 2c 20 72 65 64 69 72 65 63 74 5f 75 72 6c sk, redirect_url
21c0: 2c 20 66 72 6f 6d 5f 77 65 65 6b 64 61 79 2c 20 , from_weekday,
21d0: 74 6f 5f 77 65 65 6b 64 61 79 2c 20 66 72 6f 6d to_weekday, from
21e0: 5f 74 69 6d 65 2c 20 74 6f 5f 74 69 6d 65 2c 20 _time, to_time,
21f0: 74 61 67 3a 3a 74 65 78 74 20 66 72 6f 6d 20 72 tag::text from r
2200: 75 6c 65 73 22 29 0a 09 09 72 65 74 75 72 6e 28 ules")...return(
2210: 73 65 6c 66 2e 5f 66 69 65 6c 64 5f 6e 61 6d 65 self._field_name
2220: 73 28 29 2c 20 73 65 6c 66 2e 5f 63 75 72 73 6f s(), self._curso
2230: 72 2e 66 65 74 63 68 61 6c 6c 28 29 29 0a 0a 23 r.fetchall())..#
2240: 20 61 62 73 74 72 61 63 74 20 63 6c 61 73 73 20 abstract class
2250: 77 69 74 68 20 62 61 73 69 63 20 63 68 65 63 6b with basic check
2260: 69 6e 67 20 66 75 6e 63 74 69 6f 6e 61 6c 69 74 ing functionalit
2270: 79 0a 63 6c 61 73 73 20 43 68 65 63 6b 65 72 28 y.class Checker(
2280: 6f 62 6a 65 63 74 29 3a 0a 09 5f 5f 73 6c 6f 74 object):..__slot
2290: 73 5f 5f 20 3d 20 66 72 6f 7a 65 6e 73 65 74 28 s__ = frozenset(
22a0: 5b 27 5f 64 62 27 2c 20 27 5f 6c 6f 67 27 2c 20 ['_db', '_log',
22b0: 27 5f 71 75 65 75 65 27 2c 20 27 5f 72 65 71 75 '_queue', '_requ
22c0: 65 73 74 27 2c 20 27 5f 73 74 64 6f 75 74 27 5d est', '_stdout']
22d0: 29 0a 0a 09 64 65 66 20 5f 5f 69 6e 69 74 5f 5f )...def __init__
22e0: 28 73 65 6c 66 2c 20 71 75 65 75 65 2c 20 6c 6f (self, queue, lo
22f0: 67 67 65 72 29 3a 0a 09 09 73 65 6c 66 2e 5f 64 gger):...self._d
2300: 62 20 3d 20 74 61 67 44 42 28 29 0a 09 09 73 65 b = tagDB()...se
2310: 6c 66 2e 5f 6c 6f 67 20 3d 20 6c 6f 67 67 65 72 lf._log = logger
2320: 0a 09 09 73 65 6c 66 2e 5f 6c 6f 67 2e 69 6e 66 ...self._log.inf
2330: 6f 28 73 74 72 28 27 73 74 61 72 74 65 64 27 29 o(str('started')
2340: 29 0a 09 09 73 65 6c 66 2e 5f 72 65 71 75 65 73 )...self._reques
2350: 74 20 3d 20 72 65 2e 63 6f 6d 70 69 6c 65 28 27 t = re.compile('
2360: 5e 28 5b 30 2d 39 5d 2b 29 5c 20 28 68 74 74 70 ^([0-9]+)\ (http
2370: 7c 66 74 70 29 3a 5c 2f 5c 2f 28 5b 2d 5c 77 2e |ftp):\/\/([-\w.
2380: 3a 5d 2b 29 5c 2f 28 5b 5e 20 5d 2a 29 5c 20 28 :]+)\/([^ ]*)\ (
2390: 5b 30 2d 39 2e 5d 2b 29 5c 2f 28 2d 7c 5b 5c 77 [0-9.]+)\/(-|[\w
23a0: 5c 2e 5d 2b 29 5c 20 28 2d 7c 5c 77 2b 29 5c 20 \.]+)\ (-|\w+)\
23b0: 28 2d 7c 47 45 54 7c 48 45 41 44 7c 50 4f 53 54 (-|GET|HEAD|POST
23c0: 29 2e 2a 24 27 29 0a 09 09 73 65 6c 66 2e 5f 71 ).*$')...self._q
23d0: 75 65 75 65 20 3d 20 71 75 65 75 65 0a 09 09 73 ueue = queue...s
23e0: 65 6c 66 2e 5f 73 74 64 6f 75 74 20 3d 20 46 57 elf._stdout = FW
23f0: 72 69 74 65 6c 69 6e 65 51 75 65 75 65 28 73 79 ritelineQueue(sy
2400: 73 2e 73 74 64 6f 75 74 2c 20 46 61 6c 73 65 29 s.stdout, False)
2410: 0a 0a 09 64 65 66 20 70 72 6f 63 65 73 73 28 73 ...def process(s
2420: 65 6c 66 2c 20 69 64 2c 20 73 69 74 65 2c 20 69 elf, id, site, i
2430: 70 5f 61 64 64 72 65 73 73 2c 20 75 72 6c 5f 70 p_address, url_p
2440: 61 74 68 2c 20 6c 69 6e 65 20 3d 20 4e 6f 6e 65 ath, line = None
2450: 29 3a 0a 09 09 23 73 65 6c 66 2e 5f 6c 6f 67 2e ):...#self._log.
2460: 69 6e 66 6f 28 73 74 72 28 27 74 72 79 69 6e 67 info(str('trying
2470: 20 7b 7d 27 2e 66 6f 72 6d 61 74 28 73 69 74 65 {}'.format(site
2480: 29 29 29 0a 09 09 72 65 73 75 6c 74 20 3d 20 73 )))...result = s
2490: 65 6c 66 2e 5f 64 62 2e 63 68 65 63 6b 28 73 69 elf._db.check(si
24a0: 74 65 2c 20 69 70 5f 61 64 64 72 65 73 73 29 0a te, ip_address).
24b0: 09 09 72 65 70 6c 79 20 3d 20 4e 6f 6e 65 0a 09 ..reply = None..
24c0: 09 23 73 65 6c 66 2e 5f 6c 6f 67 2e 69 6e 66 6f .#self._log.info
24d0: 28 73 74 72 28 27 67 6f 74 20 7b 7d 20 6c 69 6e (str('got {} lin
24e0: 65 73 20 66 72 6f 6d 20 64 61 74 61 62 61 73 65 es from database
24f0: 27 2e 66 6f 72 6d 61 74 28 6c 65 6e 28 72 65 73 '.format(len(res
2500: 75 6c 74 29 29 29 29 0a 09 09 66 6f 72 20 72 6f ult))))...for ro
2510: 77 20 69 6e 20 72 65 73 75 6c 74 3a 0a 09 09 09 w in result:....
2520: 69 66 20 72 6f 77 20 21 3d 20 4e 6f 6e 65 20 61 if row != None a
2530: 6e 64 20 72 6f 77 5b 30 5d 20 21 3d 20 4e 6f 6e nd row[0] != Non
2540: 65 3a 0a 09 09 09 09 69 66 20 72 6f 77 5b 31 5d e:.....if row[1]
2550: 20 21 3d 20 4e 6f 6e 65 3a 0a 09 09 09 09 09 73 != None:......s
2560: 65 6c 66 2e 5f 6c 6f 67 2e 69 6e 66 6f 28 73 74 elf._log.info(st
2570: 72 28 27 74 72 79 69 6e 67 20 72 65 67 65 78 70 r('trying regexp
2580: 20 22 7b 7d 22 20 76 65 72 73 75 73 20 22 7b 7d "{}" versus "{}
2590: 22 27 2e 66 6f 72 6d 61 74 28 72 6f 77 5b 31 5d "'.format(row[1]
25a0: 2c 20 75 72 6c 5f 70 61 74 68 29 29 29 0a 09 09 , url_path)))...
25b0: 09 09 09 74 72 79 3a 0a 09 09 09 09 09 09 69 66 ...try:.......if
25c0: 20 72 65 2e 63 6f 6d 70 69 6c 65 28 72 6f 77 5b re.compile(row[
25d0: 31 5d 29 2e 6d 61 74 63 68 28 75 72 6c 5f 70 61 1]).match(url_pa
25e0: 74 68 29 3a 0a 09 09 09 09 09 09 09 72 65 70 6c th):........repl
25f0: 79 20 3d 20 72 6f 77 5b 30 5d 2e 66 6f 72 6d 61 y = row[0].forma
2600: 74 28 75 72 6c 5f 70 61 74 68 29 0a 09 09 09 09 t(url_path).....
2610: 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 09 63 ..else:........c
2620: 6f 6e 74 69 6e 75 65 0a 09 09 09 09 09 65 78 63 ontinue......exc
2630: 65 70 74 3a 0a 09 09 09 09 09 09 73 65 6c 66 2e ept:.......self.
2640: 5f 6c 6f 67 2e 69 6e 66 6f 28 73 74 72 28 22 63 _log.info(str("c
2650: 61 6e 27 74 20 63 6f 6d 70 69 6c 65 20 72 65 67 an't compile reg
2660: 65 78 70 22 29 29 0a 09 09 09 09 65 6c 73 65 3a exp")).....else:
2670: 0a 09 09 09 09 09 72 65 70 6c 79 20 3d 20 72 6f ......reply = ro
2680: 77 5b 30 5d 2e 66 6f 72 6d 61 74 28 75 72 6c 5f w[0].format(url_
2690: 70 61 74 68 29 0a 09 09 09 69 66 20 72 65 70 6c path)....if repl
26a0: 79 20 21 3d 20 4e 6f 6e 65 3a 0a 09 09 09 09 73 y != None:.....s
26b0: 65 6c 66 2e 77 72 69 74 65 6c 69 6e 65 28 27 7b elf.writeline('{
26c0: 7d 20 7b 7d 27 2e 66 6f 72 6d 61 74 28 69 64 2c } {}'.format(id,
26d0: 20 72 65 70 6c 79 29 29 0a 09 09 09 09 72 65 74 reply)).....ret
26e0: 75 72 6e 28 54 72 75 65 29 0a 09 09 73 65 6c 66 urn(True)...self
26f0: 2e 77 72 69 74 65 6c 69 6e 65 28 27 7b 7d 27 2e .writeline('{}'.
2700: 66 6f 72 6d 61 74 28 69 64 29 29 0a 0a 09 64 65 format(id))...de
2710: 66 20 63 68 65 63 6b 28 73 65 6c 66 29 3a 0a 09 f check(self):..
2720: 09 77 68 69 6c 65 20 54 72 75 65 3a 0a 09 09 09 .while True:....
2730: 6c 69 6e 65 20 3d 20 73 65 6c 66 2e 5f 71 75 65 line = self._que
2740: 75 65 2e 67 65 74 28 29 0a 09 09 09 69 66 20 6c ue.get()....if l
2750: 69 6e 65 20 3d 3d 20 4e 6f 6e 65 3a 0a 09 09 09 ine == None:....
2760: 09 62 72 65 61 6b 0a 09 09 09 23 73 65 6c 66 2e .break....#self.
2770: 5f 6c 6f 67 2e 69 6e 66 6f 28 73 74 72 28 27 72 _log.info(str('r
2780: 65 71 75 65 73 74 3a 20 27 20 2b 20 6c 69 6e 65 equest: ' + line
2790: 29 29 0a 09 09 09 72 65 71 75 65 73 74 20 3d 20 ))....request =
27a0: 73 65 6c 66 2e 5f 72 65 71 75 65 73 74 2e 6d 61 self._request.ma
27b0: 74 63 68 28 6c 69 6e 65 29 0a 09 09 09 69 66 20 tch(line)....if
27c0: 72 65 71 75 65 73 74 3a 0a 09 09 09 09 69 64 20 request:.....id
27d0: 3d 20 72 65 71 75 65 73 74 2e 67 72 6f 75 70 28 = request.group(
27e0: 31 29 0a 09 09 09 09 23 70 72 6f 74 6f 20 3d 20 1).....#proto =
27f0: 72 65 71 75 65 73 74 2e 67 72 6f 75 70 28 32 29 request.group(2)
2800: 0a 09 09 09 09 73 69 74 65 20 3d 20 72 65 71 75 .....site = requ
2810: 65 73 74 2e 67 72 6f 75 70 28 33 29 0a 09 09 09 est.group(3)....
2820: 09 75 72 6c 5f 70 61 74 68 20 3d 20 72 65 71 75 .url_path = requ
2830: 65 73 74 2e 67 72 6f 75 70 28 34 29 0a 09 09 09 est.group(4)....
2840: 09 69 70 5f 61 64 64 72 65 73 73 20 3d 20 72 65 .ip_address = re
2850: 71 75 65 73 74 2e 67 72 6f 75 70 28 35 29 0a 09 quest.group(5)..
2860: 09 09 09 73 65 6c 66 2e 70 72 6f 63 65 73 73 28 ...self.process(
2870: 69 64 2c 20 73 69 74 65 2c 20 69 70 5f 61 64 64 id, site, ip_add
2880: 72 65 73 73 2c 20 75 72 6c 5f 70 61 74 68 2c 20 ress, url_path,
2890: 6c 69 6e 65 29 0a 09 09 09 65 6c 73 65 3a 0a 09 line)....else:..
28a0: 09 09 09 73 65 6c 66 2e 5f 6c 6f 67 2e 69 6e 66 ...self._log.inf
28b0: 6f 28 73 74 72 28 27 62 61 64 20 72 65 71 75 65 o(str('bad reque
28c0: 73 74 27 29 29 0a 09 09 09 09 73 65 6c 66 2e 77 st')).....self.w
28d0: 72 69 74 65 6c 69 6e 65 28 6c 69 6e 65 29 0a 0a riteline(line)..
28e0: 09 64 65 66 20 77 72 69 74 65 6c 69 6e 65 28 73 .def writeline(s
28f0: 65 6c 66 2c 20 73 74 72 69 6e 67 29 3a 0a 09 09 elf, string):...
2900: 73 65 6c 66 2e 5f 6c 6f 67 2e 69 6e 66 6f 28 73 self._log.info(s
2910: 74 72 28 27 3e 20 27 20 2b 20 73 74 72 69 6e 67 tr('> ' + string
2920: 29 29 0a 09 09 73 65 6c 66 2e 5f 73 74 64 6f 75 ))...self._stdou
2930: 74 2e 70 75 74 28 73 74 72 69 6e 67 29 0a 0a 09 t.put(string)...
2940: 64 65 66 20 6c 6f 6f 70 28 73 65 6c 66 29 3a 0a def loop(self):.
2950: 09 09 70 6f 6f 6c 20 3d 20 67 65 76 65 6e 74 2e ..pool = gevent.
2960: 70 6f 6f 6c 2e 50 6f 6f 6c 28 29 0a 09 09 70 6f pool.Pool()...po
2970: 6f 6c 2e 73 70 61 77 6e 28 73 65 6c 66 2e 63 68 ol.spawn(self.ch
2980: 65 63 6b 29 0a 09 09 70 6f 6f 6c 2e 6a 6f 69 6e eck)...pool.join
2990: 28 29 0a 0a 69 66 20 63 6f 6e 66 69 67 2e 6f 70 ()..if config.op
29a0: 74 69 6f 6e 73 2e 64 75 6d 70 20 6f 72 20 63 6f tions.dump or co
29b0: 6e 66 69 67 2e 6f 70 74 69 6f 6e 73 2e 6c 6f 61 nfig.options.loa
29c0: 64 20 6f 72 20 63 6f 6e 66 69 67 2e 6f 70 74 69 d or config.opti
29d0: 6f 6e 73 2e 64 75 6d 70 5f 63 6f 6e 66 20 6f 72 ons.dump_conf or
29e0: 20 63 6f 6e 66 69 67 2e 6f 70 74 69 6f 6e 73 2e config.options.
29f0: 6c 6f 61 64 5f 63 6f 6e 66 3a 0a 09 69 6d 70 6f load_conf:..impo
2a00: 72 74 20 63 73 76 0a 0a 09 74 61 67 64 62 20 3d rt csv...tagdb =
2a10: 20 74 61 67 44 42 28 29 0a 09 64 61 74 61 5f 66 tagDB()..data_f
2a20: 69 65 6c 64 73 20 3d 20 5b 27 73 69 74 65 27 2c ields = ['site',
2a30: 20 27 74 61 67 27 2c 20 27 72 65 67 65 78 70 27 'tag', 'regexp'
2a40: 5d 0a 09 63 6f 6e 66 5f 66 69 65 6c 64 73 20 3d ]..conf_fields =
2a50: 20 5b 27 6e 65 74 6d 61 73 6b 27 2c 20 27 72 65 ['netmask', 're
2a60: 64 69 72 65 63 74 5f 75 72 6c 27 2c 20 27 66 72 direct_url', 'fr
2a70: 6f 6d 5f 77 65 65 6b 64 61 79 27 2c 20 27 74 6f om_weekday', 'to
2a80: 5f 77 65 65 6b 64 61 79 27 2c 20 27 66 72 6f 6d _weekday', 'from
2a90: 5f 74 69 6d 65 27 2c 20 27 74 6f 5f 74 69 6d 65 _time', 'to_time
2aa0: 27 2c 20 27 74 61 67 27 5d 0a 0a 09 69 66 20 63 ', 'tag']...if c
2ab0: 6f 6e 66 69 67 2e 6f 70 74 69 6f 6e 73 2e 64 75 onfig.options.du
2ac0: 6d 70 20 6f 72 20 63 6f 6e 66 69 67 2e 6f 70 74 mp or config.opt
2ad0: 69 6f 6e 73 2e 64 75 6d 70 5f 63 6f 6e 66 3a 0a ions.dump_conf:.
2ae0: 09 09 63 73 76 5f 77 72 69 74 65 72 20 3d 20 63 ..csv_writer = c
2af0: 73 76 2e 77 72 69 74 65 72 28 73 79 73 2e 73 74 sv.writer(sys.st
2b00: 64 6f 75 74 29 0a 09 09 69 66 20 63 6f 6e 66 69 dout)...if confi
2b10: 67 2e 6f 70 74 69 6f 6e 73 2e 64 75 6d 70 3a 0a g.options.dump:.
2b20: 09 09 09 64 75 6d 70 20 3d 20 74 61 67 64 62 2e ...dump = tagdb.
2b30: 64 75 6d 70 28 29 0a 09 09 65 6c 69 66 20 63 6f dump()...elif co
2b40: 6e 66 69 67 2e 6f 70 74 69 6f 6e 73 2e 64 75 6d nfig.options.dum
2b50: 70 5f 63 6f 6e 66 3a 0a 09 09 09 64 75 6d 70 20 p_conf:....dump
2b60: 3d 20 74 61 67 64 62 2e 64 75 6d 70 5f 63 6f 6e = tagdb.dump_con
2b70: 66 28 29 0a 0a 09 09 63 73 76 5f 77 72 69 74 65 f()....csv_write
2b80: 72 2e 77 72 69 74 65 72 6f 77 28 64 75 6d 70 5b r.writerow(dump[
2b90: 30 5d 29 0a 09 09 66 6f 72 20 6c 69 6e 65 20 69 0])...for line i
2ba0: 6e 20 64 75 6d 70 5b 31 5d 3a 0a 09 09 09 63 73 n dump[1]:....cs
2bb0: 76 5f 77 72 69 74 65 72 2e 77 72 69 74 65 72 6f v_writer.writero
2bc0: 77 28 6c 69 6e 65 29 0a 0a 09 65 6c 69 66 20 63 w(line)...elif c
2bd0: 6f 6e 66 69 67 2e 6f 70 74 69 6f 6e 73 2e 6c 6f onfig.options.lo
2be0: 61 64 20 6f 72 20 63 6f 6e 66 69 67 2e 6f 70 74 ad or config.opt
2bf0: 69 6f 6e 73 2e 6c 6f 61 64 5f 63 6f 6e 66 3a 0a ions.load_conf:.
2c00: 09 09 63 73 76 5f 72 65 61 64 65 72 20 3d 20 63 ..csv_reader = c
2c10: 73 76 2e 72 65 61 64 65 72 28 73 79 73 2e 73 74 sv.reader(sys.st
2c20: 64 69 6e 29 0a 09 09 66 69 72 73 74 5f 72 6f 77 din)...first_row
2c30: 20 3d 20 6e 65 78 74 28 63 73 76 5f 72 65 61 64 = next(csv_read
2c40: 65 72 29 0a 0a 09 09 69 66 20 63 6f 6e 66 69 67 er)....if config
2c50: 2e 6f 70 74 69 6f 6e 73 2e 6c 6f 61 64 3a 0a 09 .options.load:..
2c60: 09 09 66 69 65 6c 64 73 20 3d 20 64 61 74 61 5f ..fields = data_
2c70: 66 69 65 6c 64 73 0a 09 09 09 6c 6f 61 64 20 3d fields....load =
2c80: 20 74 61 67 64 62 2e 6c 6f 61 64 0a 09 09 65 6c tagdb.load...el
2c90: 69 66 20 63 6f 6e 66 69 67 2e 6f 70 74 69 6f 6e if config.option
2ca0: 73 2e 6c 6f 61 64 5f 63 6f 6e 66 3a 0a 09 09 09 s.load_conf:....
2cb0: 66 69 65 6c 64 73 20 3d 20 63 6f 6e 66 5f 66 69 fields = conf_fi
2cc0: 65 6c 64 73 0a 09 09 09 6c 6f 61 64 20 3d 20 74 elds....load = t
2cd0: 61 67 64 62 2e 6c 6f 61 64 5f 63 6f 6e 66 0a 0a agdb.load_conf..
2ce0: 09 09 61 73 73 65 72 74 20 66 69 72 73 74 5f 72 ..assert first_r
2cf0: 6f 77 20 3d 3d 20 66 69 65 6c 64 73 2c 20 27 46 ow == fields, 'F
2d00: 69 6c 65 20 6d 75 73 74 20 63 6f 6e 74 61 69 6e ile must contain
2d10: 20 63 73 76 20 64 61 74 61 20 77 69 74 68 20 74 csv data with t
2d20: 68 65 65 73 65 20 63 6f 6c 75 6d 6e 73 3a 20 27 heese columns: '
2d30: 20 2b 20 72 65 70 72 28 66 69 65 6c 64 73 29 0a + repr(fields).
2d40: 09 09 6c 6f 61 64 28 63 73 76 5f 72 65 61 64 65 ..load(csv_reade
2d50: 72 29 0a 0a 65 6c 73 65 3a 0a 09 23 20 6d 61 69 r)..else:..# mai
2d60: 6e 20 6c 6f 6f 70 0a 09 43 68 65 63 6b 65 72 28 n loop..Checker(
2d70: 73 74 64 69 6e 2c 20 6c 6f 67 67 65 72 29 2e 6c stdin, logger).l
2d80: 6f 6f 70 28 29 0a oop().