0000: 23 21 2f 75 73 72 2f 62 69 6e 2f 65 6e 76 20 70 #!/usr/bin/env p
0010: 79 74 68 6f 6e 0a 0a 66 72 6f 6d 20 5f 5f 66 75 ython..from __fu
0020: 74 75 72 65 5f 5f 20 69 6d 70 6f 72 74 20 64 69 ture__ import di
0030: 76 69 73 69 6f 6e 2c 20 70 72 69 6e 74 5f 66 75 vision, print_fu
0040: 6e 63 74 69 6f 6e 2c 20 75 6e 69 63 6f 64 65 5f nction, unicode_
0050: 6c 69 74 65 72 61 6c 73 0a 0a 69 6d 70 6f 72 74 literals..import
0060: 20 67 65 76 65 6e 74 2e 6d 6f 6e 6b 65 79 0a 67 gevent.monkey.g
0070: 65 76 65 6e 74 2e 6d 6f 6e 6b 65 79 2e 70 61 74 event.monkey.pat
0080: 63 68 5f 61 6c 6c 28 29 0a 0a 69 6d 70 6f 72 74 ch_all()..import
0090: 20 66 63 6e 74 6c 2c 20 67 65 76 65 6e 74 2e 63 fcntl, gevent.c
00a0: 6f 72 65 2c 20 67 65 76 65 6e 74 2e 70 6f 6f 6c ore, gevent.pool
00b0: 2c 20 67 65 76 65 6e 74 2e 71 75 65 75 65 2c 20 , gevent.queue,
00c0: 67 65 76 65 6e 74 2e 73 6f 63 6b 65 74 2c 20 6f gevent.socket, o
00d0: 73 2c 20 70 73 79 63 6f 70 67 32 2c 20 72 65 2c s, psycopg2, re,
00e0: 20 73 79 73 0a 0a 23 20 2f 2f 69 6e 63 6c 75 73 sys..# //inclus
00f0: 69 6f 6e 20 73 74 61 72 74 0a 23 20 43 6f 70 79 ion start.# Copy
0100: 72 69 67 68 74 20 28 43 29 20 32 30 31 30 20 44 right (C) 2010 D
0110: 61 6e 69 65 6c 65 20 56 61 72 72 61 7a 7a 6f 20 aniele Varrazzo
0120: 3c 64 61 6e 69 65 6c 65 2e 76 61 72 72 61 7a 7a <daniele.varrazz
0130: 6f 40 67 6d 61 69 6c 2e 63 6f 6d 3e 0a 23 20 61 o@gmail.com>.# a
0140: 6e 64 20 6c 69 63 65 6e 73 65 64 20 75 6e 64 65 nd licensed unde
0150: 72 20 74 68 65 20 4d 49 54 20 6c 69 63 65 6e 73 r the MIT licens
0160: 65 3a 0a 0a 64 65 66 20 67 65 76 65 6e 74 5f 77 e:..def gevent_w
0170: 61 69 74 5f 63 61 6c 6c 62 61 63 6b 28 63 6f 6e ait_callback(con
0180: 6e 2c 20 74 69 6d 65 6f 75 74 3d 4e 6f 6e 65 29 n, timeout=None)
0190: 3a 0a 09 22 22 22 41 20 77 61 69 74 20 63 61 6c :.."""A wait cal
01a0: 6c 62 61 63 6b 20 75 73 65 66 75 6c 20 74 6f 20 lback useful to
01b0: 61 6c 6c 6f 77 20 67 65 76 65 6e 74 20 74 6f 20 allow gevent to
01c0: 77 6f 72 6b 20 77 69 74 68 20 50 73 79 63 6f 70 work with Psycop
01d0: 67 2e 22 22 22 0a 09 77 68 69 6c 65 20 31 3a 0a g."""..while 1:.
01e0: 09 09 73 74 61 74 65 20 3d 20 63 6f 6e 6e 2e 70 ..state = conn.p
01f0: 6f 6c 6c 28 29 0a 09 09 69 66 20 73 74 61 74 65 oll()...if state
0200: 20 3d 3d 20 70 73 79 63 6f 70 67 32 2e 65 78 74 == psycopg2.ext
0210: 65 6e 73 69 6f 6e 73 2e 50 4f 4c 4c 5f 4f 4b 3a ensions.POLL_OK:
0220: 0a 09 09 09 62 72 65 61 6b 0a 09 09 65 6c 69 66 ....break...elif
0230: 20 73 74 61 74 65 20 3d 3d 20 70 73 79 63 6f 70 state == psycop
0240: 67 32 2e 65 78 74 65 6e 73 69 6f 6e 73 2e 50 4f g2.extensions.PO
0250: 4c 4c 5f 52 45 41 44 3a 0a 09 09 09 67 65 76 65 LL_READ:....geve
0260: 6e 74 2e 73 6f 63 6b 65 74 2e 77 61 69 74 5f 72 nt.socket.wait_r
0270: 65 61 64 28 63 6f 6e 6e 2e 66 69 6c 65 6e 6f 28 ead(conn.fileno(
0280: 29 2c 20 74 69 6d 65 6f 75 74 3d 74 69 6d 65 6f ), timeout=timeo
0290: 75 74 29 0a 09 09 65 6c 69 66 20 73 74 61 74 65 ut)...elif state
02a0: 20 3d 3d 20 70 73 79 63 6f 70 67 32 2e 65 78 74 == psycopg2.ext
02b0: 65 6e 73 69 6f 6e 73 2e 50 4f 4c 4c 5f 57 52 49 ensions.POLL_WRI
02c0: 54 45 3a 0a 09 09 09 67 65 76 65 6e 74 2e 73 6f TE:....gevent.so
02d0: 63 6b 65 74 2e 77 61 69 74 5f 77 72 69 74 65 28 cket.wait_write(
02e0: 63 6f 6e 6e 2e 66 69 6c 65 6e 6f 28 29 2c 20 74 conn.fileno(), t
02f0: 69 6d 65 6f 75 74 3d 74 69 6d 65 6f 75 74 29 0a imeout=timeout).
0300: 09 09 65 6c 73 65 3a 0a 09 09 09 72 61 69 73 65 ..else:....raise
0310: 20 70 73 79 63 6f 70 67 32 2e 4f 70 65 72 61 74 psycopg2.Operat
0320: 69 6f 6e 61 6c 45 72 72 6f 72 28 22 42 61 64 20 ionalError("Bad
0330: 72 65 73 75 6c 74 20 66 72 6f 6d 20 70 6f 6c 6c result from poll
0340: 3a 20 25 72 22 20 25 20 73 74 61 74 65 29 0a 0a : %r" % state)..
0350: 69 66 20 6e 6f 74 20 68 61 73 61 74 74 72 28 70 if not hasattr(p
0360: 73 79 63 6f 70 67 32 2e 65 78 74 65 6e 73 69 6f sycopg2.extensio
0370: 6e 73 2c 20 27 73 65 74 5f 77 61 69 74 5f 63 61 ns, 'set_wait_ca
0380: 6c 6c 62 61 63 6b 27 29 3a 0a 09 72 61 69 73 65 llback'):..raise
0390: 20 49 6d 70 6f 72 74 45 72 72 6f 72 28 22 73 75 ImportError("su
03a0: 70 70 6f 72 74 20 66 6f 72 20 63 6f 72 6f 75 74 pport for corout
03b0: 69 6e 65 73 20 6e 6f 74 20 61 76 61 69 6c 61 62 ines not availab
03c0: 6c 65 20 69 6e 20 74 68 69 73 20 50 73 79 63 6f le in this Psyco
03d0: 70 67 20 76 65 72 73 69 6f 6e 20 28 25 73 29 22 pg version (%s)"
03e0: 20 25 20 70 73 79 63 6f 70 67 32 2e 5f 5f 76 65 % psycopg2.__ve
03f0: 72 73 69 6f 6e 5f 5f 29 0a 09 70 73 79 63 6f 70 rsion__)..psycop
0400: 67 32 2e 65 78 74 65 6e 73 69 6f 6e 73 2e 73 65 g2.extensions.se
0410: 74 5f 77 61 69 74 5f 63 61 6c 6c 62 61 63 6b 28 t_wait_callback(
0420: 67 65 76 65 6e 74 5f 77 61 69 74 5f 63 61 6c 6c gevent_wait_call
0430: 62 61 63 6b 29 0a 0a 23 20 2f 2f 69 6e 63 6c 75 back)..# //inclu
0440: 73 69 6f 6e 20 65 6e 64 0a 0a 23 20 74 68 69 73 sion end..# this
0450: 20 63 6c 61 73 73 65 73 20 70 72 6f 63 65 73 73 classes process
0460: 65 73 20 63 6f 6e 66 69 67 20 66 69 6c 65 20 61 es config file a
0470: 6e 64 20 73 75 62 73 74 69 74 75 74 65 73 20 64 nd substitutes d
0480: 65 66 61 75 6c 74 20 76 61 6c 75 65 73 0a 63 6c efault values.cl
0490: 61 73 73 20 43 6f 6e 66 69 67 3a 0a 09 5f 5f 73 ass Config:..__s
04a0: 6c 6f 74 73 5f 5f 20 3d 20 66 72 6f 7a 65 6e 73 lots__ = frozens
04b0: 65 74 28 5b 27 5f 63 6f 6e 66 69 67 27 2c 20 27 et(['_config', '
04c0: 5f 64 65 66 61 75 6c 74 27 2c 20 27 5f 73 65 63 _default', '_sec
04d0: 74 69 6f 6e 27 2c 20 27 6f 70 74 69 6f 6e 73 27 tion', 'options'
04e0: 5d 29 0a 09 5f 64 65 66 61 75 6c 74 20 3d 20 7b ]).._default = {
04f0: 0a 09 09 27 6c 6f 67 27 3a 20 7b 0a 09 09 09 27 ...'log': {....'
0500: 73 69 6c 65 6e 74 27 3a 20 27 6e 6f 27 2c 0a 09 silent': 'no',..
0510: 09 7d 2c 0a 09 09 27 64 61 74 61 62 61 73 65 27 .},...'database'
0520: 3a 20 7b 0a 09 09 09 27 68 6f 73 74 27 3a 20 27 : {....'host': '
0530: 6c 6f 63 61 6c 68 6f 73 74 27 2c 0a 09 09 09 27 localhost',....'
0540: 64 61 74 61 62 61 73 65 27 3a 20 27 73 71 75 69 database': 'squi
0550: 64 54 61 67 27 2c 0a 09 7d 2c 7d 0a 0a 09 23 20 dTag',..},}...#
0560: 66 75 6e 63 74 69 6f 6e 20 74 6f 20 72 65 61 64 function to read
0570: 20 69 6e 20 63 6f 6e 66 69 67 20 66 69 6c 65 0a in config file.
0580: 09 64 65 66 20 5f 5f 69 6e 69 74 5f 5f 28 73 65 .def __init__(se
0590: 6c 66 29 3a 0a 09 09 69 6d 70 6f 72 74 20 43 6f lf):...import Co
05a0: 6e 66 69 67 50 61 72 73 65 72 2c 20 6f 70 74 70 nfigParser, optp
05b0: 61 72 73 65 2c 20 6f 73 0a 0a 09 09 70 61 72 73 arse, os....pars
05c0: 65 72 20 3d 20 6f 70 74 70 61 72 73 65 2e 4f 70 er = optparse.Op
05d0: 74 69 6f 6e 50 61 72 73 65 72 28 29 0a 09 09 70 tionParser()...p
05e0: 61 72 73 65 72 2e 61 64 64 5f 6f 70 74 69 6f 6e arser.add_option
05f0: 28 27 2d 63 27 2c 20 27 2d 2d 63 6f 6e 66 69 67 ('-c', '--config
0600: 27 2c 20 64 65 73 74 20 3d 20 27 63 6f 6e 66 69 ', dest = 'confi
0610: 67 27 2c 0a 09 09 09 68 65 6c 70 20 3d 20 27 63 g',....help = 'c
0620: 6f 6e 66 69 67 20 66 69 6c 65 20 6c 6f 63 61 74 onfig file locat
0630: 69 6f 6e 27 2c 20 6d 65 74 61 76 61 72 20 3d 20 ion', metavar =
0640: 27 46 49 4c 45 27 2c 0a 09 09 09 64 65 66 61 75 'FILE',....defau
0650: 6c 74 20 3d 20 27 2f 75 73 72 2f 6c 6f 63 61 6c lt = '/usr/local
0660: 2f 65 74 63 2f 73 71 75 69 64 2d 74 61 67 67 65 /etc/squid-tagge
0670: 72 2e 63 6f 6e 66 27 29 0a 09 09 70 61 72 73 65 r.conf')...parse
0680: 72 2e 61 64 64 5f 6f 70 74 69 6f 6e 28 27 2d 64 r.add_option('-d
0690: 27 2c 20 27 2d 2d 64 75 6d 70 27 2c 20 64 65 73 ', '--dump', des
06a0: 74 20 3d 20 27 64 75 6d 70 27 2c 0a 09 09 09 68 t = 'dump',....h
06b0: 65 6c 70 20 3d 20 27 64 75 6d 70 20 64 61 74 61 elp = 'dump data
06c0: 62 61 73 65 27 2c 20 61 63 74 69 6f 6e 20 3d 20 base', action =
06d0: 27 73 74 6f 72 65 5f 74 72 75 65 27 2c 20 6d 65 'store_true', me
06e0: 74 61 76 61 72 20 3d 20 27 62 6f 6f 6c 27 2c 0a tavar = 'bool',.
06f0: 09 09 09 64 65 66 61 75 6c 74 20 3d 20 46 61 6c ...default = Fal
0700: 73 65 29 0a 09 09 70 61 72 73 65 72 2e 61 64 64 se)...parser.add
0710: 5f 6f 70 74 69 6f 6e 28 27 2d 66 27 2c 20 27 2d _option('-f', '-
0720: 2d 66 6c 75 73 68 2d 64 61 74 61 62 61 73 65 27 -flush-database'
0730: 2c 20 64 65 73 74 20 3d 20 27 66 6c 75 73 68 5f , dest = 'flush_
0740: 64 62 27 2c 0a 09 09 09 68 65 6c 70 20 3d 20 27 db',....help = '
0750: 66 6c 75 73 68 20 70 72 65 76 69 6f 75 73 20 64 flush previous d
0760: 61 74 61 62 61 73 65 20 6f 6e 20 6c 6f 61 64 27 atabase on load'
0770: 2c 20 64 65 66 61 75 6c 74 20 3d 20 46 61 6c 73 , default = Fals
0780: 65 2c 0a 09 09 09 61 63 74 69 6f 6e 20 3d 20 27 e,....action = '
0790: 73 74 6f 72 65 5f 74 72 75 65 27 2c 20 6d 65 74 store_true', met
07a0: 61 76 61 72 20 3d 20 27 62 6f 6f 6c 27 29 0a 09 avar = 'bool')..
07b0: 09 70 61 72 73 65 72 2e 61 64 64 5f 6f 70 74 69 .parser.add_opti
07c0: 6f 6e 28 27 2d 6c 27 2c 20 27 2d 2d 6c 6f 61 64 on('-l', '--load
07d0: 27 2c 20 64 65 73 74 20 3d 20 27 6c 6f 61 64 27 ', dest = 'load'
07e0: 2c 0a 09 09 09 68 65 6c 70 20 3d 20 27 6c 6f 61 ,....help = 'loa
07f0: 64 20 64 61 74 61 62 61 73 65 27 2c 20 61 63 74 d database', act
0800: 69 6f 6e 20 3d 20 27 73 74 6f 72 65 5f 74 72 75 ion = 'store_tru
0810: 65 27 2c 20 6d 65 74 61 76 61 72 20 3d 20 27 62 e', metavar = 'b
0820: 6f 6f 6c 27 2c 0a 09 09 09 64 65 66 61 75 6c 74 ool',....default
0830: 20 3d 20 46 61 6c 73 65 29 0a 09 09 70 61 72 73 = False)...pars
0840: 65 72 2e 61 64 64 5f 6f 70 74 69 6f 6e 28 27 2d er.add_option('-
0850: 44 27 2c 20 27 2d 2d 64 75 6d 70 2d 63 6f 6e 66 D', '--dump-conf
0860: 27 2c 20 64 65 73 74 20 3d 20 27 64 75 6d 70 5f ', dest = 'dump_
0870: 63 6f 6e 66 27 2c 0a 09 09 09 68 65 6c 70 20 3d conf',....help =
0880: 20 27 64 75 6d 70 20 66 69 6c 74 65 72 69 6e 67 'dump filtering
0890: 20 72 75 6c 65 73 27 2c 20 64 65 66 61 75 6c 74 rules', default
08a0: 20 3d 20 46 61 6c 73 65 2c 20 6d 65 74 61 76 61 = False, metava
08b0: 72 20 3d 20 27 62 6f 6f 6c 27 2c 0a 09 09 09 61 r = 'bool',....a
08c0: 63 74 69 6f 6e 20 3d 20 27 73 74 6f 72 65 5f 74 ction = 'store_t
08d0: 72 75 65 27 29 0a 09 09 70 61 72 73 65 72 2e 61 rue')...parser.a
08e0: 64 64 5f 6f 70 74 69 6f 6e 28 27 2d 4c 27 2c 20 dd_option('-L',
08f0: 27 2d 2d 6c 6f 61 64 2d 63 6f 6e 66 27 2c 20 64 '--load-conf', d
0900: 65 73 74 20 3d 20 27 6c 6f 61 64 5f 63 6f 6e 66 est = 'load_conf
0910: 27 2c 0a 09 09 09 68 65 6c 70 20 3d 20 27 6c 6f ',....help = 'lo
0920: 61 64 20 66 69 6c 74 65 72 69 6e 67 20 72 75 6c ad filtering rul
0930: 65 73 27 2c 20 64 65 66 61 75 6c 74 20 3d 20 46 es', default = F
0940: 61 6c 73 65 2c 20 6d 65 74 61 76 61 72 20 3d 20 alse, metavar =
0950: 27 62 6f 6f 6c 27 2c 0a 09 09 09 61 63 74 69 6f 'bool',....actio
0960: 6e 20 3d 20 27 73 74 6f 72 65 5f 74 72 75 65 27 n = 'store_true'
0970: 29 0a 0a 09 09 28 73 65 6c 66 2e 6f 70 74 69 6f )....(self.optio
0980: 6e 73 2c 20 61 72 67 73 29 20 3d 20 70 61 72 73 ns, args) = pars
0990: 65 72 2e 70 61 72 73 65 5f 61 72 67 73 28 29 0a er.parse_args().
09a0: 0a 09 09 61 73 73 65 72 74 20 6f 73 2e 61 63 63 ...assert os.acc
09b0: 65 73 73 28 73 65 6c 66 2e 6f 70 74 69 6f 6e 73 ess(self.options
09c0: 2e 63 6f 6e 66 69 67 2c 20 6f 73 2e 52 5f 4f 4b .config, os.R_OK
09d0: 29 2c 20 22 46 61 74 61 6c 20 65 72 72 6f 72 3a ), "Fatal error:
09e0: 20 63 61 6e 27 74 20 72 65 61 64 20 7b 7d 22 2e can't read {}".
09f0: 66 6f 72 6d 61 74 28 73 65 6c 66 2e 6f 70 74 69 format(self.opti
0a00: 6f 6e 73 2e 63 6f 6e 66 69 67 29 0a 0a 09 09 73 ons.config)....s
0a10: 65 6c 66 2e 5f 63 6f 6e 66 69 67 20 3d 20 43 6f elf._config = Co
0a20: 6e 66 69 67 50 61 72 73 65 72 2e 43 6f 6e 66 69 nfigParser.Confi
0a30: 67 50 61 72 73 65 72 28 29 0a 09 09 73 65 6c 66 gParser()...self
0a40: 2e 5f 63 6f 6e 66 69 67 2e 72 65 61 64 66 70 28 ._config.readfp(
0a50: 6f 70 65 6e 28 73 65 6c 66 2e 6f 70 74 69 6f 6e open(self.option
0a60: 73 2e 63 6f 6e 66 69 67 29 29 0a 0a 09 23 20 66 s.config))...# f
0a70: 75 6e 63 74 69 6f 6e 20 74 6f 20 73 65 6c 65 63 unction to selec
0a80: 74 20 63 6f 6e 66 69 67 20 66 69 6c 65 20 73 65 t config file se
0a90: 63 74 69 6f 6e 20 6f 72 20 63 72 65 61 74 65 20 ction or create
0aa0: 6f 6e 65 0a 09 64 65 66 20 73 65 63 74 69 6f 6e one..def section
0ab0: 28 73 65 6c 66 2c 20 73 65 63 74 69 6f 6e 29 3a (self, section):
0ac0: 0a 09 09 69 66 20 6e 6f 74 20 73 65 6c 66 2e 5f ...if not self._
0ad0: 63 6f 6e 66 69 67 2e 68 61 73 5f 73 65 63 74 69 config.has_secti
0ae0: 6f 6e 28 73 65 63 74 69 6f 6e 29 3a 0a 09 09 09 on(section):....
0af0: 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 61 64 64 self._config.add
0b00: 5f 73 65 63 74 69 6f 6e 28 73 65 63 74 69 6f 6e _section(section
0b10: 29 0a 09 09 73 65 6c 66 2e 5f 73 65 63 74 69 6f )...self._sectio
0b20: 6e 20 3d 20 73 65 63 74 69 6f 6e 0a 0a 09 23 20 n = section...#
0b30: 66 75 6e 63 74 69 6f 6e 20 74 6f 20 67 65 74 20 function to get
0b40: 63 6f 6e 66 69 67 20 70 61 72 61 6d 65 74 65 72 config parameter
0b50: 2c 20 69 66 20 70 61 72 61 6d 65 74 65 72 20 64 , if parameter d
0b60: 6f 65 73 6e 27 74 20 65 78 69 73 74 73 20 74 68 oesn't exists th
0b70: 65 20 64 65 66 61 75 6c 74 0a 09 23 20 76 61 6c e default..# val
0b80: 75 65 20 6f 72 20 4e 6f 6e 65 20 69 73 20 73 75 ue or None is su
0b90: 62 73 74 69 74 75 74 65 64 0a 09 64 65 66 20 5f bstituted..def _
0ba0: 5f 67 65 74 69 74 65 6d 5f 5f 28 73 65 6c 66 2c _getitem__(self,
0bb0: 20 6e 61 6d 65 29 3a 0a 09 09 69 66 20 6e 6f 74 name):...if not
0bc0: 20 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 68 61 self._config.ha
0bd0: 73 5f 6f 70 74 69 6f 6e 28 73 65 6c 66 2e 5f 73 s_option(self._s
0be0: 65 63 74 69 6f 6e 2c 20 6e 61 6d 65 29 3a 0a 09 ection, name):..
0bf0: 09 09 69 66 20 73 65 6c 66 2e 5f 73 65 63 74 69 ..if self._secti
0c00: 6f 6e 20 69 6e 20 73 65 6c 66 2e 5f 64 65 66 61 on in self._defa
0c10: 75 6c 74 3a 0a 09 09 09 09 69 66 20 6e 61 6d 65 ult:.....if name
0c20: 20 69 6e 20 73 65 6c 66 2e 5f 64 65 66 61 75 6c in self._defaul
0c30: 74 5b 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 5d t[self._section]
0c40: 3a 0a 09 09 09 09 09 73 65 6c 66 2e 5f 63 6f 6e :......self._con
0c50: 66 69 67 2e 73 65 74 28 73 65 6c 66 2e 5f 73 65 fig.set(self._se
0c60: 63 74 69 6f 6e 2c 20 6e 61 6d 65 2c 20 73 65 6c ction, name, sel
0c70: 66 2e 5f 64 65 66 61 75 6c 74 5b 73 65 6c 66 2e f._default[self.
0c80: 5f 73 65 63 74 69 6f 6e 5d 5b 6e 61 6d 65 5d 29 _section][name])
0c90: 0a 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 .....else:......
0ca0: 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 73 65 74 self._config.set
0cb0: 28 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 2c 20 (self._section,
0cc0: 6e 61 6d 65 2c 20 4e 6f 6e 65 29 0a 09 09 09 65 name, None)....e
0cd0: 6c 73 65 3a 0a 09 09 09 09 73 65 6c 66 2e 5f 63 lse:.....self._c
0ce0: 6f 6e 66 69 67 2e 73 65 74 28 73 65 6c 66 2e 5f onfig.set(self._
0cf0: 73 65 63 74 69 6f 6e 2c 20 6e 61 6d 65 2c 20 4e section, name, N
0d00: 6f 6e 65 29 0a 09 09 72 65 74 75 72 6e 28 73 65 one)...return(se
0d10: 6c 66 2e 5f 63 6f 6e 66 69 67 2e 67 65 74 28 73 lf._config.get(s
0d20: 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e 61 elf._section, na
0d30: 6d 65 29 29 0a 0a 23 20 69 6e 69 74 69 61 6c 69 me))..# initiali
0d40: 7a 69 6e 67 20 61 6e 64 20 72 65 61 64 69 6e 67 zing and reading
0d50: 20 69 6e 20 63 6f 6e 66 69 67 20 66 69 6c 65 0a in config file.
0d60: 63 6f 6e 66 69 67 20 3d 20 43 6f 6e 66 69 67 28 config = Config(
0d70: 29 0a 0a 23 20 77 72 61 70 70 65 72 20 61 72 6f )..# wrapper aro
0d80: 75 6e 64 20 73 79 73 6c 6f 67 2c 20 63 61 6e 20 und syslog, can
0d90: 62 65 20 6d 75 74 65 64 0a 63 6c 61 73 73 20 4c be muted.class L
0da0: 6f 67 67 65 72 28 6f 62 6a 65 63 74 29 3a 0a 09 ogger(object):..
0db0: 5f 5f 73 6c 6f 74 73 5f 5f 20 3d 20 66 72 6f 7a __slots__ = froz
0dc0: 65 6e 73 65 74 28 5b 27 5f 73 79 73 6c 6f 67 27 enset(['_syslog'
0dd0: 5d 29 0a 0a 09 64 65 66 20 5f 5f 69 6e 69 74 5f ])...def __init_
0de0: 5f 28 73 65 6c 66 29 3a 0a 09 09 63 6f 6e 66 69 _(self):...confi
0df0: 67 2e 73 65 63 74 69 6f 6e 28 27 6c 6f 67 27 29 g.section('log')
0e00: 0a 09 09 69 66 20 63 6f 6e 66 69 67 5b 27 73 69 ...if config['si
0e10: 6c 65 6e 74 27 5d 20 3d 3d 20 27 79 65 73 27 3a lent'] == 'yes':
0e20: 0a 09 09 09 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 ....self._syslog
0e30: 20 3d 20 4e 6f 6e 65 0a 09 09 65 6c 73 65 3a 0a = None...else:.
0e40: 09 09 09 69 6d 70 6f 72 74 20 73 79 73 6c 6f 67 ...import syslog
0e50: 0a 09 09 09 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 ....self._syslog
0e60: 20 3d 20 73 79 73 6c 6f 67 0a 09 09 09 73 65 6c = syslog....sel
0e70: 66 2e 5f 73 79 73 6c 6f 67 2e 6f 70 65 6e 6c 6f f._syslog.openlo
0e80: 67 28 73 74 72 28 27 73 71 75 69 64 54 61 67 27 g(str('squidTag'
0e90: 29 29 0a 0a 09 64 65 66 20 69 6e 66 6f 28 73 65 ))...def info(se
0ea0: 6c 66 2c 20 6d 65 73 73 61 67 65 29 3a 0a 09 09 lf, message):...
0eb0: 69 66 20 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 20 if self._syslog
0ec0: 21 3d 20 4e 6f 6e 65 3a 0a 09 09 09 73 65 6c 66 != None:....self
0ed0: 2e 5f 73 79 73 6c 6f 67 2e 73 79 73 6c 6f 67 28 ._syslog.syslog(
0ee0: 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 2e 4c 4f 47 self._syslog.LOG
0ef0: 5f 49 4e 46 4f 2c 20 6d 65 73 73 61 67 65 29 0a _INFO, message).
0f00: 0a 09 64 65 66 20 6e 6f 74 69 63 65 28 73 65 6c ..def notice(sel
0f10: 66 2c 20 6d 65 73 73 61 67 65 29 3a 0a 09 09 69 f, message):...i
0f20: 66 20 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 20 21 f self._syslog !
0f30: 3d 20 4e 6f 6e 65 3a 0a 09 09 09 73 65 6c 66 2e = None:....self.
0f40: 5f 73 79 73 6c 6f 67 2e 73 79 73 6c 6f 67 28 73 _syslog.syslog(s
0f50: 65 6c 66 2e 5f 73 79 73 6c 6f 67 2e 4c 4f 47 5f elf._syslog.LOG_
0f60: 4e 4f 54 49 43 45 2c 20 6d 65 73 73 61 67 65 29 NOTICE, message)
0f70: 0a 0a 6c 6f 67 67 65 72 20 3d 20 4c 6f 67 67 65 ..logger = Logge
0f80: 72 28 29 0a 0a 23 20 74 69 6e 79 20 77 72 61 70 r()..# tiny wrap
0f90: 70 65 72 20 61 72 6f 75 6e 64 20 61 20 66 69 6c per around a fil
0fa0: 65 20 74 6f 20 6d 61 6b 65 20 72 65 61 64 73 20 e to make reads
0fb0: 66 72 6f 6d 20 69 74 20 67 65 76 65 6e 74 61 62 from it geventab
0fc0: 6c 65 0a 23 20 6f 72 20 73 68 6f 75 6c 64 20 69 le.# or should i
0fd0: 20 6d 6f 76 65 20 74 68 69 73 20 73 6f 6d 65 77 move this somew
0fe0: 68 65 72 65 3f 0a 0a 63 6c 61 73 73 20 46 52 65 here?..class FRe
0ff0: 61 64 6c 69 6e 65 51 75 65 75 65 28 67 65 76 65 adlineQueue(geve
1000: 6e 74 2e 71 75 65 75 65 2e 51 75 65 75 65 29 3a nt.queue.Queue):
1010: 0a 09 23 20 73 74 6f 72 69 6e 67 20 66 69 6c 65 ..# storing file
1020: 20 64 65 73 63 72 69 70 74 6f 72 2c 20 6c 65 66 descriptor, lef
1030: 74 6f 76 65 72 0a 09 5f 5f 73 6c 6f 74 73 5f 5f tover..__slots__
1040: 20 3d 20 66 72 6f 7a 65 6e 73 65 74 28 5b 27 5f = frozenset(['_
1050: 66 64 27 2c 20 27 5f 74 61 69 6c 27 5d 29 0a 0a fd', '_tail'])..
1060: 09 64 65 66 20 5f 5f 69 6e 69 74 5f 5f 28 73 65 .def __init__(se
1070: 6c 66 2c 20 66 64 29 3a 0a 09 09 23 20 69 6e 69 lf, fd):...# ini
1080: 74 69 61 6c 69 73 69 6e 67 20 63 6c 61 73 73 0a tialising class.
1090: 09 09 67 65 76 65 6e 74 2e 71 75 65 75 65 2e 51 ..gevent.queue.Q
10a0: 75 65 75 65 2e 5f 5f 69 6e 69 74 5f 5f 28 73 65 ueue.__init__(se
10b0: 6c 66 29 0a 09 09 23 20 73 74 6f 72 69 6e 67 20 lf)...# storing
10c0: 66 69 6c 65 20 64 65 73 63 72 69 70 74 6f 72 0a file descriptor.
10d0: 09 09 73 65 6c 66 2e 5f 66 64 20 3d 20 66 64 0a ..self._fd = fd.
10e0: 09 09 23 20 75 73 69 6e 67 20 65 6d 70 74 79 20 ..# using empty
10f0: 74 61 69 6c 0a 09 09 73 65 6c 66 2e 5f 74 61 69 tail...self._tai
1100: 6c 20 3d 20 27 27 0a 09 09 23 20 73 65 74 74 69 l = ''...# setti
1110: 6e 67 20 75 70 20 65 76 65 6e 74 0a 09 09 73 65 ng up event...se
1120: 6c 66 2e 5f 69 6e 73 74 61 6c 6c 5f 77 61 69 74 lf._install_wait
1130: 28 29 0a 0a 09 64 65 66 20 5f 69 6e 73 74 61 6c ()...def _instal
1140: 6c 5f 77 61 69 74 28 73 65 6c 66 29 3a 0a 09 09 l_wait(self):...
1150: 66 69 6c 65 6e 6f 20 3d 20 73 65 6c 66 2e 5f 66 fileno = self._f
1160: 64 2e 66 69 6c 65 6e 6f 28 29 0a 09 09 23 20 70 d.fileno()...# p
1170: 75 74 74 69 6e 67 20 66 69 6c 65 20 74 6f 20 6e utting file to n
1180: 6f 6e 62 6c 6f 63 6b 69 6e 67 20 6d 6f 64 65 0a onblocking mode.
1190: 09 09 66 63 6e 74 6c 2e 66 63 6e 74 6c 28 66 69 ..fcntl.fcntl(fi
11a0: 6c 65 6e 6f 2c 20 66 63 6e 74 6c 2e 46 5f 53 45 leno, fcntl.F_SE
11b0: 54 46 4c 2c 20 66 63 6e 74 6c 2e 66 63 6e 74 6c TFL, fcntl.fcntl
11c0: 28 66 69 6c 65 6e 6f 2c 20 66 63 6e 74 6c 2e 46 (fileno, fcntl.F
11d0: 5f 47 45 54 46 4c 29 20 20 7c 20 6f 73 2e 4f 5f _GETFL) | os.O_
11e0: 4e 4f 4e 42 4c 4f 43 4b 29 0a 09 09 23 20 69 6e NONBLOCK)...# in
11f0: 73 74 61 6c 6c 69 6e 67 20 65 76 65 6e 74 20 68 stalling event h
1200: 61 6e 64 6c 65 72 0a 09 09 67 65 76 65 6e 74 2e andler...gevent.
1210: 63 6f 72 65 2e 72 65 61 64 5f 65 76 65 6e 74 28 core.read_event(
1220: 66 69 6c 65 6e 6f 2c 20 73 65 6c 66 2e 5f 77 61 fileno, self._wa
1230: 69 74 5f 68 65 6c 70 65 72 29 0a 0a 09 64 65 66 it_helper)...def
1240: 20 5f 77 61 69 74 5f 68 65 6c 70 65 72 28 73 65 _wait_helper(se
1250: 6c 66 2c 20 65 76 2c 20 65 76 74 79 70 65 29 3a lf, ev, evtype):
1260: 0a 09 09 23 20 72 65 61 64 69 6e 67 20 6f 6e 65 ...# reading one
1270: 20 62 75 66 66 65 72 20 66 72 6f 6d 20 73 74 72 buffer from str
1280: 65 61 6d 0a 09 09 62 75 66 20 3d 20 73 65 6c 66 eam...buf = self
1290: 2e 5f 66 64 2e 72 65 61 64 28 34 30 39 36 29 0a ._fd.read(4096).
12a0: 09 09 23 20 73 70 6c 69 74 74 69 6e 67 20 73 74 ..# splitting st
12b0: 72 65 61 6d 20 62 79 20 6c 69 6e 65 20 65 6e 64 ream by line end
12c0: 73 0a 09 09 72 6f 77 73 20 3d 20 62 75 66 2e 64 s...rows = buf.d
12d0: 65 63 6f 64 65 28 27 6c 31 27 29 2e 73 70 6c 69 ecode('l1').spli
12e0: 74 28 27 5c 6e 27 29 0a 09 09 23 20 61 64 64 69 t('\n')...# addi
12f0: 6e 67 20 74 61 69 6c 20 74 6f 20 74 68 65 20 66 ng tail to the f
1300: 69 72 73 74 20 65 6c 65 6d 65 6e 74 20 69 66 20 irst element if
1310: 74 68 65 72 65 20 69 73 20 73 6f 6d 65 20 74 61 there is some ta
1320: 69 6c 0a 09 09 69 66 20 6c 65 6e 28 73 65 6c 66 il...if len(self
1330: 2e 5f 74 61 69 6c 29 20 3e 20 30 3a 0a 09 09 09 ._tail) > 0:....
1340: 72 6f 77 73 5b 30 5d 20 3d 20 73 65 6c 66 2e 5f rows[0] = self._
1350: 74 61 69 6c 20 2b 20 72 6f 77 73 5b 30 5d 0a 09 tail + rows[0]..
1360: 09 23 20 70 6f 70 70 69 6e 67 20 6f 75 74 20 6c .# popping out l
1370: 61 73 74 20 28 69 6e 63 6f 6d 70 6c 65 74 65 29 ast (incomplete)
1380: 20 65 6c 65 6d 65 6e 74 0a 09 09 73 65 6c 66 2e element...self.
1390: 5f 74 61 69 6c 20 3d 20 72 6f 77 73 2e 70 6f 70 _tail = rows.pop
13a0: 28 2d 31 29 0a 09 09 23 20 64 72 6f 70 70 69 6e (-1)...# droppin
13b0: 67 20 61 6c 6c 20 63 6f 6d 70 6c 65 74 65 20 65 g all complete e
13c0: 6c 65 6d 65 6e 74 73 20 74 6f 20 74 68 65 20 71 lements to the q
13d0: 75 65 75 65 0a 09 09 66 6f 72 20 72 6f 77 20 69 ueue...for row i
13e0: 6e 20 72 6f 77 73 3a 0a 09 09 09 73 65 6c 66 2e n rows:....self.
13f0: 70 75 74 5f 6e 6f 77 61 69 74 28 72 6f 77 29 0a put_nowait(row).
1400: 09 09 09 6c 6f 67 67 65 72 2e 69 6e 66 6f 28 27 ...logger.info('
1410: 72 65 71 75 65 73 74 3a 20 27 20 2b 20 72 6f 77 request: ' + row
1420: 29 0a 09 09 69 66 20 6c 65 6e 28 62 75 66 29 20 )...if len(buf)
1430: 3e 20 30 3a 0a 09 09 09 23 20 6e 6f 20 45 4f 46 > 0:....# no EOF
1440: 2c 20 72 65 69 6e 73 74 61 6c 6c 69 6e 67 20 65 , reinstalling e
1450: 76 65 6e 74 20 68 61 6e 64 6c 65 72 0a 09 09 09 vent handler....
1460: 67 65 76 65 6e 74 2e 63 6f 72 65 2e 72 65 61 64 gevent.core.read
1470: 5f 65 76 65 6e 74 28 73 65 6c 66 2e 5f 66 64 2e _event(self._fd.
1480: 66 69 6c 65 6e 6f 28 29 2c 20 73 65 6c 66 2e 5f fileno(), self._
1490: 77 61 69 74 5f 68 65 6c 70 65 72 29 0a 09 09 65 wait_helper)...e
14a0: 6c 73 65 3a 0a 09 09 09 23 20 45 4f 46 20 66 6f lse:....# EOF fo
14b0: 75 6e 64 2c 20 73 65 6e 64 69 6e 67 20 45 4f 46 und, sending EOF
14c0: 20 74 6f 20 71 75 65 75 65 0a 09 09 09 73 65 6c to queue....sel
14d0: 66 2e 70 75 74 5f 6e 6f 77 61 69 74 28 4e 6f 6e f.put_nowait(Non
14e0: 65 29 0a 0a 73 74 64 69 6e 20 3d 20 46 52 65 61 e)..stdin = FRea
14f0: 64 6c 69 6e 65 51 75 65 75 65 28 73 79 73 2e 73 dlineQueue(sys.s
1500: 74 64 69 6e 29 0a 0a 63 6c 61 73 73 20 46 57 72 tdin)..class FWr
1510: 69 74 65 6c 69 6e 65 51 75 65 75 65 28 67 65 76 itelineQueue(gev
1520: 65 6e 74 2e 71 75 65 75 65 2e 4a 6f 69 6e 61 62 ent.queue.Joinab
1530: 6c 65 51 75 65 75 65 29 3a 0a 09 23 20 73 74 6f leQueue):..# sto
1540: 72 69 6e 67 20 66 69 6c 65 6e 6f 2c 20 69 6f 20 ring fileno, io
1550: 69 6e 74 65 72 66 61 63 65 2c 20 6c 65 66 74 6f interface, lefto
1560: 76 65 72 0a 09 5f 5f 73 6c 6f 74 73 5f 5f 20 3d ver..__slots__ =
1570: 20 66 72 6f 7a 65 6e 73 65 74 28 5b 27 5f 66 69 frozenset(['_fi
1580: 6c 65 6e 6f 27 2c 20 27 5f 69 6f 27 2c 20 27 5f leno', '_io', '_
1590: 74 61 69 6c 27 5d 29 0a 0a 09 64 65 66 20 5f 5f tail'])...def __
15a0: 69 6e 69 74 5f 5f 28 73 65 6c 66 2c 20 66 64 2c init__(self, fd,
15b0: 20 63 6c 6f 73 65 66 64 20 3d 20 54 72 75 65 29 closefd = True)
15c0: 3a 0a 09 09 69 6d 70 6f 72 74 20 69 6f 0a 09 09 :...import io...
15d0: 23 20 69 6e 69 74 69 61 6c 69 73 69 6e 67 20 63 # initialising c
15e0: 6c 61 73 73 0a 09 09 67 65 76 65 6e 74 2e 71 75 lass...gevent.qu
15f0: 65 75 65 2e 4a 6f 69 6e 61 62 6c 65 51 75 65 75 eue.JoinableQueu
1600: 65 2e 5f 5f 69 6e 69 74 5f 5f 28 73 65 6c 66 29 e.__init__(self)
1610: 0a 09 09 23 20 73 74 6f 72 69 6e 67 20 66 69 6c ...# storing fil
1620: 65 6e 6f 0a 09 09 73 65 6c 66 2e 5f 66 69 6c 65 eno...self._file
1630: 6e 6f 20 3d 20 66 64 2e 66 69 6c 65 6e 6f 28 29 no = fd.fileno()
1640: 0a 09 09 23 20 63 72 65 61 74 69 6e 67 20 69 6e ...# creating in
1650: 74 65 72 66 61 63 65 0a 09 09 73 65 6c 66 2e 5f terface...self._
1660: 69 6f 20 3d 20 69 6f 2e 46 69 6c 65 49 4f 28 73 io = io.FileIO(s
1670: 65 6c 66 2e 5f 66 69 6c 65 6e 6f 2c 20 27 77 27 elf._fileno, 'w'
1680: 2c 20 63 6c 6f 73 65 66 64 29 0a 09 09 23 20 75 , closefd)...# u
1690: 73 69 6e 67 20 65 6d 70 74 79 20 74 61 69 6c 0a sing empty tail.
16a0: 09 09 73 65 6c 66 2e 5f 74 61 69 6c 20 3d 20 4e ..self._tail = N
16b0: 6f 6e 65 0a 09 09 23 20 70 75 74 74 69 6e 67 20 one...# putting
16c0: 66 69 6c 65 20 74 6f 20 6e 6f 6e 62 6c 6f 63 6b file to nonblock
16d0: 69 6e 67 20 6d 6f 64 65 0a 09 09 66 63 6e 74 6c ing mode...fcntl
16e0: 2e 66 63 6e 74 6c 28 73 65 6c 66 2e 5f 66 69 6c .fcntl(self._fil
16f0: 65 6e 6f 2c 20 66 63 6e 74 6c 2e 46 5f 53 45 54 eno, fcntl.F_SET
1700: 46 4c 2c 20 66 63 6e 74 6c 2e 66 63 6e 74 6c 28 FL, fcntl.fcntl(
1710: 73 65 6c 66 2e 5f 66 69 6c 65 6e 6f 2c 20 66 63 self._fileno, fc
1720: 6e 74 6c 2e 46 5f 47 45 54 46 4c 29 20 20 7c 20 ntl.F_GETFL) |
1730: 6f 73 2e 4f 5f 4e 4f 4e 42 4c 4f 43 4b 29 0a 0a os.O_NONBLOCK)..
1740: 09 64 65 66 20 5f 5f 64 65 6c 5f 5f 28 73 65 6c .def __del__(sel
1750: 66 29 3a 0a 09 09 23 20 70 75 72 67 65 20 71 75 f):...# purge qu
1760: 65 75 65 20 62 65 66 6f 72 65 20 64 65 6c 65 74 eue before delet
1770: 69 6e 67 0a 09 09 69 66 20 6e 6f 74 20 73 65 6c ing...if not sel
1780: 66 2e 65 6d 70 74 79 28 29 3a 0a 09 09 09 73 65 f.empty():....se
1790: 6c 66 2e 6a 6f 69 6e 28 29 0a 0a 09 64 65 66 20 lf.join()...def
17a0: 70 75 74 28 73 65 6c 66 2c 20 69 74 65 6d 2c 20 put(self, item,
17b0: 62 6c 6f 63 6b 3d 54 72 75 65 2c 20 74 69 6d 65 block=True, time
17c0: 6f 75 74 3d 4e 6f 6e 65 29 3a 0a 09 09 23 20 63 out=None):...# c
17d0: 61 6c 6c 69 6e 67 20 72 65 61 6c 20 70 75 74 0a alling real put.
17e0: 09 09 67 65 76 65 6e 74 2e 71 75 65 75 65 2e 4a ..gevent.queue.J
17f0: 6f 69 6e 61 62 6c 65 51 75 65 75 65 2e 70 75 74 oinableQueue.put
1800: 28 73 65 6c 66 2c 20 69 74 65 6d 2c 20 62 6c 6f (self, item, blo
1810: 63 6b 2c 20 74 69 6d 65 6f 75 74 29 0a 09 09 23 ck, timeout)...#
1820: 20 69 6e 73 74 61 6c 6c 69 6e 67 20 65 76 65 6e installing even
1830: 74 20 68 61 6e 64 6c 65 72 0a 09 09 67 65 76 65 t handler...geve
1840: 6e 74 2e 63 6f 72 65 2e 77 72 69 74 65 5f 65 76 nt.core.write_ev
1850: 65 6e 74 28 73 65 6c 66 2e 5f 66 69 6c 65 6e 6f ent(self._fileno
1860: 2c 20 73 65 6c 66 2e 5f 77 61 69 74 5f 68 65 6c , self._wait_hel
1870: 70 65 72 29 0a 0a 09 64 65 66 20 5f 77 61 69 74 per)...def _wait
1880: 5f 68 65 6c 70 65 72 28 73 65 6c 66 2c 20 65 76 _helper(self, ev
1890: 2c 20 65 76 74 79 70 65 29 3a 0a 09 09 23 20 58 , evtype):...# X
18a0: 58 58 20 65 76 2c 20 65 76 74 79 70 65 20 63 68 XX ev, evtype ch
18b0: 65 63 6b 69 6e 67 3f 0a 09 09 23 20 63 68 65 63 ecking?...# chec
18c0: 6b 69 6e 67 20 6c 65 66 74 6f 76 65 72 0a 09 09 king leftover...
18d0: 77 68 69 6c 65 20 54 72 75 65 3a 0a 09 09 09 69 while True:....i
18e0: 66 20 73 65 6c 66 2e 5f 74 61 69 6c 20 3d 3d 20 f self._tail ==
18f0: 4e 6f 6e 65 3a 0a 09 09 09 09 74 72 79 3a 0a 09 None:.....try:..
1900: 09 09 09 09 73 65 6c 66 2e 5f 74 61 69 6c 20 3d ....self._tail =
1910: 20 73 74 72 28 73 65 6c 66 2e 67 65 74 5f 6e 6f str(self.get_no
1920: 77 61 69 74 28 29 29 2e 65 6e 63 6f 64 65 28 27 wait()).encode('
1930: 75 74 66 2d 38 27 29 20 2b 20 27 5c 6e 27 0a 09 utf-8') + '\n'..
1940: 09 09 09 65 78 63 65 70 74 20 67 65 76 65 6e 74 ...except gevent
1950: 2e 71 75 65 75 65 2e 45 6d 70 74 79 3a 0a 09 09 .queue.Empty:...
1960: 09 09 09 73 65 6c 66 2e 5f 74 61 69 6c 20 3d 20 ...self._tail =
1970: 4e 6f 6e 65 0a 09 09 09 09 09 72 65 74 75 72 6e None......return
1980: 0a 09 09 09 23 20 77 72 69 74 69 6e 67 20 74 61 ....# writing ta
1990: 69 6c 0a 09 09 09 77 72 69 74 74 65 6e 20 3d 20 il....written =
19a0: 73 65 6c 66 2e 5f 69 6f 2e 77 72 69 74 65 28 73 self._io.write(s
19b0: 65 6c 66 2e 5f 74 61 69 6c 29 0a 09 09 09 6c 65 elf._tail)....le
19c0: 6e 67 74 68 20 3d 20 6c 65 6e 28 73 65 6c 66 2e ngth = len(self.
19d0: 5f 74 61 69 6c 29 0a 09 09 09 69 66 20 77 72 69 _tail)....if wri
19e0: 74 74 65 6e 20 3d 3d 20 6c 65 6e 67 74 68 3a 0a tten == length:.
19f0: 09 09 09 09 73 65 6c 66 2e 5f 74 61 69 6c 20 3d ....self._tail =
1a00: 20 4e 6f 6e 65 0a 09 09 09 65 6c 69 66 20 77 72 None....elif wr
1a10: 69 74 74 65 6e 20 3c 20 6c 65 6e 67 74 68 3a 0a itten < length:.
1a20: 09 09 09 09 73 65 6c 66 2e 5f 74 61 69 6c 20 3d ....self._tail =
1a30: 20 73 65 6c 66 2e 5f 74 61 69 6c 5b 77 72 69 74 self._tail[writ
1a40: 74 65 6e 3a 5d 0a 09 09 09 09 62 72 65 61 6b 0a ten:].....break.
1a50: 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 62 72 65 ...else:.....bre
1a60: 61 6b 0a 09 09 23 20 72 65 69 6e 73 74 61 6c 6c ak...# reinstall
1a70: 69 6e 67 20 65 76 65 6e 74 20 68 61 6e 64 6c 65 ing event handle
1a80: 72 0a 09 09 67 65 76 65 6e 74 2e 63 6f 72 65 2e r...gevent.core.
1a90: 77 72 69 74 65 5f 65 76 65 6e 74 28 73 65 6c 66 write_event(self
1aa0: 2e 5f 66 69 6c 65 6e 6f 2c 20 73 65 6c 66 2e 5f ._fileno, self._
1ab0: 77 61 69 74 5f 68 65 6c 70 65 72 29 0a 0a 23 20 wait_helper)..#
1ac0: 77 72 61 70 70 65 72 20 61 72 6f 75 6e 64 20 64 wrapper around d
1ad0: 61 74 61 62 61 73 65 0a 63 6c 61 73 73 20 74 61 atabase.class ta
1ae0: 67 44 42 28 6f 62 6a 65 63 74 29 3a 0a 09 5f 5f gDB(object):..__
1af0: 73 6c 6f 74 73 5f 5f 20 3d 20 66 72 6f 7a 65 6e slots__ = frozen
1b00: 73 65 74 28 5b 27 5f 63 75 72 73 6f 72 27 2c 20 set(['_cursor',
1b10: 27 5f 64 62 27 5d 29 0a 0a 09 64 65 66 20 5f 5f '_db'])...def __
1b20: 69 6e 69 74 5f 5f 28 73 65 6c 66 29 3a 0a 09 09 init__(self):...
1b30: 63 6f 6e 66 69 67 2e 73 65 63 74 69 6f 6e 28 27 config.section('
1b40: 64 61 74 61 62 61 73 65 27 29 0a 09 09 69 66 20 database')...if
1b50: 63 6f 6e 66 69 67 5b 27 68 6f 73 74 27 5d 20 3d config['host'] =
1b60: 3d 20 4e 6f 6e 65 3a 0a 09 09 09 73 65 6c 66 2e = None:....self.
1b70: 5f 64 62 20 3d 20 70 73 79 63 6f 70 67 32 2e 63 _db = psycopg2.c
1b80: 6f 6e 6e 65 63 74 28 0a 09 09 09 09 64 61 74 61 onnect(.....data
1b90: 62 61 73 65 20 3d 20 63 6f 6e 66 69 67 5b 27 64 base = config['d
1ba0: 61 74 61 62 61 73 65 27 5d 2c 0a 09 09 09 09 75 atabase'],.....u
1bb0: 73 65 72 20 3d 20 63 6f 6e 66 69 67 5b 27 75 73 ser = config['us
1bc0: 65 72 27 5d 2c 0a 09 09 09 09 70 61 73 73 77 6f er'],.....passwo
1bd0: 72 64 20 3d 20 63 6f 6e 66 69 67 5b 27 70 61 73 rd = config['pas
1be0: 73 77 6f 72 64 27 5d 0a 09 09 09 29 0a 09 09 65 sword']....)...e
1bf0: 6c 73 65 3a 0a 09 09 09 73 65 6c 66 2e 5f 64 62 lse:....self._db
1c00: 20 3d 20 70 73 79 63 6f 70 67 32 2e 63 6f 6e 6e = psycopg2.conn
1c10: 65 63 74 28 0a 09 09 09 09 64 61 74 61 62 61 73 ect(.....databas
1c20: 65 20 3d 20 63 6f 6e 66 69 67 5b 27 64 61 74 61 e = config['data
1c30: 62 61 73 65 27 5d 2c 0a 09 09 09 09 68 6f 73 74 base'],.....host
1c40: 20 3d 20 63 6f 6e 66 69 67 5b 27 68 6f 73 74 27 = config['host'
1c50: 5d 2c 0a 09 09 09 09 75 73 65 72 20 3d 20 63 6f ],.....user = co
1c60: 6e 66 69 67 5b 27 75 73 65 72 27 5d 2c 0a 09 09 nfig['user'],...
1c70: 09 09 70 61 73 73 77 6f 72 64 20 3d 20 63 6f 6e ..password = con
1c80: 66 69 67 5b 27 70 61 73 73 77 6f 72 64 27 5d 0a fig['password'].
1c90: 09 09 09 29 0a 09 09 73 65 6c 66 2e 5f 63 75 72 ...)...self._cur
1ca0: 73 6f 72 20 3d 20 73 65 6c 66 2e 5f 64 62 2e 63 sor = self._db.c
1cb0: 75 72 73 6f 72 28 29 0a 0a 09 64 65 66 20 5f 66 ursor()...def _f
1cc0: 69 65 6c 64 5f 6e 61 6d 65 73 28 73 65 6c 66 29 ield_names(self)
1cd0: 3a 0a 09 09 6e 61 6d 65 73 20 3d 20 5b 5d 0a 09 :...names = []..
1ce0: 09 66 6f 72 20 72 65 63 6f 72 64 20 69 6e 20 73 .for record in s
1cf0: 65 6c 66 2e 5f 63 75 72 73 6f 72 2e 64 65 73 63 elf._cursor.desc
1d00: 72 69 70 74 69 6f 6e 3a 0a 09 09 09 6e 61 6d 65 ription:....name
1d10: 73 2e 61 70 70 65 6e 64 28 72 65 63 6f 72 64 2e s.append(record.
1d20: 6e 61 6d 65 29 0a 09 09 72 65 74 75 72 6e 28 6e name)...return(n
1d30: 61 6d 65 73 29 0a 0a 09 64 65 66 20 63 68 65 63 ames)...def chec
1d40: 6b 28 73 65 6c 66 2c 20 73 69 74 65 2c 20 69 70 k(self, site, ip
1d50: 5f 61 64 64 72 65 73 73 29 3a 0a 09 09 73 65 6c _address):...sel
1d60: 66 2e 5f 63 75 72 73 6f 72 2e 65 78 65 63 75 74 f._cursor.execut
1d70: 65 28 22 73 65 6c 65 63 74 20 2a 20 66 72 6f 6d e("select * from
1d80: 20 28 73 65 6c 65 63 74 20 72 65 64 69 72 65 63 (select redirec
1d90: 74 5f 75 72 6c 2c 20 72 65 67 65 78 70 20 66 72 t_url, regexp fr
1da0: 6f 6d 20 73 69 74 65 5f 72 75 6c 65 20 77 68 65 om site_rule whe
1db0: 72 65 20 73 69 74 65 20 3c 40 20 74 72 69 70 64 re site <@ tripd
1dc0: 6f 6d 61 69 6e 28 25 73 29 20 61 6e 64 20 6e 65 omain(%s) and ne
1dd0: 74 6d 61 73 6b 20 3e 3e 3d 20 25 73 20 6f 72 64 tmask >>= %s ord
1de0: 65 72 20 62 79 20 61 72 72 61 79 5f 6c 65 6e 67 er by array_leng
1df0: 74 68 28 73 69 74 65 2c 20 31 29 20 64 65 73 63 th(site, 1) desc
1e00: 29 20 61 20 67 72 6f 75 70 20 62 79 20 72 65 64 ) a group by red
1e10: 69 72 65 63 74 5f 75 72 6c 2c 20 72 65 67 65 78 irect_url, regex
1e20: 70 22 2c 20 5b 73 69 74 65 2c 20 69 70 5f 61 64 p", [site, ip_ad
1e30: 64 72 65 73 73 5d 29 0a 09 09 72 65 74 75 72 6e dress])...return
1e40: 28 73 65 6c 66 2e 5f 63 75 72 73 6f 72 2e 66 65 (self._cursor.fe
1e50: 74 63 68 61 6c 6c 28 29 29 0a 0a 09 64 65 66 20 tchall())...def
1e60: 64 75 6d 70 28 73 65 6c 66 29 3a 0a 09 09 73 65 dump(self):...se
1e70: 6c 66 2e 5f 63 75 72 73 6f 72 2e 65 78 65 63 75 lf._cursor.execu
1e80: 74 65 28 22 73 65 6c 65 63 74 20 75 6e 74 72 69 te("select untri
1e90: 70 28 73 69 74 65 29 20 61 73 20 73 69 74 65 2c p(site) as site,
1ea0: 20 74 61 67 3a 3a 74 65 78 74 2c 20 72 65 67 65 tag::text, rege
1eb0: 78 70 20 66 72 6f 6d 20 75 72 6c 73 20 6f 72 64 xp from urls ord
1ec0: 65 72 20 62 79 20 73 69 74 65 2c 20 74 61 67 22 er by site, tag"
1ed0: 29 0a 09 09 72 65 74 75 72 6e 28 73 65 6c 66 2e )...return(self.
1ee0: 5f 66 69 65 6c 64 5f 6e 61 6d 65 73 28 29 2c 20 _field_names(),
1ef0: 73 65 6c 66 2e 5f 63 75 72 73 6f 72 2e 66 65 74 self._cursor.fet
1f00: 63 68 61 6c 6c 28 29 29 0a 0a 09 64 65 66 20 6c chall())...def l
1f10: 6f 61 64 28 73 65 6c 66 2c 20 64 61 74 61 29 3a oad(self, data):
1f20: 0a 09 09 69 66 20 63 6f 6e 66 69 67 2e 6f 70 74 ...if config.opt
1f30: 69 6f 6e 73 2e 66 6c 75 73 68 5f 64 62 3a 0a 09 ions.flush_db:..
1f40: 09 09 73 65 6c 66 2e 5f 63 75 72 73 6f 72 2e 65 ..self._cursor.e
1f50: 78 65 63 75 74 65 28 27 64 65 6c 65 74 65 20 66 xecute('delete f
1f60: 72 6f 6d 20 75 72 6c 73 3b 27 29 0a 09 09 62 75 rom urls;')...bu
1f70: 6e 64 6c 65 20 3d 20 5b 5d 0a 09 09 66 6f 72 20 ndle = []...for
1f80: 72 6f 77 20 69 6e 20 64 61 74 61 3a 0a 09 09 09 row in data:....
1f90: 69 66 20 6c 65 6e 28 72 6f 77 29 20 3d 3d 20 32 if len(row) == 2
1fa0: 3a 0a 09 09 09 09 62 75 6e 64 6c 65 2e 61 70 70 :.....bundle.app
1fb0: 65 6e 64 28 5b 72 6f 77 5b 30 5d 2c 20 72 6f 77 end([row[0], row
1fc0: 5b 31 5d 2c 20 4e 6f 6e 65 5d 29 0a 09 09 09 65 [1], None])....e
1fd0: 6c 73 65 3a 0a 09 09 09 09 62 75 6e 64 6c 65 2e lse:.....bundle.
1fe0: 61 70 70 65 6e 64 28 5b 72 6f 77 5b 30 5d 2c 20 append([row[0],
1ff0: 72 6f 77 5b 31 5d 2c 20 72 6f 77 5b 32 5d 5d 29 row[1], row[2]])
2000: 0a 09 09 73 65 6c 66 2e 5f 63 75 72 73 6f 72 2e ...self._cursor.
2010: 65 78 65 63 75 74 65 6d 61 6e 79 28 22 69 6e 73 executemany("ins
2020: 65 72 74 20 69 6e 74 6f 20 75 72 6c 73 20 28 73 ert into urls (s
2030: 69 74 65 2c 20 74 61 67 2c 20 72 65 67 65 78 70 ite, tag, regexp
2040: 29 20 76 61 6c 75 65 73 20 28 74 72 69 70 64 6f ) values (tripdo
2050: 6d 61 69 6e 28 25 73 29 2c 20 25 73 2c 20 25 73 main(%s), %s, %s
2060: 29 22 2c 20 62 75 6e 64 6c 65 29 0a 09 09 73 65 )", bundle)...se
2070: 6c 66 2e 5f 63 75 72 73 6f 72 2e 65 78 65 63 75 lf._cursor.execu
2080: 74 65 28 22 75 70 64 61 74 65 20 75 72 6c 73 20 te("update urls
2090: 73 65 74 20 72 65 67 65 78 70 20 3d 20 4e 55 4c set regexp = NUL
20a0: 4c 20 77 68 65 72 65 20 72 65 67 65 78 70 20 3d L where regexp =
20b0: 20 27 27 22 29 0a 09 09 73 65 6c 66 2e 5f 64 62 ''")...self._db
20c0: 2e 63 6f 6d 6d 69 74 28 29 0a 0a 09 64 65 66 20 .commit()...def
20d0: 6c 6f 61 64 5f 63 6f 6e 66 28 73 65 6c 66 2c 20 load_conf(self,
20e0: 63 73 76 5f 64 61 74 61 29 3a 0a 09 09 73 65 6c csv_data):...sel
20f0: 66 2e 5f 63 75 72 73 6f 72 2e 65 78 65 63 75 74 f._cursor.execut
2100: 65 28 27 64 65 6c 65 74 65 20 66 72 6f 6d 20 72 e('delete from r
2110: 75 6c 65 73 3b 27 29 0a 09 09 62 75 6e 64 6c 65 ules;')...bundle
2120: 20 3d 20 5b 5d 0a 09 09 66 6f 72 20 72 6f 77 20 = []...for row
2130: 69 6e 20 63 73 76 5f 64 61 74 61 3a 0a 09 09 09 in csv_data:....
2140: 62 75 6e 64 6c 65 2e 61 70 70 65 6e 64 28 5b 72 bundle.append([r
2150: 6f 77 5b 30 5d 2c 20 72 6f 77 5b 31 5d 2c 20 69 ow[0], row[1], i
2160: 6e 74 28 72 6f 77 5b 32 5d 29 2c 20 69 6e 74 28 nt(row[2]), int(
2170: 72 6f 77 5b 33 5d 29 2c 20 72 6f 77 5b 34 5d 2c row[3]), row[4],
2180: 20 72 6f 77 5b 35 5d 2c 20 72 6f 77 5b 36 5d 5d row[5], row[6]]
2190: 29 0a 09 09 73 65 6c 66 2e 5f 63 75 72 73 6f 72 )...self._cursor
21a0: 2e 65 78 65 63 75 74 65 6d 61 6e 79 28 22 69 6e .executemany("in
21b0: 73 65 72 74 20 69 6e 74 6f 20 72 75 6c 65 73 20 sert into rules
21c0: 28 6e 65 74 6d 61 73 6b 2c 20 72 65 64 69 72 65 (netmask, redire
21d0: 63 74 5f 75 72 6c 2c 20 66 72 6f 6d 5f 77 65 65 ct_url, from_wee
21e0: 6b 64 61 79 2c 20 74 6f 5f 77 65 65 6b 64 61 79 kday, to_weekday
21f0: 2c 20 66 72 6f 6d 5f 74 69 6d 65 2c 20 74 6f 5f , from_time, to_
2200: 74 69 6d 65 2c 20 74 61 67 29 20 76 61 6c 75 65 time, tag) value
2210: 73 20 28 25 73 3a 3a 74 65 78 74 3a 3a 63 69 64 s (%s::text::cid
2220: 72 2c 20 25 73 2c 20 25 73 2c 20 25 73 2c 20 25 r, %s, %s, %s, %
2230: 73 3a 3a 74 65 78 74 3a 3a 74 69 6d 65 2c 20 25 s::text::time, %
2240: 73 3a 3a 74 65 78 74 3a 3a 74 69 6d 65 2c 20 25 s::text::time, %
2250: 73 3a 3a 74 65 78 74 3a 3a 74 65 78 74 5b 5d 29 s::text::text[])
2260: 22 2c 20 62 75 6e 64 6c 65 29 0a 09 09 73 65 6c ", bundle)...sel
2270: 66 2e 5f 64 62 2e 63 6f 6d 6d 69 74 28 29 0a 0a f._db.commit()..
2280: 09 64 65 66 20 64 75 6d 70 5f 63 6f 6e 66 28 73 .def dump_conf(s
2290: 65 6c 66 29 3a 0a 09 09 73 65 6c 66 2e 5f 63 75 elf):...self._cu
22a0: 72 73 6f 72 2e 65 78 65 63 75 74 65 28 22 73 65 rsor.execute("se
22b0: 6c 65 63 74 20 6e 65 74 6d 61 73 6b 2c 20 72 65 lect netmask, re
22c0: 64 69 72 65 63 74 5f 75 72 6c 2c 20 66 72 6f 6d direct_url, from
22d0: 5f 77 65 65 6b 64 61 79 2c 20 74 6f 5f 77 65 65 _weekday, to_wee
22e0: 6b 64 61 79 2c 20 66 72 6f 6d 5f 74 69 6d 65 2c kday, from_time,
22f0: 20 74 6f 5f 74 69 6d 65 2c 20 74 61 67 3a 3a 74 to_time, tag::t
2300: 65 78 74 20 66 72 6f 6d 20 72 75 6c 65 73 22 29 ext from rules")
2310: 0a 09 09 72 65 74 75 72 6e 28 73 65 6c 66 2e 5f ...return(self._
2320: 66 69 65 6c 64 5f 6e 61 6d 65 73 28 29 2c 20 73 field_names(), s
2330: 65 6c 66 2e 5f 63 75 72 73 6f 72 2e 66 65 74 63 elf._cursor.fetc
2340: 68 61 6c 6c 28 29 29 0a 0a 23 20 61 62 73 74 72 hall())..# abstr
2350: 61 63 74 20 63 6c 61 73 73 20 77 69 74 68 20 62 act class with b
2360: 61 73 69 63 20 63 68 65 63 6b 69 6e 67 20 66 75 asic checking fu
2370: 6e 63 74 69 6f 6e 61 6c 69 74 79 0a 63 6c 61 73 nctionality.clas
2380: 73 20 43 68 65 63 6b 65 72 28 6f 62 6a 65 63 74 s Checker(object
2390: 29 3a 0a 09 5f 5f 73 6c 6f 74 73 5f 5f 20 3d 20 ):..__slots__ =
23a0: 66 72 6f 7a 65 6e 73 65 74 28 5b 27 5f 64 62 27 frozenset(['_db'
23b0: 2c 20 27 5f 6c 6f 67 27 2c 20 27 5f 71 75 65 75 , '_log', '_queu
23c0: 65 27 2c 20 27 5f 72 65 71 75 65 73 74 27 2c 20 e', '_request',
23d0: 27 5f 73 74 64 6f 75 74 27 5d 29 0a 0a 09 64 65 '_stdout'])...de
23e0: 66 20 5f 5f 69 6e 69 74 5f 5f 28 73 65 6c 66 2c f __init__(self,
23f0: 20 71 75 65 75 65 2c 20 6c 6f 67 67 65 72 29 3a queue, logger):
2400: 0a 09 09 73 65 6c 66 2e 5f 64 62 20 3d 20 74 61 ...self._db = ta
2410: 67 44 42 28 29 0a 09 09 73 65 6c 66 2e 5f 6c 6f gDB()...self._lo
2420: 67 20 3d 20 6c 6f 67 67 65 72 0a 09 09 73 65 6c g = logger...sel
2430: 66 2e 5f 6c 6f 67 2e 69 6e 66 6f 28 27 73 74 61 f._log.info('sta
2440: 72 74 65 64 27 29 0a 09 09 73 65 6c 66 2e 5f 72 rted')...self._r
2450: 65 71 75 65 73 74 20 3d 20 72 65 2e 63 6f 6d 70 equest = re.comp
2460: 69 6c 65 28 27 5e 28 5b 30 2d 39 5d 2b 29 5c 20 ile('^([0-9]+)\
2470: 28 68 74 74 70 7c 66 74 70 29 3a 5c 2f 5c 2f 28 (http|ftp):\/\/(
2480: 5b 2d 5c 77 2e 3a 5d 2b 29 5c 2f 28 5b 5e 20 5d [-\w.:]+)\/([^ ]
2490: 2a 29 5c 20 28 5b 30 2d 39 2e 5d 2b 29 5c 2f 28 *)\ ([0-9.]+)\/(
24a0: 2d 7c 5b 5c 77 5c 2e 5d 2b 29 5c 20 28 2d 7c 5c -|[\w\.]+)\ (-|\
24b0: 77 2b 29 5c 20 28 2d 7c 47 45 54 7c 48 45 41 44 w+)\ (-|GET|HEAD
24c0: 7c 50 4f 53 54 29 2e 2a 24 27 29 0a 09 09 73 65 |POST).*$')...se
24d0: 6c 66 2e 5f 71 75 65 75 65 20 3d 20 71 75 65 75 lf._queue = queu
24e0: 65 0a 09 09 73 65 6c 66 2e 5f 73 74 64 6f 75 74 e...self._stdout
24f0: 20 3d 20 46 57 72 69 74 65 6c 69 6e 65 51 75 65 = FWritelineQue
2500: 75 65 28 73 79 73 2e 73 74 64 6f 75 74 2c 20 46 ue(sys.stdout, F
2510: 61 6c 73 65 29 0a 0a 09 64 65 66 20 70 72 6f 63 alse)...def proc
2520: 65 73 73 28 73 65 6c 66 2c 20 69 64 2c 20 73 69 ess(self, id, si
2530: 74 65 2c 20 69 70 5f 61 64 64 72 65 73 73 2c 20 te, ip_address,
2540: 75 72 6c 5f 70 61 74 68 2c 20 6c 69 6e 65 20 3d url_path, line =
2550: 20 4e 6f 6e 65 29 3a 0a 09 09 23 73 65 6c 66 2e None):...#self.
2560: 5f 6c 6f 67 2e 69 6e 66 6f 28 27 74 72 79 69 6e _log.info('tryin
2570: 67 20 7b 7d 27 2e 66 6f 72 6d 61 74 28 73 69 74 g {}'.format(sit
2580: 65 29 29 0a 09 09 72 65 73 75 6c 74 20 3d 20 73 e))...result = s
2590: 65 6c 66 2e 5f 64 62 2e 63 68 65 63 6b 28 73 69 elf._db.check(si
25a0: 74 65 2c 20 69 70 5f 61 64 64 72 65 73 73 29 0a te, ip_address).
25b0: 09 09 72 65 70 6c 79 20 3d 20 4e 6f 6e 65 0a 09 ..reply = None..
25c0: 09 23 73 65 6c 66 2e 5f 6c 6f 67 2e 69 6e 66 6f .#self._log.info
25d0: 28 27 67 6f 74 20 7b 7d 20 6c 69 6e 65 73 20 66 ('got {} lines f
25e0: 72 6f 6d 20 64 61 74 61 62 61 73 65 27 2e 66 6f rom database'.fo
25f0: 72 6d 61 74 28 6c 65 6e 28 72 65 73 75 6c 74 29 rmat(len(result)
2600: 29 29 0a 09 09 66 6f 72 20 72 6f 77 20 69 6e 20 ))...for row in
2610: 72 65 73 75 6c 74 3a 0a 09 09 09 69 66 20 72 6f result:....if ro
2620: 77 20 21 3d 20 4e 6f 6e 65 20 61 6e 64 20 72 6f w != None and ro
2630: 77 5b 30 5d 20 21 3d 20 4e 6f 6e 65 3a 0a 09 09 w[0] != None:...
2640: 09 09 69 66 20 72 6f 77 5b 31 5d 20 21 3d 20 4e ..if row[1] != N
2650: 6f 6e 65 3a 0a 09 09 09 09 09 73 65 6c 66 2e 5f one:......self._
2660: 6c 6f 67 2e 69 6e 66 6f 28 27 74 72 79 69 6e 67 log.info('trying
2670: 20 72 65 67 65 78 70 20 22 7b 7d 22 20 76 65 72 regexp "{}" ver
2680: 73 75 73 20 22 7b 7d 22 27 2e 66 6f 72 6d 61 74 sus "{}"'.format
2690: 28 72 6f 77 5b 31 5d 2c 20 75 72 6c 5f 70 61 74 (row[1], url_pat
26a0: 68 29 29 0a 09 09 09 09 09 74 72 79 3a 0a 09 09 h))......try:...
26b0: 09 09 09 09 69 66 20 72 65 2e 63 6f 6d 70 69 6c ....if re.compil
26c0: 65 28 72 6f 77 5b 31 5d 29 2e 6d 61 74 63 68 28 e(row[1]).match(
26d0: 75 72 6c 5f 70 61 74 68 29 3a 0a 09 09 09 09 09 url_path):......
26e0: 09 09 72 65 70 6c 79 20 3d 20 72 6f 77 5b 30 5d ..reply = row[0]
26f0: 2e 66 6f 72 6d 61 74 28 75 72 6c 5f 70 61 74 68 .format(url_path
2700: 29 0a 09 09 09 09 09 09 65 6c 73 65 3a 0a 09 09 ).......else:...
2710: 09 09 09 09 09 63 6f 6e 74 69 6e 75 65 0a 09 09 .....continue...
2720: 09 09 09 65 78 63 65 70 74 3a 0a 09 09 09 09 09 ...except:......
2730: 09 73 65 6c 66 2e 5f 6c 6f 67 2e 69 6e 66 6f 28 .self._log.info(
2740: 22 63 61 6e 27 74 20 63 6f 6d 70 69 6c 65 20 72 "can't compile r
2750: 65 67 65 78 70 22 29 0a 09 09 09 09 65 6c 73 65 egexp").....else
2760: 3a 0a 09 09 09 09 09 72 65 70 6c 79 20 3d 20 72 :......reply = r
2770: 6f 77 5b 30 5d 2e 66 6f 72 6d 61 74 28 75 72 6c ow[0].format(url
2780: 5f 70 61 74 68 29 0a 09 09 09 69 66 20 72 65 70 _path)....if rep
2790: 6c 79 20 21 3d 20 4e 6f 6e 65 3a 0a 09 09 09 09 ly != None:.....
27a0: 73 65 6c 66 2e 77 72 69 74 65 6c 69 6e 65 28 27 self.writeline('
27b0: 7b 7d 20 7b 7d 27 2e 66 6f 72 6d 61 74 28 69 64 {} {}'.format(id
27c0: 2c 20 72 65 70 6c 79 29 29 0a 09 09 09 09 72 65 , reply)).....re
27d0: 74 75 72 6e 28 54 72 75 65 29 0a 09 09 73 65 6c turn(True)...sel
27e0: 66 2e 77 72 69 74 65 6c 69 6e 65 28 27 7b 7d 27 f.writeline('{}'
27f0: 2e 66 6f 72 6d 61 74 28 69 64 29 29 0a 0a 09 64 .format(id))...d
2800: 65 66 20 63 68 65 63 6b 28 73 65 6c 66 29 3a 0a ef check(self):.
2810: 09 09 77 68 69 6c 65 20 54 72 75 65 3a 0a 09 09 ..while True:...
2820: 09 6c 69 6e 65 20 3d 20 73 65 6c 66 2e 5f 71 75 .line = self._qu
2830: 65 75 65 2e 67 65 74 28 29 0a 09 09 09 69 66 20 eue.get()....if
2840: 6c 69 6e 65 20 3d 3d 20 4e 6f 6e 65 3a 0a 09 09 line == None:...
2850: 09 09 62 72 65 61 6b 0a 09 09 09 23 73 65 6c 66 ..break....#self
2860: 2e 5f 6c 6f 67 2e 69 6e 66 6f 28 27 72 65 71 75 ._log.info('requ
2870: 65 73 74 3a 20 27 20 2b 20 6c 69 6e 65 29 0a 09 est: ' + line)..
2880: 09 09 72 65 71 75 65 73 74 20 3d 20 73 65 6c 66 ..request = self
2890: 2e 5f 72 65 71 75 65 73 74 2e 6d 61 74 63 68 28 ._request.match(
28a0: 6c 69 6e 65 29 0a 09 09 09 69 66 20 72 65 71 75 line)....if requ
28b0: 65 73 74 3a 0a 09 09 09 09 69 64 20 3d 20 72 65 est:.....id = re
28c0: 71 75 65 73 74 2e 67 72 6f 75 70 28 31 29 0a 09 quest.group(1)..
28d0: 09 09 09 23 70 72 6f 74 6f 20 3d 20 72 65 71 75 ...#proto = requ
28e0: 65 73 74 2e 67 72 6f 75 70 28 32 29 0a 09 09 09 est.group(2)....
28f0: 09 73 69 74 65 20 3d 20 72 65 71 75 65 73 74 2e .site = request.
2900: 67 72 6f 75 70 28 33 29 0a 09 09 09 09 75 72 6c group(3).....url
2910: 5f 70 61 74 68 20 3d 20 72 65 71 75 65 73 74 2e _path = request.
2920: 67 72 6f 75 70 28 34 29 0a 09 09 09 09 69 70 5f group(4).....ip_
2930: 61 64 64 72 65 73 73 20 3d 20 72 65 71 75 65 73 address = reques
2940: 74 2e 67 72 6f 75 70 28 35 29 0a 09 09 09 09 73 t.group(5).....s
2950: 65 6c 66 2e 70 72 6f 63 65 73 73 28 69 64 2c 20 elf.process(id,
2960: 73 69 74 65 2c 20 69 70 5f 61 64 64 72 65 73 73 site, ip_address
2970: 2c 20 75 72 6c 5f 70 61 74 68 2c 20 6c 69 6e 65 , url_path, line
2980: 29 0a 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 73 )....else:.....s
2990: 65 6c 66 2e 5f 6c 6f 67 2e 69 6e 66 6f 28 27 62 elf._log.info('b
29a0: 61 64 20 72 65 71 75 65 73 74 5c 6e 27 29 0a 09 ad request\n')..
29b0: 09 09 09 73 65 6c 66 2e 77 72 69 74 65 6c 69 6e ...self.writelin
29c0: 65 28 6c 69 6e 65 29 0a 0a 09 64 65 66 20 77 72 e(line)...def wr
29d0: 69 74 65 6c 69 6e 65 28 73 65 6c 66 2c 20 73 74 iteline(self, st
29e0: 72 69 6e 67 29 3a 0a 09 09 73 65 6c 66 2e 5f 6c ring):...self._l
29f0: 6f 67 2e 69 6e 66 6f 28 27 73 65 6e 64 69 6e 67 og.info('sending
2a00: 3a 20 27 20 2b 20 73 74 72 69 6e 67 29 0a 09 09 : ' + string)...
2a10: 73 65 6c 66 2e 5f 73 74 64 6f 75 74 2e 70 75 74 self._stdout.put
2a20: 28 73 74 72 69 6e 67 29 0a 0a 09 64 65 66 20 6c (string)...def l
2a30: 6f 6f 70 28 73 65 6c 66 29 3a 0a 09 09 70 6f 6f oop(self):...poo
2a40: 6c 20 3d 20 67 65 76 65 6e 74 2e 70 6f 6f 6c 2e l = gevent.pool.
2a50: 50 6f 6f 6c 28 29 0a 09 09 70 6f 6f 6c 2e 73 70 Pool()...pool.sp
2a60: 61 77 6e 28 73 65 6c 66 2e 63 68 65 63 6b 29 0a awn(self.check).
2a70: 09 09 70 6f 6f 6c 2e 6a 6f 69 6e 28 29 0a 0a 69 ..pool.join()..i
2a80: 66 20 63 6f 6e 66 69 67 2e 6f 70 74 69 6f 6e 73 f config.options
2a90: 2e 64 75 6d 70 20 6f 72 20 63 6f 6e 66 69 67 2e .dump or config.
2aa0: 6f 70 74 69 6f 6e 73 2e 6c 6f 61 64 20 6f 72 20 options.load or
2ab0: 63 6f 6e 66 69 67 2e 6f 70 74 69 6f 6e 73 2e 64 config.options.d
2ac0: 75 6d 70 5f 63 6f 6e 66 20 6f 72 20 63 6f 6e 66 ump_conf or conf
2ad0: 69 67 2e 6f 70 74 69 6f 6e 73 2e 6c 6f 61 64 5f ig.options.load_
2ae0: 63 6f 6e 66 3a 0a 09 69 6d 70 6f 72 74 20 63 73 conf:..import cs
2af0: 76 0a 0a 09 74 61 67 64 62 20 3d 20 74 61 67 44 v...tagdb = tagD
2b00: 42 28 29 0a 09 64 61 74 61 5f 66 69 65 6c 64 73 B()..data_fields
2b10: 20 3d 20 5b 27 73 69 74 65 27 2c 20 27 74 61 67 = ['site', 'tag
2b20: 27 2c 20 27 72 65 67 65 78 70 27 5d 0a 09 63 6f ', 'regexp']..co
2b30: 6e 66 5f 66 69 65 6c 64 73 20 3d 20 5b 27 6e 65 nf_fields = ['ne
2b40: 74 6d 61 73 6b 27 2c 20 27 72 65 64 69 72 65 63 tmask', 'redirec
2b50: 74 5f 75 72 6c 27 2c 20 27 66 72 6f 6d 5f 77 65 t_url', 'from_we
2b60: 65 6b 64 61 79 27 2c 20 27 74 6f 5f 77 65 65 6b ekday', 'to_week
2b70: 64 61 79 27 2c 20 27 66 72 6f 6d 5f 74 69 6d 65 day', 'from_time
2b80: 27 2c 20 27 74 6f 5f 74 69 6d 65 27 2c 20 27 74 ', 'to_time', 't
2b90: 61 67 27 5d 0a 0a 09 69 66 20 63 6f 6e 66 69 67 ag']...if config
2ba0: 2e 6f 70 74 69 6f 6e 73 2e 64 75 6d 70 20 6f 72 .options.dump or
2bb0: 20 63 6f 6e 66 69 67 2e 6f 70 74 69 6f 6e 73 2e config.options.
2bc0: 64 75 6d 70 5f 63 6f 6e 66 3a 0a 09 09 63 73 76 dump_conf:...csv
2bd0: 5f 77 72 69 74 65 72 20 3d 20 63 73 76 2e 77 72 _writer = csv.wr
2be0: 69 74 65 72 28 73 79 73 2e 73 74 64 6f 75 74 29 iter(sys.stdout)
2bf0: 0a 09 09 69 66 20 63 6f 6e 66 69 67 2e 6f 70 74 ...if config.opt
2c00: 69 6f 6e 73 2e 64 75 6d 70 3a 0a 09 09 09 64 75 ions.dump:....du
2c10: 6d 70 20 3d 20 74 61 67 64 62 2e 64 75 6d 70 28 mp = tagdb.dump(
2c20: 29 0a 09 09 65 6c 69 66 20 63 6f 6e 66 69 67 2e )...elif config.
2c30: 6f 70 74 69 6f 6e 73 2e 64 75 6d 70 5f 63 6f 6e options.dump_con
2c40: 66 3a 0a 09 09 09 64 75 6d 70 20 3d 20 74 61 67 f:....dump = tag
2c50: 64 62 2e 64 75 6d 70 5f 63 6f 6e 66 28 29 0a 0a db.dump_conf()..
2c60: 09 09 63 73 76 5f 77 72 69 74 65 72 2e 77 72 69 ..csv_writer.wri
2c70: 74 65 72 6f 77 28 64 75 6d 70 5b 30 5d 29 0a 09 terow(dump[0])..
2c80: 09 66 6f 72 20 6c 69 6e 65 20 69 6e 20 64 75 6d .for line in dum
2c90: 70 5b 31 5d 3a 0a 09 09 09 63 73 76 5f 77 72 69 p[1]:....csv_wri
2ca0: 74 65 72 2e 77 72 69 74 65 72 6f 77 28 6c 69 6e ter.writerow(lin
2cb0: 65 29 0a 0a 09 65 6c 69 66 20 63 6f 6e 66 69 67 e)...elif config
2cc0: 2e 6f 70 74 69 6f 6e 73 2e 6c 6f 61 64 20 6f 72 .options.load or
2cd0: 20 63 6f 6e 66 69 67 2e 6f 70 74 69 6f 6e 73 2e config.options.
2ce0: 6c 6f 61 64 5f 63 6f 6e 66 3a 0a 09 09 63 73 76 load_conf:...csv
2cf0: 5f 72 65 61 64 65 72 20 3d 20 63 73 76 2e 72 65 _reader = csv.re
2d00: 61 64 65 72 28 73 79 73 2e 73 74 64 69 6e 29 0a ader(sys.stdin).
2d10: 09 09 66 69 72 73 74 5f 72 6f 77 20 3d 20 6e 65 ..first_row = ne
2d20: 78 74 28 63 73 76 5f 72 65 61 64 65 72 29 0a 0a xt(csv_reader)..
2d30: 09 09 69 66 20 63 6f 6e 66 69 67 2e 6f 70 74 69 ..if config.opti
2d40: 6f 6e 73 2e 6c 6f 61 64 3a 0a 09 09 09 66 69 65 ons.load:....fie
2d50: 6c 64 73 20 3d 20 64 61 74 61 5f 66 69 65 6c 64 lds = data_field
2d60: 73 0a 09 09 09 6c 6f 61 64 20 3d 20 74 61 67 64 s....load = tagd
2d70: 62 2e 6c 6f 61 64 0a 09 09 65 6c 69 66 20 63 6f b.load...elif co
2d80: 6e 66 69 67 2e 6f 70 74 69 6f 6e 73 2e 6c 6f 61 nfig.options.loa
2d90: 64 5f 63 6f 6e 66 3a 0a 09 09 09 66 69 65 6c 64 d_conf:....field
2da0: 73 20 3d 20 63 6f 6e 66 5f 66 69 65 6c 64 73 0a s = conf_fields.
2db0: 09 09 09 6c 6f 61 64 20 3d 20 74 61 67 64 62 2e ...load = tagdb.
2dc0: 6c 6f 61 64 5f 63 6f 6e 66 0a 0a 09 09 61 73 73 load_conf....ass
2dd0: 65 72 74 20 66 69 72 73 74 5f 72 6f 77 20 3d 3d ert first_row ==
2de0: 20 66 69 65 6c 64 73 2c 20 27 46 69 6c 65 20 6d fields, 'File m
2df0: 75 73 74 20 63 6f 6e 74 61 69 6e 20 63 73 76 20 ust contain csv
2e00: 64 61 74 61 20 77 69 74 68 20 74 68 65 65 73 65 data with theese
2e10: 20 63 6f 6c 75 6d 6e 73 3a 20 27 20 2b 20 72 65 columns: ' + re
2e20: 70 72 28 66 69 65 6c 64 73 29 0a 09 09 6c 6f 61 pr(fields)...loa
2e30: 64 28 63 73 76 5f 72 65 61 64 65 72 29 0a 0a 65 d(csv_reader)..e
2e40: 6c 73 65 3a 0a 09 23 20 6d 61 69 6e 20 6c 6f 6f lse:..# main loo
2e50: 70 0a 09 43 68 65 63 6b 65 72 28 73 74 64 69 6e p..Checker(stdin
2e60: 2c 20 6c 6f 67 67 65 72 29 2e 6c 6f 6f 70 28 29 , logger).loop()
2e70: 0a .