0000: 23 21 2f 75 73 72 2f 62 69 6e 2f 65 6e 76 20 70 #!/usr/bin/env p
0010: 79 74 68 6f 6e 0a 0a 66 72 6f 6d 20 5f 5f 66 75 ython..from __fu
0020: 74 75 72 65 5f 5f 20 69 6d 70 6f 72 74 20 64 69 ture__ import di
0030: 76 69 73 69 6f 6e 2c 20 70 72 69 6e 74 5f 66 75 vision, print_fu
0040: 6e 63 74 69 6f 6e 2c 20 75 6e 69 63 6f 64 65 5f nction, unicode_
0050: 6c 69 74 65 72 61 6c 73 0a 0a 69 6d 70 6f 72 74 literals..import
0060: 20 67 65 76 65 6e 74 2e 6d 6f 6e 6b 65 79 0a 67 gevent.monkey.g
0070: 65 76 65 6e 74 2e 6d 6f 6e 6b 65 79 2e 70 61 74 event.monkey.pat
0080: 63 68 5f 61 6c 6c 28 29 0a 0a 69 6d 70 6f 72 74 ch_all()..import
0090: 20 66 63 6e 74 6c 2c 20 67 65 76 65 6e 74 2e 63 fcntl, gevent.c
00a0: 6f 72 65 2c 20 67 65 76 65 6e 74 2e 70 6f 6f 6c ore, gevent.pool
00b0: 2c 20 67 65 76 65 6e 74 2e 71 75 65 75 65 2c 20 , gevent.queue,
00c0: 67 65 76 65 6e 74 2e 73 6f 63 6b 65 74 2c 20 6f gevent.socket, o
00d0: 73 2c 20 70 73 79 63 6f 70 67 32 2c 20 72 65 2c s, psycopg2, re,
00e0: 20 73 79 73 0a 0a 23 20 2f 2f 69 6e 63 6c 75 73 sys..# //inclus
00f0: 69 6f 6e 20 73 74 61 72 74 0a 23 20 43 6f 70 79 ion start.# Copy
0100: 72 69 67 68 74 20 28 43 29 20 32 30 31 30 20 44 right (C) 2010 D
0110: 61 6e 69 65 6c 65 20 56 61 72 72 61 7a 7a 6f 20 aniele Varrazzo
0120: 3c 64 61 6e 69 65 6c 65 2e 76 61 72 72 61 7a 7a <daniele.varrazz
0130: 6f 40 67 6d 61 69 6c 2e 63 6f 6d 3e 0a 23 20 61 o@gmail.com>.# a
0140: 6e 64 20 6c 69 63 65 6e 73 65 64 20 75 6e 64 65 nd licensed unde
0150: 72 20 74 68 65 20 4d 49 54 20 6c 69 63 65 6e 73 r the MIT licens
0160: 65 3a 0a 0a 64 65 66 20 67 65 76 65 6e 74 5f 77 e:..def gevent_w
0170: 61 69 74 5f 63 61 6c 6c 62 61 63 6b 28 63 6f 6e ait_callback(con
0180: 6e 2c 20 74 69 6d 65 6f 75 74 3d 4e 6f 6e 65 29 n, timeout=None)
0190: 3a 0a 09 22 22 22 41 20 77 61 69 74 20 63 61 6c :.."""A wait cal
01a0: 6c 62 61 63 6b 20 75 73 65 66 75 6c 20 74 6f 20 lback useful to
01b0: 61 6c 6c 6f 77 20 67 65 76 65 6e 74 20 74 6f 20 allow gevent to
01c0: 77 6f 72 6b 20 77 69 74 68 20 50 73 79 63 6f 70 work with Psycop
01d0: 67 2e 22 22 22 0a 09 77 68 69 6c 65 20 31 3a 0a g."""..while 1:.
01e0: 09 09 73 74 61 74 65 20 3d 20 63 6f 6e 6e 2e 70 ..state = conn.p
01f0: 6f 6c 6c 28 29 0a 09 09 69 66 20 73 74 61 74 65 oll()...if state
0200: 20 3d 3d 20 70 73 79 63 6f 70 67 32 2e 65 78 74 == psycopg2.ext
0210: 65 6e 73 69 6f 6e 73 2e 50 4f 4c 4c 5f 4f 4b 3a ensions.POLL_OK:
0220: 0a 09 09 09 62 72 65 61 6b 0a 09 09 65 6c 69 66 ....break...elif
0230: 20 73 74 61 74 65 20 3d 3d 20 70 73 79 63 6f 70 state == psycop
0240: 67 32 2e 65 78 74 65 6e 73 69 6f 6e 73 2e 50 4f g2.extensions.PO
0250: 4c 4c 5f 52 45 41 44 3a 0a 09 09 09 67 65 76 65 LL_READ:....geve
0260: 6e 74 2e 73 6f 63 6b 65 74 2e 77 61 69 74 5f 72 nt.socket.wait_r
0270: 65 61 64 28 63 6f 6e 6e 2e 66 69 6c 65 6e 6f 28 ead(conn.fileno(
0280: 29 2c 20 74 69 6d 65 6f 75 74 3d 74 69 6d 65 6f ), timeout=timeo
0290: 75 74 29 0a 09 09 65 6c 69 66 20 73 74 61 74 65 ut)...elif state
02a0: 20 3d 3d 20 70 73 79 63 6f 70 67 32 2e 65 78 74 == psycopg2.ext
02b0: 65 6e 73 69 6f 6e 73 2e 50 4f 4c 4c 5f 57 52 49 ensions.POLL_WRI
02c0: 54 45 3a 0a 09 09 09 67 65 76 65 6e 74 2e 73 6f TE:....gevent.so
02d0: 63 6b 65 74 2e 77 61 69 74 5f 77 72 69 74 65 28 cket.wait_write(
02e0: 63 6f 6e 6e 2e 66 69 6c 65 6e 6f 28 29 2c 20 74 conn.fileno(), t
02f0: 69 6d 65 6f 75 74 3d 74 69 6d 65 6f 75 74 29 0a imeout=timeout).
0300: 09 09 65 6c 73 65 3a 0a 09 09 09 72 61 69 73 65 ..else:....raise
0310: 20 70 73 79 63 6f 70 67 32 2e 4f 70 65 72 61 74 psycopg2.Operat
0320: 69 6f 6e 61 6c 45 72 72 6f 72 28 22 42 61 64 20 ionalError("Bad
0330: 72 65 73 75 6c 74 20 66 72 6f 6d 20 70 6f 6c 6c result from poll
0340: 3a 20 25 72 22 20 25 20 73 74 61 74 65 29 0a 0a : %r" % state)..
0350: 69 66 20 6e 6f 74 20 68 61 73 61 74 74 72 28 70 if not hasattr(p
0360: 73 79 63 6f 70 67 32 2e 65 78 74 65 6e 73 69 6f sycopg2.extensio
0370: 6e 73 2c 20 27 73 65 74 5f 77 61 69 74 5f 63 61 ns, 'set_wait_ca
0380: 6c 6c 62 61 63 6b 27 29 3a 0a 09 72 61 69 73 65 llback'):..raise
0390: 20 49 6d 70 6f 72 74 45 72 72 6f 72 28 22 73 75 ImportError("su
03a0: 70 70 6f 72 74 20 66 6f 72 20 63 6f 72 6f 75 74 pport for corout
03b0: 69 6e 65 73 20 6e 6f 74 20 61 76 61 69 6c 61 62 ines not availab
03c0: 6c 65 20 69 6e 20 74 68 69 73 20 50 73 79 63 6f le in this Psyco
03d0: 70 67 20 76 65 72 73 69 6f 6e 20 28 25 73 29 22 pg version (%s)"
03e0: 20 25 20 70 73 79 63 6f 70 67 32 2e 5f 5f 76 65 % psycopg2.__ve
03f0: 72 73 69 6f 6e 5f 5f 29 0a 09 70 73 79 63 6f 70 rsion__)..psycop
0400: 67 32 2e 65 78 74 65 6e 73 69 6f 6e 73 2e 73 65 g2.extensions.se
0410: 74 5f 77 61 69 74 5f 63 61 6c 6c 62 61 63 6b 28 t_wait_callback(
0420: 67 65 76 65 6e 74 5f 77 61 69 74 5f 63 61 6c 6c gevent_wait_call
0430: 62 61 63 6b 29 0a 0a 23 20 2f 2f 69 6e 63 6c 75 back)..# //inclu
0440: 73 69 6f 6e 20 65 6e 64 0a 0a 23 20 74 68 69 73 sion end..# this
0450: 20 63 6c 61 73 73 65 73 20 70 72 6f 63 65 73 73 classes process
0460: 65 73 20 63 6f 6e 66 69 67 20 66 69 6c 65 20 61 es config file a
0470: 6e 64 20 73 75 62 73 74 69 74 75 74 65 73 20 64 nd substitutes d
0480: 65 66 61 75 6c 74 20 76 61 6c 75 65 73 0a 63 6c efault values.cl
0490: 61 73 73 20 43 6f 6e 66 69 67 3a 0a 09 5f 5f 73 ass Config:..__s
04a0: 6c 6f 74 73 5f 5f 20 3d 20 66 72 6f 7a 65 6e 73 lots__ = frozens
04b0: 65 74 28 5b 27 5f 63 6f 6e 66 69 67 27 2c 20 27 et(['_config', '
04c0: 5f 64 65 66 61 75 6c 74 27 2c 20 27 5f 73 65 63 _default', '_sec
04d0: 74 69 6f 6e 27 2c 20 27 6f 70 74 69 6f 6e 73 27 tion', 'options'
04e0: 5d 29 0a 09 5f 64 65 66 61 75 6c 74 20 3d 20 7b ]).._default = {
04f0: 0a 09 09 27 6c 6f 67 27 3a 20 7b 0a 09 09 09 27 ...'log': {....'
0500: 73 69 6c 65 6e 74 27 3a 20 27 6e 6f 27 2c 0a 09 silent': 'no',..
0510: 09 7d 2c 0a 09 09 27 64 61 74 61 62 61 73 65 27 .},...'database'
0520: 3a 20 7b 0a 09 09 09 27 68 6f 73 74 27 3a 20 27 : {....'host': '
0530: 6c 6f 63 61 6c 68 6f 73 74 27 2c 0a 09 09 09 27 localhost',....'
0540: 64 61 74 61 62 61 73 65 27 3a 20 27 73 71 75 69 database': 'squi
0550: 64 54 61 67 27 2c 0a 09 7d 2c 7d 0a 0a 09 23 20 dTag',..},}...#
0560: 66 75 6e 63 74 69 6f 6e 20 74 6f 20 72 65 61 64 function to read
0570: 20 69 6e 20 63 6f 6e 66 69 67 20 66 69 6c 65 0a in config file.
0580: 09 64 65 66 20 5f 5f 69 6e 69 74 5f 5f 28 73 65 .def __init__(se
0590: 6c 66 29 3a 0a 09 09 69 6d 70 6f 72 74 20 43 6f lf):...import Co
05a0: 6e 66 69 67 50 61 72 73 65 72 2c 20 6f 70 74 70 nfigParser, optp
05b0: 61 72 73 65 2c 20 6f 73 0a 0a 09 09 70 61 72 73 arse, os....pars
05c0: 65 72 20 3d 20 6f 70 74 70 61 72 73 65 2e 4f 70 er = optparse.Op
05d0: 74 69 6f 6e 50 61 72 73 65 72 28 29 0a 09 09 70 tionParser()...p
05e0: 61 72 73 65 72 2e 61 64 64 5f 6f 70 74 69 6f 6e arser.add_option
05f0: 28 27 2d 63 27 2c 20 27 2d 2d 63 6f 6e 66 69 67 ('-c', '--config
0600: 27 2c 20 64 65 73 74 20 3d 20 27 63 6f 6e 66 69 ', dest = 'confi
0610: 67 27 2c 0a 09 09 09 68 65 6c 70 20 3d 20 27 63 g',....help = 'c
0620: 6f 6e 66 69 67 20 66 69 6c 65 20 6c 6f 63 61 74 onfig file locat
0630: 69 6f 6e 27 2c 20 6d 65 74 61 76 61 72 20 3d 20 ion', metavar =
0640: 27 46 49 4c 45 27 2c 0a 09 09 09 64 65 66 61 75 'FILE',....defau
0650: 6c 74 20 3d 20 27 2f 75 73 72 2f 6c 6f 63 61 6c lt = '/usr/local
0660: 2f 65 74 63 2f 73 71 75 69 64 2d 74 61 67 67 65 /etc/squid-tagge
0670: 72 2e 63 6f 6e 66 27 29 0a 09 09 70 61 72 73 65 r.conf')...parse
0680: 72 2e 61 64 64 5f 6f 70 74 69 6f 6e 28 27 2d 64 r.add_option('-d
0690: 27 2c 20 27 2d 2d 64 75 6d 70 27 2c 20 64 65 73 ', '--dump', des
06a0: 74 20 3d 20 27 64 75 6d 70 27 2c 0a 09 09 09 68 t = 'dump',....h
06b0: 65 6c 70 20 3d 20 27 64 75 6d 70 20 64 61 74 61 elp = 'dump data
06c0: 62 61 73 65 27 2c 20 61 63 74 69 6f 6e 20 3d 20 base', action =
06d0: 27 73 74 6f 72 65 5f 74 72 75 65 27 2c 20 6d 65 'store_true', me
06e0: 74 61 76 61 72 20 3d 20 27 62 6f 6f 6c 27 2c 0a tavar = 'bool',.
06f0: 09 09 09 64 65 66 61 75 6c 74 20 3d 20 46 61 6c ...default = Fal
0700: 73 65 29 0a 09 09 70 61 72 73 65 72 2e 61 64 64 se)...parser.add
0710: 5f 6f 70 74 69 6f 6e 28 27 2d 66 27 2c 20 27 2d _option('-f', '-
0720: 2d 66 6c 75 73 68 2d 64 61 74 61 62 61 73 65 27 -flush-database'
0730: 2c 20 64 65 73 74 20 3d 20 27 66 6c 75 73 68 5f , dest = 'flush_
0740: 64 62 27 2c 0a 09 09 09 68 65 6c 70 20 3d 20 27 db',....help = '
0750: 66 6c 75 73 68 20 70 72 65 76 69 6f 75 73 20 64 flush previous d
0760: 61 74 61 62 61 73 65 20 6f 6e 20 6c 6f 61 64 27 atabase on load'
0770: 2c 20 64 65 66 61 75 6c 74 20 3d 20 46 61 6c 73 , default = Fals
0780: 65 2c 0a 09 09 09 61 63 74 69 6f 6e 20 3d 20 27 e,....action = '
0790: 73 74 6f 72 65 5f 74 72 75 65 27 2c 20 6d 65 74 store_true', met
07a0: 61 76 61 72 20 3d 20 27 62 6f 6f 6c 27 29 0a 09 avar = 'bool')..
07b0: 09 70 61 72 73 65 72 2e 61 64 64 5f 6f 70 74 69 .parser.add_opti
07c0: 6f 6e 28 27 2d 6c 27 2c 20 27 2d 2d 6c 6f 61 64 on('-l', '--load
07d0: 27 2c 20 64 65 73 74 20 3d 20 27 6c 6f 61 64 27 ', dest = 'load'
07e0: 2c 0a 09 09 09 68 65 6c 70 20 3d 20 27 6c 6f 61 ,....help = 'loa
07f0: 64 20 64 61 74 61 62 61 73 65 27 2c 20 61 63 74 d database', act
0800: 69 6f 6e 20 3d 20 27 73 74 6f 72 65 5f 74 72 75 ion = 'store_tru
0810: 65 27 2c 20 6d 65 74 61 76 61 72 20 3d 20 27 62 e', metavar = 'b
0820: 6f 6f 6c 27 2c 0a 09 09 09 64 65 66 61 75 6c 74 ool',....default
0830: 20 3d 20 46 61 6c 73 65 29 0a 09 09 70 61 72 73 = False)...pars
0840: 65 72 2e 61 64 64 5f 6f 70 74 69 6f 6e 28 27 2d er.add_option('-
0850: 44 27 2c 20 27 2d 2d 64 75 6d 70 2d 63 6f 6e 66 D', '--dump-conf
0860: 27 2c 20 64 65 73 74 20 3d 20 27 64 75 6d 70 5f ', dest = 'dump_
0870: 63 6f 6e 66 27 2c 0a 09 09 09 68 65 6c 70 20 3d conf',....help =
0880: 20 27 64 75 6d 70 20 66 69 6c 74 65 72 69 6e 67 'dump filtering
0890: 20 72 75 6c 65 73 27 2c 20 64 65 66 61 75 6c 74 rules', default
08a0: 20 3d 20 46 61 6c 73 65 2c 20 6d 65 74 61 76 61 = False, metava
08b0: 72 20 3d 20 27 62 6f 6f 6c 27 2c 0a 09 09 09 61 r = 'bool',....a
08c0: 63 74 69 6f 6e 20 3d 20 27 73 74 6f 72 65 5f 74 ction = 'store_t
08d0: 72 75 65 27 29 0a 09 09 70 61 72 73 65 72 2e 61 rue')...parser.a
08e0: 64 64 5f 6f 70 74 69 6f 6e 28 27 2d 4c 27 2c 20 dd_option('-L',
08f0: 27 2d 2d 6c 6f 61 64 2d 63 6f 6e 66 27 2c 20 64 '--load-conf', d
0900: 65 73 74 20 3d 20 27 6c 6f 61 64 5f 63 6f 6e 66 est = 'load_conf
0910: 27 2c 0a 09 09 09 68 65 6c 70 20 3d 20 27 6c 6f ',....help = 'lo
0920: 61 64 20 66 69 6c 74 65 72 69 6e 67 20 72 75 6c ad filtering rul
0930: 65 73 27 2c 20 64 65 66 61 75 6c 74 20 3d 20 46 es', default = F
0940: 61 6c 73 65 2c 20 6d 65 74 61 76 61 72 20 3d 20 alse, metavar =
0950: 27 62 6f 6f 6c 27 2c 0a 09 09 09 61 63 74 69 6f 'bool',....actio
0960: 6e 20 3d 20 27 73 74 6f 72 65 5f 74 72 75 65 27 n = 'store_true'
0970: 29 0a 0a 09 09 28 73 65 6c 66 2e 6f 70 74 69 6f )....(self.optio
0980: 6e 73 2c 20 61 72 67 73 29 20 3d 20 70 61 72 73 ns, args) = pars
0990: 65 72 2e 70 61 72 73 65 5f 61 72 67 73 28 29 0a er.parse_args().
09a0: 0a 09 09 61 73 73 65 72 74 20 6f 73 2e 61 63 63 ...assert os.acc
09b0: 65 73 73 28 73 65 6c 66 2e 6f 70 74 69 6f 6e 73 ess(self.options
09c0: 2e 63 6f 6e 66 69 67 2c 20 6f 73 2e 52 5f 4f 4b .config, os.R_OK
09d0: 29 2c 20 22 46 61 74 61 6c 20 65 72 72 6f 72 3a ), "Fatal error:
09e0: 20 63 61 6e 27 74 20 72 65 61 64 20 7b 7d 22 2e can't read {}".
09f0: 66 6f 72 6d 61 74 28 73 65 6c 66 2e 6f 70 74 69 format(self.opti
0a00: 6f 6e 73 2e 63 6f 6e 66 69 67 29 0a 0a 09 09 73 ons.config)....s
0a10: 65 6c 66 2e 5f 63 6f 6e 66 69 67 20 3d 20 43 6f elf._config = Co
0a20: 6e 66 69 67 50 61 72 73 65 72 2e 43 6f 6e 66 69 nfigParser.Confi
0a30: 67 50 61 72 73 65 72 28 29 0a 09 09 73 65 6c 66 gParser()...self
0a40: 2e 5f 63 6f 6e 66 69 67 2e 72 65 61 64 66 70 28 ._config.readfp(
0a50: 6f 70 65 6e 28 73 65 6c 66 2e 6f 70 74 69 6f 6e open(self.option
0a60: 73 2e 63 6f 6e 66 69 67 29 29 0a 0a 09 23 20 66 s.config))...# f
0a70: 75 6e 63 74 69 6f 6e 20 74 6f 20 73 65 6c 65 63 unction to selec
0a80: 74 20 63 6f 6e 66 69 67 20 66 69 6c 65 20 73 65 t config file se
0a90: 63 74 69 6f 6e 20 6f 72 20 63 72 65 61 74 65 20 ction or create
0aa0: 6f 6e 65 0a 09 64 65 66 20 73 65 63 74 69 6f 6e one..def section
0ab0: 28 73 65 6c 66 2c 20 73 65 63 74 69 6f 6e 29 3a (self, section):
0ac0: 0a 09 09 69 66 20 6e 6f 74 20 73 65 6c 66 2e 5f ...if not self._
0ad0: 63 6f 6e 66 69 67 2e 68 61 73 5f 73 65 63 74 69 config.has_secti
0ae0: 6f 6e 28 73 65 63 74 69 6f 6e 29 3a 0a 09 09 09 on(section):....
0af0: 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 61 64 64 self._config.add
0b00: 5f 73 65 63 74 69 6f 6e 28 73 65 63 74 69 6f 6e _section(section
0b10: 29 0a 09 09 73 65 6c 66 2e 5f 73 65 63 74 69 6f )...self._sectio
0b20: 6e 20 3d 20 73 65 63 74 69 6f 6e 0a 0a 09 23 20 n = section...#
0b30: 66 75 6e 63 74 69 6f 6e 20 74 6f 20 67 65 74 20 function to get
0b40: 63 6f 6e 66 69 67 20 70 61 72 61 6d 65 74 65 72 config parameter
0b50: 2c 20 69 66 20 70 61 72 61 6d 65 74 65 72 20 64 , if parameter d
0b60: 6f 65 73 6e 27 74 20 65 78 69 73 74 73 20 74 68 oesn't exists th
0b70: 65 20 64 65 66 61 75 6c 74 0a 09 23 20 76 61 6c e default..# val
0b80: 75 65 20 6f 72 20 4e 6f 6e 65 20 69 73 20 73 75 ue or None is su
0b90: 62 73 74 69 74 75 74 65 64 0a 09 64 65 66 20 5f bstituted..def _
0ba0: 5f 67 65 74 69 74 65 6d 5f 5f 28 73 65 6c 66 2c _getitem__(self,
0bb0: 20 6e 61 6d 65 29 3a 0a 09 09 69 66 20 6e 6f 74 name):...if not
0bc0: 20 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 68 61 self._config.ha
0bd0: 73 5f 6f 70 74 69 6f 6e 28 73 65 6c 66 2e 5f 73 s_option(self._s
0be0: 65 63 74 69 6f 6e 2c 20 6e 61 6d 65 29 3a 0a 09 ection, name):..
0bf0: 09 09 69 66 20 73 65 6c 66 2e 5f 73 65 63 74 69 ..if self._secti
0c00: 6f 6e 20 69 6e 20 73 65 6c 66 2e 5f 64 65 66 61 on in self._defa
0c10: 75 6c 74 3a 0a 09 09 09 09 69 66 20 6e 61 6d 65 ult:.....if name
0c20: 20 69 6e 20 73 65 6c 66 2e 5f 64 65 66 61 75 6c in self._defaul
0c30: 74 5b 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 5d t[self._section]
0c40: 3a 0a 09 09 09 09 09 73 65 6c 66 2e 5f 63 6f 6e :......self._con
0c50: 66 69 67 2e 73 65 74 28 73 65 6c 66 2e 5f 73 65 fig.set(self._se
0c60: 63 74 69 6f 6e 2c 20 6e 61 6d 65 2c 20 73 65 6c ction, name, sel
0c70: 66 2e 5f 64 65 66 61 75 6c 74 5b 73 65 6c 66 2e f._default[self.
0c80: 5f 73 65 63 74 69 6f 6e 5d 5b 6e 61 6d 65 5d 29 _section][name])
0c90: 0a 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 .....else:......
0ca0: 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 73 65 74 self._config.set
0cb0: 28 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 2c 20 (self._section,
0cc0: 6e 61 6d 65 2c 20 4e 6f 6e 65 29 0a 09 09 09 65 name, None)....e
0cd0: 6c 73 65 3a 0a 09 09 09 09 73 65 6c 66 2e 5f 63 lse:.....self._c
0ce0: 6f 6e 66 69 67 2e 73 65 74 28 73 65 6c 66 2e 5f onfig.set(self._
0cf0: 73 65 63 74 69 6f 6e 2c 20 6e 61 6d 65 2c 20 4e section, name, N
0d00: 6f 6e 65 29 0a 09 09 72 65 74 75 72 6e 28 73 65 one)...return(se
0d10: 6c 66 2e 5f 63 6f 6e 66 69 67 2e 67 65 74 28 73 lf._config.get(s
0d20: 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e 61 elf._section, na
0d30: 6d 65 29 29 0a 0a 23 20 69 6e 69 74 69 61 6c 69 me))..# initiali
0d40: 7a 69 6e 67 20 61 6e 64 20 72 65 61 64 69 6e 67 zing and reading
0d50: 20 69 6e 20 63 6f 6e 66 69 67 20 66 69 6c 65 0a in config file.
0d60: 63 6f 6e 66 69 67 20 3d 20 43 6f 6e 66 69 67 28 config = Config(
0d70: 29 0a 0a 23 20 77 72 61 70 70 65 72 20 61 72 6f )..# wrapper aro
0d80: 75 6e 64 20 73 79 73 6c 6f 67 2c 20 63 61 6e 20 und syslog, can
0d90: 62 65 20 6d 75 74 65 64 0a 63 6c 61 73 73 20 4c be muted.class L
0da0: 6f 67 67 65 72 28 6f 62 6a 65 63 74 29 3a 0a 09 ogger(object):..
0db0: 5f 5f 73 6c 6f 74 73 5f 5f 20 3d 20 66 72 6f 7a __slots__ = froz
0dc0: 65 6e 73 65 74 28 5b 27 5f 73 79 73 6c 6f 67 27 enset(['_syslog'
0dd0: 5d 29 0a 0a 09 64 65 66 20 5f 5f 69 6e 69 74 5f ])...def __init_
0de0: 5f 28 73 65 6c 66 29 3a 0a 09 09 63 6f 6e 66 69 _(self):...confi
0df0: 67 2e 73 65 63 74 69 6f 6e 28 27 6c 6f 67 27 29 g.section('log')
0e00: 0a 09 09 69 66 20 63 6f 6e 66 69 67 5b 27 73 69 ...if config['si
0e10: 6c 65 6e 74 27 5d 20 3d 3d 20 27 79 65 73 27 3a lent'] == 'yes':
0e20: 0a 09 09 09 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 ....self._syslog
0e30: 20 3d 20 4e 6f 6e 65 0a 09 09 65 6c 73 65 3a 0a = None...else:.
0e40: 09 09 09 69 6d 70 6f 72 74 20 73 79 73 6c 6f 67 ...import syslog
0e50: 0a 09 09 09 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 ....self._syslog
0e60: 20 3d 20 73 79 73 6c 6f 67 0a 09 09 09 73 65 6c = syslog....sel
0e70: 66 2e 5f 73 79 73 6c 6f 67 2e 6f 70 65 6e 6c 6f f._syslog.openlo
0e80: 67 28 73 74 72 28 27 73 71 75 69 64 54 61 67 27 g(str('squidTag'
0e90: 29 29 0a 0a 09 64 65 66 20 69 6e 66 6f 28 73 65 ))...def info(se
0ea0: 6c 66 2c 20 6d 65 73 73 61 67 65 29 3a 0a 09 09 lf, message):...
0eb0: 69 66 20 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 20 if self._syslog
0ec0: 21 3d 20 4e 6f 6e 65 3a 0a 09 09 09 73 65 6c 66 != None:....self
0ed0: 2e 5f 73 79 73 6c 6f 67 2e 73 79 73 6c 6f 67 28 ._syslog.syslog(
0ee0: 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 2e 4c 4f 47 self._syslog.LOG
0ef0: 5f 49 4e 46 4f 2c 20 6d 65 73 73 61 67 65 29 0a _INFO, message).
0f00: 0a 09 64 65 66 20 6e 6f 74 69 63 65 28 73 65 6c ..def notice(sel
0f10: 66 2c 20 6d 65 73 73 61 67 65 29 3a 0a 09 09 69 f, message):...i
0f20: 66 20 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 20 21 f self._syslog !
0f30: 3d 20 4e 6f 6e 65 3a 0a 09 09 09 73 65 6c 66 2e = None:....self.
0f40: 5f 73 79 73 6c 6f 67 2e 73 79 73 6c 6f 67 28 73 _syslog.syslog(s
0f50: 65 6c 66 2e 5f 73 79 73 6c 6f 67 2e 4c 4f 47 5f elf._syslog.LOG_
0f60: 4e 4f 54 49 43 45 2c 20 6d 65 73 73 61 67 65 29 NOTICE, message)
0f70: 0a 0a 6c 6f 67 67 65 72 20 3d 20 4c 6f 67 67 65 ..logger = Logge
0f80: 72 28 29 0a 0a 23 20 74 69 6e 79 20 77 72 61 70 r()..# tiny wrap
0f90: 70 65 72 20 61 72 6f 75 6e 64 20 61 20 66 69 6c per around a fil
0fa0: 65 20 74 6f 20 6d 61 6b 65 20 72 65 61 64 73 20 e to make reads
0fb0: 66 72 6f 6d 20 69 74 20 67 65 76 65 6e 74 61 62 from it geventab
0fc0: 6c 65 0a 23 20 6f 72 20 73 68 6f 75 6c 64 20 69 le.# or should i
0fd0: 20 6d 6f 76 65 20 74 68 69 73 20 73 6f 6d 65 77 move this somew
0fe0: 68 65 72 65 3f 0a 0a 63 6c 61 73 73 20 46 52 65 here?..class FRe
0ff0: 61 64 6c 69 6e 65 51 75 65 75 65 28 67 65 76 65 adlineQueue(geve
1000: 6e 74 2e 71 75 65 75 65 2e 51 75 65 75 65 29 3a nt.queue.Queue):
1010: 0a 09 23 20 73 74 6f 72 69 6e 67 20 66 69 6c 65 ..# storing file
1020: 20 64 65 73 63 72 69 70 74 6f 72 2c 20 6c 65 66 descriptor, lef
1030: 74 6f 76 65 72 0a 09 5f 5f 73 6c 6f 74 73 5f 5f tover..__slots__
1040: 20 3d 20 66 72 6f 7a 65 6e 73 65 74 28 5b 27 5f = frozenset(['_
1050: 66 64 27 2c 20 27 5f 74 61 69 6c 27 5d 29 0a 0a fd', '_tail'])..
1060: 09 64 65 66 20 5f 5f 69 6e 69 74 5f 5f 28 73 65 .def __init__(se
1070: 6c 66 2c 20 66 64 29 3a 0a 09 09 23 20 69 6e 69 lf, fd):...# ini
1080: 74 69 61 6c 69 73 69 6e 67 20 63 6c 61 73 73 0a tialising class.
1090: 09 09 67 65 76 65 6e 74 2e 71 75 65 75 65 2e 51 ..gevent.queue.Q
10a0: 75 65 75 65 2e 5f 5f 69 6e 69 74 5f 5f 28 73 65 ueue.__init__(se
10b0: 6c 66 29 0a 09 09 23 20 73 74 6f 72 69 6e 67 20 lf)...# storing
10c0: 66 69 6c 65 20 64 65 73 63 72 69 70 74 6f 72 0a file descriptor.
10d0: 09 09 73 65 6c 66 2e 5f 66 64 20 3d 20 66 64 0a ..self._fd = fd.
10e0: 09 09 23 20 75 73 69 6e 67 20 65 6d 70 74 79 20 ..# using empty
10f0: 74 61 69 6c 0a 09 09 73 65 6c 66 2e 5f 74 61 69 tail...self._tai
1100: 6c 20 3d 20 27 27 0a 09 09 23 20 73 65 74 74 69 l = ''...# setti
1110: 6e 67 20 75 70 20 65 76 65 6e 74 0a 09 09 73 65 ng up event...se
1120: 6c 66 2e 5f 69 6e 73 74 61 6c 6c 5f 77 61 69 74 lf._install_wait
1130: 28 29 0a 0a 09 64 65 66 20 5f 69 6e 73 74 61 6c ()...def _instal
1140: 6c 5f 77 61 69 74 28 73 65 6c 66 29 3a 0a 09 09 l_wait(self):...
1150: 66 69 6c 65 6e 6f 20 3d 20 73 65 6c 66 2e 5f 66 fileno = self._f
1160: 64 2e 66 69 6c 65 6e 6f 28 29 0a 09 09 23 20 70 d.fileno()...# p
1170: 75 74 74 69 6e 67 20 66 69 6c 65 20 74 6f 20 6e utting file to n
1180: 6f 6e 62 6c 6f 63 6b 69 6e 67 20 6d 6f 64 65 0a onblocking mode.
1190: 09 09 66 63 6e 74 6c 2e 66 63 6e 74 6c 28 66 69 ..fcntl.fcntl(fi
11a0: 6c 65 6e 6f 2c 20 66 63 6e 74 6c 2e 46 5f 53 45 leno, fcntl.F_SE
11b0: 54 46 4c 2c 20 66 63 6e 74 6c 2e 66 63 6e 74 6c TFL, fcntl.fcntl
11c0: 28 66 69 6c 65 6e 6f 2c 20 66 63 6e 74 6c 2e 46 (fileno, fcntl.F
11d0: 5f 47 45 54 46 4c 29 20 20 7c 20 6f 73 2e 4f 5f _GETFL) | os.O_
11e0: 4e 4f 4e 42 4c 4f 43 4b 29 0a 09 09 23 20 69 6e NONBLOCK)...# in
11f0: 73 74 61 6c 6c 69 6e 67 20 65 76 65 6e 74 20 68 stalling event h
1200: 61 6e 64 6c 65 72 0a 09 09 67 65 76 65 6e 74 2e andler...gevent.
1210: 63 6f 72 65 2e 72 65 61 64 5f 65 76 65 6e 74 28 core.read_event(
1220: 66 69 6c 65 6e 6f 2c 20 73 65 6c 66 2e 5f 77 61 fileno, self._wa
1230: 69 74 5f 68 65 6c 70 65 72 29 0a 0a 09 64 65 66 it_helper)...def
1240: 20 5f 77 61 69 74 5f 68 65 6c 70 65 72 28 73 65 _wait_helper(se
1250: 6c 66 2c 20 65 76 2c 20 65 76 74 79 70 65 29 3a lf, ev, evtype):
1260: 0a 09 09 23 20 72 65 61 64 69 6e 67 20 6f 6e 65 ...# reading one
1270: 20 62 75 66 66 65 72 20 66 72 6f 6d 20 73 74 72 buffer from str
1280: 65 61 6d 0a 09 09 62 75 66 20 3d 20 73 65 6c 66 eam...buf = self
1290: 2e 5f 66 64 2e 72 65 61 64 28 34 30 39 36 29 0a ._fd.read(4096).
12a0: 09 09 23 20 73 70 6c 69 74 74 69 6e 67 20 73 74 ..# splitting st
12b0: 72 65 61 6d 20 62 79 20 6c 69 6e 65 20 65 6e 64 ream by line end
12c0: 73 0a 09 09 72 6f 77 73 20 3d 20 62 75 66 2e 64 s...rows = buf.d
12d0: 65 63 6f 64 65 28 27 6c 31 27 29 2e 73 70 6c 69 ecode('l1').spli
12e0: 74 28 27 5c 6e 27 29 0a 09 09 23 20 61 64 64 69 t('\n')...# addi
12f0: 6e 67 20 74 61 69 6c 20 74 6f 20 74 68 65 20 66 ng tail to the f
1300: 69 72 73 74 20 65 6c 65 6d 65 6e 74 20 69 66 20 irst element if
1310: 74 68 65 72 65 20 69 73 20 73 6f 6d 65 20 74 61 there is some ta
1320: 69 6c 0a 09 09 69 66 20 6c 65 6e 28 73 65 6c 66 il...if len(self
1330: 2e 5f 74 61 69 6c 29 20 3e 20 30 3a 0a 09 09 09 ._tail) > 0:....
1340: 72 6f 77 73 5b 30 5d 20 3d 20 73 65 6c 66 2e 5f rows[0] = self._
1350: 74 61 69 6c 20 2b 20 72 6f 77 73 5b 30 5d 0a 09 tail + rows[0]..
1360: 09 23 20 70 6f 70 70 69 6e 67 20 6f 75 74 20 6c .# popping out l
1370: 61 73 74 20 28 69 6e 63 6f 6d 70 6c 65 74 65 29 ast (incomplete)
1380: 20 65 6c 65 6d 65 6e 74 0a 09 09 73 65 6c 66 2e element...self.
1390: 5f 74 61 69 6c 20 3d 20 72 6f 77 73 2e 70 6f 70 _tail = rows.pop
13a0: 28 2d 31 29 0a 09 09 23 20 64 72 6f 70 70 69 6e (-1)...# droppin
13b0: 67 20 61 6c 6c 20 63 6f 6d 70 6c 65 74 65 20 65 g all complete e
13c0: 6c 65 6d 65 6e 74 73 20 74 6f 20 74 68 65 20 71 lements to the q
13d0: 75 65 75 65 0a 09 09 66 6f 72 20 72 6f 77 20 69 ueue...for row i
13e0: 6e 20 72 6f 77 73 3a 0a 09 09 09 73 65 6c 66 2e n rows:....self.
13f0: 70 75 74 5f 6e 6f 77 61 69 74 28 72 6f 77 29 0a put_nowait(row).
1400: 09 09 09 6c 6f 67 67 65 72 2e 69 6e 66 6f 28 27 ...logger.info('
1410: 72 65 71 75 65 73 74 3a 20 27 20 2b 20 72 6f 77 request: ' + row
1420: 29 0a 09 09 69 66 20 6c 65 6e 28 62 75 66 29 20 )...if len(buf)
1430: 3e 20 30 3a 0a 09 09 09 23 20 6e 6f 20 45 4f 46 > 0:....# no EOF
1440: 2c 20 72 65 69 6e 73 74 61 6c 6c 69 6e 67 20 65 , reinstalling e
1450: 76 65 6e 74 20 68 61 6e 64 6c 65 72 0a 09 09 09 vent handler....
1460: 67 65 76 65 6e 74 2e 63 6f 72 65 2e 72 65 61 64 gevent.core.read
1470: 5f 65 76 65 6e 74 28 73 65 6c 66 2e 5f 66 64 2e _event(self._fd.
1480: 66 69 6c 65 6e 6f 28 29 2c 20 73 65 6c 66 2e 5f fileno(), self._
1490: 77 61 69 74 5f 68 65 6c 70 65 72 29 0a 09 09 65 wait_helper)...e
14a0: 6c 73 65 3a 0a 09 09 09 23 20 45 4f 46 20 66 6f lse:....# EOF fo
14b0: 75 6e 64 2c 20 73 65 6e 64 69 6e 67 20 45 4f 46 und, sending EOF
14c0: 20 74 6f 20 71 75 65 75 65 0a 09 09 09 73 65 6c to queue....sel
14d0: 66 2e 70 75 74 5f 6e 6f 77 61 69 74 28 4e 6f 6e f.put_nowait(Non
14e0: 65 29 0a 0a 73 74 64 69 6e 20 3d 20 46 52 65 61 e)..stdin = FRea
14f0: 64 6c 69 6e 65 51 75 65 75 65 28 73 79 73 2e 73 dlineQueue(sys.s
1500: 74 64 69 6e 29 0a 0a 23 20 77 72 61 70 70 65 72 tdin)..# wrapper
1510: 20 61 72 6f 75 6e 64 20 64 61 74 61 62 61 73 65 around database
1520: 0a 63 6c 61 73 73 20 74 61 67 44 42 28 6f 62 6a .class tagDB(obj
1530: 65 63 74 29 3a 0a 09 5f 5f 73 6c 6f 74 73 5f 5f ect):..__slots__
1540: 20 3d 20 66 72 6f 7a 65 6e 73 65 74 28 5b 27 5f = frozenset(['_
1550: 63 75 72 73 6f 72 27 2c 20 27 5f 64 62 27 5d 29 cursor', '_db'])
1560: 0a 0a 09 64 65 66 20 5f 5f 69 6e 69 74 5f 5f 28 ...def __init__(
1570: 73 65 6c 66 29 3a 0a 09 09 63 6f 6e 66 69 67 2e self):...config.
1580: 73 65 63 74 69 6f 6e 28 27 64 61 74 61 62 61 73 section('databas
1590: 65 27 29 0a 09 09 73 65 6c 66 2e 5f 64 62 20 3d e')...self._db =
15a0: 20 70 73 79 63 6f 70 67 32 2e 63 6f 6e 6e 65 63 psycopg2.connec
15b0: 74 28 0a 09 09 09 64 61 74 61 62 61 73 65 20 3d t(....database =
15c0: 20 63 6f 6e 66 69 67 5b 27 64 61 74 61 62 61 73 config['databas
15d0: 65 27 5d 2c 0a 09 09 09 68 6f 73 74 20 3d 20 63 e'],....host = c
15e0: 6f 6e 66 69 67 5b 27 68 6f 73 74 27 5d 2c 0a 09 onfig['host'],..
15f0: 09 09 75 73 65 72 20 3d 20 63 6f 6e 66 69 67 5b ..user = config[
1600: 27 75 73 65 72 27 5d 2c 0a 09 09 09 70 61 73 73 'user'],....pass
1610: 77 6f 72 64 20 3d 20 63 6f 6e 66 69 67 5b 27 70 word = config['p
1620: 61 73 73 77 6f 72 64 27 5d 2c 0a 09 09 29 0a 09 assword'],...)..
1630: 09 73 65 6c 66 2e 5f 63 75 72 73 6f 72 20 3d 20 .self._cursor =
1640: 73 65 6c 66 2e 5f 64 62 2e 63 75 72 73 6f 72 28 self._db.cursor(
1650: 29 0a 0a 09 64 65 66 20 5f 66 69 65 6c 64 5f 6e )...def _field_n
1660: 61 6d 65 73 28 73 65 6c 66 29 3a 0a 09 09 6e 61 ames(self):...na
1670: 6d 65 73 20 3d 20 5b 5d 0a 09 09 66 6f 72 20 72 mes = []...for r
1680: 65 63 6f 72 64 20 69 6e 20 73 65 6c 66 2e 5f 63 ecord in self._c
1690: 75 72 73 6f 72 2e 64 65 73 63 72 69 70 74 69 6f ursor.descriptio
16a0: 6e 3a 0a 09 09 09 6e 61 6d 65 73 2e 61 70 70 65 n:....names.appe
16b0: 6e 64 28 72 65 63 6f 72 64 2e 6e 61 6d 65 29 0a nd(record.name).
16c0: 09 09 72 65 74 75 72 6e 28 6e 61 6d 65 73 29 0a ..return(names).
16d0: 0a 09 64 65 66 20 63 68 65 63 6b 28 73 65 6c 66 ..def check(self
16e0: 2c 20 73 69 74 65 2c 20 69 70 5f 61 64 64 72 65 , site, ip_addre
16f0: 73 73 29 3a 0a 09 09 73 65 6c 66 2e 5f 63 75 72 ss):...self._cur
1700: 73 6f 72 2e 65 78 65 63 75 74 65 28 22 73 65 6c sor.execute("sel
1710: 65 63 74 20 2a 20 66 72 6f 6d 20 28 73 65 6c 65 ect * from (sele
1720: 63 74 20 72 65 64 69 72 65 63 74 5f 75 72 6c 2c ct redirect_url,
1730: 20 72 65 67 65 78 70 20 66 72 6f 6d 20 73 69 74 regexp from sit
1740: 65 5f 72 75 6c 65 20 77 68 65 72 65 20 73 69 74 e_rule where sit
1750: 65 20 3c 40 20 74 72 69 70 64 6f 6d 61 69 6e 28 e <@ tripdomain(
1760: 25 73 29 20 61 6e 64 20 6e 65 74 6d 61 73 6b 20 %s) and netmask
1770: 3e 3e 3d 20 25 73 20 6f 72 64 65 72 20 62 79 20 >>= %s order by
1780: 61 72 72 61 79 5f 6c 65 6e 67 74 68 28 73 69 74 array_length(sit
1790: 65 2c 20 31 29 20 64 65 73 63 29 20 61 20 67 72 e, 1) desc) a gr
17a0: 6f 75 70 20 62 79 20 72 65 64 69 72 65 63 74 5f oup by redirect_
17b0: 75 72 6c 2c 20 72 65 67 65 78 70 22 2c 20 5b 73 url, regexp", [s
17c0: 69 74 65 2c 20 69 70 5f 61 64 64 72 65 73 73 5d ite, ip_address]
17d0: 29 0a 09 09 72 65 74 75 72 6e 28 73 65 6c 66 2e )...return(self.
17e0: 5f 63 75 72 73 6f 72 2e 66 65 74 63 68 61 6c 6c _cursor.fetchall
17f0: 28 29 29 0a 0a 09 64 65 66 20 64 75 6d 70 28 73 ())...def dump(s
1800: 65 6c 66 29 3a 0a 09 09 73 65 6c 66 2e 5f 63 75 elf):...self._cu
1810: 72 73 6f 72 2e 65 78 65 63 75 74 65 28 22 73 65 rsor.execute("se
1820: 6c 65 63 74 20 75 6e 74 72 69 70 28 73 69 74 65 lect untrip(site
1830: 29 20 61 73 20 73 69 74 65 2c 20 74 61 67 3a 3a ) as site, tag::
1840: 74 65 78 74 2c 20 72 65 67 65 78 70 20 66 72 6f text, regexp fro
1850: 6d 20 75 72 6c 73 20 6f 72 64 65 72 20 62 79 20 m urls order by
1860: 73 69 74 65 2c 20 74 61 67 22 29 0a 09 09 72 65 site, tag")...re
1870: 74 75 72 6e 28 73 65 6c 66 2e 5f 66 69 65 6c 64 turn(self._field
1880: 5f 6e 61 6d 65 73 28 29 2c 20 73 65 6c 66 2e 5f _names(), self._
1890: 63 75 72 73 6f 72 2e 66 65 74 63 68 61 6c 6c 28 cursor.fetchall(
18a0: 29 29 0a 0a 09 64 65 66 20 6c 6f 61 64 28 73 65 ))...def load(se
18b0: 6c 66 2c 20 64 61 74 61 29 3a 0a 09 09 69 66 20 lf, data):...if
18c0: 63 6f 6e 66 69 67 2e 6f 70 74 69 6f 6e 73 2e 66 config.options.f
18d0: 6c 75 73 68 5f 64 62 3a 0a 09 09 09 73 65 6c 66 lush_db:....self
18e0: 2e 5f 63 75 72 73 6f 72 2e 65 78 65 63 75 74 65 ._cursor.execute
18f0: 28 27 64 65 6c 65 74 65 20 66 72 6f 6d 20 75 72 ('delete from ur
1900: 6c 73 3b 27 29 0a 09 09 62 75 6e 64 6c 65 20 3d ls;')...bundle =
1910: 20 5b 5d 0a 09 09 66 6f 72 20 72 6f 77 20 69 6e []...for row in
1920: 20 64 61 74 61 3a 0a 09 09 09 69 66 20 6c 65 6e data:....if len
1930: 28 72 6f 77 29 20 3d 3d 20 32 3a 0a 09 09 09 09 (row) == 2:.....
1940: 62 75 6e 64 6c 65 2e 61 70 70 65 6e 64 28 5b 72 bundle.append([r
1950: 6f 77 5b 30 5d 2c 20 72 6f 77 5b 31 5d 2c 20 4e ow[0], row[1], N
1960: 6f 6e 65 5d 29 0a 09 09 09 65 6c 73 65 3a 0a 09 one])....else:..
1970: 09 09 09 62 75 6e 64 6c 65 2e 61 70 70 65 6e 64 ...bundle.append
1980: 28 5b 72 6f 77 5b 30 5d 2c 20 72 6f 77 5b 31 5d ([row[0], row[1]
1990: 2c 20 72 6f 77 5b 32 5d 5d 29 0a 09 09 73 65 6c , row[2]])...sel
19a0: 66 2e 5f 63 75 72 73 6f 72 2e 65 78 65 63 75 74 f._cursor.execut
19b0: 65 6d 61 6e 79 28 22 69 6e 73 65 72 74 20 69 6e emany("insert in
19c0: 74 6f 20 75 72 6c 73 20 28 73 69 74 65 2c 20 74 to urls (site, t
19d0: 61 67 2c 20 72 65 67 65 78 70 29 20 76 61 6c 75 ag, regexp) valu
19e0: 65 73 20 28 74 72 69 70 64 6f 6d 61 69 6e 28 25 es (tripdomain(%
19f0: 73 29 2c 20 25 73 2c 20 25 73 29 22 2c 20 62 75 s), %s, %s)", bu
1a00: 6e 64 6c 65 29 0a 09 09 73 65 6c 66 2e 5f 63 75 ndle)...self._cu
1a10: 72 73 6f 72 2e 65 78 65 63 75 74 65 28 22 75 70 rsor.execute("up
1a20: 64 61 74 65 20 75 72 6c 73 20 73 65 74 20 72 65 date urls set re
1a30: 67 65 78 70 20 3d 20 4e 55 4c 4c 20 77 68 65 72 gexp = NULL wher
1a40: 65 20 72 65 67 65 78 70 20 3d 20 27 27 22 29 0a e regexp = ''").
1a50: 09 09 73 65 6c 66 2e 5f 64 62 2e 63 6f 6d 6d 69 ..self._db.commi
1a60: 74 28 29 0a 0a 09 64 65 66 20 6c 6f 61 64 5f 63 t()...def load_c
1a70: 6f 6e 66 28 73 65 6c 66 2c 20 63 73 76 5f 64 61 onf(self, csv_da
1a80: 74 61 29 3a 0a 09 09 73 65 6c 66 2e 5f 63 75 72 ta):...self._cur
1a90: 73 6f 72 2e 65 78 65 63 75 74 65 28 27 64 65 6c sor.execute('del
1aa0: 65 74 65 20 66 72 6f 6d 20 72 75 6c 65 73 3b 27 ete from rules;'
1ab0: 29 0a 09 09 62 75 6e 64 6c 65 20 3d 20 5b 5d 0a )...bundle = [].
1ac0: 09 09 66 6f 72 20 72 6f 77 20 69 6e 20 63 73 76 ..for row in csv
1ad0: 5f 64 61 74 61 3a 0a 09 09 09 62 75 6e 64 6c 65 _data:....bundle
1ae0: 2e 61 70 70 65 6e 64 28 5b 72 6f 77 5b 30 5d 2c .append([row[0],
1af0: 20 72 6f 77 5b 31 5d 2c 20 69 6e 74 28 72 6f 77 row[1], int(row
1b00: 5b 32 5d 29 2c 20 69 6e 74 28 72 6f 77 5b 33 5d [2]), int(row[3]
1b10: 29 2c 20 72 6f 77 5b 34 5d 2c 20 72 6f 77 5b 35 ), row[4], row[5
1b20: 5d 2c 20 72 6f 77 5b 36 5d 5d 29 0a 09 09 73 65 ], row[6]])...se
1b30: 6c 66 2e 5f 63 75 72 73 6f 72 2e 65 78 65 63 75 lf._cursor.execu
1b40: 74 65 6d 61 6e 79 28 22 69 6e 73 65 72 74 20 69 temany("insert i
1b50: 6e 74 6f 20 72 75 6c 65 73 20 28 6e 65 74 6d 61 nto rules (netma
1b60: 73 6b 2c 20 72 65 64 69 72 65 63 74 5f 75 72 6c sk, redirect_url
1b70: 2c 20 66 72 6f 6d 5f 77 65 65 6b 64 61 79 2c 20 , from_weekday,
1b80: 74 6f 5f 77 65 65 6b 64 61 79 2c 20 66 72 6f 6d to_weekday, from
1b90: 5f 74 69 6d 65 2c 20 74 6f 5f 74 69 6d 65 2c 20 _time, to_time,
1ba0: 74 61 67 29 20 76 61 6c 75 65 73 20 28 25 73 3a tag) values (%s:
1bb0: 3a 74 65 78 74 3a 3a 63 69 64 72 2c 20 25 73 2c :text::cidr, %s,
1bc0: 20 25 73 2c 20 25 73 2c 20 25 73 3a 3a 74 65 78 %s, %s, %s::tex
1bd0: 74 3a 3a 74 69 6d 65 2c 20 25 73 3a 3a 74 65 78 t::time, %s::tex
1be0: 74 3a 3a 74 69 6d 65 2c 20 25 73 3a 3a 74 65 78 t::time, %s::tex
1bf0: 74 3a 3a 74 65 78 74 5b 5d 29 22 2c 20 62 75 6e t::text[])", bun
1c00: 64 6c 65 29 0a 09 09 73 65 6c 66 2e 5f 64 62 2e dle)...self._db.
1c10: 63 6f 6d 6d 69 74 28 29 0a 0a 09 64 65 66 20 64 commit()...def d
1c20: 75 6d 70 5f 63 6f 6e 66 28 73 65 6c 66 29 3a 0a ump_conf(self):.
1c30: 09 09 73 65 6c 66 2e 5f 63 75 72 73 6f 72 2e 65 ..self._cursor.e
1c40: 78 65 63 75 74 65 28 22 73 65 6c 65 63 74 20 6e xecute("select n
1c50: 65 74 6d 61 73 6b 2c 20 72 65 64 69 72 65 63 74 etmask, redirect
1c60: 5f 75 72 6c 2c 20 66 72 6f 6d 5f 77 65 65 6b 64 _url, from_weekd
1c70: 61 79 2c 20 74 6f 5f 77 65 65 6b 64 61 79 2c 20 ay, to_weekday,
1c80: 66 72 6f 6d 5f 74 69 6d 65 2c 20 74 6f 5f 74 69 from_time, to_ti
1c90: 6d 65 2c 20 74 61 67 3a 3a 74 65 78 74 20 66 72 me, tag::text fr
1ca0: 6f 6d 20 72 75 6c 65 73 22 29 0a 09 09 72 65 74 om rules")...ret
1cb0: 75 72 6e 28 73 65 6c 66 2e 5f 66 69 65 6c 64 5f urn(self._field_
1cc0: 6e 61 6d 65 73 28 29 2c 20 73 65 6c 66 2e 5f 63 names(), self._c
1cd0: 75 72 73 6f 72 2e 66 65 74 63 68 61 6c 6c 28 29 ursor.fetchall()
1ce0: 29 0a 0a 23 20 61 62 73 74 72 61 63 74 20 63 6c )..# abstract cl
1cf0: 61 73 73 20 77 69 74 68 20 62 61 73 69 63 20 63 ass with basic c
1d00: 68 65 63 6b 69 6e 67 20 66 75 6e 63 74 69 6f 6e hecking function
1d10: 61 6c 69 74 79 0a 63 6c 61 73 73 20 43 68 65 63 ality.class Chec
1d20: 6b 65 72 28 6f 62 6a 65 63 74 29 3a 0a 09 5f 5f ker(object):..__
1d30: 73 6c 6f 74 73 5f 5f 20 3d 20 66 72 6f 7a 65 6e slots__ = frozen
1d40: 73 65 74 28 5b 27 5f 64 62 27 2c 20 27 5f 6c 6f set(['_db', '_lo
1d50: 67 27 2c 20 27 5f 71 75 65 75 65 27 2c 20 27 5f g', '_queue', '_
1d60: 72 65 71 75 65 73 74 27 5d 29 0a 0a 09 64 65 66 request'])...def
1d70: 20 5f 5f 69 6e 69 74 5f 5f 28 73 65 6c 66 2c 20 __init__(self,
1d80: 71 75 65 75 65 2c 20 6c 6f 67 67 65 72 29 3a 0a queue, logger):.
1d90: 09 09 73 65 6c 66 2e 5f 64 62 20 3d 20 74 61 67 ..self._db = tag
1da0: 44 42 28 29 0a 09 09 73 65 6c 66 2e 5f 6c 6f 67 DB()...self._log
1db0: 20 3d 20 6c 6f 67 67 65 72 0a 09 09 73 65 6c 66 = logger...self
1dc0: 2e 5f 6c 6f 67 2e 69 6e 66 6f 28 27 73 74 61 72 ._log.info('star
1dd0: 74 65 64 5c 6e 27 29 0a 09 09 73 65 6c 66 2e 5f ted\n')...self._
1de0: 72 65 71 75 65 73 74 20 3d 20 72 65 2e 63 6f 6d request = re.com
1df0: 70 69 6c 65 28 27 5e 28 5b 30 2d 39 5d 2b 29 5c pile('^([0-9]+)\
1e00: 20 28 68 74 74 70 7c 66 74 70 29 3a 5c 2f 5c 2f (http|ftp):\/\/
1e10: 28 5b 2d 5c 77 2e 3a 5d 2b 29 5c 2f 28 5b 5e 20 ([-\w.:]+)\/([^
1e20: 5d 2a 29 5c 20 28 5b 30 2d 39 2e 5d 2b 29 5c 2f ]*)\ ([0-9.]+)\/
1e30: 28 2d 7c 5b 5c 77 5c 2e 5d 2b 29 5c 20 28 2d 7c (-|[\w\.]+)\ (-|
1e40: 5c 77 2b 29 5c 20 28 2d 7c 47 45 54 7c 48 45 41 \w+)\ (-|GET|HEA
1e50: 44 7c 50 4f 53 54 29 2e 2a 24 27 29 0a 09 09 73 D|POST).*$')...s
1e60: 65 6c 66 2e 5f 71 75 65 75 65 20 3d 20 71 75 65 elf._queue = que
1e70: 75 65 0a 0a 09 64 65 66 20 70 72 6f 63 65 73 73 ue...def process
1e80: 28 73 65 6c 66 2c 20 69 64 2c 20 73 69 74 65 2c (self, id, site,
1e90: 20 69 70 5f 61 64 64 72 65 73 73 2c 20 75 72 6c ip_address, url
1ea0: 5f 70 61 74 68 2c 20 6c 69 6e 65 20 3d 20 4e 6f _path, line = No
1eb0: 6e 65 29 3a 0a 09 09 23 73 65 6c 66 2e 5f 6c 6f ne):...#self._lo
1ec0: 67 2e 69 6e 66 6f 28 27 74 72 79 69 6e 67 20 7b g.info('trying {
1ed0: 7d 5c 6e 27 2e 66 6f 72 6d 61 74 28 73 69 74 65 }\n'.format(site
1ee0: 29 29 0a 09 09 72 65 73 75 6c 74 20 3d 20 73 65 ))...result = se
1ef0: 6c 66 2e 5f 64 62 2e 63 68 65 63 6b 28 73 69 74 lf._db.check(sit
1f00: 65 2c 20 69 70 5f 61 64 64 72 65 73 73 29 0a 09 e, ip_address)..
1f10: 09 72 65 70 6c 79 20 3d 20 4e 6f 6e 65 0a 09 09 .reply = None...
1f20: 23 73 65 6c 66 2e 5f 6c 6f 67 2e 69 6e 66 6f 28 #self._log.info(
1f30: 27 67 6f 74 20 7b 7d 20 6c 69 6e 65 73 20 66 72 'got {} lines fr
1f40: 6f 6d 20 64 61 74 61 62 61 73 65 27 2e 66 6f 72 om database'.for
1f50: 6d 61 74 28 6c 65 6e 28 72 65 73 75 6c 74 29 29 mat(len(result))
1f60: 29 0a 09 09 66 6f 72 20 72 6f 77 20 69 6e 20 72 )...for row in r
1f70: 65 73 75 6c 74 3a 0a 09 09 09 69 66 20 72 6f 77 esult:....if row
1f80: 20 21 3d 20 4e 6f 6e 65 20 61 6e 64 20 72 6f 77 != None and row
1f90: 5b 30 5d 20 21 3d 20 4e 6f 6e 65 3a 0a 09 09 09 [0] != None:....
1fa0: 09 69 66 20 72 6f 77 5b 31 5d 20 21 3d 20 4e 6f .if row[1] != No
1fb0: 6e 65 3a 0a 09 09 09 09 09 73 65 6c 66 2e 5f 6c ne:......self._l
1fc0: 6f 67 2e 69 6e 66 6f 28 27 74 72 79 69 6e 67 20 og.info('trying
1fd0: 72 65 67 65 78 70 20 22 7b 7d 22 20 76 65 72 73 regexp "{}" vers
1fe0: 75 73 20 22 7b 7d 22 5c 6e 27 2e 66 6f 72 6d 61 us "{}"\n'.forma
1ff0: 74 28 72 6f 77 5b 31 5d 2c 20 75 72 6c 5f 70 61 t(row[1], url_pa
2000: 74 68 29 29 0a 09 09 09 09 09 74 72 79 3a 0a 09 th))......try:..
2010: 09 09 09 09 09 69 66 20 72 65 2e 63 6f 6d 70 69 .....if re.compi
2020: 6c 65 28 72 6f 77 5b 31 5d 29 2e 6d 61 74 63 68 le(row[1]).match
2030: 28 75 72 6c 5f 70 61 74 68 29 3a 0a 09 09 09 09 (url_path):.....
2040: 09 09 09 72 65 70 6c 79 20 3d 20 72 6f 77 5b 30 ...reply = row[0
2050: 5d 2e 66 6f 72 6d 61 74 28 75 72 6c 5f 70 61 74 ].format(url_pat
2060: 68 29 0a 09 09 09 09 09 09 65 6c 73 65 3a 0a 09 h).......else:..
2070: 09 09 09 09 09 09 63 6f 6e 74 69 6e 75 65 0a 09 ......continue..
2080: 09 09 09 09 65 78 63 65 70 74 3a 0a 09 09 09 09 ....except:.....
2090: 09 09 73 65 6c 66 2e 5f 6c 6f 67 2e 69 6e 66 6f ..self._log.info
20a0: 28 22 63 61 6e 27 74 20 63 6f 6d 70 69 6c 65 20 ("can't compile
20b0: 72 65 67 65 78 70 22 29 0a 09 09 09 09 65 6c 73 regexp").....els
20c0: 65 3a 0a 09 09 09 09 09 72 65 70 6c 79 20 3d 20 e:......reply =
20d0: 72 6f 77 5b 30 5d 2e 66 6f 72 6d 61 74 28 75 72 row[0].format(ur
20e0: 6c 5f 70 61 74 68 29 0a 09 09 09 69 66 20 72 65 l_path)....if re
20f0: 70 6c 79 20 21 3d 20 4e 6f 6e 65 3a 0a 09 09 09 ply != None:....
2100: 09 73 65 6c 66 2e 77 72 69 74 65 6c 69 6e 65 28 .self.writeline(
2110: 27 7b 7d 20 7b 7d 5c 6e 27 2e 66 6f 72 6d 61 74 '{} {}\n'.format
2120: 28 69 64 2c 20 72 65 70 6c 79 29 29 0a 09 09 09 (id, reply))....
2130: 09 72 65 74 75 72 6e 28 54 72 75 65 29 0a 09 09 .return(True)...
2140: 73 65 6c 66 2e 77 72 69 74 65 6c 69 6e 65 28 27 self.writeline('
2150: 7b 7d 5c 6e 27 2e 66 6f 72 6d 61 74 28 69 64 29 {}\n'.format(id)
2160: 29 0a 0a 09 64 65 66 20 63 68 65 63 6b 28 73 65 )...def check(se
2170: 6c 66 29 3a 0a 09 09 77 68 69 6c 65 20 54 72 75 lf):...while Tru
2180: 65 3a 0a 09 09 09 6c 69 6e 65 20 3d 20 73 65 6c e:....line = sel
2190: 66 2e 5f 71 75 65 75 65 2e 67 65 74 28 29 0a 09 f._queue.get()..
21a0: 09 09 69 66 20 6c 69 6e 65 20 3d 3d 20 4e 6f 6e ..if line == Non
21b0: 65 3a 0a 09 09 09 09 62 72 65 61 6b 0a 09 09 09 e:.....break....
21c0: 23 73 65 6c 66 2e 5f 6c 6f 67 2e 69 6e 66 6f 28 #self._log.info(
21d0: 27 72 65 71 75 65 73 74 3a 20 27 20 2b 20 6c 69 'request: ' + li
21e0: 6e 65 29 0a 09 09 09 72 65 71 75 65 73 74 20 3d ne)....request =
21f0: 20 73 65 6c 66 2e 5f 72 65 71 75 65 73 74 2e 6d self._request.m
2200: 61 74 63 68 28 6c 69 6e 65 29 0a 09 09 09 69 66 atch(line)....if
2210: 20 72 65 71 75 65 73 74 3a 0a 09 09 09 09 69 64 request:.....id
2220: 20 3d 20 72 65 71 75 65 73 74 2e 67 72 6f 75 70 = request.group
2230: 28 31 29 0a 09 09 09 09 23 70 72 6f 74 6f 20 3d (1).....#proto =
2240: 20 72 65 71 75 65 73 74 2e 67 72 6f 75 70 28 32 request.group(2
2250: 29 0a 09 09 09 09 73 69 74 65 20 3d 20 72 65 71 ).....site = req
2260: 75 65 73 74 2e 67 72 6f 75 70 28 33 29 0a 09 09 uest.group(3)...
2270: 09 09 75 72 6c 5f 70 61 74 68 20 3d 20 72 65 71 ..url_path = req
2280: 75 65 73 74 2e 67 72 6f 75 70 28 34 29 0a 09 09 uest.group(4)...
2290: 09 09 69 70 5f 61 64 64 72 65 73 73 20 3d 20 72 ..ip_address = r
22a0: 65 71 75 65 73 74 2e 67 72 6f 75 70 28 35 29 0a equest.group(5).
22b0: 09 09 09 09 73 65 6c 66 2e 70 72 6f 63 65 73 73 ....self.process
22c0: 28 69 64 2c 20 73 69 74 65 2c 20 69 70 5f 61 64 (id, site, ip_ad
22d0: 64 72 65 73 73 2c 20 75 72 6c 5f 70 61 74 68 2c dress, url_path,
22e0: 20 6c 69 6e 65 29 0a 09 09 09 65 6c 73 65 3a 0a line)....else:.
22f0: 09 09 09 09 73 65 6c 66 2e 5f 6c 6f 67 2e 69 6e ....self._log.in
2300: 66 6f 28 27 62 61 64 20 72 65 71 75 65 73 74 5c fo('bad request\
2310: 6e 27 29 0a 09 09 09 09 73 65 6c 66 2e 77 72 69 n').....self.wri
2320: 74 65 6c 69 6e 65 28 6c 69 6e 65 20 2b 20 27 5c teline(line + '\
2330: 6e 27 29 0a 0a 09 64 65 66 20 77 72 69 74 65 6c n')...def writel
2340: 69 6e 65 28 73 65 6c 66 2c 20 73 74 72 69 6e 67 ine(self, string
2350: 29 3a 0a 09 09 73 65 6c 66 2e 5f 6c 6f 67 2e 69 ):...self._log.i
2360: 6e 66 6f 28 27 73 65 6e 64 69 6e 67 3a 20 27 20 nfo('sending: '
2370: 2b 20 73 74 72 69 6e 67 29 0a 09 09 73 79 73 2e + string)...sys.
2380: 73 74 64 6f 75 74 2e 77 72 69 74 65 28 73 74 72 stdout.write(str
2390: 69 6e 67 29 0a 09 09 73 79 73 2e 73 74 64 6f 75 ing)...sys.stdou
23a0: 74 2e 66 6c 75 73 68 28 29 0a 0a 09 64 65 66 20 t.flush()...def
23b0: 6c 6f 6f 70 28 73 65 6c 66 29 3a 0a 09 09 70 6f loop(self):...po
23c0: 6f 6c 20 3d 20 67 65 76 65 6e 74 2e 70 6f 6f 6c ol = gevent.pool
23d0: 2e 50 6f 6f 6c 28 29 0a 09 09 70 6f 6f 6c 2e 73 .Pool()...pool.s
23e0: 70 61 77 6e 28 73 65 6c 66 2e 63 68 65 63 6b 29 pawn(self.check)
23f0: 0a 09 09 70 6f 6f 6c 2e 6a 6f 69 6e 28 29 0a 0a ...pool.join()..
2400: 69 66 20 63 6f 6e 66 69 67 2e 6f 70 74 69 6f 6e if config.option
2410: 73 2e 64 75 6d 70 20 6f 72 20 63 6f 6e 66 69 67 s.dump or config
2420: 2e 6f 70 74 69 6f 6e 73 2e 6c 6f 61 64 20 6f 72 .options.load or
2430: 20 63 6f 6e 66 69 67 2e 6f 70 74 69 6f 6e 73 2e config.options.
2440: 64 75 6d 70 5f 63 6f 6e 66 20 6f 72 20 63 6f 6e dump_conf or con
2450: 66 69 67 2e 6f 70 74 69 6f 6e 73 2e 6c 6f 61 64 fig.options.load
2460: 5f 63 6f 6e 66 3a 0a 09 69 6d 70 6f 72 74 20 63 _conf:..import c
2470: 73 76 0a 0a 09 74 61 67 64 62 20 3d 20 74 61 67 sv...tagdb = tag
2480: 44 42 28 29 0a 09 64 61 74 61 5f 66 69 65 6c 64 DB()..data_field
2490: 73 20 3d 20 5b 27 73 69 74 65 27 2c 20 27 74 61 s = ['site', 'ta
24a0: 67 27 2c 20 27 72 65 67 65 78 70 27 5d 0a 09 63 g', 'regexp']..c
24b0: 6f 6e 66 5f 66 69 65 6c 64 73 20 3d 20 5b 27 6e onf_fields = ['n
24c0: 65 74 6d 61 73 6b 27 2c 20 27 72 65 64 69 72 65 etmask', 'redire
24d0: 63 74 5f 75 72 6c 27 2c 20 27 66 72 6f 6d 5f 77 ct_url', 'from_w
24e0: 65 65 6b 64 61 79 27 2c 20 27 74 6f 5f 77 65 65 eekday', 'to_wee
24f0: 6b 64 61 79 27 2c 20 27 66 72 6f 6d 5f 74 69 6d kday', 'from_tim
2500: 65 27 2c 20 27 74 6f 5f 74 69 6d 65 27 2c 20 27 e', 'to_time', '
2510: 74 61 67 27 5d 0a 0a 09 69 66 20 63 6f 6e 66 69 tag']...if confi
2520: 67 2e 6f 70 74 69 6f 6e 73 2e 64 75 6d 70 20 6f g.options.dump o
2530: 72 20 63 6f 6e 66 69 67 2e 6f 70 74 69 6f 6e 73 r config.options
2540: 2e 64 75 6d 70 5f 63 6f 6e 66 3a 0a 09 09 63 73 .dump_conf:...cs
2550: 76 5f 77 72 69 74 65 72 20 3d 20 63 73 76 2e 77 v_writer = csv.w
2560: 72 69 74 65 72 28 73 79 73 2e 73 74 64 6f 75 74 riter(sys.stdout
2570: 29 0a 09 09 69 66 20 63 6f 6e 66 69 67 2e 6f 70 )...if config.op
2580: 74 69 6f 6e 73 2e 64 75 6d 70 3a 0a 09 09 09 64 tions.dump:....d
2590: 75 6d 70 20 3d 20 74 61 67 64 62 2e 64 75 6d 70 ump = tagdb.dump
25a0: 28 29 0a 09 09 65 6c 69 66 20 63 6f 6e 66 69 67 ()...elif config
25b0: 2e 6f 70 74 69 6f 6e 73 2e 64 75 6d 70 5f 63 6f .options.dump_co
25c0: 6e 66 3a 0a 09 09 09 64 75 6d 70 20 3d 20 74 61 nf:....dump = ta
25d0: 67 64 62 2e 64 75 6d 70 5f 63 6f 6e 66 28 29 0a gdb.dump_conf().
25e0: 0a 09 09 63 73 76 5f 77 72 69 74 65 72 2e 77 72 ...csv_writer.wr
25f0: 69 74 65 72 6f 77 28 64 75 6d 70 5b 30 5d 29 0a iterow(dump[0]).
2600: 09 09 66 6f 72 20 6c 69 6e 65 20 69 6e 20 64 75 ..for line in du
2610: 6d 70 5b 31 5d 3a 0a 09 09 09 63 73 76 5f 77 72 mp[1]:....csv_wr
2620: 69 74 65 72 2e 77 72 69 74 65 72 6f 77 28 6c 69 iter.writerow(li
2630: 6e 65 29 0a 0a 09 65 6c 69 66 20 63 6f 6e 66 69 ne)...elif confi
2640: 67 2e 6f 70 74 69 6f 6e 73 2e 6c 6f 61 64 20 6f g.options.load o
2650: 72 20 63 6f 6e 66 69 67 2e 6f 70 74 69 6f 6e 73 r config.options
2660: 2e 6c 6f 61 64 5f 63 6f 6e 66 3a 0a 09 09 63 73 .load_conf:...cs
2670: 76 5f 72 65 61 64 65 72 20 3d 20 63 73 76 2e 72 v_reader = csv.r
2680: 65 61 64 65 72 28 73 79 73 2e 73 74 64 69 6e 29 eader(sys.stdin)
2690: 0a 09 09 66 69 72 73 74 5f 72 6f 77 20 3d 20 6e ...first_row = n
26a0: 65 78 74 28 63 73 76 5f 72 65 61 64 65 72 29 0a ext(csv_reader).
26b0: 0a 09 09 69 66 20 63 6f 6e 66 69 67 2e 6f 70 74 ...if config.opt
26c0: 69 6f 6e 73 2e 6c 6f 61 64 3a 0a 09 09 09 66 69 ions.load:....fi
26d0: 65 6c 64 73 20 3d 20 64 61 74 61 5f 66 69 65 6c elds = data_fiel
26e0: 64 73 0a 09 09 09 6c 6f 61 64 20 3d 20 74 61 67 ds....load = tag
26f0: 64 62 2e 6c 6f 61 64 0a 09 09 65 6c 69 66 20 63 db.load...elif c
2700: 6f 6e 66 69 67 2e 6f 70 74 69 6f 6e 73 2e 6c 6f onfig.options.lo
2710: 61 64 5f 63 6f 6e 66 3a 0a 09 09 09 66 69 65 6c ad_conf:....fiel
2720: 64 73 20 3d 20 63 6f 6e 66 5f 66 69 65 6c 64 73 ds = conf_fields
2730: 0a 09 09 09 6c 6f 61 64 20 3d 20 74 61 67 64 62 ....load = tagdb
2740: 2e 6c 6f 61 64 5f 63 6f 6e 66 0a 0a 09 09 61 73 .load_conf....as
2750: 73 65 72 74 20 66 69 72 73 74 5f 72 6f 77 20 3d sert first_row =
2760: 3d 20 66 69 65 6c 64 73 2c 20 27 46 69 6c 65 20 = fields, 'File
2770: 6d 75 73 74 20 63 6f 6e 74 61 69 6e 20 63 73 76 must contain csv
2780: 20 64 61 74 61 20 77 69 74 68 20 74 68 65 65 73 data with thees
2790: 65 20 63 6f 6c 75 6d 6e 73 3a 20 27 20 2b 20 72 e columns: ' + r
27a0: 65 70 72 28 66 69 65 6c 64 73 29 0a 09 09 6c 6f epr(fields)...lo
27b0: 61 64 28 63 73 76 5f 72 65 61 64 65 72 29 0a 0a ad(csv_reader)..
27c0: 65 6c 73 65 3a 0a 09 23 20 6d 61 69 6e 20 6c 6f else:..# main lo
27d0: 6f 70 0a 09 43 68 65 63 6b 65 72 28 73 74 64 69 op..Checker(stdi
27e0: 6e 2c 20 6c 6f 67 67 65 72 29 2e 6c 6f 6f 70 28 n, logger).loop(
27f0: 29 0a ).