0000: 23 21 2f 75 73 72 2f 62 69 6e 2f 65 6e 76 20 70 #!/usr/bin/env p
0010: 79 74 68 6f 6e 0a 0a 66 72 6f 6d 20 5f 5f 66 75 ython..from __fu
0020: 74 75 72 65 5f 5f 20 69 6d 70 6f 72 74 20 64 69 ture__ import di
0030: 76 69 73 69 6f 6e 2c 20 70 72 69 6e 74 5f 66 75 vision, print_fu
0040: 6e 63 74 69 6f 6e 2c 20 75 6e 69 63 6f 64 65 5f nction, unicode_
0050: 6c 69 74 65 72 61 6c 73 0a 0a 69 6d 70 6f 72 74 literals..import
0060: 20 67 65 76 65 6e 74 2e 6d 6f 6e 6b 65 79 0a 67 gevent.monkey.g
0070: 65 76 65 6e 74 2e 6d 6f 6e 6b 65 79 2e 70 61 74 event.monkey.pat
0080: 63 68 5f 61 6c 6c 28 29 0a 0a 69 6d 70 6f 72 74 ch_all()..import
0090: 20 66 63 6e 74 6c 2c 20 67 65 76 65 6e 74 2e 63 fcntl, gevent.c
00a0: 6f 72 65 2c 20 67 65 76 65 6e 74 2e 70 6f 6f 6c ore, gevent.pool
00b0: 2c 20 67 65 76 65 6e 74 2e 71 75 65 75 65 2c 20 , gevent.queue,
00c0: 67 65 76 65 6e 74 2e 73 6f 63 6b 65 74 2c 20 6f gevent.socket, o
00d0: 73 2c 20 70 73 79 63 6f 70 67 32 2c 20 72 65 2c s, psycopg2, re,
00e0: 20 73 79 73 0a 0a 23 20 2f 2f 69 6e 63 6c 75 73 sys..# //inclus
00f0: 69 6f 6e 20 73 74 61 72 74 0a 23 20 43 6f 70 79 ion start.# Copy
0100: 72 69 67 68 74 20 28 43 29 20 32 30 31 30 20 44 right (C) 2010 D
0110: 61 6e 69 65 6c 65 20 56 61 72 72 61 7a 7a 6f 20 aniele Varrazzo
0120: 3c 64 61 6e 69 65 6c 65 2e 76 61 72 72 61 7a 7a <daniele.varrazz
0130: 6f 40 67 6d 61 69 6c 2e 63 6f 6d 3e 0a 23 20 61 o@gmail.com>.# a
0140: 6e 64 20 6c 69 63 65 6e 73 65 64 20 75 6e 64 65 nd licensed unde
0150: 72 20 74 68 65 20 4d 49 54 20 6c 69 63 65 6e 73 r the MIT licens
0160: 65 3a 0a 0a 64 65 66 20 67 65 76 65 6e 74 5f 77 e:..def gevent_w
0170: 61 69 74 5f 63 61 6c 6c 62 61 63 6b 28 63 6f 6e ait_callback(con
0180: 6e 2c 20 74 69 6d 65 6f 75 74 3d 4e 6f 6e 65 29 n, timeout=None)
0190: 3a 0a 09 22 22 22 41 20 77 61 69 74 20 63 61 6c :.."""A wait cal
01a0: 6c 62 61 63 6b 20 75 73 65 66 75 6c 20 74 6f 20 lback useful to
01b0: 61 6c 6c 6f 77 20 67 65 76 65 6e 74 20 74 6f 20 allow gevent to
01c0: 77 6f 72 6b 20 77 69 74 68 20 50 73 79 63 6f 70 work with Psycop
01d0: 67 2e 22 22 22 0a 09 77 68 69 6c 65 20 31 3a 0a g."""..while 1:.
01e0: 09 09 73 74 61 74 65 20 3d 20 63 6f 6e 6e 2e 70 ..state = conn.p
01f0: 6f 6c 6c 28 29 0a 09 09 69 66 20 73 74 61 74 65 oll()...if state
0200: 20 3d 3d 20 70 73 79 63 6f 70 67 32 2e 65 78 74 == psycopg2.ext
0210: 65 6e 73 69 6f 6e 73 2e 50 4f 4c 4c 5f 4f 4b 3a ensions.POLL_OK:
0220: 0a 09 09 09 62 72 65 61 6b 0a 09 09 65 6c 69 66 ....break...elif
0230: 20 73 74 61 74 65 20 3d 3d 20 70 73 79 63 6f 70 state == psycop
0240: 67 32 2e 65 78 74 65 6e 73 69 6f 6e 73 2e 50 4f g2.extensions.PO
0250: 4c 4c 5f 52 45 41 44 3a 0a 09 09 09 67 65 76 65 LL_READ:....geve
0260: 6e 74 2e 73 6f 63 6b 65 74 2e 77 61 69 74 5f 72 nt.socket.wait_r
0270: 65 61 64 28 63 6f 6e 6e 2e 66 69 6c 65 6e 6f 28 ead(conn.fileno(
0280: 29 2c 20 74 69 6d 65 6f 75 74 3d 74 69 6d 65 6f ), timeout=timeo
0290: 75 74 29 0a 09 09 65 6c 69 66 20 73 74 61 74 65 ut)...elif state
02a0: 20 3d 3d 20 70 73 79 63 6f 70 67 32 2e 65 78 74 == psycopg2.ext
02b0: 65 6e 73 69 6f 6e 73 2e 50 4f 4c 4c 5f 57 52 49 ensions.POLL_WRI
02c0: 54 45 3a 0a 09 09 09 67 65 76 65 6e 74 2e 73 6f TE:....gevent.so
02d0: 63 6b 65 74 2e 77 61 69 74 5f 77 72 69 74 65 28 cket.wait_write(
02e0: 63 6f 6e 6e 2e 66 69 6c 65 6e 6f 28 29 2c 20 74 conn.fileno(), t
02f0: 69 6d 65 6f 75 74 3d 74 69 6d 65 6f 75 74 29 0a imeout=timeout).
0300: 09 09 65 6c 73 65 3a 0a 09 09 09 72 61 69 73 65 ..else:....raise
0310: 20 70 73 79 63 6f 70 67 32 2e 4f 70 65 72 61 74 psycopg2.Operat
0320: 69 6f 6e 61 6c 45 72 72 6f 72 28 22 42 61 64 20 ionalError("Bad
0330: 72 65 73 75 6c 74 20 66 72 6f 6d 20 70 6f 6c 6c result from poll
0340: 3a 20 25 72 22 20 25 20 73 74 61 74 65 29 0a 0a : %r" % state)..
0350: 69 66 20 6e 6f 74 20 68 61 73 61 74 74 72 28 70 if not hasattr(p
0360: 73 79 63 6f 70 67 32 2e 65 78 74 65 6e 73 69 6f sycopg2.extensio
0370: 6e 73 2c 20 27 73 65 74 5f 77 61 69 74 5f 63 61 ns, 'set_wait_ca
0380: 6c 6c 62 61 63 6b 27 29 3a 0a 09 72 61 69 73 65 llback'):..raise
0390: 20 49 6d 70 6f 72 74 45 72 72 6f 72 28 22 73 75 ImportError("su
03a0: 70 70 6f 72 74 20 66 6f 72 20 63 6f 72 6f 75 74 pport for corout
03b0: 69 6e 65 73 20 6e 6f 74 20 61 76 61 69 6c 61 62 ines not availab
03c0: 6c 65 20 69 6e 20 74 68 69 73 20 50 73 79 63 6f le in this Psyco
03d0: 70 67 20 76 65 72 73 69 6f 6e 20 28 25 73 29 22 pg version (%s)"
03e0: 20 25 20 70 73 79 63 6f 70 67 32 2e 5f 5f 76 65 % psycopg2.__ve
03f0: 72 73 69 6f 6e 5f 5f 29 0a 09 70 73 79 63 6f 70 rsion__)..psycop
0400: 67 32 2e 65 78 74 65 6e 73 69 6f 6e 73 2e 73 65 g2.extensions.se
0410: 74 5f 77 61 69 74 5f 63 61 6c 6c 62 61 63 6b 28 t_wait_callback(
0420: 67 65 76 65 6e 74 5f 77 61 69 74 5f 63 61 6c 6c gevent_wait_call
0430: 62 61 63 6b 29 0a 0a 23 20 2f 2f 69 6e 63 6c 75 back)..# //inclu
0440: 73 69 6f 6e 20 65 6e 64 0a 0a 23 20 74 68 69 73 sion end..# this
0450: 20 63 6c 61 73 73 65 73 20 70 72 6f 63 65 73 73 classes process
0460: 65 73 20 63 6f 6e 66 69 67 20 66 69 6c 65 20 61 es config file a
0470: 6e 64 20 73 75 62 73 74 69 74 75 74 65 73 20 64 nd substitutes d
0480: 65 66 61 75 6c 74 20 76 61 6c 75 65 73 0a 63 6c efault values.cl
0490: 61 73 73 20 43 6f 6e 66 69 67 3a 0a 09 5f 5f 73 ass Config:..__s
04a0: 6c 6f 74 73 5f 5f 20 3d 20 66 72 6f 7a 65 6e 73 lots__ = frozens
04b0: 65 74 28 5b 27 5f 63 6f 6e 66 69 67 27 2c 20 27 et(['_config', '
04c0: 5f 64 65 66 61 75 6c 74 27 2c 20 27 5f 73 65 63 _default', '_sec
04d0: 74 69 6f 6e 27 2c 20 27 6f 70 74 69 6f 6e 73 27 tion', 'options'
04e0: 5d 29 0a 09 5f 64 65 66 61 75 6c 74 20 3d 20 7b ]).._default = {
04f0: 0a 09 09 27 6c 6f 67 27 3a 20 7b 0a 09 09 09 27 ...'log': {....'
0500: 73 69 6c 65 6e 74 27 3a 20 27 6e 6f 27 2c 0a 09 silent': 'no',..
0510: 09 7d 2c 0a 09 09 27 64 61 74 61 62 61 73 65 27 .},...'database'
0520: 3a 20 7b 0a 09 09 09 27 64 61 74 61 62 61 73 65 : {....'database
0530: 27 3a 20 27 73 71 75 69 64 54 61 67 27 2c 0a 09 ': 'squidTag',..
0540: 7d 2c 7d 0a 0a 09 23 20 66 75 6e 63 74 69 6f 6e },}...# function
0550: 20 74 6f 20 72 65 61 64 20 69 6e 20 63 6f 6e 66 to read in conf
0560: 69 67 20 66 69 6c 65 0a 09 64 65 66 20 5f 5f 69 ig file..def __i
0570: 6e 69 74 5f 5f 28 73 65 6c 66 29 3a 0a 09 09 69 nit__(self):...i
0580: 6d 70 6f 72 74 20 43 6f 6e 66 69 67 50 61 72 73 mport ConfigPars
0590: 65 72 2c 20 6f 70 74 70 61 72 73 65 2c 20 6f 73 er, optparse, os
05a0: 0a 0a 09 09 70 61 72 73 65 72 20 3d 20 6f 70 74 ....parser = opt
05b0: 70 61 72 73 65 2e 4f 70 74 69 6f 6e 50 61 72 73 parse.OptionPars
05c0: 65 72 28 29 0a 09 09 70 61 72 73 65 72 2e 61 64 er()...parser.ad
05d0: 64 5f 6f 70 74 69 6f 6e 28 27 2d 63 27 2c 20 27 d_option('-c', '
05e0: 2d 2d 63 6f 6e 66 69 67 27 2c 20 64 65 73 74 20 --config', dest
05f0: 3d 20 27 63 6f 6e 66 69 67 27 2c 0a 09 09 09 68 = 'config',....h
0600: 65 6c 70 20 3d 20 27 63 6f 6e 66 69 67 20 66 69 elp = 'config fi
0610: 6c 65 20 6c 6f 63 61 74 69 6f 6e 27 2c 20 6d 65 le location', me
0620: 74 61 76 61 72 20 3d 20 27 46 49 4c 45 27 2c 0a tavar = 'FILE',.
0630: 09 09 09 64 65 66 61 75 6c 74 20 3d 20 27 2f 75 ...default = '/u
0640: 73 72 2f 6c 6f 63 61 6c 2f 65 74 63 2f 73 71 75 sr/local/etc/squ
0650: 69 64 2d 74 61 67 67 65 72 2e 63 6f 6e 66 27 29 id-tagger.conf')
0660: 0a 09 09 70 61 72 73 65 72 2e 61 64 64 5f 6f 70 ...parser.add_op
0670: 74 69 6f 6e 28 27 2d 64 27 2c 20 27 2d 2d 64 75 tion('-d', '--du
0680: 6d 70 27 2c 20 64 65 73 74 20 3d 20 27 64 75 6d mp', dest = 'dum
0690: 70 27 2c 0a 09 09 09 68 65 6c 70 20 3d 20 27 64 p',....help = 'd
06a0: 75 6d 70 20 64 61 74 61 62 61 73 65 27 2c 20 61 ump database', a
06b0: 63 74 69 6f 6e 20 3d 20 27 73 74 6f 72 65 5f 74 ction = 'store_t
06c0: 72 75 65 27 2c 20 6d 65 74 61 76 61 72 20 3d 20 rue', metavar =
06d0: 27 62 6f 6f 6c 27 2c 0a 09 09 09 64 65 66 61 75 'bool',....defau
06e0: 6c 74 20 3d 20 46 61 6c 73 65 29 0a 09 09 70 61 lt = False)...pa
06f0: 72 73 65 72 2e 61 64 64 5f 6f 70 74 69 6f 6e 28 rser.add_option(
0700: 27 2d 66 27 2c 20 27 2d 2d 66 6c 75 73 68 2d 64 '-f', '--flush-d
0710: 61 74 61 62 61 73 65 27 2c 20 64 65 73 74 20 3d atabase', dest =
0720: 20 27 66 6c 75 73 68 5f 64 62 27 2c 0a 09 09 09 'flush_db',....
0730: 68 65 6c 70 20 3d 20 27 66 6c 75 73 68 20 70 72 help = 'flush pr
0740: 65 76 69 6f 75 73 20 64 61 74 61 62 61 73 65 20 evious database
0750: 6f 6e 20 6c 6f 61 64 27 2c 20 64 65 66 61 75 6c on load', defaul
0760: 74 20 3d 20 46 61 6c 73 65 2c 0a 09 09 09 61 63 t = False,....ac
0770: 74 69 6f 6e 20 3d 20 27 73 74 6f 72 65 5f 74 72 tion = 'store_tr
0780: 75 65 27 2c 20 6d 65 74 61 76 61 72 20 3d 20 27 ue', metavar = '
0790: 62 6f 6f 6c 27 29 0a 09 09 70 61 72 73 65 72 2e bool')...parser.
07a0: 61 64 64 5f 6f 70 74 69 6f 6e 28 27 2d 6c 27 2c add_option('-l',
07b0: 20 27 2d 2d 6c 6f 61 64 27 2c 20 64 65 73 74 20 '--load', dest
07c0: 3d 20 27 6c 6f 61 64 27 2c 0a 09 09 09 68 65 6c = 'load',....hel
07d0: 70 20 3d 20 27 6c 6f 61 64 20 64 61 74 61 62 61 p = 'load databa
07e0: 73 65 27 2c 20 61 63 74 69 6f 6e 20 3d 20 27 73 se', action = 's
07f0: 74 6f 72 65 5f 74 72 75 65 27 2c 20 6d 65 74 61 tore_true', meta
0800: 76 61 72 20 3d 20 27 62 6f 6f 6c 27 2c 0a 09 09 var = 'bool',...
0810: 09 64 65 66 61 75 6c 74 20 3d 20 46 61 6c 73 65 .default = False
0820: 29 0a 09 09 70 61 72 73 65 72 2e 61 64 64 5f 6f )...parser.add_o
0830: 70 74 69 6f 6e 28 27 2d 44 27 2c 20 27 2d 2d 64 ption('-D', '--d
0840: 75 6d 70 2d 63 6f 6e 66 27 2c 20 64 65 73 74 20 ump-conf', dest
0850: 3d 20 27 64 75 6d 70 5f 63 6f 6e 66 27 2c 0a 09 = 'dump_conf',..
0860: 09 09 68 65 6c 70 20 3d 20 27 64 75 6d 70 20 66 ..help = 'dump f
0870: 69 6c 74 65 72 69 6e 67 20 72 75 6c 65 73 27 2c iltering rules',
0880: 20 64 65 66 61 75 6c 74 20 3d 20 46 61 6c 73 65 default = False
0890: 2c 20 6d 65 74 61 76 61 72 20 3d 20 27 62 6f 6f , metavar = 'boo
08a0: 6c 27 2c 0a 09 09 09 61 63 74 69 6f 6e 20 3d 20 l',....action =
08b0: 27 73 74 6f 72 65 5f 74 72 75 65 27 29 0a 09 09 'store_true')...
08c0: 70 61 72 73 65 72 2e 61 64 64 5f 6f 70 74 69 6f parser.add_optio
08d0: 6e 28 27 2d 4c 27 2c 20 27 2d 2d 6c 6f 61 64 2d n('-L', '--load-
08e0: 63 6f 6e 66 27 2c 20 64 65 73 74 20 3d 20 27 6c conf', dest = 'l
08f0: 6f 61 64 5f 63 6f 6e 66 27 2c 0a 09 09 09 68 65 oad_conf',....he
0900: 6c 70 20 3d 20 27 6c 6f 61 64 20 66 69 6c 74 65 lp = 'load filte
0910: 72 69 6e 67 20 72 75 6c 65 73 27 2c 20 64 65 66 ring rules', def
0920: 61 75 6c 74 20 3d 20 46 61 6c 73 65 2c 20 6d 65 ault = False, me
0930: 74 61 76 61 72 20 3d 20 27 62 6f 6f 6c 27 2c 0a tavar = 'bool',.
0940: 09 09 09 61 63 74 69 6f 6e 20 3d 20 27 73 74 6f ...action = 'sto
0950: 72 65 5f 74 72 75 65 27 29 0a 0a 09 09 28 73 65 re_true')....(se
0960: 6c 66 2e 6f 70 74 69 6f 6e 73 2c 20 61 72 67 73 lf.options, args
0970: 29 20 3d 20 70 61 72 73 65 72 2e 70 61 72 73 65 ) = parser.parse
0980: 5f 61 72 67 73 28 29 0a 0a 09 09 61 73 73 65 72 _args()....asser
0990: 74 20 6f 73 2e 61 63 63 65 73 73 28 73 65 6c 66 t os.access(self
09a0: 2e 6f 70 74 69 6f 6e 73 2e 63 6f 6e 66 69 67 2c .options.config,
09b0: 20 6f 73 2e 52 5f 4f 4b 29 2c 20 22 46 61 74 61 os.R_OK), "Fata
09c0: 6c 20 65 72 72 6f 72 3a 20 63 61 6e 27 74 20 72 l error: can't r
09d0: 65 61 64 20 7b 7d 22 2e 66 6f 72 6d 61 74 28 73 ead {}".format(s
09e0: 65 6c 66 2e 6f 70 74 69 6f 6e 73 2e 63 6f 6e 66 elf.options.conf
09f0: 69 67 29 0a 0a 09 09 73 65 6c 66 2e 5f 63 6f 6e ig)....self._con
0a00: 66 69 67 20 3d 20 43 6f 6e 66 69 67 50 61 72 73 fig = ConfigPars
0a10: 65 72 2e 43 6f 6e 66 69 67 50 61 72 73 65 72 28 er.ConfigParser(
0a20: 29 0a 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 )...self._config
0a30: 2e 72 65 61 64 66 70 28 6f 70 65 6e 28 73 65 6c .readfp(open(sel
0a40: 66 2e 6f 70 74 69 6f 6e 73 2e 63 6f 6e 66 69 67 f.options.config
0a50: 29 29 0a 0a 09 23 20 66 75 6e 63 74 69 6f 6e 20 ))...# function
0a60: 74 6f 20 73 65 6c 65 63 74 20 63 6f 6e 66 69 67 to select config
0a70: 20 66 69 6c 65 20 73 65 63 74 69 6f 6e 20 6f 72 file section or
0a80: 20 63 72 65 61 74 65 20 6f 6e 65 0a 09 64 65 66 create one..def
0a90: 20 73 65 63 74 69 6f 6e 28 73 65 6c 66 2c 20 73 section(self, s
0aa0: 65 63 74 69 6f 6e 29 3a 0a 09 09 69 66 20 6e 6f ection):...if no
0ab0: 74 20 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 68 t self._config.h
0ac0: 61 73 5f 73 65 63 74 69 6f 6e 28 73 65 63 74 69 as_section(secti
0ad0: 6f 6e 29 3a 0a 09 09 09 73 65 6c 66 2e 5f 63 6f on):....self._co
0ae0: 6e 66 69 67 2e 61 64 64 5f 73 65 63 74 69 6f 6e nfig.add_section
0af0: 28 73 65 63 74 69 6f 6e 29 0a 09 09 73 65 6c 66 (section)...self
0b00: 2e 5f 73 65 63 74 69 6f 6e 20 3d 20 73 65 63 74 ._section = sect
0b10: 69 6f 6e 0a 0a 09 23 20 66 75 6e 63 74 69 6f 6e ion...# function
0b20: 20 74 6f 20 67 65 74 20 63 6f 6e 66 69 67 20 70 to get config p
0b30: 61 72 61 6d 65 74 65 72 2c 20 69 66 20 70 61 72 arameter, if par
0b40: 61 6d 65 74 65 72 20 64 6f 65 73 6e 27 74 20 65 ameter doesn't e
0b50: 78 69 73 74 73 20 74 68 65 20 64 65 66 61 75 6c xists the defaul
0b60: 74 0a 09 23 20 76 61 6c 75 65 20 6f 72 20 4e 6f t..# value or No
0b70: 6e 65 20 69 73 20 73 75 62 73 74 69 74 75 74 65 ne is substitute
0b80: 64 0a 09 64 65 66 20 5f 5f 67 65 74 69 74 65 6d d..def __getitem
0b90: 5f 5f 28 73 65 6c 66 2c 20 6e 61 6d 65 29 3a 0a __(self, name):.
0ba0: 09 09 69 66 20 6e 6f 74 20 73 65 6c 66 2e 5f 63 ..if not self._c
0bb0: 6f 6e 66 69 67 2e 68 61 73 5f 6f 70 74 69 6f 6e onfig.has_option
0bc0: 28 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 2c 20 (self._section,
0bd0: 6e 61 6d 65 29 3a 0a 09 09 09 69 66 20 73 65 6c name):....if sel
0be0: 66 2e 5f 73 65 63 74 69 6f 6e 20 69 6e 20 73 65 f._section in se
0bf0: 6c 66 2e 5f 64 65 66 61 75 6c 74 3a 0a 09 09 09 lf._default:....
0c00: 09 69 66 20 6e 61 6d 65 20 69 6e 20 73 65 6c 66 .if name in self
0c10: 2e 5f 64 65 66 61 75 6c 74 5b 73 65 6c 66 2e 5f ._default[self._
0c20: 73 65 63 74 69 6f 6e 5d 3a 0a 09 09 09 09 09 73 section]:......s
0c30: 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 73 65 74 28 elf._config.set(
0c40: 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e self._section, n
0c50: 61 6d 65 2c 20 73 65 6c 66 2e 5f 64 65 66 61 75 ame, self._defau
0c60: 6c 74 5b 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e lt[self._section
0c70: 5d 5b 6e 61 6d 65 5d 29 0a 09 09 09 09 65 6c 73 ][name]).....els
0c80: 65 3a 0a 09 09 09 09 09 73 65 6c 66 2e 5f 63 6f e:......self._co
0c90: 6e 66 69 67 2e 73 65 74 28 73 65 6c 66 2e 5f 73 nfig.set(self._s
0ca0: 65 63 74 69 6f 6e 2c 20 6e 61 6d 65 2c 20 4e 6f ection, name, No
0cb0: 6e 65 29 0a 09 09 09 65 6c 73 65 3a 0a 09 09 09 ne)....else:....
0cc0: 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 73 65 .self._config.se
0cd0: 74 28 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 2c t(self._section,
0ce0: 20 6e 61 6d 65 2c 20 4e 6f 6e 65 29 0a 09 09 72 name, None)...r
0cf0: 65 74 75 72 6e 28 73 65 6c 66 2e 5f 63 6f 6e 66 eturn(self._conf
0d00: 69 67 2e 67 65 74 28 73 65 6c 66 2e 5f 73 65 63 ig.get(self._sec
0d10: 74 69 6f 6e 2c 20 6e 61 6d 65 29 29 0a 0a 23 20 tion, name))..#
0d20: 69 6e 69 74 69 61 6c 69 7a 69 6e 67 20 61 6e 64 initializing and
0d30: 20 72 65 61 64 69 6e 67 20 69 6e 20 63 6f 6e 66 reading in conf
0d40: 69 67 20 66 69 6c 65 0a 63 6f 6e 66 69 67 20 3d ig file.config =
0d50: 20 43 6f 6e 66 69 67 28 29 0a 0a 69 6d 70 6f 72 Config()..impor
0d60: 74 20 6c 6f 67 67 69 6e 67 2c 20 6c 6f 67 67 69 t logging, loggi
0d70: 6e 67 2e 68 61 6e 64 6c 65 72 73 0a 0a 23 20 77 ng.handlers..# w
0d80: 72 61 70 70 65 72 20 61 72 6f 75 6e 64 20 6c 6f rapper around lo
0d90: 67 67 69 6e 67 20 68 61 6e 64 6c 65 72 20 74 6f gging handler to
0da0: 20 6d 61 6b 65 20 69 74 20 71 75 65 75 65 20 72 make it queue r
0db0: 65 63 6f 72 64 73 20 61 6e 64 20 64 6f 6e 27 74 ecords and don't
0dc0: 20 73 74 61 6c 6c 20 77 68 65 6e 20 73 65 6e 64 stall when send
0dd0: 69 6e 67 20 74 68 65 6d 0a 0a 63 6c 61 73 73 20 ing them..class
0de0: 53 79 73 4c 6f 67 48 61 6e 64 6c 65 72 51 75 65 SysLogHandlerQue
0df0: 75 65 28 6c 6f 67 67 69 6e 67 2e 68 61 6e 64 6c ue(logging.handl
0e00: 65 72 73 2e 53 79 73 4c 6f 67 48 61 6e 64 6c 65 ers.SysLogHandle
0e10: 72 29 3a 0a 09 5f 5f 73 6c 6f 74 73 5f 5f 20 3d r):..__slots__ =
0e20: 20 66 72 6f 7a 65 6e 73 65 74 28 5b 27 5f 72 75 frozenset(['_ru
0e30: 6e 6e 69 6e 67 27 2c 20 27 5f 74 61 69 6c 27 2c nning', '_tail',
0e40: 20 27 5f 77 6f 72 6b 65 72 27 5d 29 0a 0a 09 64 '_worker'])...d
0e50: 65 66 20 5f 5f 69 6e 69 74 5f 5f 28 73 65 6c 66 ef __init__(self
0e60: 29 3a 0a 09 09 6c 6f 67 67 69 6e 67 2e 68 61 6e ):...logging.han
0e70: 64 6c 65 72 73 2e 53 79 73 4c 6f 67 48 61 6e 64 dlers.SysLogHand
0e80: 6c 65 72 2e 5f 5f 69 6e 69 74 5f 5f 28 73 65 6c ler.__init__(sel
0e90: 66 2c 20 27 2f 64 65 76 2f 6c 6f 67 27 29 0a 09 f, '/dev/log')..
0ea0: 09 73 65 6c 66 2e 5f 74 61 69 6c 20 3d 20 67 65 .self._tail = ge
0eb0: 76 65 6e 74 2e 71 75 65 75 65 2e 51 75 65 75 65 vent.queue.Queue
0ec0: 28 29 0a 09 09 73 65 6c 66 2e 5f 77 6f 72 6b 65 ()...self._worke
0ed0: 72 20 3d 20 4e 6f 6e 65 0a 0a 09 64 65 66 20 65 r = None...def e
0ee0: 6d 69 74 28 73 65 6c 66 2c 20 72 65 63 6f 72 64 mit(self, record
0ef0: 29 3a 0a 09 09 23 20 6d 79 20 73 79 73 6c 6f 67 ):...# my syslog
0f00: 20 69 73 20 62 72 6f 6b 65 6e 20 61 6e 64 20 63 is broken and c
0f10: 61 6e 6e 6f 74 20 69 6e 74 6f 20 55 54 46 2d 38 annot into UTF-8
0f20: 20 42 4f 4d 0a 09 09 72 65 63 6f 72 64 2e 6d 73 BOM...record.ms
0f30: 67 20 3d 20 72 65 63 6f 72 64 2e 6d 73 67 2e 65 g = record.msg.e
0f40: 6e 63 6f 64 65 28 27 75 74 66 2d 38 27 29 0a 09 ncode('utf-8')..
0f50: 09 73 65 6c 66 2e 5f 74 61 69 6c 2e 70 75 74 28 .self._tail.put(
0f60: 72 65 63 6f 72 64 29 0a 09 09 69 66 20 73 65 6c record)...if sel
0f70: 66 2e 5f 77 6f 72 6b 65 72 20 3d 3d 20 4e 6f 6e f._worker == Non
0f80: 65 3a 0a 09 09 09 23 20 69 6e 20 63 61 73 65 20 e:....# in case
0f90: 71 75 65 75 65 20 69 73 20 65 6d 70 74 79 20 77 queue is empty w
0fa0: 65 20 77 69 6c 6c 20 73 70 61 77 6e 20 6e 65 77 e will spawn new
0fb0: 20 77 6f 72 6b 65 72 0a 09 09 09 23 20 61 6c 6c worker....# all
0fc0: 20 77 6f 72 6b 65 72 73 20 61 72 65 20 6c 6f 67 workers are log
0fd0: 67 65 64 20 73 6f 20 77 65 20 63 61 6e 20 6b 69 ged so we can ki
0fe0: 6c 6c 20 74 68 65 6d 20 6f 6e 20 63 6c 6f 73 65 ll them on close
0ff0: 28 29 0a 09 09 09 73 65 6c 66 2e 5f 77 6f 72 6b ()....self._work
1000: 65 72 20 3d 20 67 65 76 65 6e 74 2e 73 70 61 77 er = gevent.spaw
1010: 6e 28 73 65 6c 66 2e 5f 77 72 69 74 65 72 29 0a n(self._writer).
1020: 0a 09 64 65 66 20 5f 77 72 69 74 65 72 28 73 65 ..def _writer(se
1030: 6c 66 29 3a 0a 09 09 23 20 68 65 72 65 20 77 65 lf):...# here we
1040: 20 61 72 65 20 6c 6f 63 6b 69 6e 67 20 74 68 65 are locking the
1050: 20 71 75 65 75 65 20 73 6f 20 77 65 20 63 61 6e queue so we can
1060: 20 62 65 20 73 75 72 65 20 77 65 20 61 72 65 20 be sure we are
1070: 74 68 65 20 6f 6e 6c 79 20 6f 6e 65 0a 09 09 77 the only one...w
1080: 68 69 6c 65 20 6e 6f 74 20 73 65 6c 66 2e 5f 74 hile not self._t
1090: 61 69 6c 2e 65 6d 70 74 79 28 29 3a 0a 09 09 09 ail.empty():....
10a0: 6c 6f 67 67 69 6e 67 2e 68 61 6e 64 6c 65 72 73 logging.handlers
10b0: 2e 53 79 73 4c 6f 67 48 61 6e 64 6c 65 72 2e 65 .SysLogHandler.e
10c0: 6d 69 74 28 73 65 6c 66 2c 20 73 65 6c 66 2e 5f mit(self, self._
10d0: 74 61 69 6c 2e 67 65 74 28 29 29 0a 09 09 73 65 tail.get())...se
10e0: 6c 66 2e 5f 77 6f 72 6b 65 72 20 3d 20 4e 6f 6e lf._worker = Non
10f0: 65 0a 0a 09 64 65 66 20 63 6c 6f 73 65 28 73 65 e...def close(se
1100: 6c 66 29 3a 0a 09 09 69 66 20 73 65 6c 66 2e 5f lf):...if self._
1110: 77 6f 72 6b 65 72 20 21 3d 20 4e 6f 6e 65 3a 0a worker != None:.
1120: 09 09 09 67 65 76 65 6e 74 2e 6b 69 6c 6c 28 73 ...gevent.kill(s
1130: 65 6c 66 2e 5f 77 6f 72 6b 65 72 29 0a 09 09 6c elf._worker)...l
1140: 6f 67 67 69 6e 67 2e 68 61 6e 64 6c 65 72 73 2e ogging.handlers.
1150: 53 79 73 4c 6f 67 48 61 6e 64 6c 65 72 2e 63 6c SysLogHandler.cl
1160: 6f 73 65 28 73 65 6c 66 29 0a 0a 6c 6f 67 67 65 ose(self)..logge
1170: 72 20 3d 20 6c 6f 67 67 69 6e 67 2e 67 65 74 4c r = logging.getL
1180: 6f 67 67 65 72 28 27 73 71 75 69 64 54 61 67 27 ogger('squidTag'
1190: 29 0a 6c 6f 67 67 65 72 2e 73 65 74 4c 65 76 65 ).logger.setLeve
11a0: 6c 28 6c 6f 67 67 69 6e 67 2e 49 4e 46 4f 29 0a l(logging.INFO).
11b0: 68 61 6e 64 6c 65 72 20 3d 20 53 79 73 4c 6f 67 handler = SysLog
11c0: 48 61 6e 64 6c 65 72 51 75 65 75 65 28 29 0a 68 HandlerQueue().h
11d0: 61 6e 64 6c 65 72 2e 73 65 74 46 6f 72 6d 61 74 andler.setFormat
11e0: 74 65 72 28 6c 6f 67 67 69 6e 67 2e 46 6f 72 6d ter(logging.Form
11f0: 61 74 74 65 72 28 73 74 72 28 27 73 71 75 69 64 atter(str('squid
1200: 54 61 67 5b 25 28 70 72 6f 63 65 73 73 29 73 5d Tag[%(process)s]
1210: 3a 20 25 28 6d 65 73 73 61 67 65 29 73 27 29 29 : %(message)s'))
1220: 29 0a 6c 6f 67 67 65 72 2e 61 64 64 48 61 6e 64 ).logger.addHand
1230: 6c 65 72 28 68 61 6e 64 6c 65 72 29 0a 0a 23 20 ler(handler)..#
1240: 74 69 6e 79 20 77 72 61 70 70 65 72 20 61 72 6f tiny wrapper aro
1250: 75 6e 64 20 61 20 66 69 6c 65 20 74 6f 20 6d 61 und a file to ma
1260: 6b 65 20 72 65 61 64 73 20 66 72 6f 6d 20 69 74 ke reads from it
1270: 20 67 65 76 65 6e 74 61 62 6c 65 0a 23 20 6f 72 geventable.# or
1280: 20 73 68 6f 75 6c 64 20 69 20 6d 6f 76 65 20 74 should i move t
1290: 68 69 73 20 73 6f 6d 65 77 68 65 72 65 3f 0a 0a his somewhere?..
12a0: 63 6c 61 73 73 20 46 52 65 61 64 6c 69 6e 65 51 class FReadlineQ
12b0: 75 65 75 65 28 67 65 76 65 6e 74 2e 71 75 65 75 ueue(gevent.queu
12c0: 65 2e 51 75 65 75 65 29 3a 0a 09 23 20 73 74 6f e.Queue):..# sto
12d0: 72 69 6e 67 20 66 69 6c 65 20 64 65 73 63 72 69 ring file descri
12e0: 70 74 6f 72 2c 20 6c 65 66 74 6f 76 65 72 0a 09 ptor, leftover..
12f0: 5f 5f 73 6c 6f 74 73 5f 5f 20 3d 20 66 72 6f 7a __slots__ = froz
1300: 65 6e 73 65 74 28 5b 27 5f 69 6f 27 2c 20 27 5f enset(['_io', '_
1310: 66 69 6c 65 6e 6f 27 2c 20 27 5f 74 61 69 6c 27 fileno', '_tail'
1320: 5d 29 0a 0a 09 64 65 66 20 5f 5f 69 6e 69 74 5f ])...def __init_
1330: 5f 28 73 65 6c 66 2c 20 66 64 2c 20 63 6c 6f 73 _(self, fd, clos
1340: 65 66 64 20 3d 20 54 72 75 65 29 3a 0a 09 09 69 efd = True):...i
1350: 6d 70 6f 72 74 20 69 6f 0a 09 09 23 20 69 6e 69 mport io...# ini
1360: 74 69 61 6c 69 73 69 6e 67 20 63 6c 61 73 73 0a tialising class.
1370: 09 09 67 65 76 65 6e 74 2e 71 75 65 75 65 2e 51 ..gevent.queue.Q
1380: 75 65 75 65 2e 5f 5f 69 6e 69 74 5f 5f 28 73 65 ueue.__init__(se
1390: 6c 66 29 0a 09 09 23 20 73 74 6f 72 69 6e 67 20 lf)...# storing
13a0: 66 69 6c 65 20 64 65 73 63 72 69 70 74 6f 72 0a file descriptor.
13b0: 09 09 73 65 6c 66 2e 5f 66 69 6c 65 6e 6f 20 3d ..self._fileno =
13c0: 20 66 64 2e 66 69 6c 65 6e 6f 28 29 0a 09 09 73 fd.fileno()...s
13d0: 65 6c 66 2e 5f 69 6f 20 3d 20 69 6f 2e 46 69 6c elf._io = io.Fil
13e0: 65 49 4f 28 73 65 6c 66 2e 5f 66 69 6c 65 6e 6f eIO(self._fileno
13f0: 2c 20 27 72 27 2c 20 63 6c 6f 73 65 66 64 29 0a , 'r', closefd).
1400: 09 09 23 20 75 73 69 6e 67 20 65 6d 70 74 79 20 ..# using empty
1410: 74 61 69 6c 0a 09 09 73 65 6c 66 2e 5f 74 61 69 tail...self._tai
1420: 6c 20 3d 20 27 27 0a 09 09 23 20 73 65 74 74 69 l = ''...# setti
1430: 6e 67 20 75 70 20 65 76 65 6e 74 0a 09 09 73 65 ng up event...se
1440: 6c 66 2e 5f 69 6e 73 74 61 6c 6c 5f 77 61 69 74 lf._install_wait
1450: 28 29 0a 0a 09 64 65 66 20 5f 69 6e 73 74 61 6c ()...def _instal
1460: 6c 5f 77 61 69 74 28 73 65 6c 66 29 3a 0a 09 09 l_wait(self):...
1470: 23 20 70 75 74 74 69 6e 67 20 66 69 6c 65 20 74 # putting file t
1480: 6f 20 6e 6f 6e 62 6c 6f 63 6b 69 6e 67 20 6d 6f o nonblocking mo
1490: 64 65 0a 09 09 66 63 6e 74 6c 2e 66 63 6e 74 6c de...fcntl.fcntl
14a0: 28 73 65 6c 66 2e 5f 66 69 6c 65 6e 6f 2c 20 66 (self._fileno, f
14b0: 63 6e 74 6c 2e 46 5f 53 45 54 46 4c 2c 20 66 63 cntl.F_SETFL, fc
14c0: 6e 74 6c 2e 66 63 6e 74 6c 28 73 65 6c 66 2e 5f ntl.fcntl(self._
14d0: 66 69 6c 65 6e 6f 2c 20 66 63 6e 74 6c 2e 46 5f fileno, fcntl.F_
14e0: 47 45 54 46 4c 29 20 20 7c 20 6f 73 2e 4f 5f 4e GETFL) | os.O_N
14f0: 4f 4e 42 4c 4f 43 4b 29 0a 09 09 23 20 69 6e 73 ONBLOCK)...# ins
1500: 74 61 6c 6c 69 6e 67 20 65 76 65 6e 74 20 68 61 talling event ha
1510: 6e 64 6c 65 72 0a 09 09 67 65 76 65 6e 74 2e 63 ndler...gevent.c
1520: 6f 72 65 2e 72 65 61 64 5f 65 76 65 6e 74 28 73 ore.read_event(s
1530: 65 6c 66 2e 5f 66 69 6c 65 6e 6f 2c 20 73 65 6c elf._fileno, sel
1540: 66 2e 5f 77 61 69 74 5f 68 65 6c 70 65 72 29 0a f._wait_helper).
1550: 0a 09 64 65 66 20 5f 77 61 69 74 5f 68 65 6c 70 ..def _wait_help
1560: 65 72 28 73 65 6c 66 2c 20 65 76 2c 20 65 76 74 er(self, ev, evt
1570: 79 70 65 29 3a 0a 09 09 23 20 72 65 61 64 69 6e ype):...# readin
1580: 67 20 6f 6e 65 20 62 75 66 66 65 72 20 66 72 6f g one buffer fro
1590: 6d 20 73 74 72 65 61 6d 0a 09 09 62 75 66 20 3d m stream...buf =
15a0: 20 73 65 6c 66 2e 5f 69 6f 2e 72 65 61 64 28 34 self._io.read(4
15b0: 30 39 36 29 0a 09 09 23 20 73 70 6c 69 74 74 69 096)...# splitti
15c0: 6e 67 20 73 74 72 65 61 6d 20 62 79 20 6c 69 6e ng stream by lin
15d0: 65 20 65 6e 64 73 0a 09 09 72 6f 77 73 20 3d 20 e ends...rows =
15e0: 62 75 66 2e 64 65 63 6f 64 65 28 27 6c 31 27 29 buf.decode('l1')
15f0: 2e 73 70 6c 69 74 28 27 5c 6e 27 29 0a 09 09 23 .split('\n')...#
1600: 20 61 64 64 69 6e 67 20 74 61 69 6c 20 74 6f 20 adding tail to
1610: 74 68 65 20 66 69 72 73 74 20 65 6c 65 6d 65 6e the first elemen
1620: 74 20 69 66 20 74 68 65 72 65 20 69 73 20 73 6f t if there is so
1630: 6d 65 20 74 61 69 6c 0a 09 09 69 66 20 6c 65 6e me tail...if len
1640: 28 73 65 6c 66 2e 5f 74 61 69 6c 29 20 3e 20 30 (self._tail) > 0
1650: 3a 0a 09 09 09 72 6f 77 73 5b 30 5d 20 3d 20 73 :....rows[0] = s
1660: 65 6c 66 2e 5f 74 61 69 6c 20 2b 20 72 6f 77 73 elf._tail + rows
1670: 5b 30 5d 0a 09 09 23 20 70 6f 70 70 69 6e 67 20 [0]...# popping
1680: 6f 75 74 20 6c 61 73 74 20 28 69 6e 63 6f 6d 70 out last (incomp
1690: 6c 65 74 65 29 20 65 6c 65 6d 65 6e 74 0a 09 09 lete) element...
16a0: 73 65 6c 66 2e 5f 74 61 69 6c 20 3d 20 72 6f 77 self._tail = row
16b0: 73 2e 70 6f 70 28 2d 31 29 0a 09 09 23 20 64 72 s.pop(-1)...# dr
16c0: 6f 70 70 69 6e 67 20 61 6c 6c 20 63 6f 6d 70 6c opping all compl
16d0: 65 74 65 20 65 6c 65 6d 65 6e 74 73 20 74 6f 20 ete elements to
16e0: 74 68 65 20 71 75 65 75 65 0a 09 09 66 6f 72 20 the queue...for
16f0: 72 6f 77 20 69 6e 20 72 6f 77 73 3a 0a 09 09 09 row in rows:....
1700: 73 65 6c 66 2e 70 75 74 5f 6e 6f 77 61 69 74 28 self.put_nowait(
1710: 72 6f 77 29 0a 09 09 09 6c 6f 67 67 65 72 2e 69 row)....logger.i
1720: 6e 66 6f 28 27 3c 20 27 20 2b 20 72 6f 77 29 0a nfo('< ' + row).
1730: 09 09 69 66 20 6c 65 6e 28 62 75 66 29 20 3e 20 ..if len(buf) >
1740: 30 3a 0a 09 09 09 23 20 6e 6f 20 45 4f 46 2c 20 0:....# no EOF,
1750: 72 65 69 6e 73 74 61 6c 6c 69 6e 67 20 65 76 65 reinstalling eve
1760: 6e 74 20 68 61 6e 64 6c 65 72 0a 09 09 09 67 65 nt handler....ge
1770: 76 65 6e 74 2e 63 6f 72 65 2e 72 65 61 64 5f 65 vent.core.read_e
1780: 76 65 6e 74 28 73 65 6c 66 2e 5f 66 69 6c 65 6e vent(self._filen
1790: 6f 2c 20 73 65 6c 66 2e 5f 77 61 69 74 5f 68 65 o, self._wait_he
17a0: 6c 70 65 72 29 0a 09 09 65 6c 73 65 3a 0a 09 09 lper)...else:...
17b0: 09 23 20 45 4f 46 20 66 6f 75 6e 64 2c 20 73 65 .# EOF found, se
17c0: 6e 64 69 6e 67 20 45 4f 46 20 74 6f 20 71 75 65 nding EOF to que
17d0: 75 65 0a 09 09 09 73 65 6c 66 2e 70 75 74 5f 6e ue....self.put_n
17e0: 6f 77 61 69 74 28 4e 6f 6e 65 29 0a 0a 73 74 64 owait(None)..std
17f0: 69 6e 20 3d 20 46 52 65 61 64 6c 69 6e 65 51 75 in = FReadlineQu
1800: 65 75 65 28 73 79 73 2e 73 74 64 69 6e 2c 20 46 eue(sys.stdin, F
1810: 61 6c 73 65 29 0a 0a 23 20 77 72 61 70 70 65 72 alse)..# wrapper
1820: 20 61 67 61 69 6e 73 74 20 66 69 6c 65 20 68 61 against file ha
1830: 6e 64 6c 65 72 20 74 68 61 74 20 6d 61 6b 65 73 ndler that makes
1840: 20 70 6f 73 73 69 62 6c 65 20 74 6f 20 71 75 65 possible to que
1850: 75 65 20 73 6f 6d 65 20 77 72 69 74 65 73 20 77 ue some writes w
1860: 69 74 68 6f 75 74 20 73 74 61 6c 6c 69 6e 67 0a ithout stalling.
1870: 0a 63 6c 61 73 73 20 46 57 72 69 74 65 6c 69 6e .class FWritelin
1880: 65 51 75 65 75 65 28 67 65 76 65 6e 74 2e 71 75 eQueue(gevent.qu
1890: 65 75 65 2e 4a 6f 69 6e 61 62 6c 65 51 75 65 75 eue.JoinableQueu
18a0: 65 29 3a 0a 09 23 20 73 74 6f 72 69 6e 67 20 66 e):..# storing f
18b0: 69 6c 65 6e 6f 2c 20 69 6f 20 69 6e 74 65 72 66 ileno, io interf
18c0: 61 63 65 2c 20 6c 65 66 74 6f 76 65 72 0a 09 5f ace, leftover.._
18d0: 5f 73 6c 6f 74 73 5f 5f 20 3d 20 66 72 6f 7a 65 _slots__ = froze
18e0: 6e 73 65 74 28 5b 27 5f 66 69 6c 65 6e 6f 27 2c nset(['_fileno',
18f0: 20 27 5f 69 6f 27 2c 20 27 5f 74 61 69 6c 27 5d '_io', '_tail']
1900: 29 0a 0a 09 64 65 66 20 5f 5f 69 6e 69 74 5f 5f )...def __init__
1910: 28 73 65 6c 66 2c 20 66 64 2c 20 63 6c 6f 73 65 (self, fd, close
1920: 66 64 20 3d 20 54 72 75 65 29 3a 0a 09 09 69 6d fd = True):...im
1930: 70 6f 72 74 20 69 6f 0a 09 09 23 20 69 6e 69 74 port io...# init
1940: 69 61 6c 69 73 69 6e 67 20 63 6c 61 73 73 0a 09 ialising class..
1950: 09 67 65 76 65 6e 74 2e 71 75 65 75 65 2e 4a 6f .gevent.queue.Jo
1960: 69 6e 61 62 6c 65 51 75 65 75 65 2e 5f 5f 69 6e inableQueue.__in
1970: 69 74 5f 5f 28 73 65 6c 66 29 0a 09 09 23 20 73 it__(self)...# s
1980: 74 6f 72 69 6e 67 20 66 69 6c 65 6e 6f 0a 09 09 toring fileno...
1990: 73 65 6c 66 2e 5f 66 69 6c 65 6e 6f 20 3d 20 66 self._fileno = f
19a0: 64 2e 66 69 6c 65 6e 6f 28 29 0a 09 09 23 20 63 d.fileno()...# c
19b0: 72 65 61 74 69 6e 67 20 69 6e 74 65 72 66 61 63 reating interfac
19c0: 65 0a 09 09 73 65 6c 66 2e 5f 69 6f 20 3d 20 69 e...self._io = i
19d0: 6f 2e 46 69 6c 65 49 4f 28 73 65 6c 66 2e 5f 66 o.FileIO(self._f
19e0: 69 6c 65 6e 6f 2c 20 27 77 27 2c 20 63 6c 6f 73 ileno, 'w', clos
19f0: 65 66 64 29 0a 09 09 23 20 75 73 69 6e 67 20 65 efd)...# using e
1a00: 6d 70 74 79 20 74 61 69 6c 0a 09 09 73 65 6c 66 mpty tail...self
1a10: 2e 5f 74 61 69 6c 20 3d 20 4e 6f 6e 65 0a 09 09 ._tail = None...
1a20: 23 20 70 75 74 74 69 6e 67 20 66 69 6c 65 20 74 # putting file t
1a30: 6f 20 6e 6f 6e 62 6c 6f 63 6b 69 6e 67 20 6d 6f o nonblocking mo
1a40: 64 65 0a 09 09 66 63 6e 74 6c 2e 66 63 6e 74 6c de...fcntl.fcntl
1a50: 28 73 65 6c 66 2e 5f 66 69 6c 65 6e 6f 2c 20 66 (self._fileno, f
1a60: 63 6e 74 6c 2e 46 5f 53 45 54 46 4c 2c 20 66 63 cntl.F_SETFL, fc
1a70: 6e 74 6c 2e 66 63 6e 74 6c 28 73 65 6c 66 2e 5f ntl.fcntl(self._
1a80: 66 69 6c 65 6e 6f 2c 20 66 63 6e 74 6c 2e 46 5f fileno, fcntl.F_
1a90: 47 45 54 46 4c 29 20 7c 20 6f 73 2e 4f 5f 4e 4f GETFL) | os.O_NO
1aa0: 4e 42 4c 4f 43 4b 29 0a 0a 09 64 65 66 20 5f 5f NBLOCK)...def __
1ab0: 64 65 6c 5f 5f 28 73 65 6c 66 29 3a 0a 09 09 23 del__(self):...#
1ac0: 20 70 75 72 67 65 20 71 75 65 75 65 20 62 65 66 purge queue bef
1ad0: 6f 72 65 20 64 65 6c 65 74 69 6e 67 0a 09 09 69 ore deleting...i
1ae0: 66 20 6e 6f 74 20 73 65 6c 66 2e 65 6d 70 74 79 f not self.empty
1af0: 28 29 3a 0a 09 09 09 73 65 6c 66 2e 6a 6f 69 6e ():....self.join
1b00: 28 29 0a 0a 09 64 65 66 20 70 75 74 28 73 65 6c ()...def put(sel
1b10: 66 2c 20 69 74 65 6d 2c 20 62 6c 6f 63 6b 3d 54 f, item, block=T
1b20: 72 75 65 2c 20 74 69 6d 65 6f 75 74 3d 4e 6f 6e rue, timeout=Non
1b30: 65 29 3a 0a 09 09 23 20 63 61 6c 6c 69 6e 67 20 e):...# calling
1b40: 72 65 61 6c 20 70 75 74 0a 09 09 67 65 76 65 6e real put...geven
1b50: 74 2e 71 75 65 75 65 2e 4a 6f 69 6e 61 62 6c 65 t.queue.Joinable
1b60: 51 75 65 75 65 2e 70 75 74 28 73 65 6c 66 2c 20 Queue.put(self,
1b70: 69 74 65 6d 2c 20 62 6c 6f 63 6b 2c 20 74 69 6d item, block, tim
1b80: 65 6f 75 74 29 0a 09 09 23 20 69 6e 73 74 61 6c eout)...# instal
1b90: 6c 69 6e 67 20 65 76 65 6e 74 20 68 61 6e 64 6c ling event handl
1ba0: 65 72 0a 09 09 67 65 76 65 6e 74 2e 63 6f 72 65 er...gevent.core
1bb0: 2e 77 72 69 74 65 5f 65 76 65 6e 74 28 73 65 6c .write_event(sel
1bc0: 66 2e 5f 66 69 6c 65 6e 6f 2c 20 73 65 6c 66 2e f._fileno, self.
1bd0: 5f 77 61 69 74 5f 68 65 6c 70 65 72 29 0a 0a 09 _wait_helper)...
1be0: 64 65 66 20 5f 77 61 69 74 5f 68 65 6c 70 65 72 def _wait_helper
1bf0: 28 73 65 6c 66 2c 20 65 76 2c 20 65 76 74 79 70 (self, ev, evtyp
1c00: 65 29 3a 0a 09 09 23 20 58 58 58 20 65 76 2c 20 e):...# XXX ev,
1c10: 65 76 74 79 70 65 20 63 68 65 63 6b 69 6e 67 3f evtype checking?
1c20: 0a 09 09 23 20 63 68 65 63 6b 69 6e 67 20 6c 65 ...# checking le
1c30: 66 74 6f 76 65 72 0a 09 09 77 68 69 6c 65 20 54 ftover...while T
1c40: 72 75 65 3a 0a 09 09 09 69 66 20 73 65 6c 66 2e rue:....if self.
1c50: 5f 74 61 69 6c 20 3d 3d 20 4e 6f 6e 65 3a 0a 09 _tail == None:..
1c60: 09 09 09 74 72 79 3a 0a 09 09 09 09 09 73 65 6c ...try:......sel
1c70: 66 2e 5f 74 61 69 6c 20 3d 20 73 74 72 28 73 65 f._tail = str(se
1c80: 6c 66 2e 67 65 74 5f 6e 6f 77 61 69 74 28 29 29 lf.get_nowait())
1c90: 2e 65 6e 63 6f 64 65 28 27 75 74 66 2d 38 27 29 .encode('utf-8')
1ca0: 20 2b 20 27 5c 6e 27 0a 09 09 09 09 65 78 63 65 + '\n'.....exce
1cb0: 70 74 20 67 65 76 65 6e 74 2e 71 75 65 75 65 2e pt gevent.queue.
1cc0: 45 6d 70 74 79 3a 0a 09 09 09 09 09 73 65 6c 66 Empty:......self
1cd0: 2e 5f 74 61 69 6c 20 3d 20 4e 6f 6e 65 0a 09 09 ._tail = None...
1ce0: 09 09 09 72 65 74 75 72 6e 0a 09 09 09 23 20 77 ...return....# w
1cf0: 72 69 74 69 6e 67 20 74 61 69 6c 0a 09 09 09 77 riting tail....w
1d00: 72 69 74 74 65 6e 20 3d 20 73 65 6c 66 2e 5f 69 ritten = self._i
1d10: 6f 2e 77 72 69 74 65 28 73 65 6c 66 2e 5f 74 61 o.write(self._ta
1d20: 69 6c 29 0a 09 09 09 6c 65 6e 67 74 68 20 3d 20 il)....length =
1d30: 6c 65 6e 28 73 65 6c 66 2e 5f 74 61 69 6c 29 0a len(self._tail).
1d40: 09 09 09 69 66 20 77 72 69 74 74 65 6e 20 3d 3d ...if written ==
1d50: 20 6c 65 6e 67 74 68 3a 0a 09 09 09 09 73 65 6c length:.....sel
1d60: 66 2e 5f 74 61 69 6c 20 3d 20 4e 6f 6e 65 0a 09 f._tail = None..
1d70: 09 09 65 6c 69 66 20 77 72 69 74 74 65 6e 20 3c ..elif written <
1d80: 20 6c 65 6e 67 74 68 3a 0a 09 09 09 09 73 65 6c length:.....sel
1d90: 66 2e 5f 74 61 69 6c 20 3d 20 73 65 6c 66 2e 5f f._tail = self._
1da0: 74 61 69 6c 5b 77 72 69 74 74 65 6e 3a 5d 0a 09 tail[written:]..
1db0: 09 09 09 62 72 65 61 6b 0a 09 09 09 65 6c 73 65 ...break....else
1dc0: 3a 0a 09 09 09 09 62 72 65 61 6b 0a 09 09 23 20 :.....break...#
1dd0: 72 65 69 6e 73 74 61 6c 6c 69 6e 67 20 65 76 65 reinstalling eve
1de0: 6e 74 20 68 61 6e 64 6c 65 72 0a 09 09 67 65 76 nt handler...gev
1df0: 65 6e 74 2e 63 6f 72 65 2e 77 72 69 74 65 5f 65 ent.core.write_e
1e00: 76 65 6e 74 28 73 65 6c 66 2e 5f 66 69 6c 65 6e vent(self._filen
1e10: 6f 2c 20 73 65 6c 66 2e 5f 77 61 69 74 5f 68 65 o, self._wait_he
1e20: 6c 70 65 72 29 0a 0a 23 20 77 72 61 70 70 65 72 lper)..# wrapper
1e30: 20 61 72 6f 75 6e 64 20 64 61 74 61 62 61 73 65 around database
1e40: 0a 63 6c 61 73 73 20 74 61 67 44 42 28 6f 62 6a .class tagDB(obj
1e50: 65 63 74 29 3a 0a 09 5f 5f 73 6c 6f 74 73 5f 5f ect):..__slots__
1e60: 20 3d 20 66 72 6f 7a 65 6e 73 65 74 28 5b 27 5f = frozenset(['_
1e70: 63 75 72 73 6f 72 27 2c 20 27 5f 64 62 27 5d 29 cursor', '_db'])
1e80: 0a 0a 09 64 65 66 20 5f 5f 69 6e 69 74 5f 5f 28 ...def __init__(
1e90: 73 65 6c 66 29 3a 0a 09 09 63 6f 6e 66 69 67 2e self):...config.
1ea0: 73 65 63 74 69 6f 6e 28 27 64 61 74 61 62 61 73 section('databas
1eb0: 65 27 29 0a 09 09 69 66 20 63 6f 6e 66 69 67 5b e')...if config[
1ec0: 27 68 6f 73 74 27 5d 20 3d 3d 20 4e 6f 6e 65 3a 'host'] == None:
1ed0: 0a 09 09 09 73 65 6c 66 2e 5f 64 62 20 3d 20 70 ....self._db = p
1ee0: 73 79 63 6f 70 67 32 2e 63 6f 6e 6e 65 63 74 28 sycopg2.connect(
1ef0: 0a 09 09 09 09 64 61 74 61 62 61 73 65 20 3d 20 .....database =
1f00: 63 6f 6e 66 69 67 5b 27 64 61 74 61 62 61 73 65 config['database
1f10: 27 5d 2c 0a 09 09 09 09 75 73 65 72 20 3d 20 63 '],.....user = c
1f20: 6f 6e 66 69 67 5b 27 75 73 65 72 27 5d 2c 0a 09 onfig['user'],..
1f30: 09 09 09 70 61 73 73 77 6f 72 64 20 3d 20 63 6f ...password = co
1f40: 6e 66 69 67 5b 27 70 61 73 73 77 6f 72 64 27 5d nfig['password']
1f50: 0a 09 09 09 29 0a 09 09 65 6c 73 65 3a 0a 09 09 ....)...else:...
1f60: 09 73 65 6c 66 2e 5f 64 62 20 3d 20 70 73 79 63 .self._db = psyc
1f70: 6f 70 67 32 2e 63 6f 6e 6e 65 63 74 28 0a 09 09 opg2.connect(...
1f80: 09 09 64 61 74 61 62 61 73 65 20 3d 20 63 6f 6e ..database = con
1f90: 66 69 67 5b 27 64 61 74 61 62 61 73 65 27 5d 2c fig['database'],
1fa0: 0a 09 09 09 09 68 6f 73 74 20 3d 20 63 6f 6e 66 .....host = conf
1fb0: 69 67 5b 27 68 6f 73 74 27 5d 2c 0a 09 09 09 09 ig['host'],.....
1fc0: 75 73 65 72 20 3d 20 63 6f 6e 66 69 67 5b 27 75 user = config['u
1fd0: 73 65 72 27 5d 2c 0a 09 09 09 09 70 61 73 73 77 ser'],.....passw
1fe0: 6f 72 64 20 3d 20 63 6f 6e 66 69 67 5b 27 70 61 ord = config['pa
1ff0: 73 73 77 6f 72 64 27 5d 0a 09 09 09 29 0a 09 09 ssword']....)...
2000: 73 65 6c 66 2e 5f 63 75 72 73 6f 72 20 3d 20 73 self._cursor = s
2010: 65 6c 66 2e 5f 64 62 2e 63 75 72 73 6f 72 28 29 elf._db.cursor()
2020: 0a 0a 09 64 65 66 20 5f 66 69 65 6c 64 5f 6e 61 ...def _field_na
2030: 6d 65 73 28 73 65 6c 66 29 3a 0a 09 09 6e 61 6d mes(self):...nam
2040: 65 73 20 3d 20 5b 5d 0a 09 09 66 6f 72 20 72 65 es = []...for re
2050: 63 6f 72 64 20 69 6e 20 73 65 6c 66 2e 5f 63 75 cord in self._cu
2060: 72 73 6f 72 2e 64 65 73 63 72 69 70 74 69 6f 6e rsor.description
2070: 3a 0a 09 09 09 6e 61 6d 65 73 2e 61 70 70 65 6e :....names.appen
2080: 64 28 72 65 63 6f 72 64 2e 6e 61 6d 65 29 0a 09 d(record.name)..
2090: 09 72 65 74 75 72 6e 28 6e 61 6d 65 73 29 0a 0a .return(names)..
20a0: 09 64 65 66 20 63 68 65 63 6b 28 73 65 6c 66 2c .def check(self,
20b0: 20 73 69 74 65 2c 20 69 70 5f 61 64 64 72 65 73 site, ip_addres
20c0: 73 29 3a 0a 09 09 73 65 6c 66 2e 5f 63 75 72 73 s):...self._curs
20d0: 6f 72 2e 65 78 65 63 75 74 65 28 22 73 65 6c 65 or.execute("sele
20e0: 63 74 20 2a 20 66 72 6f 6d 20 28 73 65 6c 65 63 ct * from (selec
20f0: 74 20 72 65 64 69 72 65 63 74 5f 75 72 6c 2c 20 t redirect_url,
2100: 72 65 67 65 78 70 20 66 72 6f 6d 20 73 69 74 65 regexp from site
2110: 5f 72 75 6c 65 20 77 68 65 72 65 20 73 69 74 65 _rule where site
2120: 20 3c 40 20 74 72 69 70 64 6f 6d 61 69 6e 28 25 <@ tripdomain(%
2130: 73 29 20 61 6e 64 20 6e 65 74 6d 61 73 6b 20 3e s) and netmask >
2140: 3e 3d 20 25 73 20 6f 72 64 65 72 20 62 79 20 61 >= %s order by a
2150: 72 72 61 79 5f 6c 65 6e 67 74 68 28 73 69 74 65 rray_length(site
2160: 2c 20 31 29 20 64 65 73 63 29 20 61 20 67 72 6f , 1) desc) a gro
2170: 75 70 20 62 79 20 72 65 64 69 72 65 63 74 5f 75 up by redirect_u
2180: 72 6c 2c 20 72 65 67 65 78 70 22 2c 20 5b 73 69 rl, regexp", [si
2190: 74 65 2c 20 69 70 5f 61 64 64 72 65 73 73 5d 29 te, ip_address])
21a0: 0a 09 09 72 65 74 75 72 6e 28 73 65 6c 66 2e 5f ...return(self._
21b0: 63 75 72 73 6f 72 2e 66 65 74 63 68 61 6c 6c 28 cursor.fetchall(
21c0: 29 29 0a 0a 09 64 65 66 20 64 75 6d 70 28 73 65 ))...def dump(se
21d0: 6c 66 29 3a 0a 09 09 73 65 6c 66 2e 5f 63 75 72 lf):...self._cur
21e0: 73 6f 72 2e 65 78 65 63 75 74 65 28 22 73 65 6c sor.execute("sel
21f0: 65 63 74 20 75 6e 74 72 69 70 28 73 69 74 65 29 ect untrip(site)
2200: 20 61 73 20 73 69 74 65 2c 20 74 61 67 3a 3a 74 as site, tag::t
2210: 65 78 74 2c 20 72 65 67 65 78 70 20 66 72 6f 6d ext, regexp from
2220: 20 75 72 6c 73 20 6f 72 64 65 72 20 62 79 20 73 urls order by s
2230: 69 74 65 2c 20 74 61 67 22 29 0a 09 09 72 65 74 ite, tag")...ret
2240: 75 72 6e 28 73 65 6c 66 2e 5f 66 69 65 6c 64 5f urn(self._field_
2250: 6e 61 6d 65 73 28 29 2c 20 73 65 6c 66 2e 5f 63 names(), self._c
2260: 75 72 73 6f 72 2e 66 65 74 63 68 61 6c 6c 28 29 ursor.fetchall()
2270: 29 0a 0a 09 64 65 66 20 6c 6f 61 64 28 73 65 6c )...def load(sel
2280: 66 2c 20 64 61 74 61 29 3a 0a 09 09 69 66 20 63 f, data):...if c
2290: 6f 6e 66 69 67 2e 6f 70 74 69 6f 6e 73 2e 66 6c onfig.options.fl
22a0: 75 73 68 5f 64 62 3a 0a 09 09 09 73 65 6c 66 2e ush_db:....self.
22b0: 5f 63 75 72 73 6f 72 2e 65 78 65 63 75 74 65 28 _cursor.execute(
22c0: 27 64 65 6c 65 74 65 20 66 72 6f 6d 20 75 72 6c 'delete from url
22d0: 73 3b 27 29 0a 09 09 62 75 6e 64 6c 65 20 3d 20 s;')...bundle =
22e0: 5b 5d 0a 09 09 66 6f 72 20 72 6f 77 20 69 6e 20 []...for row in
22f0: 64 61 74 61 3a 0a 09 09 09 69 66 20 6c 65 6e 28 data:....if len(
2300: 72 6f 77 29 20 3d 3d 20 32 3a 0a 09 09 09 09 62 row) == 2:.....b
2310: 75 6e 64 6c 65 2e 61 70 70 65 6e 64 28 5b 72 6f undle.append([ro
2320: 77 5b 30 5d 2c 20 72 6f 77 5b 31 5d 2c 20 4e 6f w[0], row[1], No
2330: 6e 65 5d 29 0a 09 09 09 65 6c 73 65 3a 0a 09 09 ne])....else:...
2340: 09 09 62 75 6e 64 6c 65 2e 61 70 70 65 6e 64 28 ..bundle.append(
2350: 5b 72 6f 77 5b 30 5d 2c 20 72 6f 77 5b 31 5d 2c [row[0], row[1],
2360: 20 72 6f 77 5b 32 5d 5d 29 0a 09 09 73 65 6c 66 row[2]])...self
2370: 2e 5f 63 75 72 73 6f 72 2e 65 78 65 63 75 74 65 ._cursor.execute
2380: 6d 61 6e 79 28 22 69 6e 73 65 72 74 20 69 6e 74 many("insert int
2390: 6f 20 75 72 6c 73 20 28 73 69 74 65 2c 20 74 61 o urls (site, ta
23a0: 67 2c 20 72 65 67 65 78 70 29 20 76 61 6c 75 65 g, regexp) value
23b0: 73 20 28 74 72 69 70 64 6f 6d 61 69 6e 28 25 73 s (tripdomain(%s
23c0: 29 2c 20 25 73 2c 20 25 73 29 22 2c 20 62 75 6e ), %s, %s)", bun
23d0: 64 6c 65 29 0a 09 09 73 65 6c 66 2e 5f 63 75 72 dle)...self._cur
23e0: 73 6f 72 2e 65 78 65 63 75 74 65 28 22 75 70 64 sor.execute("upd
23f0: 61 74 65 20 75 72 6c 73 20 73 65 74 20 72 65 67 ate urls set reg
2400: 65 78 70 20 3d 20 4e 55 4c 4c 20 77 68 65 72 65 exp = NULL where
2410: 20 72 65 67 65 78 70 20 3d 20 27 27 22 29 0a 09 regexp = ''")..
2420: 09 73 65 6c 66 2e 5f 64 62 2e 63 6f 6d 6d 69 74 .self._db.commit
2430: 28 29 0a 0a 09 64 65 66 20 6c 6f 61 64 5f 63 6f ()...def load_co
2440: 6e 66 28 73 65 6c 66 2c 20 63 73 76 5f 64 61 74 nf(self, csv_dat
2450: 61 29 3a 0a 09 09 73 65 6c 66 2e 5f 63 75 72 73 a):...self._curs
2460: 6f 72 2e 65 78 65 63 75 74 65 28 27 64 65 6c 65 or.execute('dele
2470: 74 65 20 66 72 6f 6d 20 72 75 6c 65 73 3b 27 29 te from rules;')
2480: 0a 09 09 62 75 6e 64 6c 65 20 3d 20 5b 5d 0a 09 ...bundle = []..
2490: 09 66 6f 72 20 72 6f 77 20 69 6e 20 63 73 76 5f .for row in csv_
24a0: 64 61 74 61 3a 0a 09 09 09 62 75 6e 64 6c 65 2e data:....bundle.
24b0: 61 70 70 65 6e 64 28 5b 72 6f 77 5b 30 5d 2c 20 append([row[0],
24c0: 72 6f 77 5b 31 5d 2c 20 69 6e 74 28 72 6f 77 5b row[1], int(row[
24d0: 32 5d 29 2c 20 69 6e 74 28 72 6f 77 5b 33 5d 29 2]), int(row[3])
24e0: 2c 20 72 6f 77 5b 34 5d 2c 20 72 6f 77 5b 35 5d , row[4], row[5]
24f0: 2c 20 72 6f 77 5b 36 5d 5d 29 0a 09 09 73 65 6c , row[6]])...sel
2500: 66 2e 5f 63 75 72 73 6f 72 2e 65 78 65 63 75 74 f._cursor.execut
2510: 65 6d 61 6e 79 28 22 69 6e 73 65 72 74 20 69 6e emany("insert in
2520: 74 6f 20 72 75 6c 65 73 20 28 6e 65 74 6d 61 73 to rules (netmas
2530: 6b 2c 20 72 65 64 69 72 65 63 74 5f 75 72 6c 2c k, redirect_url,
2540: 20 66 72 6f 6d 5f 77 65 65 6b 64 61 79 2c 20 74 from_weekday, t
2550: 6f 5f 77 65 65 6b 64 61 79 2c 20 66 72 6f 6d 5f o_weekday, from_
2560: 74 69 6d 65 2c 20 74 6f 5f 74 69 6d 65 2c 20 74 time, to_time, t
2570: 61 67 29 20 76 61 6c 75 65 73 20 28 25 73 3a 3a ag) values (%s::
2580: 74 65 78 74 3a 3a 63 69 64 72 2c 20 25 73 2c 20 text::cidr, %s,
2590: 25 73 2c 20 25 73 2c 20 25 73 3a 3a 74 65 78 74 %s, %s, %s::text
25a0: 3a 3a 74 69 6d 65 2c 20 25 73 3a 3a 74 65 78 74 ::time, %s::text
25b0: 3a 3a 74 69 6d 65 2c 20 25 73 3a 3a 74 65 78 74 ::time, %s::text
25c0: 3a 3a 74 65 78 74 5b 5d 29 22 2c 20 62 75 6e 64 ::text[])", bund
25d0: 6c 65 29 0a 09 09 73 65 6c 66 2e 5f 64 62 2e 63 le)...self._db.c
25e0: 6f 6d 6d 69 74 28 29 0a 0a 09 64 65 66 20 64 75 ommit()...def du
25f0: 6d 70 5f 63 6f 6e 66 28 73 65 6c 66 29 3a 0a 09 mp_conf(self):..
2600: 09 73 65 6c 66 2e 5f 63 75 72 73 6f 72 2e 65 78 .self._cursor.ex
2610: 65 63 75 74 65 28 22 73 65 6c 65 63 74 20 6e 65 ecute("select ne
2620: 74 6d 61 73 6b 2c 20 72 65 64 69 72 65 63 74 5f tmask, redirect_
2630: 75 72 6c 2c 20 66 72 6f 6d 5f 77 65 65 6b 64 61 url, from_weekda
2640: 79 2c 20 74 6f 5f 77 65 65 6b 64 61 79 2c 20 66 y, to_weekday, f
2650: 72 6f 6d 5f 74 69 6d 65 2c 20 74 6f 5f 74 69 6d rom_time, to_tim
2660: 65 2c 20 74 61 67 3a 3a 74 65 78 74 20 66 72 6f e, tag::text fro
2670: 6d 20 72 75 6c 65 73 22 29 0a 09 09 72 65 74 75 m rules")...retu
2680: 72 6e 28 73 65 6c 66 2e 5f 66 69 65 6c 64 5f 6e rn(self._field_n
2690: 61 6d 65 73 28 29 2c 20 73 65 6c 66 2e 5f 63 75 ames(), self._cu
26a0: 72 73 6f 72 2e 66 65 74 63 68 61 6c 6c 28 29 29 rsor.fetchall())
26b0: 0a 0a 23 20 61 62 73 74 72 61 63 74 20 63 6c 61 ..# abstract cla
26c0: 73 73 20 77 69 74 68 20 62 61 73 69 63 20 63 68 ss with basic ch
26d0: 65 63 6b 69 6e 67 20 66 75 6e 63 74 69 6f 6e 61 ecking functiona
26e0: 6c 69 74 79 0a 63 6c 61 73 73 20 43 68 65 63 6b lity.class Check
26f0: 65 72 28 6f 62 6a 65 63 74 29 3a 0a 09 5f 5f 73 er(object):..__s
2700: 6c 6f 74 73 5f 5f 20 3d 20 66 72 6f 7a 65 6e 73 lots__ = frozens
2710: 65 74 28 5b 27 5f 64 62 27 2c 20 27 5f 6c 6f 67 et(['_db', '_log
2720: 27 2c 20 27 5f 71 75 65 75 65 27 2c 20 27 5f 72 ', '_queue', '_r
2730: 65 71 75 65 73 74 27 2c 20 27 5f 73 74 64 6f 75 equest', '_stdou
2740: 74 27 5d 29 0a 0a 09 64 65 66 20 5f 5f 69 6e 69 t'])...def __ini
2750: 74 5f 5f 28 73 65 6c 66 2c 20 71 75 65 75 65 2c t__(self, queue,
2760: 20 6c 6f 67 67 65 72 29 3a 0a 09 09 73 65 6c 66 logger):...self
2770: 2e 5f 64 62 20 3d 20 74 61 67 44 42 28 29 0a 09 ._db = tagDB()..
2780: 09 73 65 6c 66 2e 5f 6c 6f 67 20 3d 20 6c 6f 67 .self._log = log
2790: 67 65 72 0a 09 09 73 65 6c 66 2e 5f 6c 6f 67 2e ger...self._log.
27a0: 69 6e 66 6f 28 27 73 74 61 72 74 65 64 27 29 0a info('started').
27b0: 09 09 73 65 6c 66 2e 5f 72 65 71 75 65 73 74 20 ..self._request
27c0: 3d 20 72 65 2e 63 6f 6d 70 69 6c 65 28 27 5e 28 = re.compile('^(
27d0: 5b 30 2d 39 5d 2b 29 5c 20 28 68 74 74 70 7c 66 [0-9]+)\ (http|f
27e0: 74 70 29 3a 5c 2f 5c 2f 28 5b 2d 5c 77 2e 3a 5d tp):\/\/([-\w.:]
27f0: 2b 29 5c 2f 28 5b 5e 20 5d 2a 29 5c 20 28 5b 30 +)\/([^ ]*)\ ([0
2800: 2d 39 2e 3a 5d 2b 29 5c 2f 28 2d 7c 5b 5c 77 5c -9.:]+)\/(-|[\w\
2810: 2e 5d 2b 29 5c 20 28 2d 7c 5c 77 2b 29 5c 20 28 .]+)\ (-|\w+)\ (
2820: 2d 7c 47 45 54 7c 48 45 41 44 7c 50 4f 53 54 29 -|GET|HEAD|POST)
2830: 2e 2a 24 27 29 0a 09 09 73 65 6c 66 2e 5f 71 75 .*$')...self._qu
2840: 65 75 65 20 3d 20 71 75 65 75 65 0a 09 09 73 65 eue = queue...se
2850: 6c 66 2e 5f 73 74 64 6f 75 74 20 3d 20 46 57 72 lf._stdout = FWr
2860: 69 74 65 6c 69 6e 65 51 75 65 75 65 28 73 79 73 itelineQueue(sys
2870: 2e 73 74 64 6f 75 74 2c 20 46 61 6c 73 65 29 0a .stdout, False).
2880: 0a 09 64 65 66 20 70 72 6f 63 65 73 73 28 73 65 ..def process(se
2890: 6c 66 2c 20 69 64 2c 20 73 69 74 65 2c 20 69 70 lf, id, site, ip
28a0: 5f 61 64 64 72 65 73 73 2c 20 75 72 6c 5f 70 61 _address, url_pa
28b0: 74 68 2c 20 6c 69 6e 65 20 3d 20 4e 6f 6e 65 29 th, line = None)
28c0: 3a 0a 09 09 23 73 65 6c 66 2e 5f 6c 6f 67 2e 69 :...#self._log.i
28d0: 6e 66 6f 28 27 74 72 79 69 6e 67 20 7b 7d 27 2e nfo('trying {}'.
28e0: 66 6f 72 6d 61 74 28 73 69 74 65 29 29 0a 09 09 format(site))...
28f0: 72 65 73 75 6c 74 20 3d 20 73 65 6c 66 2e 5f 64 result = self._d
2900: 62 2e 63 68 65 63 6b 28 73 69 74 65 2c 20 69 70 b.check(site, ip
2910: 5f 61 64 64 72 65 73 73 29 0a 09 09 72 65 70 6c _address)...repl
2920: 79 20 3d 20 4e 6f 6e 65 0a 09 09 23 73 65 6c 66 y = None...#self
2930: 2e 5f 6c 6f 67 2e 69 6e 66 6f 28 27 67 6f 74 20 ._log.info('got
2940: 7b 7d 20 6c 69 6e 65 73 20 66 72 6f 6d 20 64 61 {} lines from da
2950: 74 61 62 61 73 65 27 2e 66 6f 72 6d 61 74 28 6c tabase'.format(l
2960: 65 6e 28 72 65 73 75 6c 74 29 29 29 0a 09 09 66 en(result)))...f
2970: 6f 72 20 72 6f 77 20 69 6e 20 72 65 73 75 6c 74 or row in result
2980: 3a 0a 09 09 09 69 66 20 72 6f 77 20 21 3d 20 4e :....if row != N
2990: 6f 6e 65 20 61 6e 64 20 72 6f 77 5b 30 5d 20 21 one and row[0] !
29a0: 3d 20 4e 6f 6e 65 3a 0a 09 09 09 09 69 66 20 72 = None:.....if r
29b0: 6f 77 5b 31 5d 20 21 3d 20 4e 6f 6e 65 3a 0a 09 ow[1] != None:..
29c0: 09 09 09 09 73 65 6c 66 2e 5f 6c 6f 67 2e 69 6e ....self._log.in
29d0: 66 6f 28 27 74 72 79 69 6e 67 20 72 65 67 65 78 fo('trying regex
29e0: 70 20 22 7b 7d 22 20 76 65 72 73 75 73 20 22 7b p "{}" versus "{
29f0: 7d 22 27 2e 66 6f 72 6d 61 74 28 72 6f 77 5b 31 }"'.format(row[1
2a00: 5d 2c 20 75 72 6c 5f 70 61 74 68 29 29 0a 09 09 ], url_path))...
2a10: 09 09 09 74 72 79 3a 0a 09 09 09 09 09 09 69 66 ...try:.......if
2a20: 20 72 65 2e 63 6f 6d 70 69 6c 65 28 72 6f 77 5b re.compile(row[
2a30: 31 5d 29 2e 6d 61 74 63 68 28 75 72 6c 5f 70 61 1]).match(url_pa
2a40: 74 68 29 3a 0a 09 09 09 09 09 09 09 72 65 70 6c th):........repl
2a50: 79 20 3d 20 72 6f 77 5b 30 5d 2e 66 6f 72 6d 61 y = row[0].forma
2a60: 74 28 75 72 6c 5f 70 61 74 68 29 0a 09 09 09 09 t(url_path).....
2a70: 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 09 63 ..else:........c
2a80: 6f 6e 74 69 6e 75 65 0a 09 09 09 09 09 65 78 63 ontinue......exc
2a90: 65 70 74 3a 0a 09 09 09 09 09 09 73 65 6c 66 2e ept:.......self.
2aa0: 5f 6c 6f 67 2e 69 6e 66 6f 28 22 63 61 6e 27 74 _log.info("can't
2ab0: 20 63 6f 6d 70 69 6c 65 20 72 65 67 65 78 70 22 compile regexp"
2ac0: 29 0a 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 ).....else:.....
2ad0: 09 72 65 70 6c 79 20 3d 20 72 6f 77 5b 30 5d 2e .reply = row[0].
2ae0: 66 6f 72 6d 61 74 28 75 72 6c 5f 70 61 74 68 29 format(url_path)
2af0: 0a 09 09 09 69 66 20 72 65 70 6c 79 20 21 3d 20 ....if reply !=
2b00: 4e 6f 6e 65 3a 0a 09 09 09 09 73 65 6c 66 2e 77 None:.....self.w
2b10: 72 69 74 65 6c 69 6e 65 28 27 7b 7d 20 7b 7d 27 riteline('{} {}'
2b20: 2e 66 6f 72 6d 61 74 28 69 64 2c 20 72 65 70 6c .format(id, repl
2b30: 79 29 29 0a 09 09 09 09 72 65 74 75 72 6e 28 54 y)).....return(T
2b40: 72 75 65 29 0a 09 09 73 65 6c 66 2e 77 72 69 74 rue)...self.writ
2b50: 65 6c 69 6e 65 28 27 7b 7d 27 2e 66 6f 72 6d 61 eline('{}'.forma
2b60: 74 28 69 64 29 29 0a 0a 09 64 65 66 20 6c 6f 6f t(id))...def loo
2b70: 70 28 73 65 6c 66 29 3a 0a 09 09 77 68 69 6c 65 p(self):...while
2b80: 20 54 72 75 65 3a 0a 09 09 09 6c 69 6e 65 20 3d True:....line =
2b90: 20 73 65 6c 66 2e 5f 71 75 65 75 65 2e 67 65 74 self._queue.get
2ba0: 28 29 0a 09 09 09 69 66 20 6c 69 6e 65 20 3d 3d ()....if line ==
2bb0: 20 4e 6f 6e 65 3a 0a 09 09 09 09 62 72 65 61 6b None:.....break
2bc0: 0a 09 09 09 23 73 65 6c 66 2e 5f 6c 6f 67 2e 69 ....#self._log.i
2bd0: 6e 66 6f 28 27 72 65 71 75 65 73 74 3a 20 27 20 nfo('request: '
2be0: 2b 20 6c 69 6e 65 29 0a 09 09 09 72 65 71 75 65 + line)....reque
2bf0: 73 74 20 3d 20 73 65 6c 66 2e 5f 72 65 71 75 65 st = self._reque
2c00: 73 74 2e 6d 61 74 63 68 28 6c 69 6e 65 29 0a 09 st.match(line)..
2c10: 09 09 69 66 20 72 65 71 75 65 73 74 3a 0a 09 09 ..if request:...
2c20: 09 09 69 64 20 3d 20 72 65 71 75 65 73 74 2e 67 ..id = request.g
2c30: 72 6f 75 70 28 31 29 0a 09 09 09 09 23 70 72 6f roup(1).....#pro
2c40: 74 6f 20 3d 20 72 65 71 75 65 73 74 2e 67 72 6f to = request.gro
2c50: 75 70 28 32 29 0a 09 09 09 09 73 69 74 65 20 3d up(2).....site =
2c60: 20 72 65 71 75 65 73 74 2e 67 72 6f 75 70 28 33 request.group(3
2c70: 29 0a 09 09 09 09 75 72 6c 5f 70 61 74 68 20 3d ).....url_path =
2c80: 20 72 65 71 75 65 73 74 2e 67 72 6f 75 70 28 34 request.group(4
2c90: 29 0a 09 09 09 09 69 70 5f 61 64 64 72 65 73 73 ).....ip_address
2ca0: 20 3d 20 72 65 71 75 65 73 74 2e 67 72 6f 75 70 = request.group
2cb0: 28 35 29 0a 09 09 09 09 73 65 6c 66 2e 70 72 6f (5).....self.pro
2cc0: 63 65 73 73 28 69 64 2c 20 73 69 74 65 2c 20 69 cess(id, site, i
2cd0: 70 5f 61 64 64 72 65 73 73 2c 20 75 72 6c 5f 70 p_address, url_p
2ce0: 61 74 68 2c 20 6c 69 6e 65 29 0a 09 09 09 65 6c ath, line)....el
2cf0: 73 65 3a 0a 09 09 09 09 73 65 6c 66 2e 5f 6c 6f se:.....self._lo
2d00: 67 2e 69 6e 66 6f 28 27 62 61 64 20 72 65 71 75 g.info('bad requ
2d10: 65 73 74 27 29 0a 09 09 09 09 73 65 6c 66 2e 77 est').....self.w
2d20: 72 69 74 65 6c 69 6e 65 28 6c 69 6e 65 29 0a 0a riteline(line)..
2d30: 09 64 65 66 20 77 72 69 74 65 6c 69 6e 65 28 73 .def writeline(s
2d40: 65 6c 66 2c 20 73 74 72 69 6e 67 29 3a 0a 09 09 elf, string):...
2d50: 73 65 6c 66 2e 5f 6c 6f 67 2e 69 6e 66 6f 28 27 self._log.info('
2d60: 3e 20 27 20 2b 20 73 74 72 69 6e 67 29 0a 09 09 > ' + string)...
2d70: 73 65 6c 66 2e 5f 73 74 64 6f 75 74 2e 70 75 74 self._stdout.put
2d80: 28 73 74 72 69 6e 67 29 0a 0a 69 66 20 63 6f 6e (string)..if con
2d90: 66 69 67 2e 6f 70 74 69 6f 6e 73 2e 64 75 6d 70 fig.options.dump
2da0: 20 6f 72 20 63 6f 6e 66 69 67 2e 6f 70 74 69 6f or config.optio
2db0: 6e 73 2e 6c 6f 61 64 20 6f 72 20 63 6f 6e 66 69 ns.load or confi
2dc0: 67 2e 6f 70 74 69 6f 6e 73 2e 64 75 6d 70 5f 63 g.options.dump_c
2dd0: 6f 6e 66 20 6f 72 20 63 6f 6e 66 69 67 2e 6f 70 onf or config.op
2de0: 74 69 6f 6e 73 2e 6c 6f 61 64 5f 63 6f 6e 66 3a tions.load_conf:
2df0: 0a 09 69 6d 70 6f 72 74 20 63 73 76 0a 0a 09 74 ..import csv...t
2e00: 61 67 64 62 20 3d 20 74 61 67 44 42 28 29 0a 09 agdb = tagDB()..
2e10: 64 61 74 61 5f 66 69 65 6c 64 73 20 3d 20 5b 27 data_fields = ['
2e20: 73 69 74 65 27 2c 20 27 74 61 67 27 2c 20 27 72 site', 'tag', 'r
2e30: 65 67 65 78 70 27 5d 0a 09 63 6f 6e 66 5f 66 69 egexp']..conf_fi
2e40: 65 6c 64 73 20 3d 20 5b 27 6e 65 74 6d 61 73 6b elds = ['netmask
2e50: 27 2c 20 27 72 65 64 69 72 65 63 74 5f 75 72 6c ', 'redirect_url
2e60: 27 2c 20 27 66 72 6f 6d 5f 77 65 65 6b 64 61 79 ', 'from_weekday
2e70: 27 2c 20 27 74 6f 5f 77 65 65 6b 64 61 79 27 2c ', 'to_weekday',
2e80: 20 27 66 72 6f 6d 5f 74 69 6d 65 27 2c 20 27 74 'from_time', 't
2e90: 6f 5f 74 69 6d 65 27 2c 20 27 74 61 67 27 5d 0a o_time', 'tag'].
2ea0: 0a 09 69 66 20 63 6f 6e 66 69 67 2e 6f 70 74 69 ..if config.opti
2eb0: 6f 6e 73 2e 64 75 6d 70 20 6f 72 20 63 6f 6e 66 ons.dump or conf
2ec0: 69 67 2e 6f 70 74 69 6f 6e 73 2e 64 75 6d 70 5f ig.options.dump_
2ed0: 63 6f 6e 66 3a 0a 09 09 63 73 76 5f 77 72 69 74 conf:...csv_writ
2ee0: 65 72 20 3d 20 63 73 76 2e 77 72 69 74 65 72 28 er = csv.writer(
2ef0: 73 79 73 2e 73 74 64 6f 75 74 29 0a 09 09 69 66 sys.stdout)...if
2f00: 20 63 6f 6e 66 69 67 2e 6f 70 74 69 6f 6e 73 2e config.options.
2f10: 64 75 6d 70 3a 0a 09 09 09 64 75 6d 70 20 3d 20 dump:....dump =
2f20: 74 61 67 64 62 2e 64 75 6d 70 28 29 0a 09 09 65 tagdb.dump()...e
2f30: 6c 69 66 20 63 6f 6e 66 69 67 2e 6f 70 74 69 6f lif config.optio
2f40: 6e 73 2e 64 75 6d 70 5f 63 6f 6e 66 3a 0a 09 09 ns.dump_conf:...
2f50: 09 64 75 6d 70 20 3d 20 74 61 67 64 62 2e 64 75 .dump = tagdb.du
2f60: 6d 70 5f 63 6f 6e 66 28 29 0a 0a 09 09 63 73 76 mp_conf()....csv
2f70: 5f 77 72 69 74 65 72 2e 77 72 69 74 65 72 6f 77 _writer.writerow
2f80: 28 64 75 6d 70 5b 30 5d 29 0a 09 09 66 6f 72 20 (dump[0])...for
2f90: 6c 69 6e 65 20 69 6e 20 64 75 6d 70 5b 31 5d 3a line in dump[1]:
2fa0: 0a 09 09 09 63 73 76 5f 77 72 69 74 65 72 2e 77 ....csv_writer.w
2fb0: 72 69 74 65 72 6f 77 28 6c 69 6e 65 29 0a 0a 09 riterow(line)...
2fc0: 65 6c 69 66 20 63 6f 6e 66 69 67 2e 6f 70 74 69 elif config.opti
2fd0: 6f 6e 73 2e 6c 6f 61 64 20 6f 72 20 63 6f 6e 66 ons.load or conf
2fe0: 69 67 2e 6f 70 74 69 6f 6e 73 2e 6c 6f 61 64 5f ig.options.load_
2ff0: 63 6f 6e 66 3a 0a 09 09 63 73 76 5f 72 65 61 64 conf:...csv_read
3000: 65 72 20 3d 20 63 73 76 2e 72 65 61 64 65 72 28 er = csv.reader(
3010: 73 79 73 2e 73 74 64 69 6e 29 0a 09 09 66 69 72 sys.stdin)...fir
3020: 73 74 5f 72 6f 77 20 3d 20 6e 65 78 74 28 63 73 st_row = next(cs
3030: 76 5f 72 65 61 64 65 72 29 0a 0a 09 09 69 66 20 v_reader)....if
3040: 63 6f 6e 66 69 67 2e 6f 70 74 69 6f 6e 73 2e 6c config.options.l
3050: 6f 61 64 3a 0a 09 09 09 66 69 65 6c 64 73 20 3d oad:....fields =
3060: 20 64 61 74 61 5f 66 69 65 6c 64 73 0a 09 09 09 data_fields....
3070: 6c 6f 61 64 20 3d 20 74 61 67 64 62 2e 6c 6f 61 load = tagdb.loa
3080: 64 0a 09 09 65 6c 69 66 20 63 6f 6e 66 69 67 2e d...elif config.
3090: 6f 70 74 69 6f 6e 73 2e 6c 6f 61 64 5f 63 6f 6e options.load_con
30a0: 66 3a 0a 09 09 09 66 69 65 6c 64 73 20 3d 20 63 f:....fields = c
30b0: 6f 6e 66 5f 66 69 65 6c 64 73 0a 09 09 09 6c 6f onf_fields....lo
30c0: 61 64 20 3d 20 74 61 67 64 62 2e 6c 6f 61 64 5f ad = tagdb.load_
30d0: 63 6f 6e 66 0a 0a 09 09 61 73 73 65 72 74 20 66 conf....assert f
30e0: 69 72 73 74 5f 72 6f 77 20 3d 3d 20 66 69 65 6c irst_row == fiel
30f0: 64 73 2c 20 27 46 69 6c 65 20 6d 75 73 74 20 63 ds, 'File must c
3100: 6f 6e 74 61 69 6e 20 63 73 76 20 64 61 74 61 20 ontain csv data
3110: 77 69 74 68 20 74 68 65 65 73 65 20 63 6f 6c 75 with theese colu
3120: 6d 6e 73 3a 20 27 20 2b 20 72 65 70 72 28 66 69 mns: ' + repr(fi
3130: 65 6c 64 73 29 0a 09 09 6c 6f 61 64 28 63 73 76 elds)...load(csv
3140: 5f 72 65 61 64 65 72 29 0a 0a 65 6c 73 65 3a 0a _reader)..else:.
3150: 09 23 20 6d 61 69 6e 20 6c 6f 6f 70 0a 09 43 68 .# main loop..Ch
3160: 65 63 6b 65 72 28 73 74 64 69 6e 2c 20 6c 6f 67 ecker(stdin, log
3170: 67 65 72 29 2e 6c 6f 6f 70 28 29 0a ger).loop().