0000: 23 21 2f 75 73 72 2f 62 69 6e 2f 65 6e 76 20 70 #!/usr/bin/env p
0010: 79 74 68 6f 6e 0a 0a 66 72 6f 6d 20 5f 5f 66 75 ython..from __fu
0020: 74 75 72 65 5f 5f 20 69 6d 70 6f 72 74 20 64 69 ture__ import di
0030: 76 69 73 69 6f 6e 2c 20 70 72 69 6e 74 5f 66 75 vision, print_fu
0040: 6e 63 74 69 6f 6e 2c 20 75 6e 69 63 6f 64 65 5f nction, unicode_
0050: 6c 69 74 65 72 61 6c 73 0a 0a 69 6d 70 6f 72 74 literals..import
0060: 20 67 65 76 65 6e 74 2e 6d 6f 6e 6b 65 79 0a 67 gevent.monkey.g
0070: 65 76 65 6e 74 2e 6d 6f 6e 6b 65 79 2e 70 61 74 event.monkey.pat
0080: 63 68 5f 61 6c 6c 28 29 0a 0a 69 6d 70 6f 72 74 ch_all()..import
0090: 20 66 63 6e 74 6c 2c 20 67 65 76 65 6e 74 2e 63 fcntl, gevent.c
00a0: 6f 72 65 2c 20 67 65 76 65 6e 74 2e 70 6f 6f 6c ore, gevent.pool
00b0: 2c 20 67 65 76 65 6e 74 2e 71 75 65 75 65 2c 20 , gevent.queue,
00c0: 67 65 76 65 6e 74 2e 73 6f 63 6b 65 74 2c 20 6f gevent.socket, o
00d0: 73 2c 20 70 73 79 63 6f 70 67 32 2c 20 72 65 2c s, psycopg2, re,
00e0: 20 73 79 73 0a 0a 23 20 2f 2f 69 6e 63 6c 75 73 sys..# //inclus
00f0: 69 6f 6e 20 73 74 61 72 74 0a 23 20 43 6f 70 79 ion start.# Copy
0100: 72 69 67 68 74 20 28 43 29 20 32 30 31 30 20 44 right (C) 2010 D
0110: 61 6e 69 65 6c 65 20 56 61 72 72 61 7a 7a 6f 20 aniele Varrazzo
0120: 3c 64 61 6e 69 65 6c 65 2e 76 61 72 72 61 7a 7a <daniele.varrazz
0130: 6f 40 67 6d 61 69 6c 2e 63 6f 6d 3e 0a 23 20 61 o@gmail.com>.# a
0140: 6e 64 20 6c 69 63 65 6e 73 65 64 20 75 6e 64 65 nd licensed unde
0150: 72 20 74 68 65 20 4d 49 54 20 6c 69 63 65 6e 73 r the MIT licens
0160: 65 3a 0a 0a 64 65 66 20 67 65 76 65 6e 74 5f 77 e:..def gevent_w
0170: 61 69 74 5f 63 61 6c 6c 62 61 63 6b 28 63 6f 6e ait_callback(con
0180: 6e 2c 20 74 69 6d 65 6f 75 74 3d 4e 6f 6e 65 29 n, timeout=None)
0190: 3a 0a 09 22 22 22 41 20 77 61 69 74 20 63 61 6c :.."""A wait cal
01a0: 6c 62 61 63 6b 20 75 73 65 66 75 6c 20 74 6f 20 lback useful to
01b0: 61 6c 6c 6f 77 20 67 65 76 65 6e 74 20 74 6f 20 allow gevent to
01c0: 77 6f 72 6b 20 77 69 74 68 20 50 73 79 63 6f 70 work with Psycop
01d0: 67 2e 22 22 22 0a 09 77 68 69 6c 65 20 31 3a 0a g."""..while 1:.
01e0: 09 09 73 74 61 74 65 20 3d 20 63 6f 6e 6e 2e 70 ..state = conn.p
01f0: 6f 6c 6c 28 29 0a 09 09 69 66 20 73 74 61 74 65 oll()...if state
0200: 20 3d 3d 20 70 73 79 63 6f 70 67 32 2e 65 78 74 == psycopg2.ext
0210: 65 6e 73 69 6f 6e 73 2e 50 4f 4c 4c 5f 4f 4b 3a ensions.POLL_OK:
0220: 0a 09 09 09 62 72 65 61 6b 0a 09 09 65 6c 69 66 ....break...elif
0230: 20 73 74 61 74 65 20 3d 3d 20 70 73 79 63 6f 70 state == psycop
0240: 67 32 2e 65 78 74 65 6e 73 69 6f 6e 73 2e 50 4f g2.extensions.PO
0250: 4c 4c 5f 52 45 41 44 3a 0a 09 09 09 67 65 76 65 LL_READ:....geve
0260: 6e 74 2e 73 6f 63 6b 65 74 2e 77 61 69 74 5f 72 nt.socket.wait_r
0270: 65 61 64 28 63 6f 6e 6e 2e 66 69 6c 65 6e 6f 28 ead(conn.fileno(
0280: 29 2c 20 74 69 6d 65 6f 75 74 3d 74 69 6d 65 6f ), timeout=timeo
0290: 75 74 29 0a 09 09 65 6c 69 66 20 73 74 61 74 65 ut)...elif state
02a0: 20 3d 3d 20 70 73 79 63 6f 70 67 32 2e 65 78 74 == psycopg2.ext
02b0: 65 6e 73 69 6f 6e 73 2e 50 4f 4c 4c 5f 57 52 49 ensions.POLL_WRI
02c0: 54 45 3a 0a 09 09 09 67 65 76 65 6e 74 2e 73 6f TE:....gevent.so
02d0: 63 6b 65 74 2e 77 61 69 74 5f 77 72 69 74 65 28 cket.wait_write(
02e0: 63 6f 6e 6e 2e 66 69 6c 65 6e 6f 28 29 2c 20 74 conn.fileno(), t
02f0: 69 6d 65 6f 75 74 3d 74 69 6d 65 6f 75 74 29 0a imeout=timeout).
0300: 09 09 65 6c 73 65 3a 0a 09 09 09 72 61 69 73 65 ..else:....raise
0310: 20 70 73 79 63 6f 70 67 32 2e 4f 70 65 72 61 74 psycopg2.Operat
0320: 69 6f 6e 61 6c 45 72 72 6f 72 28 22 42 61 64 20 ionalError("Bad
0330: 72 65 73 75 6c 74 20 66 72 6f 6d 20 70 6f 6c 6c result from poll
0340: 3a 20 25 72 22 20 25 20 73 74 61 74 65 29 0a 0a : %r" % state)..
0350: 69 66 20 6e 6f 74 20 68 61 73 61 74 74 72 28 70 if not hasattr(p
0360: 73 79 63 6f 70 67 32 2e 65 78 74 65 6e 73 69 6f sycopg2.extensio
0370: 6e 73 2c 20 27 73 65 74 5f 77 61 69 74 5f 63 61 ns, 'set_wait_ca
0380: 6c 6c 62 61 63 6b 27 29 3a 0a 09 72 61 69 73 65 llback'):..raise
0390: 20 49 6d 70 6f 72 74 45 72 72 6f 72 28 22 73 75 ImportError("su
03a0: 70 70 6f 72 74 20 66 6f 72 20 63 6f 72 6f 75 74 pport for corout
03b0: 69 6e 65 73 20 6e 6f 74 20 61 76 61 69 6c 61 62 ines not availab
03c0: 6c 65 20 69 6e 20 74 68 69 73 20 50 73 79 63 6f le in this Psyco
03d0: 70 67 20 76 65 72 73 69 6f 6e 20 28 25 73 29 22 pg version (%s)"
03e0: 20 25 20 70 73 79 63 6f 70 67 32 2e 5f 5f 76 65 % psycopg2.__ve
03f0: 72 73 69 6f 6e 5f 5f 29 0a 09 70 73 79 63 6f 70 rsion__)..psycop
0400: 67 32 2e 65 78 74 65 6e 73 69 6f 6e 73 2e 73 65 g2.extensions.se
0410: 74 5f 77 61 69 74 5f 63 61 6c 6c 62 61 63 6b 28 t_wait_callback(
0420: 67 65 76 65 6e 74 5f 77 61 69 74 5f 63 61 6c 6c gevent_wait_call
0430: 62 61 63 6b 29 0a 0a 23 20 2f 2f 69 6e 63 6c 75 back)..# //inclu
0440: 73 69 6f 6e 20 65 6e 64 0a 0a 23 20 74 69 6e 79 sion end..# tiny
0450: 20 77 72 61 70 70 65 72 20 61 72 6f 75 6e 64 20 wrapper around
0460: 61 20 66 69 6c 65 20 74 6f 20 6d 61 6b 65 20 72 a file to make r
0470: 65 61 64 73 20 66 72 6f 6d 20 69 74 20 67 65 76 eads from it gev
0480: 65 6e 74 61 62 6c 65 0a 23 20 6f 72 20 73 68 6f entable.# or sho
0490: 75 6c 64 20 69 20 6d 6f 76 65 20 74 68 69 73 20 uld i move this
04a0: 73 6f 6d 65 77 68 65 72 65 3f 0a 0a 63 6c 61 73 somewhere?..clas
04b0: 73 20 46 52 65 61 64 6c 69 6e 65 51 75 65 75 65 s FReadlineQueue
04c0: 28 67 65 76 65 6e 74 2e 71 75 65 75 65 2e 51 75 (gevent.queue.Qu
04d0: 65 75 65 29 3a 0a 09 23 20 73 74 6f 72 69 6e 67 eue):..# storing
04e0: 20 66 69 6c 65 20 64 65 73 63 72 69 70 74 6f 72 file descriptor
04f0: 2c 20 6c 65 66 74 6f 76 65 72 0a 09 5f 5f 73 6c , leftover..__sl
0500: 6f 74 73 5f 5f 20 3d 20 66 72 6f 7a 65 6e 73 65 ots__ = frozense
0510: 74 28 5b 27 5f 66 64 27 2c 20 27 5f 74 61 69 6c t(['_fd', '_tail
0520: 27 5d 29 0a 0a 09 64 65 66 20 5f 5f 69 6e 69 74 '])...def __init
0530: 5f 5f 28 73 65 6c 66 2c 20 66 64 29 3a 0a 09 09 __(self, fd):...
0540: 23 20 69 6e 69 74 69 61 6c 69 73 69 6e 67 20 63 # initialising c
0550: 6c 61 73 73 0a 09 09 67 65 76 65 6e 74 2e 71 75 lass...gevent.qu
0560: 65 75 65 2e 51 75 65 75 65 2e 5f 5f 69 6e 69 74 eue.Queue.__init
0570: 5f 5f 28 73 65 6c 66 29 0a 09 09 23 20 73 74 6f __(self)...# sto
0580: 72 69 6e 67 20 66 69 6c 65 20 64 65 73 63 72 69 ring file descri
0590: 70 74 6f 72 0a 09 09 73 65 6c 66 2e 5f 66 64 20 ptor...self._fd
05a0: 3d 20 66 64 0a 09 09 23 20 75 73 69 6e 67 20 65 = fd...# using e
05b0: 6d 70 74 79 20 74 61 69 6c 0a 09 09 73 65 6c 66 mpty tail...self
05c0: 2e 5f 74 61 69 6c 20 3d 20 27 27 0a 09 09 23 20 ._tail = ''...#
05d0: 73 65 74 74 69 6e 67 20 75 70 20 65 76 65 6e 74 setting up event
05e0: 0a 09 09 73 65 6c 66 2e 5f 69 6e 73 74 61 6c 6c ...self._install
05f0: 5f 77 61 69 74 28 29 0a 0a 09 64 65 66 20 5f 69 _wait()...def _i
0600: 6e 73 74 61 6c 6c 5f 77 61 69 74 28 73 65 6c 66 nstall_wait(self
0610: 29 3a 0a 09 09 66 69 6c 65 6e 6f 20 3d 20 73 65 ):...fileno = se
0620: 6c 66 2e 5f 66 64 2e 66 69 6c 65 6e 6f 28 29 0a lf._fd.fileno().
0630: 09 09 23 20 70 75 74 74 69 6e 67 20 66 69 6c 65 ..# putting file
0640: 20 74 6f 20 6e 6f 6e 62 6c 6f 63 6b 69 6e 67 20 to nonblocking
0650: 6d 6f 64 65 0a 09 09 66 63 6e 74 6c 2e 66 63 6e mode...fcntl.fcn
0660: 74 6c 28 66 69 6c 65 6e 6f 2c 20 66 63 6e 74 6c tl(fileno, fcntl
0670: 2e 46 5f 53 45 54 46 4c 2c 20 66 63 6e 74 6c 2e .F_SETFL, fcntl.
0680: 66 63 6e 74 6c 28 66 69 6c 65 6e 6f 2c 20 66 63 fcntl(fileno, fc
0690: 6e 74 6c 2e 46 5f 47 45 54 46 4c 29 20 20 7c 20 ntl.F_GETFL) |
06a0: 6f 73 2e 4f 5f 4e 4f 4e 42 4c 4f 43 4b 29 0a 09 os.O_NONBLOCK)..
06b0: 09 23 20 69 6e 73 74 61 6c 6c 69 6e 67 20 65 76 .# installing ev
06c0: 65 6e 74 20 68 61 6e 64 6c 65 72 0a 09 09 67 65 ent handler...ge
06d0: 76 65 6e 74 2e 63 6f 72 65 2e 72 65 61 64 5f 65 vent.core.read_e
06e0: 76 65 6e 74 28 66 69 6c 65 6e 6f 2c 20 73 65 6c vent(fileno, sel
06f0: 66 2e 5f 77 61 69 74 5f 68 65 6c 70 65 72 29 0a f._wait_helper).
0700: 0a 09 64 65 66 20 5f 77 61 69 74 5f 68 65 6c 70 ..def _wait_help
0710: 65 72 28 73 65 6c 66 2c 20 65 76 2c 20 65 76 74 er(self, ev, evt
0720: 79 70 65 29 3a 0a 09 09 23 20 72 65 61 64 69 6e ype):...# readin
0730: 67 20 6f 6e 65 20 62 75 66 66 65 72 20 66 72 6f g one buffer fro
0740: 6d 20 73 74 72 65 61 6d 0a 09 09 62 75 66 20 3d m stream...buf =
0750: 20 73 65 6c 66 2e 5f 66 64 2e 72 65 61 64 28 34 self._fd.read(4
0760: 30 39 36 29 0a 09 09 23 20 73 70 6c 69 74 74 69 096)...# splitti
0770: 6e 67 20 73 74 72 65 61 6d 20 62 79 20 6c 69 6e ng stream by lin
0780: 65 20 65 6e 64 73 0a 09 09 72 6f 77 73 20 3d 20 e ends...rows =
0790: 62 75 66 2e 73 70 6c 69 74 28 27 5c 6e 27 29 0a buf.split('\n').
07a0: 09 09 23 20 61 64 64 69 6e 67 20 74 61 69 6c 20 ..# adding tail
07b0: 74 6f 20 74 68 65 20 66 69 72 73 74 20 65 6c 65 to the first ele
07c0: 6d 65 6e 74 20 69 66 20 74 68 65 72 65 20 69 73 ment if there is
07d0: 20 73 6f 6d 65 20 74 61 69 6c 0a 09 09 69 66 20 some tail...if
07e0: 6c 65 6e 28 73 65 6c 66 2e 5f 74 61 69 6c 29 20 len(self._tail)
07f0: 3e 20 30 3a 0a 09 09 09 72 6f 77 73 5b 30 5d 20 > 0:....rows[0]
0800: 3d 20 73 65 6c 66 2e 5f 74 61 69 6c 20 2b 20 72 = self._tail + r
0810: 6f 77 73 5b 30 5d 0a 09 09 23 20 70 6f 70 70 69 ows[0]...# poppi
0820: 6e 67 20 6f 75 74 20 6c 61 73 74 20 28 69 6e 63 ng out last (inc
0830: 6f 6d 70 6c 65 74 65 29 20 65 6c 65 6d 65 6e 74 omplete) element
0840: 0a 09 09 73 65 6c 66 2e 5f 74 61 69 6c 20 3d 20 ...self._tail =
0850: 72 6f 77 73 2e 70 6f 70 28 2d 31 29 0a 09 09 23 rows.pop(-1)...#
0860: 20 64 72 6f 70 70 69 6e 67 20 61 6c 6c 20 63 6f dropping all co
0870: 6d 70 6c 65 74 65 20 65 6c 65 6d 65 6e 74 73 20 mplete elements
0880: 74 6f 20 74 68 65 20 71 75 65 75 65 0a 09 09 66 to the queue...f
0890: 6f 72 20 72 6f 77 20 69 6e 20 72 6f 77 73 3a 0a or row in rows:.
08a0: 09 09 09 73 65 6c 66 2e 70 75 74 5f 6e 6f 77 61 ...self.put_nowa
08b0: 69 74 28 72 6f 77 29 0a 09 09 69 66 20 6c 65 6e it(row)...if len
08c0: 28 62 75 66 29 20 3e 20 30 3a 0a 09 09 09 23 20 (buf) > 0:....#
08d0: 6e 6f 20 45 4f 46 2c 20 72 65 69 6e 73 74 61 6c no EOF, reinstal
08e0: 6c 69 6e 67 20 65 76 65 6e 74 20 68 61 6e 64 6c ling event handl
08f0: 65 72 0a 09 09 09 67 65 76 65 6e 74 2e 63 6f 72 er....gevent.cor
0900: 65 2e 72 65 61 64 5f 65 76 65 6e 74 28 73 65 6c e.read_event(sel
0910: 66 2e 5f 66 64 2e 66 69 6c 65 6e 6f 28 29 2c 20 f._fd.fileno(),
0920: 73 65 6c 66 2e 5f 77 61 69 74 5f 68 65 6c 70 65 self._wait_helpe
0930: 72 29 0a 09 09 65 6c 73 65 3a 0a 09 09 09 23 20 r)...else:....#
0940: 45 4f 46 20 66 6f 75 6e 64 2c 20 73 65 6e 64 69 EOF found, sendi
0950: 6e 67 20 45 4f 46 20 74 6f 20 71 75 65 75 65 0a ng EOF to queue.
0960: 09 09 09 73 65 6c 66 2e 70 75 74 5f 6e 6f 77 61 ...self.put_nowa
0970: 69 74 28 4e 6f 6e 65 29 0a 0a 73 74 64 69 6e 20 it(None)..stdin
0980: 3d 20 46 52 65 61 64 6c 69 6e 65 51 75 65 75 65 = FReadlineQueue
0990: 28 73 79 73 2e 73 74 64 69 6e 29 0a 0a 23 20 77 (sys.stdin)..# w
09a0: 72 61 70 70 65 72 20 61 72 6f 75 6e 64 20 73 79 rapper around sy
09b0: 73 6c 6f 67 2c 20 63 61 6e 20 62 65 20 6d 75 74 slog, can be mut
09c0: 65 64 0a 63 6c 61 73 73 20 4c 6f 67 67 65 72 28 ed.class Logger(
09d0: 6f 62 6a 65 63 74 29 3a 0a 09 5f 5f 73 6c 6f 74 object):..__slot
09e0: 73 5f 5f 20 3d 20 66 72 6f 7a 65 6e 73 65 74 28 s__ = frozenset(
09f0: 5b 27 5f 73 79 73 6c 6f 67 27 5d 29 0a 0a 09 64 ['_syslog'])...d
0a00: 65 66 20 5f 5f 69 6e 69 74 5f 5f 28 73 65 6c 66 ef __init__(self
0a10: 29 3a 0a 09 09 63 6f 6e 66 69 67 2e 73 65 63 74 ):...config.sect
0a20: 69 6f 6e 28 27 6c 6f 67 27 29 0a 09 09 69 66 20 ion('log')...if
0a30: 63 6f 6e 66 69 67 5b 27 73 69 6c 65 6e 74 27 5d config['silent']
0a40: 20 3d 3d 20 27 79 65 73 27 3a 0a 09 09 09 73 65 == 'yes':....se
0a50: 6c 66 2e 5f 73 79 73 6c 6f 67 20 3d 20 4e 6f 6e lf._syslog = Non
0a60: 65 0a 09 09 65 6c 73 65 3a 0a 09 09 09 69 6d 70 e...else:....imp
0a70: 6f 72 74 20 73 79 73 6c 6f 67 0a 09 09 09 73 65 ort syslog....se
0a80: 6c 66 2e 5f 73 79 73 6c 6f 67 20 3d 20 73 79 73 lf._syslog = sys
0a90: 6c 6f 67 0a 09 09 09 73 65 6c 66 2e 5f 73 79 73 log....self._sys
0aa0: 6c 6f 67 2e 6f 70 65 6e 6c 6f 67 28 73 74 72 28 log.openlog(str(
0ab0: 27 73 71 75 69 64 54 61 67 27 29 29 0a 0a 09 64 'squidTag'))...d
0ac0: 65 66 20 69 6e 66 6f 28 73 65 6c 66 2c 20 6d 65 ef info(self, me
0ad0: 73 73 61 67 65 29 3a 0a 09 09 69 66 20 73 65 6c ssage):...if sel
0ae0: 66 2e 5f 73 79 73 6c 6f 67 20 21 3d 20 4e 6f 6e f._syslog != Non
0af0: 65 3a 0a 09 09 09 73 65 6c 66 2e 5f 73 79 73 6c e:....self._sysl
0b00: 6f 67 2e 73 79 73 6c 6f 67 28 73 65 6c 66 2e 5f og.syslog(self._
0b10: 73 79 73 6c 6f 67 2e 4c 4f 47 5f 49 4e 46 4f 2c syslog.LOG_INFO,
0b20: 20 6d 65 73 73 61 67 65 29 0a 0a 09 64 65 66 20 message)...def
0b30: 6e 6f 74 69 63 65 28 73 65 6c 66 2c 20 6d 65 73 notice(self, mes
0b40: 73 61 67 65 29 3a 0a 09 09 69 66 20 73 65 6c 66 sage):...if self
0b50: 2e 5f 73 79 73 6c 6f 67 20 21 3d 20 4e 6f 6e 65 ._syslog != None
0b60: 3a 0a 09 09 09 73 65 6c 66 2e 5f 73 79 73 6c 6f :....self._syslo
0b70: 67 2e 73 79 73 6c 6f 67 28 73 65 6c 66 2e 5f 73 g.syslog(self._s
0b80: 79 73 6c 6f 67 2e 4c 4f 47 5f 4e 4f 54 49 43 45 yslog.LOG_NOTICE
0b90: 2c 20 6d 65 73 73 61 67 65 29 0a 0a 23 20 77 72 , message)..# wr
0ba0: 61 70 70 65 72 20 61 72 6f 75 6e 64 20 64 61 74 apper around dat
0bb0: 61 62 61 73 65 0a 63 6c 61 73 73 20 74 61 67 44 abase.class tagD
0bc0: 42 28 6f 62 6a 65 63 74 29 3a 0a 09 5f 5f 73 6c B(object):..__sl
0bd0: 6f 74 73 5f 5f 20 3d 20 66 72 6f 7a 65 6e 73 65 ots__ = frozense
0be0: 74 28 5b 27 5f 63 75 72 73 6f 72 27 2c 20 27 5f t(['_cursor', '_
0bf0: 64 62 27 5d 29 0a 0a 09 64 65 66 20 5f 5f 69 6e db'])...def __in
0c00: 69 74 5f 5f 28 73 65 6c 66 29 3a 0a 09 09 63 6f it__(self):...co
0c10: 6e 66 69 67 2e 73 65 63 74 69 6f 6e 28 27 64 61 nfig.section('da
0c20: 74 61 62 61 73 65 27 29 0a 09 09 73 65 6c 66 2e tabase')...self.
0c30: 5f 64 62 20 3d 20 70 73 79 63 6f 70 67 32 2e 63 _db = psycopg2.c
0c40: 6f 6e 6e 65 63 74 28 0a 09 09 09 64 61 74 61 62 onnect(....datab
0c50: 61 73 65 20 3d 20 63 6f 6e 66 69 67 5b 27 64 61 ase = config['da
0c60: 74 61 62 61 73 65 27 5d 2c 0a 09 09 09 68 6f 73 tabase'],....hos
0c70: 74 20 3d 20 63 6f 6e 66 69 67 5b 27 68 6f 73 74 t = config['host
0c80: 27 5d 2c 0a 09 09 09 75 73 65 72 20 3d 20 63 6f '],....user = co
0c90: 6e 66 69 67 5b 27 75 73 65 72 27 5d 2c 0a 09 09 nfig['user'],...
0ca0: 09 70 61 73 73 77 6f 72 64 20 3d 20 63 6f 6e 66 .password = conf
0cb0: 69 67 5b 27 70 61 73 73 77 6f 72 64 27 5d 2c 0a ig['password'],.
0cc0: 09 09 29 0a 09 09 73 65 6c 66 2e 5f 63 75 72 73 ..)...self._curs
0cd0: 6f 72 20 3d 20 73 65 6c 66 2e 5f 64 62 2e 63 75 or = self._db.cu
0ce0: 72 73 6f 72 28 29 0a 0a 09 64 65 66 20 5f 66 69 rsor()...def _fi
0cf0: 65 6c 64 5f 6e 61 6d 65 73 28 73 65 6c 66 29 3a eld_names(self):
0d00: 0a 09 09 6e 61 6d 65 73 20 3d 20 5b 5d 0a 09 09 ...names = []...
0d10: 66 6f 72 20 72 65 63 6f 72 64 20 69 6e 20 73 65 for record in se
0d20: 6c 66 2e 5f 63 75 72 73 6f 72 2e 64 65 73 63 72 lf._cursor.descr
0d30: 69 70 74 69 6f 6e 3a 0a 09 09 09 6e 61 6d 65 73 iption:....names
0d40: 2e 61 70 70 65 6e 64 28 72 65 63 6f 72 64 2e 6e .append(record.n
0d50: 61 6d 65 29 0a 09 09 72 65 74 75 72 6e 28 6e 61 ame)...return(na
0d60: 6d 65 73 29 0a 0a 09 64 65 66 20 63 68 65 63 6b mes)...def check
0d70: 28 73 65 6c 66 2c 20 73 69 74 65 2c 20 69 70 5f (self, site, ip_
0d80: 61 64 64 72 65 73 73 29 3a 0a 09 09 73 65 6c 66 address):...self
0d90: 2e 5f 63 75 72 73 6f 72 2e 65 78 65 63 75 74 65 ._cursor.execute
0da0: 28 22 73 65 6c 65 63 74 20 72 65 64 69 72 65 63 ("select redirec
0db0: 74 5f 75 72 6c 2c 20 72 65 67 65 78 70 20 66 72 t_url, regexp fr
0dc0: 6f 6d 20 73 69 74 65 5f 72 75 6c 65 20 77 68 65 om site_rule whe
0dd0: 72 65 20 73 69 74 65 20 3c 40 20 74 72 69 70 64 re site <@ tripd
0de0: 6f 6d 61 69 6e 28 25 73 29 20 61 6e 64 20 6e 65 omain(%s) and ne
0df0: 74 6d 61 73 6b 20 3e 3e 3d 20 25 73 20 6f 72 64 tmask >>= %s ord
0e00: 65 72 20 62 79 20 61 72 72 61 79 5f 6c 65 6e 67 er by array_leng
0e10: 74 68 28 73 69 74 65 2c 20 31 29 20 64 65 73 63 th(site, 1) desc
0e20: 22 2c 20 5b 73 69 74 65 2c 20 69 70 5f 61 64 64 ", [site, ip_add
0e30: 72 65 73 73 5d 29 0a 09 09 72 65 74 75 72 6e 28 ress])...return(
0e40: 73 65 6c 66 2e 5f 63 75 72 73 6f 72 2e 66 65 74 self._cursor.fet
0e50: 63 68 61 6c 6c 28 29 29 0a 0a 09 64 65 66 20 64 chall())...def d
0e60: 75 6d 70 28 73 65 6c 66 29 3a 0a 09 09 73 65 6c ump(self):...sel
0e70: 66 2e 5f 63 75 72 73 6f 72 2e 65 78 65 63 75 74 f._cursor.execut
0e80: 65 28 22 73 65 6c 65 63 74 20 75 6e 74 72 69 70 e("select untrip
0e90: 28 73 69 74 65 29 20 61 73 20 73 69 74 65 2c 20 (site) as site,
0ea0: 74 61 67 3a 3a 74 65 78 74 2c 20 72 65 67 65 78 tag::text, regex
0eb0: 70 20 66 72 6f 6d 20 75 72 6c 73 20 6f 72 64 65 p from urls orde
0ec0: 72 20 62 79 20 73 69 74 65 2c 20 74 61 67 22 29 r by site, tag")
0ed0: 0a 09 09 72 65 74 75 72 6e 28 73 65 6c 66 2e 5f ...return(self._
0ee0: 66 69 65 6c 64 5f 6e 61 6d 65 73 28 29 2c 20 73 field_names(), s
0ef0: 65 6c 66 2e 5f 63 75 72 73 6f 72 2e 66 65 74 63 elf._cursor.fetc
0f00: 68 61 6c 6c 28 29 29 0a 0a 09 64 65 66 20 6c 6f hall())...def lo
0f10: 61 64 28 73 65 6c 66 2c 20 64 61 74 61 29 3a 0a ad(self, data):.
0f20: 09 09 69 66 20 63 6f 6e 66 69 67 2e 6f 70 74 69 ..if config.opti
0f30: 6f 6e 73 2e 66 6c 75 73 68 5f 64 62 3a 0a 09 09 ons.flush_db:...
0f40: 09 73 65 6c 66 2e 5f 63 75 72 73 6f 72 2e 65 78 .self._cursor.ex
0f50: 65 63 75 74 65 28 27 64 65 6c 65 74 65 20 66 72 ecute('delete fr
0f60: 6f 6d 20 75 72 6c 73 3b 27 29 0a 09 09 62 75 6e om urls;')...bun
0f70: 64 6c 65 20 3d 20 5b 5d 0a 09 09 66 6f 72 20 72 dle = []...for r
0f80: 6f 77 20 69 6e 20 64 61 74 61 3a 0a 09 09 09 69 ow in data:....i
0f90: 66 20 6c 65 6e 28 72 6f 77 29 20 3d 3d 20 32 3a f len(row) == 2:
0fa0: 0a 09 09 09 09 62 75 6e 64 6c 65 2e 61 70 70 65 .....bundle.appe
0fb0: 6e 64 28 5b 72 6f 77 5b 30 5d 2c 20 72 6f 77 5b nd([row[0], row[
0fc0: 31 5d 2c 20 4e 6f 6e 65 5d 29 0a 09 09 09 65 6c 1], None])....el
0fd0: 73 65 3a 0a 09 09 09 09 62 75 6e 64 6c 65 2e 61 se:.....bundle.a
0fe0: 70 70 65 6e 64 28 5b 72 6f 77 5b 30 5d 2c 20 72 ppend([row[0], r
0ff0: 6f 77 5b 31 5d 2c 20 72 6f 77 5b 32 5d 5d 29 0a ow[1], row[2]]).
1000: 09 09 73 65 6c 66 2e 5f 63 75 72 73 6f 72 2e 65 ..self._cursor.e
1010: 78 65 63 75 74 65 6d 61 6e 79 28 22 69 6e 73 65 xecutemany("inse
1020: 72 74 20 69 6e 74 6f 20 75 72 6c 73 20 28 73 69 rt into urls (si
1030: 74 65 2c 20 74 61 67 2c 20 72 65 67 65 78 70 29 te, tag, regexp)
1040: 20 76 61 6c 75 65 73 20 28 74 72 69 70 64 6f 6d values (tripdom
1050: 61 69 6e 28 25 73 29 2c 20 25 73 2c 20 25 73 29 ain(%s), %s, %s)
1060: 22 2c 20 62 75 6e 64 6c 65 29 0a 09 09 73 65 6c ", bundle)...sel
1070: 66 2e 5f 63 75 72 73 6f 72 2e 65 78 65 63 75 74 f._cursor.execut
1080: 65 28 22 75 70 64 61 74 65 20 75 72 6c 73 20 73 e("update urls s
1090: 65 74 20 72 65 67 65 78 70 20 3d 20 4e 55 4c 4c et regexp = NULL
10a0: 20 77 68 65 72 65 20 72 65 67 65 78 70 20 3d 20 where regexp =
10b0: 27 27 22 29 0a 09 09 73 65 6c 66 2e 5f 64 62 2e ''")...self._db.
10c0: 63 6f 6d 6d 69 74 28 29 0a 0a 09 64 65 66 20 6c commit()...def l
10d0: 6f 61 64 5f 63 6f 6e 66 28 73 65 6c 66 2c 20 63 oad_conf(self, c
10e0: 73 76 5f 64 61 74 61 29 3a 0a 09 09 73 65 6c 66 sv_data):...self
10f0: 2e 5f 63 75 72 73 6f 72 2e 65 78 65 63 75 74 65 ._cursor.execute
1100: 28 27 64 65 6c 65 74 65 20 66 72 6f 6d 20 72 75 ('delete from ru
1110: 6c 65 73 3b 27 29 0a 09 09 62 75 6e 64 6c 65 20 les;')...bundle
1120: 3d 20 5b 5d 0a 09 09 66 6f 72 20 72 6f 77 20 69 = []...for row i
1130: 6e 20 63 73 76 5f 64 61 74 61 3a 0a 09 09 09 62 n csv_data:....b
1140: 75 6e 64 6c 65 2e 61 70 70 65 6e 64 28 5b 72 6f undle.append([ro
1150: 77 5b 30 5d 2c 20 72 6f 77 5b 31 5d 2c 20 69 6e w[0], row[1], in
1160: 74 28 72 6f 77 5b 32 5d 29 2c 20 69 6e 74 28 72 t(row[2]), int(r
1170: 6f 77 5b 33 5d 29 2c 20 72 6f 77 5b 34 5d 2c 20 ow[3]), row[4],
1180: 72 6f 77 5b 35 5d 2c 20 72 6f 77 5b 36 5d 5d 29 row[5], row[6]])
1190: 0a 09 09 73 65 6c 66 2e 5f 63 75 72 73 6f 72 2e ...self._cursor.
11a0: 65 78 65 63 75 74 65 6d 61 6e 79 28 22 69 6e 73 executemany("ins
11b0: 65 72 74 20 69 6e 74 6f 20 72 75 6c 65 73 20 28 ert into rules (
11c0: 6e 65 74 6d 61 73 6b 2c 20 72 65 64 69 72 65 63 netmask, redirec
11d0: 74 5f 75 72 6c 2c 20 66 72 6f 6d 5f 77 65 65 6b t_url, from_week
11e0: 64 61 79 2c 20 74 6f 5f 77 65 65 6b 64 61 79 2c day, to_weekday,
11f0: 20 66 72 6f 6d 5f 74 69 6d 65 2c 20 74 6f 5f 74 from_time, to_t
1200: 69 6d 65 2c 20 74 61 67 29 20 76 61 6c 75 65 73 ime, tag) values
1210: 20 28 25 73 3a 3a 74 65 78 74 3a 3a 63 69 64 72 (%s::text::cidr
1220: 2c 20 25 73 2c 20 25 73 2c 20 25 73 2c 20 25 73 , %s, %s, %s, %s
1230: 3a 3a 74 65 78 74 3a 3a 74 69 6d 65 2c 20 25 73 ::text::time, %s
1240: 3a 3a 74 65 78 74 3a 3a 74 69 6d 65 2c 20 25 73 ::text::time, %s
1250: 3a 3a 74 65 78 74 3a 3a 74 65 78 74 5b 5d 29 22 ::text::text[])"
1260: 2c 20 62 75 6e 64 6c 65 29 0a 09 09 73 65 6c 66 , bundle)...self
1270: 2e 5f 64 62 2e 63 6f 6d 6d 69 74 28 29 0a 0a 09 ._db.commit()...
1280: 64 65 66 20 64 75 6d 70 5f 63 6f 6e 66 28 73 65 def dump_conf(se
1290: 6c 66 29 3a 0a 09 09 73 65 6c 66 2e 5f 63 75 72 lf):...self._cur
12a0: 73 6f 72 2e 65 78 65 63 75 74 65 28 22 73 65 6c sor.execute("sel
12b0: 65 63 74 20 6e 65 74 6d 61 73 6b 2c 20 72 65 64 ect netmask, red
12c0: 69 72 65 63 74 5f 75 72 6c 2c 20 66 72 6f 6d 5f irect_url, from_
12d0: 77 65 65 6b 64 61 79 2c 20 74 6f 5f 77 65 65 6b weekday, to_week
12e0: 64 61 79 2c 20 66 72 6f 6d 5f 74 69 6d 65 2c 20 day, from_time,
12f0: 74 6f 5f 74 69 6d 65 2c 20 74 61 67 3a 3a 74 65 to_time, tag::te
1300: 78 74 20 66 72 6f 6d 20 72 75 6c 65 73 22 29 0a xt from rules").
1310: 09 09 72 65 74 75 72 6e 28 73 65 6c 66 2e 5f 66 ..return(self._f
1320: 69 65 6c 64 5f 6e 61 6d 65 73 28 29 2c 20 73 65 ield_names(), se
1330: 6c 66 2e 5f 63 75 72 73 6f 72 2e 66 65 74 63 68 lf._cursor.fetch
1340: 61 6c 6c 28 29 29 0a 0a 23 20 61 62 73 74 72 61 all())..# abstra
1350: 63 74 20 63 6c 61 73 73 20 77 69 74 68 20 62 61 ct class with ba
1360: 73 69 63 20 63 68 65 63 6b 69 6e 67 20 66 75 6e sic checking fun
1370: 63 74 69 6f 6e 61 6c 69 74 79 0a 63 6c 61 73 73 ctionality.class
1380: 20 43 68 65 63 6b 65 72 28 6f 62 6a 65 63 74 29 Checker(object)
1390: 3a 0a 09 5f 5f 73 6c 6f 74 73 5f 5f 20 3d 20 66 :..__slots__ = f
13a0: 72 6f 7a 65 6e 73 65 74 28 5b 27 5f 64 62 27 2c rozenset(['_db',
13b0: 20 27 5f 6c 6f 67 27 2c 20 27 5f 71 75 65 75 65 '_log', '_queue
13c0: 27 2c 20 27 5f 72 65 71 75 65 73 74 27 5d 29 0a ', '_request']).
13d0: 0a 09 64 65 66 20 5f 5f 69 6e 69 74 5f 5f 28 73 ..def __init__(s
13e0: 65 6c 66 2c 20 71 75 65 75 65 29 3a 0a 09 09 73 elf, queue):...s
13f0: 65 6c 66 2e 5f 64 62 20 3d 20 74 61 67 44 42 28 elf._db = tagDB(
1400: 29 0a 09 09 73 65 6c 66 2e 5f 6c 6f 67 20 3d 20 )...self._log =
1410: 4c 6f 67 67 65 72 28 29 0a 09 09 73 65 6c 66 2e Logger()...self.
1420: 5f 6c 6f 67 2e 69 6e 66 6f 28 27 73 74 61 72 74 _log.info('start
1430: 65 64 5c 6e 27 29 0a 09 09 73 65 6c 66 2e 5f 72 ed\n')...self._r
1440: 65 71 75 65 73 74 20 3d 20 72 65 2e 63 6f 6d 70 equest = re.comp
1450: 69 6c 65 28 27 5e 28 5b 30 2d 39 5d 2b 29 5c 20 ile('^([0-9]+)\
1460: 28 68 74 74 70 7c 66 74 70 29 3a 5c 2f 5c 2f 28 (http|ftp):\/\/(
1470: 5b 2d 5c 77 2e 3a 5d 2b 29 5c 2f 28 5b 5e 20 5d [-\w.:]+)\/([^ ]
1480: 2a 29 5c 20 28 5b 30 2d 39 2e 5d 2b 29 5c 2f 28 *)\ ([0-9.]+)\/(
1490: 2d 7c 5b 5c 77 5c 2e 5d 2b 29 5c 20 28 2d 7c 5c -|[\w\.]+)\ (-|\
14a0: 77 2b 29 5c 20 28 2d 7c 47 45 54 7c 48 45 41 44 w+)\ (-|GET|HEAD
14b0: 7c 50 4f 53 54 29 2e 2a 24 27 29 0a 09 09 73 65 |POST).*$')...se
14c0: 6c 66 2e 5f 71 75 65 75 65 20 3d 20 71 75 65 75 lf._queue = queu
14d0: 65 0a 0a 09 64 65 66 20 70 72 6f 63 65 73 73 28 e...def process(
14e0: 73 65 6c 66 2c 20 69 64 2c 20 73 69 74 65 2c 20 self, id, site,
14f0: 69 70 5f 61 64 64 72 65 73 73 2c 20 75 72 6c 5f ip_address, url_
1500: 70 61 74 68 2c 20 6c 69 6e 65 20 3d 20 4e 6f 6e path, line = Non
1510: 65 29 3a 0a 09 09 23 73 65 6c 66 2e 5f 6c 6f 67 e):...#self._log
1520: 2e 69 6e 66 6f 28 27 74 72 79 69 6e 67 20 7b 7d .info('trying {}
1530: 5c 6e 27 2e 66 6f 72 6d 61 74 28 73 69 74 65 29 \n'.format(site)
1540: 29 0a 09 09 72 65 73 75 6c 74 20 3d 20 73 65 6c )...result = sel
1550: 66 2e 5f 64 62 2e 63 68 65 63 6b 28 73 69 74 65 f._db.check(site
1560: 2c 20 69 70 5f 61 64 64 72 65 73 73 29 0a 09 09 , ip_address)...
1570: 72 65 70 6c 79 20 3d 20 4e 6f 6e 65 0a 09 09 66 reply = None...f
1580: 6f 72 20 72 6f 77 20 69 6e 20 72 65 73 75 6c 74 or row in result
1590: 3a 0a 09 09 09 69 66 20 72 6f 77 20 21 3d 20 4e :....if row != N
15a0: 6f 6e 65 20 61 6e 64 20 72 6f 77 5b 30 5d 20 21 one and row[0] !
15b0: 3d 20 4e 6f 6e 65 3a 0a 09 09 09 09 69 66 20 72 = None:.....if r
15c0: 6f 77 5b 31 5d 20 21 3d 20 4e 6f 6e 65 3a 0a 09 ow[1] != None:..
15d0: 09 09 09 09 73 65 6c 66 2e 5f 6c 6f 67 2e 69 6e ....self._log.in
15e0: 66 6f 28 27 74 72 79 69 6e 67 20 72 65 67 65 78 fo('trying regex
15f0: 70 20 22 7b 7d 22 20 76 65 72 73 75 73 20 22 7b p "{}" versus "{
1600: 7d 22 5c 6e 27 2e 66 6f 72 6d 61 74 28 72 6f 77 }"\n'.format(row
1610: 5b 31 5d 2c 20 75 72 6c 5f 70 61 74 68 29 29 0a [1], url_path)).
1620: 09 09 09 09 09 74 72 79 3a 0a 09 09 09 09 09 09 .....try:.......
1630: 69 66 20 72 65 2e 63 6f 6d 70 69 6c 65 28 72 6f if re.compile(ro
1640: 77 5b 31 5d 29 2e 6d 61 74 63 68 28 75 72 6c 5f w[1]).match(url_
1650: 70 61 74 68 29 3a 0a 09 09 09 09 09 09 09 72 65 path):........re
1660: 70 6c 79 20 3d 20 72 6f 77 5b 30 5d 2e 66 6f 72 ply = row[0].for
1670: 6d 61 74 28 75 72 6c 5f 70 61 74 68 29 0a 09 09 mat(url_path)...
1680: 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 ....else:.......
1690: 09 63 6f 6e 74 69 6e 75 65 0a 09 09 09 09 09 65 .continue......e
16a0: 78 63 65 70 74 3a 0a 09 09 09 09 09 09 73 65 6c xcept:.......sel
16b0: 66 2e 5f 6c 6f 67 2e 69 6e 66 6f 28 22 63 61 6e f._log.info("can
16c0: 27 74 20 63 6f 6d 70 69 6c 65 20 72 65 67 65 78 't compile regex
16d0: 70 22 29 0a 09 09 09 09 65 6c 73 65 3a 0a 09 09 p").....else:...
16e0: 09 09 09 72 65 70 6c 79 20 3d 20 72 6f 77 5b 30 ...reply = row[0
16f0: 5d 2e 66 6f 72 6d 61 74 28 75 72 6c 5f 70 61 74 ].format(url_pat
1700: 68 29 0a 09 09 09 69 66 20 72 65 70 6c 79 20 21 h)....if reply !
1710: 3d 20 4e 6f 6e 65 3a 0a 09 09 09 09 73 65 6c 66 = None:.....self
1720: 2e 77 72 69 74 65 6c 69 6e 65 28 27 7b 7d 20 7b .writeline('{} {
1730: 7d 5c 6e 27 2e 66 6f 72 6d 61 74 28 69 64 2c 20 }\n'.format(id,
1740: 72 65 70 6c 79 29 29 0a 09 09 09 09 72 65 74 75 reply)).....retu
1750: 72 6e 28 54 72 75 65 29 0a 09 09 73 65 6c 66 2e rn(True)...self.
1760: 77 72 69 74 65 6c 69 6e 65 28 27 7b 7d 5c 6e 27 writeline('{}\n'
1770: 2e 66 6f 72 6d 61 74 28 69 64 29 29 0a 0a 09 64 .format(id))...d
1780: 65 66 20 63 68 65 63 6b 28 73 65 6c 66 29 3a 0a ef check(self):.
1790: 09 09 77 68 69 6c 65 20 54 72 75 65 3a 0a 09 09 ..while True:...
17a0: 09 6c 69 6e 65 20 3d 20 73 65 6c 66 2e 5f 71 75 .line = self._qu
17b0: 65 75 65 2e 67 65 74 28 29 0a 09 09 09 69 66 20 eue.get()....if
17c0: 6c 69 6e 65 20 3d 3d 20 4e 6f 6e 65 3a 0a 09 09 line == None:...
17d0: 09 09 62 72 65 61 6b 0a 09 09 09 73 65 6c 66 2e ..break....self.
17e0: 5f 6c 6f 67 2e 69 6e 66 6f 28 27 72 65 71 75 65 _log.info('reque
17f0: 73 74 3a 20 27 20 2b 20 6c 69 6e 65 29 0a 09 09 st: ' + line)...
1800: 09 72 65 71 75 65 73 74 20 3d 20 73 65 6c 66 2e .request = self.
1810: 5f 72 65 71 75 65 73 74 2e 6d 61 74 63 68 28 6c _request.match(l
1820: 69 6e 65 29 0a 09 09 09 69 66 20 72 65 71 75 65 ine)....if reque
1830: 73 74 3a 0a 09 09 09 09 69 64 20 3d 20 72 65 71 st:.....id = req
1840: 75 65 73 74 2e 67 72 6f 75 70 28 31 29 0a 09 09 uest.group(1)...
1850: 09 09 23 70 72 6f 74 6f 20 3d 20 72 65 71 75 65 ..#proto = reque
1860: 73 74 2e 67 72 6f 75 70 28 32 29 0a 09 09 09 09 st.group(2).....
1870: 73 69 74 65 20 3d 20 72 65 71 75 65 73 74 2e 67 site = request.g
1880: 72 6f 75 70 28 33 29 0a 09 09 09 09 75 72 6c 5f roup(3).....url_
1890: 70 61 74 68 20 3d 20 72 65 71 75 65 73 74 2e 67 path = request.g
18a0: 72 6f 75 70 28 34 29 0a 09 09 09 09 69 70 5f 61 roup(4).....ip_a
18b0: 64 64 72 65 73 73 20 3d 20 72 65 71 75 65 73 74 ddress = request
18c0: 2e 67 72 6f 75 70 28 35 29 0a 09 09 09 09 73 65 .group(5).....se
18d0: 6c 66 2e 70 72 6f 63 65 73 73 28 69 64 2c 20 73 lf.process(id, s
18e0: 69 74 65 2c 20 69 70 5f 61 64 64 72 65 73 73 2c ite, ip_address,
18f0: 20 75 72 6c 5f 70 61 74 68 2c 20 6c 69 6e 65 29 url_path, line)
1900: 0a 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 73 65 ....else:.....se
1910: 6c 66 2e 5f 6c 6f 67 2e 69 6e 66 6f 28 27 62 61 lf._log.info('ba
1920: 64 20 72 65 71 75 65 73 74 5c 6e 27 29 0a 09 09 d request\n')...
1930: 09 09 73 65 6c 66 2e 77 72 69 74 65 6c 69 6e 65 ..self.writeline
1940: 28 6c 69 6e 65 20 2b 20 27 5c 6e 27 29 0a 0a 09 (line + '\n')...
1950: 64 65 66 20 77 72 69 74 65 6c 69 6e 65 28 73 65 def writeline(se
1960: 6c 66 2c 20 73 74 72 69 6e 67 29 3a 0a 09 09 73 lf, string):...s
1970: 65 6c 66 2e 5f 6c 6f 67 2e 69 6e 66 6f 28 27 73 elf._log.info('s
1980: 65 6e 64 69 6e 67 3a 20 27 20 2b 20 73 74 72 69 ending: ' + stri
1990: 6e 67 29 0a 09 09 73 79 73 2e 73 74 64 6f 75 74 ng)...sys.stdout
19a0: 2e 77 72 69 74 65 28 73 74 72 69 6e 67 29 0a 09 .write(string)..
19b0: 09 73 79 73 2e 73 74 64 6f 75 74 2e 66 6c 75 73 .sys.stdout.flus
19c0: 68 28 29 0a 0a 09 64 65 66 20 6c 6f 6f 70 28 73 h()...def loop(s
19d0: 65 6c 66 29 3a 0a 09 09 70 6f 6f 6c 20 3d 20 67 elf):...pool = g
19e0: 65 76 65 6e 74 2e 70 6f 6f 6c 2e 50 6f 6f 6c 28 event.pool.Pool(
19f0: 29 0a 09 09 70 6f 6f 6c 2e 73 70 61 77 6e 28 73 )...pool.spawn(s
1a00: 65 6c 66 2e 63 68 65 63 6b 29 0a 09 09 70 6f 6f elf.check)...poo
1a10: 6c 2e 6a 6f 69 6e 28 29 0a 0a 23 20 74 68 69 73 l.join()..# this
1a20: 20 63 6c 61 73 73 65 73 20 70 72 6f 63 65 73 73 classes process
1a30: 65 73 20 63 6f 6e 66 69 67 20 66 69 6c 65 20 61 es config file a
1a40: 6e 64 20 73 75 62 73 74 69 74 75 74 65 73 20 64 nd substitutes d
1a50: 65 66 61 75 6c 74 20 76 61 6c 75 65 73 0a 63 6c efault values.cl
1a60: 61 73 73 20 43 6f 6e 66 69 67 3a 0a 09 5f 5f 73 ass Config:..__s
1a70: 6c 6f 74 73 5f 5f 20 3d 20 66 72 6f 7a 65 6e 73 lots__ = frozens
1a80: 65 74 28 5b 27 5f 63 6f 6e 66 69 67 27 2c 20 27 et(['_config', '
1a90: 5f 64 65 66 61 75 6c 74 27 2c 20 27 5f 73 65 63 _default', '_sec
1aa0: 74 69 6f 6e 27 2c 20 27 6f 70 74 69 6f 6e 73 27 tion', 'options'
1ab0: 5d 29 0a 09 5f 64 65 66 61 75 6c 74 20 3d 20 7b ]).._default = {
1ac0: 0a 09 09 27 6c 6f 67 27 3a 20 7b 0a 09 09 09 27 ...'log': {....'
1ad0: 73 69 6c 65 6e 74 27 3a 20 27 6e 6f 27 2c 0a 09 silent': 'no',..
1ae0: 09 7d 2c 0a 09 09 27 64 61 74 61 62 61 73 65 27 .},...'database'
1af0: 3a 20 7b 0a 09 09 09 27 68 6f 73 74 27 3a 20 27 : {....'host': '
1b00: 6c 6f 63 61 6c 68 6f 73 74 27 2c 0a 09 09 09 27 localhost',....'
1b10: 64 61 74 61 62 61 73 65 27 3a 20 27 73 71 75 69 database': 'squi
1b20: 64 54 61 67 27 2c 0a 09 7d 2c 7d 0a 0a 09 23 20 dTag',..},}...#
1b30: 66 75 6e 63 74 69 6f 6e 20 74 6f 20 72 65 61 64 function to read
1b40: 20 69 6e 20 63 6f 6e 66 69 67 20 66 69 6c 65 0a in config file.
1b50: 09 64 65 66 20 5f 5f 69 6e 69 74 5f 5f 28 73 65 .def __init__(se
1b60: 6c 66 29 3a 0a 09 09 69 6d 70 6f 72 74 20 43 6f lf):...import Co
1b70: 6e 66 69 67 50 61 72 73 65 72 2c 20 6f 70 74 70 nfigParser, optp
1b80: 61 72 73 65 2c 20 6f 73 0a 0a 09 09 70 61 72 73 arse, os....pars
1b90: 65 72 20 3d 20 6f 70 74 70 61 72 73 65 2e 4f 70 er = optparse.Op
1ba0: 74 69 6f 6e 50 61 72 73 65 72 28 29 0a 09 09 70 tionParser()...p
1bb0: 61 72 73 65 72 2e 61 64 64 5f 6f 70 74 69 6f 6e arser.add_option
1bc0: 28 27 2d 63 27 2c 20 27 2d 2d 63 6f 6e 66 69 67 ('-c', '--config
1bd0: 27 2c 20 64 65 73 74 20 3d 20 27 63 6f 6e 66 69 ', dest = 'confi
1be0: 67 27 2c 0a 09 09 09 68 65 6c 70 20 3d 20 27 63 g',....help = 'c
1bf0: 6f 6e 66 69 67 20 66 69 6c 65 20 6c 6f 63 61 74 onfig file locat
1c00: 69 6f 6e 27 2c 20 6d 65 74 61 76 61 72 20 3d 20 ion', metavar =
1c10: 27 46 49 4c 45 27 2c 0a 09 09 09 64 65 66 61 75 'FILE',....defau
1c20: 6c 74 20 3d 20 27 2f 75 73 72 2f 6c 6f 63 61 6c lt = '/usr/local
1c30: 2f 65 74 63 2f 73 71 75 69 64 2d 74 61 67 67 65 /etc/squid-tagge
1c40: 72 2e 63 6f 6e 66 27 29 0a 09 09 70 61 72 73 65 r.conf')...parse
1c50: 72 2e 61 64 64 5f 6f 70 74 69 6f 6e 28 27 2d 64 r.add_option('-d
1c60: 27 2c 20 27 2d 2d 64 75 6d 70 27 2c 20 64 65 73 ', '--dump', des
1c70: 74 20 3d 20 27 64 75 6d 70 27 2c 0a 09 09 09 68 t = 'dump',....h
1c80: 65 6c 70 20 3d 20 27 64 75 6d 70 20 64 61 74 61 elp = 'dump data
1c90: 62 61 73 65 27 2c 20 61 63 74 69 6f 6e 20 3d 20 base', action =
1ca0: 27 73 74 6f 72 65 5f 74 72 75 65 27 2c 20 6d 65 'store_true', me
1cb0: 74 61 76 61 72 20 3d 20 27 62 6f 6f 6c 27 2c 0a tavar = 'bool',.
1cc0: 09 09 09 64 65 66 61 75 6c 74 20 3d 20 46 61 6c ...default = Fal
1cd0: 73 65 29 0a 09 09 70 61 72 73 65 72 2e 61 64 64 se)...parser.add
1ce0: 5f 6f 70 74 69 6f 6e 28 27 2d 66 27 2c 20 27 2d _option('-f', '-
1cf0: 2d 66 6c 75 73 68 2d 64 61 74 61 62 61 73 65 27 -flush-database'
1d00: 2c 20 64 65 73 74 20 3d 20 27 66 6c 75 73 68 5f , dest = 'flush_
1d10: 64 62 27 2c 0a 09 09 09 68 65 6c 70 20 3d 20 27 db',....help = '
1d20: 66 6c 75 73 68 20 70 72 65 76 69 6f 75 73 20 64 flush previous d
1d30: 61 74 61 62 61 73 65 20 6f 6e 20 6c 6f 61 64 27 atabase on load'
1d40: 2c 20 64 65 66 61 75 6c 74 20 3d 20 46 61 6c 73 , default = Fals
1d50: 65 2c 0a 09 09 09 61 63 74 69 6f 6e 20 3d 20 27 e,....action = '
1d60: 73 74 6f 72 65 5f 74 72 75 65 27 2c 20 6d 65 74 store_true', met
1d70: 61 76 61 72 20 3d 20 27 62 6f 6f 6c 27 29 0a 09 avar = 'bool')..
1d80: 09 70 61 72 73 65 72 2e 61 64 64 5f 6f 70 74 69 .parser.add_opti
1d90: 6f 6e 28 27 2d 6c 27 2c 20 27 2d 2d 6c 6f 61 64 on('-l', '--load
1da0: 27 2c 20 64 65 73 74 20 3d 20 27 6c 6f 61 64 27 ', dest = 'load'
1db0: 2c 0a 09 09 09 68 65 6c 70 20 3d 20 27 6c 6f 61 ,....help = 'loa
1dc0: 64 20 64 61 74 61 62 61 73 65 27 2c 20 61 63 74 d database', act
1dd0: 69 6f 6e 20 3d 20 27 73 74 6f 72 65 5f 74 72 75 ion = 'store_tru
1de0: 65 27 2c 20 6d 65 74 61 76 61 72 20 3d 20 27 62 e', metavar = 'b
1df0: 6f 6f 6c 27 2c 0a 09 09 09 64 65 66 61 75 6c 74 ool',....default
1e00: 20 3d 20 46 61 6c 73 65 29 0a 09 09 70 61 72 73 = False)...pars
1e10: 65 72 2e 61 64 64 5f 6f 70 74 69 6f 6e 28 27 2d er.add_option('-
1e20: 44 27 2c 20 27 2d 2d 64 75 6d 70 2d 63 6f 6e 66 D', '--dump-conf
1e30: 27 2c 20 64 65 73 74 20 3d 20 27 64 75 6d 70 5f ', dest = 'dump_
1e40: 63 6f 6e 66 27 2c 0a 09 09 09 68 65 6c 70 20 3d conf',....help =
1e50: 20 27 64 75 6d 70 20 66 69 6c 74 65 72 69 6e 67 'dump filtering
1e60: 20 72 75 6c 65 73 27 2c 20 64 65 66 61 75 6c 74 rules', default
1e70: 20 3d 20 46 61 6c 73 65 2c 20 6d 65 74 61 76 61 = False, metava
1e80: 72 20 3d 20 27 62 6f 6f 6c 27 2c 0a 09 09 09 61 r = 'bool',....a
1e90: 63 74 69 6f 6e 20 3d 20 27 73 74 6f 72 65 5f 74 ction = 'store_t
1ea0: 72 75 65 27 29 0a 09 09 70 61 72 73 65 72 2e 61 rue')...parser.a
1eb0: 64 64 5f 6f 70 74 69 6f 6e 28 27 2d 4c 27 2c 20 dd_option('-L',
1ec0: 27 2d 2d 6c 6f 61 64 2d 63 6f 6e 66 27 2c 20 64 '--load-conf', d
1ed0: 65 73 74 20 3d 20 27 6c 6f 61 64 5f 63 6f 6e 66 est = 'load_conf
1ee0: 27 2c 0a 09 09 09 68 65 6c 70 20 3d 20 27 6c 6f ',....help = 'lo
1ef0: 61 64 20 66 69 6c 74 65 72 69 6e 67 20 72 75 6c ad filtering rul
1f00: 65 73 27 2c 20 64 65 66 61 75 6c 74 20 3d 20 46 es', default = F
1f10: 61 6c 73 65 2c 20 6d 65 74 61 76 61 72 20 3d 20 alse, metavar =
1f20: 27 62 6f 6f 6c 27 2c 0a 09 09 09 61 63 74 69 6f 'bool',....actio
1f30: 6e 20 3d 20 27 73 74 6f 72 65 5f 74 72 75 65 27 n = 'store_true'
1f40: 29 0a 0a 09 09 28 73 65 6c 66 2e 6f 70 74 69 6f )....(self.optio
1f50: 6e 73 2c 20 61 72 67 73 29 20 3d 20 70 61 72 73 ns, args) = pars
1f60: 65 72 2e 70 61 72 73 65 5f 61 72 67 73 28 29 0a er.parse_args().
1f70: 0a 09 09 61 73 73 65 72 74 20 6f 73 2e 61 63 63 ...assert os.acc
1f80: 65 73 73 28 73 65 6c 66 2e 6f 70 74 69 6f 6e 73 ess(self.options
1f90: 2e 63 6f 6e 66 69 67 2c 20 6f 73 2e 52 5f 4f 4b .config, os.R_OK
1fa0: 29 2c 20 22 46 61 74 61 6c 20 65 72 72 6f 72 3a ), "Fatal error:
1fb0: 20 63 61 6e 27 74 20 72 65 61 64 20 7b 7d 22 2e can't read {}".
1fc0: 66 6f 72 6d 61 74 28 73 65 6c 66 2e 6f 70 74 69 format(self.opti
1fd0: 6f 6e 73 2e 63 6f 6e 66 69 67 29 0a 0a 09 09 73 ons.config)....s
1fe0: 65 6c 66 2e 5f 63 6f 6e 66 69 67 20 3d 20 43 6f elf._config = Co
1ff0: 6e 66 69 67 50 61 72 73 65 72 2e 43 6f 6e 66 69 nfigParser.Confi
2000: 67 50 61 72 73 65 72 28 29 0a 09 09 73 65 6c 66 gParser()...self
2010: 2e 5f 63 6f 6e 66 69 67 2e 72 65 61 64 66 70 28 ._config.readfp(
2020: 6f 70 65 6e 28 73 65 6c 66 2e 6f 70 74 69 6f 6e open(self.option
2030: 73 2e 63 6f 6e 66 69 67 29 29 0a 0a 09 23 20 66 s.config))...# f
2040: 75 6e 63 74 69 6f 6e 20 74 6f 20 73 65 6c 65 63 unction to selec
2050: 74 20 63 6f 6e 66 69 67 20 66 69 6c 65 20 73 65 t config file se
2060: 63 74 69 6f 6e 20 6f 72 20 63 72 65 61 74 65 20 ction or create
2070: 6f 6e 65 0a 09 64 65 66 20 73 65 63 74 69 6f 6e one..def section
2080: 28 73 65 6c 66 2c 20 73 65 63 74 69 6f 6e 29 3a (self, section):
2090: 0a 09 09 69 66 20 6e 6f 74 20 73 65 6c 66 2e 5f ...if not self._
20a0: 63 6f 6e 66 69 67 2e 68 61 73 5f 73 65 63 74 69 config.has_secti
20b0: 6f 6e 28 73 65 63 74 69 6f 6e 29 3a 0a 09 09 09 on(section):....
20c0: 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 61 64 64 self._config.add
20d0: 5f 73 65 63 74 69 6f 6e 28 73 65 63 74 69 6f 6e _section(section
20e0: 29 0a 09 09 73 65 6c 66 2e 5f 73 65 63 74 69 6f )...self._sectio
20f0: 6e 20 3d 20 73 65 63 74 69 6f 6e 0a 0a 09 23 20 n = section...#
2100: 66 75 6e 63 74 69 6f 6e 20 74 6f 20 67 65 74 20 function to get
2110: 63 6f 6e 66 69 67 20 70 61 72 61 6d 65 74 65 72 config parameter
2120: 2c 20 69 66 20 70 61 72 61 6d 65 74 65 72 20 64 , if parameter d
2130: 6f 65 73 6e 27 74 20 65 78 69 73 74 73 20 74 68 oesn't exists th
2140: 65 20 64 65 66 61 75 6c 74 0a 09 23 20 76 61 6c e default..# val
2150: 75 65 20 6f 72 20 4e 6f 6e 65 20 69 73 20 73 75 ue or None is su
2160: 62 73 74 69 74 75 74 65 64 0a 09 64 65 66 20 5f bstituted..def _
2170: 5f 67 65 74 69 74 65 6d 5f 5f 28 73 65 6c 66 2c _getitem__(self,
2180: 20 6e 61 6d 65 29 3a 0a 09 09 69 66 20 6e 6f 74 name):...if not
2190: 20 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 68 61 self._config.ha
21a0: 73 5f 6f 70 74 69 6f 6e 28 73 65 6c 66 2e 5f 73 s_option(self._s
21b0: 65 63 74 69 6f 6e 2c 20 6e 61 6d 65 29 3a 0a 09 ection, name):..
21c0: 09 09 69 66 20 73 65 6c 66 2e 5f 73 65 63 74 69 ..if self._secti
21d0: 6f 6e 20 69 6e 20 73 65 6c 66 2e 5f 64 65 66 61 on in self._defa
21e0: 75 6c 74 3a 0a 09 09 09 09 69 66 20 6e 61 6d 65 ult:.....if name
21f0: 20 69 6e 20 73 65 6c 66 2e 5f 64 65 66 61 75 6c in self._defaul
2200: 74 5b 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 5d t[self._section]
2210: 3a 0a 09 09 09 09 09 73 65 6c 66 2e 5f 63 6f 6e :......self._con
2220: 66 69 67 2e 73 65 74 28 73 65 6c 66 2e 5f 73 65 fig.set(self._se
2230: 63 74 69 6f 6e 2c 20 6e 61 6d 65 2c 20 73 65 6c ction, name, sel
2240: 66 2e 5f 64 65 66 61 75 6c 74 5b 73 65 6c 66 2e f._default[self.
2250: 5f 73 65 63 74 69 6f 6e 5d 5b 6e 61 6d 65 5d 29 _section][name])
2260: 0a 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 .....else:......
2270: 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 73 65 74 self._config.set
2280: 28 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 2c 20 (self._section,
2290: 6e 61 6d 65 2c 20 4e 6f 6e 65 29 0a 09 09 09 65 name, None)....e
22a0: 6c 73 65 3a 0a 09 09 09 09 73 65 6c 66 2e 5f 63 lse:.....self._c
22b0: 6f 6e 66 69 67 2e 73 65 74 28 73 65 6c 66 2e 5f onfig.set(self._
22c0: 73 65 63 74 69 6f 6e 2c 20 6e 61 6d 65 2c 20 4e section, name, N
22d0: 6f 6e 65 29 0a 09 09 72 65 74 75 72 6e 28 73 65 one)...return(se
22e0: 6c 66 2e 5f 63 6f 6e 66 69 67 2e 67 65 74 28 73 lf._config.get(s
22f0: 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e 61 elf._section, na
2300: 6d 65 29 29 0a 0a 23 20 69 6e 69 74 69 61 6c 69 me))..# initiali
2310: 7a 69 6e 67 20 61 6e 64 20 72 65 61 64 69 6e 67 zing and reading
2320: 20 69 6e 20 63 6f 6e 66 69 67 20 66 69 6c 65 0a in config file.
2330: 63 6f 6e 66 69 67 20 3d 20 43 6f 6e 66 69 67 28 config = Config(
2340: 29 0a 0a 69 66 20 63 6f 6e 66 69 67 2e 6f 70 74 )..if config.opt
2350: 69 6f 6e 73 2e 64 75 6d 70 20 6f 72 20 63 6f 6e ions.dump or con
2360: 66 69 67 2e 6f 70 74 69 6f 6e 73 2e 6c 6f 61 64 fig.options.load
2370: 20 6f 72 20 63 6f 6e 66 69 67 2e 6f 70 74 69 6f or config.optio
2380: 6e 73 2e 64 75 6d 70 5f 63 6f 6e 66 20 6f 72 20 ns.dump_conf or
2390: 63 6f 6e 66 69 67 2e 6f 70 74 69 6f 6e 73 2e 6c config.options.l
23a0: 6f 61 64 5f 63 6f 6e 66 3a 0a 09 69 6d 70 6f 72 oad_conf:..impor
23b0: 74 20 63 73 76 0a 0a 09 74 61 67 64 62 20 3d 20 t csv...tagdb =
23c0: 74 61 67 44 42 28 29 0a 09 64 61 74 61 5f 66 69 tagDB()..data_fi
23d0: 65 6c 64 73 20 3d 20 5b 27 73 69 74 65 27 2c 20 elds = ['site',
23e0: 27 74 61 67 27 2c 20 27 72 65 67 65 78 70 27 5d 'tag', 'regexp']
23f0: 0a 09 63 6f 6e 66 5f 66 69 65 6c 64 73 20 3d 20 ..conf_fields =
2400: 5b 27 6e 65 74 6d 61 73 6b 27 2c 20 27 72 65 64 ['netmask', 'red
2410: 69 72 65 63 74 5f 75 72 6c 27 2c 20 27 66 72 6f irect_url', 'fro
2420: 6d 5f 77 65 65 6b 64 61 79 27 2c 20 27 74 6f 5f m_weekday', 'to_
2430: 77 65 65 6b 64 61 79 27 2c 20 27 66 72 6f 6d 5f weekday', 'from_
2440: 74 69 6d 65 27 2c 20 27 74 6f 5f 74 69 6d 65 27 time', 'to_time'
2450: 2c 20 27 74 61 67 27 5d 0a 0a 09 69 66 20 63 6f , 'tag']...if co
2460: 6e 66 69 67 2e 6f 70 74 69 6f 6e 73 2e 64 75 6d nfig.options.dum
2470: 70 20 6f 72 20 63 6f 6e 66 69 67 2e 6f 70 74 69 p or config.opti
2480: 6f 6e 73 2e 64 75 6d 70 5f 63 6f 6e 66 3a 0a 09 ons.dump_conf:..
2490: 09 63 73 76 5f 77 72 69 74 65 72 20 3d 20 63 73 .csv_writer = cs
24a0: 76 2e 77 72 69 74 65 72 28 73 79 73 2e 73 74 64 v.writer(sys.std
24b0: 6f 75 74 29 0a 09 09 69 66 20 63 6f 6e 66 69 67 out)...if config
24c0: 2e 6f 70 74 69 6f 6e 73 2e 64 75 6d 70 3a 0a 09 .options.dump:..
24d0: 09 09 64 75 6d 70 20 3d 20 74 61 67 64 62 2e 64 ..dump = tagdb.d
24e0: 75 6d 70 28 29 0a 09 09 65 6c 69 66 20 63 6f 6e ump()...elif con
24f0: 66 69 67 2e 6f 70 74 69 6f 6e 73 2e 64 75 6d 70 fig.options.dump
2500: 5f 63 6f 6e 66 3a 0a 09 09 09 64 75 6d 70 20 3d _conf:....dump =
2510: 20 74 61 67 64 62 2e 64 75 6d 70 5f 63 6f 6e 66 tagdb.dump_conf
2520: 28 29 0a 0a 09 09 63 73 76 5f 77 72 69 74 65 72 ()....csv_writer
2530: 2e 77 72 69 74 65 72 6f 77 28 64 75 6d 70 5b 30 .writerow(dump[0
2540: 5d 29 0a 09 09 66 6f 72 20 6c 69 6e 65 20 69 6e ])...for line in
2550: 20 64 75 6d 70 5b 31 5d 3a 0a 09 09 09 63 73 76 dump[1]:....csv
2560: 5f 77 72 69 74 65 72 2e 77 72 69 74 65 72 6f 77 _writer.writerow
2570: 28 6c 69 6e 65 29 0a 0a 09 65 6c 69 66 20 63 6f (line)...elif co
2580: 6e 66 69 67 2e 6f 70 74 69 6f 6e 73 2e 6c 6f 61 nfig.options.loa
2590: 64 20 6f 72 20 63 6f 6e 66 69 67 2e 6f 70 74 69 d or config.opti
25a0: 6f 6e 73 2e 6c 6f 61 64 5f 63 6f 6e 66 3a 0a 09 ons.load_conf:..
25b0: 09 63 73 76 5f 72 65 61 64 65 72 20 3d 20 63 73 .csv_reader = cs
25c0: 76 2e 72 65 61 64 65 72 28 73 79 73 2e 73 74 64 v.reader(sys.std
25d0: 69 6e 29 0a 09 09 66 69 72 73 74 5f 72 6f 77 20 in)...first_row
25e0: 3d 20 6e 65 78 74 28 63 73 76 5f 72 65 61 64 65 = next(csv_reade
25f0: 72 29 0a 0a 09 09 69 66 20 63 6f 6e 66 69 67 2e r)....if config.
2600: 6f 70 74 69 6f 6e 73 2e 6c 6f 61 64 3a 0a 09 09 options.load:...
2610: 09 66 69 65 6c 64 73 20 3d 20 64 61 74 61 5f 66 .fields = data_f
2620: 69 65 6c 64 73 0a 09 09 09 6c 6f 61 64 20 3d 20 ields....load =
2630: 74 61 67 64 62 2e 6c 6f 61 64 0a 09 09 65 6c 69 tagdb.load...eli
2640: 66 20 63 6f 6e 66 69 67 2e 6f 70 74 69 6f 6e 73 f config.options
2650: 2e 6c 6f 61 64 5f 63 6f 6e 66 3a 0a 09 09 09 66 .load_conf:....f
2660: 69 65 6c 64 73 20 3d 20 63 6f 6e 66 5f 66 69 65 ields = conf_fie
2670: 6c 64 73 0a 09 09 09 6c 6f 61 64 20 3d 20 74 61 lds....load = ta
2680: 67 64 62 2e 6c 6f 61 64 5f 63 6f 6e 66 0a 0a 09 gdb.load_conf...
2690: 09 61 73 73 65 72 74 20 66 69 72 73 74 5f 72 6f .assert first_ro
26a0: 77 20 3d 3d 20 66 69 65 6c 64 73 2c 20 27 46 69 w == fields, 'Fi
26b0: 6c 65 20 6d 75 73 74 20 63 6f 6e 74 61 69 6e 20 le must contain
26c0: 63 73 76 20 64 61 74 61 20 77 69 74 68 20 74 68 csv data with th
26d0: 65 65 73 65 20 63 6f 6c 75 6d 6e 73 3a 20 27 20 eese columns: '
26e0: 2b 20 72 65 70 72 28 66 69 65 6c 64 73 29 0a 09 + repr(fields)..
26f0: 09 6c 6f 61 64 28 63 73 76 5f 72 65 61 64 65 72 .load(csv_reader
2700: 29 0a 0a 65 6c 73 65 3a 0a 09 23 20 6d 61 69 6e )..else:..# main
2710: 20 6c 6f 6f 70 0a 09 43 68 65 63 6b 65 72 28 73 loop..Checker(s
2720: 74 64 69 6e 29 2e 6c 6f 6f 70 28 29 0a tdin).loop().