0000: 23 21 2f 75 73 72 2f 62 69 6e 2f 65 6e 76 20 70 #!/usr/bin/env p
0010: 79 74 68 6f 6e 33 2e 31 0a 0a 69 6d 70 6f 72 74 ython3.1..import
0020: 20 63 6f 6e 66 69 67 70 61 72 73 65 72 2c 20 63 configparser, c
0030: 73 76 2c 20 6f 70 74 70 61 72 73 65 2c 20 6f 73 sv, optparse, os
0040: 2c 20 70 6f 73 74 67 72 65 73 71 6c 2e 61 70 69 , postgresql.api
0050: 2c 20 72 65 2c 20 73 79 73 0a 0a 23 20 77 72 61 , re, sys..# wra
0060: 70 70 65 72 20 61 72 6f 75 6e 64 20 73 79 73 6c pper around sysl
0070: 6f 67 2c 20 63 61 6e 20 62 65 20 6d 75 74 65 64 og, can be muted
0080: 0a 63 6c 61 73 73 20 4c 6f 67 67 65 72 3a 0a 09 .class Logger:..
0090: 5f 5f 73 6c 6f 74 73 5f 5f 20 3d 20 66 72 6f 7a __slots__ = froz
00a0: 65 6e 73 65 74 28 5b 27 5f 73 79 73 6c 6f 67 27 enset(['_syslog'
00b0: 5d 29 0a 0a 09 64 65 66 20 5f 5f 69 6e 69 74 5f ])...def __init_
00c0: 5f 28 73 65 6c 66 29 3a 0a 09 09 63 6f 6e 66 69 _(self):...confi
00d0: 67 2e 73 65 63 74 69 6f 6e 28 27 6c 6f 67 27 29 g.section('log')
00e0: 0a 09 09 69 66 20 63 6f 6e 66 69 67 5b 27 73 69 ...if config['si
00f0: 6c 65 6e 74 27 5d 20 3d 3d 20 27 79 65 73 27 3a lent'] == 'yes':
0100: 0a 09 09 09 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 ....self._syslog
0110: 20 3d 20 4e 6f 6e 65 0a 09 09 65 6c 73 65 3a 0a = None...else:.
0120: 09 09 09 69 6d 70 6f 72 74 20 73 79 73 6c 6f 67 ...import syslog
0130: 0a 09 09 09 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 ....self._syslog
0140: 20 3d 20 73 79 73 6c 6f 67 0a 09 09 09 73 65 6c = syslog....sel
0150: 66 2e 5f 73 79 73 6c 6f 67 2e 6f 70 65 6e 6c 6f f._syslog.openlo
0160: 67 28 27 73 71 75 69 64 54 61 67 27 29 0a 0a 09 g('squidTag')...
0170: 64 65 66 20 69 6e 66 6f 28 73 65 6c 66 2c 20 6d def info(self, m
0180: 65 73 73 61 67 65 29 3a 0a 09 09 69 66 20 73 65 essage):...if se
0190: 6c 66 2e 5f 73 79 73 6c 6f 67 3a 0a 09 09 09 73 lf._syslog:....s
01a0: 65 6c 66 2e 5f 73 79 73 6c 6f 67 2e 73 79 73 6c elf._syslog.sysl
01b0: 6f 67 28 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 2e og(self._syslog.
01c0: 4c 4f 47 5f 49 4e 46 4f 2c 20 6d 65 73 73 61 67 LOG_INFO, messag
01d0: 65 29 0a 0a 09 64 65 66 20 6e 6f 74 69 63 65 28 e)...def notice(
01e0: 73 65 6c 66 2c 20 6d 65 73 73 61 67 65 29 3a 0a self, message):.
01f0: 09 09 69 66 20 73 65 6c 66 2e 5f 73 79 73 6c 6f ..if self._syslo
0200: 67 3a 0a 09 09 09 73 65 6c 66 2e 5f 73 79 73 6c g:....self._sysl
0210: 6f 67 2e 73 79 73 6c 6f 67 28 73 65 6c 66 2e 5f og.syslog(self._
0220: 73 79 73 6c 6f 67 2e 4c 4f 47 5f 4e 4f 54 49 43 syslog.LOG_NOTIC
0230: 45 2c 20 6d 65 73 73 61 67 65 29 0a 0a 23 20 77 E, message)..# w
0240: 72 61 70 70 65 72 20 61 72 6f 75 6e 64 20 64 61 rapper around da
0250: 74 61 62 61 73 65 0a 63 6c 61 73 73 20 74 61 67 tabase.class tag
0260: 44 42 3a 0a 09 5f 5f 73 6c 6f 74 73 5f 5f 20 3d DB:..__slots__ =
0270: 20 66 72 6f 7a 65 6e 73 65 74 28 5b 27 5f 70 72 frozenset(['_pr
0280: 65 70 61 72 65 64 27 2c 20 27 5f 64 62 27 5d 29 epared', '_db'])
0290: 0a 0a 09 64 65 66 20 5f 5f 69 6e 69 74 5f 5f 28 ...def __init__(
02a0: 73 65 6c 66 29 3a 0a 09 09 73 65 6c 66 2e 5f 70 self):...self._p
02b0: 72 65 70 61 72 65 64 20 3d 20 73 65 74 28 29 0a repared = set().
02c0: 09 09 63 6f 6e 66 69 67 2e 73 65 63 74 69 6f 6e ..config.section
02d0: 28 27 64 61 74 61 62 61 73 65 27 29 0a 09 09 73 ('database')...s
02e0: 65 6c 66 2e 5f 64 62 20 3d 20 70 6f 73 74 67 72 elf._db = postgr
02f0: 65 73 71 6c 2e 6f 70 65 6e 28 0a 09 09 09 27 70 esql.open(....'p
0300: 71 3a 2f 2f 7b 7d 3a 7b 7d 40 7b 7d 2f 7b 7d 27 q://{}:{}@{}/{}'
0310: 2e 66 6f 72 6d 61 74 28 0a 09 09 09 09 63 6f 6e .format(.....con
0320: 66 69 67 5b 27 75 73 65 72 27 5d 2c 0a 09 09 09 fig['user'],....
0330: 09 63 6f 6e 66 69 67 5b 27 70 61 73 73 77 6f 72 .config['passwor
0340: 64 27 5d 2c 0a 09 09 09 09 63 6f 6e 66 69 67 5b d'],.....config[
0350: 27 68 6f 73 74 27 5d 2c 0a 09 09 09 09 63 6f 6e 'host'],.....con
0360: 66 69 67 5b 27 64 61 74 61 62 61 73 65 27 5d 2c fig['database'],
0370: 0a 09 09 29 20 29 0a 0a 09 64 65 66 20 6c 6f 61 ...) )...def loa
0380: 64 28 73 65 6c 66 2c 20 63 73 76 5f 64 61 74 61 d(self, csv_data
0390: 29 3a 0a 09 09 69 6e 73 65 72 74 20 3d 20 73 65 ):...insert = se
03a0: 6c 66 2e 5f 64 62 2e 70 72 65 70 61 72 65 28 22 lf._db.prepare("
03b0: 73 65 6c 65 63 74 20 6d 61 72 6b 28 24 31 2c 20 select mark($1,
03c0: 61 72 72 61 79 5b 24 32 5d 2c 20 24 33 29 22 29 array[$2], $3)")
03d0: 0a 09 09 77 69 74 68 20 73 65 6c 66 2e 5f 64 62 ...with self._db
03e0: 2e 78 61 63 74 28 29 3a 0a 09 09 09 63 6f 6e 66 .xact():....conf
03f0: 69 67 2e 73 65 63 74 69 6f 6e 28 27 6c 6f 61 64 ig.section('load
0400: 65 72 27 29 0a 09 09 09 69 66 20 63 6f 6e 66 69 er')....if confi
0410: 67 5b 27 64 72 6f 70 5f 64 61 74 61 62 61 73 65 g['drop_database
0420: 27 5d 3a 0a 09 09 09 09 73 65 6c 66 2e 5f 64 62 ']:.....self._db
0430: 2e 65 78 65 63 75 74 65 28 27 64 65 6c 65 74 65 .execute('delete
0440: 20 66 72 6f 6d 20 75 72 6c 73 3b 20 64 65 6c 65 from urls; dele
0450: 74 65 20 66 72 6f 6d 20 73 69 74 65 3b 27 29 3b te from site;');
0460: 0a 09 09 09 09 23 70 72 69 6e 74 28 27 64 72 6f .....#print('dro
0470: 70 70 65 64 27 2c 20 63 6f 6e 66 69 67 5b 27 64 pped', config['d
0480: 72 6f 70 5f 64 61 74 61 62 61 73 65 27 5d 29 0a rop_database']).
0490: 09 09 09 66 6f 72 20 72 6f 77 20 69 6e 20 63 73 ...for row in cs
04a0: 76 5f 64 61 74 61 3a 0a 09 09 09 09 69 6e 73 65 v_data:.....inse
04b0: 72 74 28 72 6f 77 5b 30 5d 2c 20 72 6f 77 5b 31 rt(row[0], row[1
04c0: 5d 2c 20 72 6f 77 5b 32 5d 29 0a 09 09 73 65 6c ], row[2])...sel
04d0: 66 2e 5f 64 62 2e 65 78 65 63 75 74 65 28 27 76 f._db.execute('v
04e0: 61 63 75 75 6d 20 61 6e 61 6c 79 7a 65 20 73 69 acuum analyze si
04f0: 74 65 3b 27 29 0a 09 09 73 65 6c 66 2e 5f 64 62 te;')...self._db
0500: 2e 65 78 65 63 75 74 65 28 27 76 61 63 75 75 6d .execute('vacuum
0510: 20 61 6e 61 6c 79 7a 65 20 75 72 6c 73 3b 27 29 analyze urls;')
0520: 0a 0a 23 20 74 68 69 73 20 63 6c 61 73 73 65 73 ..# this classes
0530: 20 70 72 6f 63 65 73 73 65 73 20 63 6f 6e 66 69 processes confi
0540: 67 20 66 69 6c 65 20 61 6e 64 20 73 75 62 73 74 g file and subst
0550: 69 74 75 74 65 73 20 64 65 66 61 75 6c 74 20 76 itutes default v
0560: 61 6c 75 65 73 0a 63 6c 61 73 73 20 43 6f 6e 66 alues.class Conf
0570: 69 67 3a 0a 09 5f 5f 73 6c 6f 74 73 5f 5f 20 3d ig:..__slots__ =
0580: 20 66 72 6f 7a 65 6e 73 65 74 28 5b 27 5f 63 6f frozenset(['_co
0590: 6e 66 69 67 27 2c 20 27 5f 64 65 66 61 75 6c 74 nfig', '_default
05a0: 27 2c 20 27 5f 73 65 63 74 69 6f 6e 27 5d 29 0a ', '_section']).
05b0: 09 5f 64 65 66 61 75 6c 74 20 3d 20 7b 0a 09 09 ._default = {...
05c0: 27 72 65 61 63 74 6f 72 27 3a 20 7b 0a 09 09 09 'reactor': {....
05d0: 27 72 65 61 63 74 6f 72 27 3a 20 27 74 68 72 65 'reactor': 'thre
05e0: 61 64 27 2c 0a 09 09 7d 2c 0a 09 09 27 6c 6f 67 ad',...},...'log
05f0: 27 3a 20 7b 0a 09 09 09 27 73 69 6c 65 6e 74 27 ': {....'silent'
0600: 3a 20 27 6e 6f 27 2c 0a 09 09 7d 2c 0a 09 09 27 : 'no',...},...'
0610: 64 61 74 61 62 61 73 65 27 3a 20 7b 0a 09 09 09 database': {....
0620: 27 75 73 65 72 27 3a 20 27 73 71 75 69 64 54 61 'user': 'squidTa
0630: 67 27 2c 0a 09 09 09 27 70 61 73 73 77 6f 72 64 g',....'password
0640: 27 3a 20 27 70 61 73 73 77 6f 72 64 27 2c 0a 09 ': 'password',..
0650: 09 09 27 68 6f 73 74 27 3a 20 27 6c 6f 63 61 6c ..'host': 'local
0660: 68 6f 73 74 27 2c 0a 09 09 09 27 64 61 74 61 62 host',....'datab
0670: 61 73 65 27 3a 20 27 73 71 75 69 64 54 61 67 27 ase': 'squidTag'
0680: 2c 0a 09 09 7d 2c 0a 09 09 27 6c 6f 61 64 65 72 ,...},...'loader
0690: 27 3a 20 7b 0a 09 09 09 27 64 72 6f 70 5f 64 61 ': {....'drop_da
06a0: 74 61 62 61 73 65 27 3a 20 46 61 6c 73 65 2c 0a tabase': False,.
06b0: 09 7d 2c 7d 0a 0a 09 23 20 66 75 6e 63 74 69 6f .},}...# functio
06c0: 6e 20 74 6f 20 72 65 61 64 20 69 6e 20 63 6f 6e n to read in con
06d0: 66 69 67 20 66 69 6c 65 0a 09 64 65 66 20 5f 5f fig file..def __
06e0: 69 6e 69 74 5f 5f 28 73 65 6c 66 29 3a 0a 09 09 init__(self):...
06f0: 70 61 72 73 65 72 20 3d 20 6f 70 74 70 61 72 73 parser = optpars
0700: 65 2e 4f 70 74 69 6f 6e 50 61 72 73 65 72 28 29 e.OptionParser()
0710: 0a 09 09 70 61 72 73 65 72 2e 61 64 64 5f 6f 70 ...parser.add_op
0720: 74 69 6f 6e 28 27 2d 63 27 2c 20 27 2d 2d 63 6f tion('-c', '--co
0730: 6e 66 69 67 27 2c 20 64 65 73 74 20 3d 20 27 63 nfig', dest = 'c
0740: 6f 6e 66 69 67 27 2c 0a 09 09 09 68 65 6c 70 20 onfig',....help
0750: 3d 20 27 63 6f 6e 66 69 67 20 66 69 6c 65 20 6c = 'config file l
0760: 6f 63 61 74 69 6f 6e 27 2c 20 6d 65 74 61 76 61 ocation', metava
0770: 72 20 3d 20 27 46 49 4c 45 27 2c 0a 09 09 09 64 r = 'FILE',....d
0780: 65 66 61 75 6c 74 20 3d 20 27 2f 75 73 72 2f 6c efault = '/usr/l
0790: 6f 63 61 6c 2f 65 74 63 2f 73 71 75 69 64 2d 74 ocal/etc/squid-t
07a0: 61 67 67 65 72 2e 63 6f 6e 66 27 29 0a 09 09 70 agger.conf')...p
07b0: 61 72 73 65 72 2e 61 64 64 5f 6f 70 74 69 6f 6e arser.add_option
07c0: 28 27 2d 64 27 2c 20 27 2d 2d 64 72 6f 70 2d 64 ('-d', '--drop-d
07d0: 61 74 61 62 61 73 65 27 2c 20 64 65 73 74 20 3d atabase', dest =
07e0: 20 27 64 72 6f 70 5f 64 61 74 61 62 61 73 65 27 'drop_database'
07f0: 2c 0a 09 09 09 68 65 6c 70 20 3d 20 27 73 69 67 ,....help = 'sig
0800: 6e 61 6c 73 20 6c 6f 61 64 65 72 20 74 6f 20 64 nals loader to d
0810: 72 6f 70 20 70 72 65 76 69 6f 75 73 20 64 61 74 rop previous dat
0820: 61 62 61 73 65 27 2c 0a 09 09 09 61 63 74 69 6f abase',....actio
0830: 6e 20 3d 20 27 73 74 6f 72 65 5f 74 72 75 65 27 n = 'store_true'
0840: 29 0a 0a 09 09 28 6f 70 74 69 6f 6e 73 2c 20 61 )....(options, a
0850: 72 67 73 29 20 3d 20 70 61 72 73 65 72 2e 70 61 rgs) = parser.pa
0860: 72 73 65 5f 61 72 67 73 28 29 0a 0a 09 09 69 66 rse_args()....if
0870: 20 6f 70 74 69 6f 6e 73 2e 64 72 6f 70 5f 64 61 options.drop_da
0880: 74 61 62 61 73 65 3a 0a 09 09 09 73 65 6c 66 2e tabase:....self.
0890: 5f 64 65 66 61 75 6c 74 5b 27 6c 6f 61 64 65 72 _default['loader
08a0: 27 5d 5b 27 64 72 6f 70 5f 64 61 74 61 62 61 73 ']['drop_databas
08b0: 65 27 5d 20 3d 20 54 72 75 65 0a 0a 09 09 69 66 e'] = True....if
08c0: 20 6e 6f 74 20 6f 73 2e 61 63 63 65 73 73 28 6f not os.access(o
08d0: 70 74 69 6f 6e 73 2e 63 6f 6e 66 69 67 2c 20 6f ptions.config, o
08e0: 73 2e 52 5f 4f 4b 29 3a 0a 09 09 09 70 72 69 6e s.R_OK):....prin
08f0: 74 28 22 43 61 6e 27 74 20 72 65 61 64 20 7b 7d t("Can't read {}
0900: 3a 20 65 78 69 74 74 69 6e 67 22 2e 66 6f 72 6d : exitting".form
0910: 61 74 28 6f 70 74 69 6f 6e 73 2e 63 6f 6e 66 69 at(options.confi
0920: 67 29 29 0a 09 09 09 73 79 73 2e 65 78 69 74 28 g))....sys.exit(
0930: 32 29 0a 0a 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 2)....self._conf
0940: 69 67 20 3d 20 63 6f 6e 66 69 67 70 61 72 73 65 ig = configparse
0950: 72 2e 43 6f 6e 66 69 67 50 61 72 73 65 72 28 29 r.ConfigParser()
0960: 0a 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e ...self._config.
0970: 72 65 61 64 66 70 28 6f 70 65 6e 28 6f 70 74 69 readfp(open(opti
0980: 6f 6e 73 2e 63 6f 6e 66 69 67 29 29 0a 0a 09 23 ons.config))...#
0990: 20 66 75 6e 63 74 69 6f 6e 20 74 6f 20 73 65 6c function to sel
09a0: 65 63 74 20 63 6f 6e 66 69 67 20 66 69 6c 65 20 ect config file
09b0: 73 65 63 74 69 6f 6e 20 6f 72 20 63 72 65 61 74 section or creat
09c0: 65 20 6f 6e 65 0a 09 64 65 66 20 73 65 63 74 69 e one..def secti
09d0: 6f 6e 28 73 65 6c 66 2c 20 73 65 63 74 69 6f 6e on(self, section
09e0: 29 3a 0a 09 09 69 66 20 6e 6f 74 20 73 65 6c 66 ):...if not self
09f0: 2e 5f 63 6f 6e 66 69 67 2e 68 61 73 5f 73 65 63 ._config.has_sec
0a00: 74 69 6f 6e 28 73 65 63 74 69 6f 6e 29 3a 0a 09 tion(section):..
0a10: 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 61 ..self._config.a
0a20: 64 64 5f 73 65 63 74 69 6f 6e 28 73 65 63 74 69 dd_section(secti
0a30: 6f 6e 29 0a 09 09 73 65 6c 66 2e 5f 73 65 63 74 on)...self._sect
0a40: 69 6f 6e 20 3d 20 73 65 63 74 69 6f 6e 0a 0a 09 ion = section...
0a50: 23 20 66 75 6e 63 74 69 6f 6e 20 74 6f 20 67 65 # function to ge
0a60: 74 20 63 6f 6e 66 69 67 20 70 61 72 61 6d 65 74 t config paramet
0a70: 65 72 2c 20 69 66 20 70 61 72 61 6d 65 74 65 72 er, if parameter
0a80: 20 64 6f 65 73 6e 27 74 20 65 78 69 73 74 73 20 doesn't exists
0a90: 74 68 65 20 64 65 66 61 75 6c 74 0a 09 23 20 76 the default..# v
0aa0: 61 6c 75 65 20 6f 72 20 4e 6f 6e 65 20 69 73 20 alue or None is
0ab0: 73 75 62 73 74 69 74 75 74 65 64 0a 09 64 65 66 substituted..def
0ac0: 20 5f 5f 67 65 74 69 74 65 6d 5f 5f 28 73 65 6c __getitem__(sel
0ad0: 66 2c 20 6e 61 6d 65 29 3a 0a 09 09 69 66 20 6e f, name):...if n
0ae0: 6f 74 20 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e ot self._section
0af0: 20 69 6e 20 73 65 6c 66 2e 5f 64 65 66 61 75 6c in self._defaul
0b00: 74 20 6f 72 20 6e 6f 74 20 6e 61 6d 65 20 69 6e t or not name in
0b10: 20 73 65 6c 66 2e 5f 64 65 66 61 75 6c 74 5b 73 self._default[s
0b20: 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 5d 3a 0a 09 elf._section]:..
0b30: 09 09 72 65 74 75 72 6e 20 4e 6f 6e 65 0a 09 09 ..return None...
0b40: 69 66 20 6e 6f 74 20 74 79 70 65 28 73 65 6c 66 if not type(self
0b50: 2e 5f 64 65 66 61 75 6c 74 5b 73 65 6c 66 2e 5f ._default[self._
0b60: 73 65 63 74 69 6f 6e 5d 5b 6e 61 6d 65 5d 29 20 section][name])
0b70: 3d 3d 20 74 79 70 65 28 54 72 75 65 29 3a 0a 09 == type(True):..
0b80: 09 09 69 66 20 6e 6f 74 20 73 65 6c 66 2e 5f 63 ..if not self._c
0b90: 6f 6e 66 69 67 2e 68 61 73 5f 6f 70 74 69 6f 6e onfig.has_option
0ba0: 28 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 2c 20 (self._section,
0bb0: 6e 61 6d 65 29 3a 0a 09 09 09 09 73 65 6c 66 2e name):.....self.
0bc0: 5f 63 6f 6e 66 69 67 2e 73 65 74 28 73 65 6c 66 _config.set(self
0bd0: 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e 61 6d 65 2c ._section, name,
0be0: 20 73 65 6c 66 2e 5f 64 65 66 61 75 6c 74 5b 73 self._default[s
0bf0: 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 5d 5b 6e 61 elf._section][na
0c00: 6d 65 5d 29 0a 09 09 09 72 65 74 75 72 6e 28 73 me])....return(s
0c10: 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 67 65 74 28 elf._config.get(
0c20: 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e self._section, n
0c30: 61 6d 65 29 29 0a 09 09 65 6c 73 65 3a 0a 09 09 ame))...else:...
0c40: 09 69 66 20 6e 6f 74 20 73 65 6c 66 2e 5f 63 6f .if not self._co
0c50: 6e 66 69 67 2e 68 61 73 5f 6f 70 74 69 6f 6e 28 nfig.has_option(
0c60: 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e self._section, n
0c70: 61 6d 65 29 3a 0a 09 09 09 09 73 65 6c 66 2e 5f ame):.....self._
0c80: 63 6f 6e 66 69 67 2e 73 65 74 28 73 65 6c 66 2e config.set(self.
0c90: 5f 73 65 63 74 69 6f 6e 2c 20 6e 61 6d 65 2c 20 _section, name,
0ca0: 72 65 70 72 28 73 65 6c 66 2e 5f 64 65 66 61 75 repr(self._defau
0cb0: 6c 74 5b 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e lt[self._section
0cc0: 5d 5b 6e 61 6d 65 5d 29 29 0a 09 09 09 72 65 74 ][name]))....ret
0cd0: 75 72 6e 28 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 urn(self._config
0ce0: 2e 67 65 74 62 6f 6f 6c 65 61 6e 28 73 65 6c 66 .getboolean(self
0cf0: 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e 61 6d 65 29 ._section, name)
0d00: 29 0a 0a 23 20 69 6e 69 74 69 61 6c 69 7a 69 6e )..# initializin
0d10: 67 20 61 6e 64 20 72 65 61 64 69 6e 67 20 69 6e g and reading in
0d20: 20 63 6f 6e 66 69 67 20 66 69 6c 65 0a 63 6f 6e config file.con
0d30: 66 69 67 20 3d 20 43 6f 6e 66 69 67 28 29 0a 0a fig = Config()..
0d40: 74 61 67 64 62 20 3d 20 74 61 67 44 42 28 29 0a tagdb = tagDB().
0d50: 0a 63 73 76 5f 72 65 61 64 65 72 20 3d 20 63 73 .csv_reader = cs
0d60: 76 2e 72 65 61 64 65 72 28 73 79 73 2e 73 74 64 v.reader(sys.std
0d70: 69 6e 29 0a 66 69 72 73 74 5f 72 6f 77 20 3d 20 in).first_row =
0d80: 6e 65 78 74 28 63 73 76 5f 72 65 61 64 65 72 29 next(csv_reader)
0d90: 0a 69 66 20 6e 6f 74 20 66 69 72 73 74 5f 72 6f .if not first_ro
0da0: 77 20 3d 3d 20 5b 27 73 69 74 65 27 2c 20 27 74 w == ['site', 't
0db0: 61 67 73 27 2c 20 27 72 65 67 65 78 70 27 5d 3a ags', 'regexp']:
0dc0: 0a 09 70 72 69 6e 74 28 27 46 69 6c 65 20 6d 75 ..print('File mu
0dd0: 73 74 20 63 6f 6e 74 61 69 6e 20 63 73 76 20 64 st contain csv d
0de0: 61 74 61 20 77 69 74 68 20 74 68 72 65 65 20 63 ata with three c
0df0: 6f 6c 75 6d 6e 73 3a 20 22 73 69 74 65 22 2c 20 olumns: "site",
0e00: 22 74 61 67 73 22 20 61 6e 64 20 22 72 65 67 65 "tags" and "rege
0e10: 78 70 22 2e 27 29 0a 09 73 79 73 2e 65 78 69 74 xp".')..sys.exit
0e20: 28 31 29 0a 74 61 67 64 62 2e 6c 6f 61 64 28 63 (1).tagdb.load(c
0e30: 73 76 5f 72 65 61 64 65 72 29 0a sv_reader).