0000: 23 21 2f 75 73 72 2f 62 69 6e 2f 65 6e 76 20 70 #!/usr/bin/env p
0010: 79 74 68 6f 6e 33 2e 31 0a 0a 69 6d 70 6f 72 74 ython3.1..import
0020: 20 63 6f 6e 66 69 67 70 61 72 73 65 72 2c 20 63 configparser, c
0030: 73 76 2c 20 6f 70 74 70 61 72 73 65 2c 20 6f 73 sv, optparse, os
0040: 2c 20 70 6f 73 74 67 72 65 73 71 6c 2e 61 70 69 , postgresql.api
0050: 2c 20 72 65 2c 20 73 79 73 0a 0a 23 20 77 72 61 , re, sys..# wra
0060: 70 70 65 72 20 61 72 6f 75 6e 64 20 73 79 73 6c pper around sysl
0070: 6f 67 2c 20 63 61 6e 20 62 65 20 6d 75 74 65 64 og, can be muted
0080: 0a 63 6c 61 73 73 20 4c 6f 67 67 65 72 3a 0a 09 .class Logger:..
0090: 5f 5f 73 6c 6f 74 73 5f 5f 20 3d 20 66 72 6f 7a __slots__ = froz
00a0: 65 6e 73 65 74 28 5b 27 5f 73 79 73 6c 6f 67 27 enset(['_syslog'
00b0: 5d 29 0a 0a 09 64 65 66 20 5f 5f 69 6e 69 74 5f ])...def __init_
00c0: 5f 28 73 65 6c 66 29 3a 0a 09 09 63 6f 6e 66 69 _(self):...confi
00d0: 67 2e 73 65 63 74 69 6f 6e 28 27 6c 6f 67 27 29 g.section('log')
00e0: 0a 09 09 69 66 20 63 6f 6e 66 69 67 5b 27 73 69 ...if config['si
00f0: 6c 65 6e 74 27 5d 20 3d 3d 20 27 79 65 73 27 3a lent'] == 'yes':
0100: 0a 09 09 09 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 ....self._syslog
0110: 20 3d 20 4e 6f 6e 65 0a 09 09 65 6c 73 65 3a 0a = None...else:.
0120: 09 09 09 69 6d 70 6f 72 74 20 73 79 73 6c 6f 67 ...import syslog
0130: 0a 09 09 09 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 ....self._syslog
0140: 20 3d 20 73 79 73 6c 6f 67 0a 09 09 09 73 65 6c = syslog....sel
0150: 66 2e 5f 73 79 73 6c 6f 67 2e 6f 70 65 6e 6c 6f f._syslog.openlo
0160: 67 28 27 73 71 75 69 64 54 61 67 27 29 0a 0a 09 g('squidTag')...
0170: 64 65 66 20 69 6e 66 6f 28 73 65 6c 66 2c 20 6d def info(self, m
0180: 65 73 73 61 67 65 29 3a 0a 09 09 69 66 20 73 65 essage):...if se
0190: 6c 66 2e 5f 73 79 73 6c 6f 67 3a 0a 09 09 09 73 lf._syslog:....s
01a0: 65 6c 66 2e 5f 73 79 73 6c 6f 67 2e 73 79 73 6c elf._syslog.sysl
01b0: 6f 67 28 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 2e og(self._syslog.
01c0: 4c 4f 47 5f 49 4e 46 4f 2c 20 6d 65 73 73 61 67 LOG_INFO, messag
01d0: 65 29 0a 0a 09 64 65 66 20 6e 6f 74 69 63 65 28 e)...def notice(
01e0: 73 65 6c 66 2c 20 6d 65 73 73 61 67 65 29 3a 0a self, message):.
01f0: 09 09 69 66 20 73 65 6c 66 2e 5f 73 79 73 6c 6f ..if self._syslo
0200: 67 3a 0a 09 09 09 73 65 6c 66 2e 5f 73 79 73 6c g:....self._sysl
0210: 6f 67 2e 73 79 73 6c 6f 67 28 73 65 6c 66 2e 5f og.syslog(self._
0220: 73 79 73 6c 6f 67 2e 4c 4f 47 5f 4e 4f 54 49 43 syslog.LOG_NOTIC
0230: 45 2c 20 6d 65 73 73 61 67 65 29 0a 0a 23 20 77 E, message)..# w
0240: 72 61 70 70 65 72 20 61 72 6f 75 6e 64 20 64 61 rapper around da
0250: 74 61 62 61 73 65 0a 63 6c 61 73 73 20 74 61 67 tabase.class tag
0260: 44 42 3a 0a 09 5f 5f 73 6c 6f 74 73 5f 5f 20 3d DB:..__slots__ =
0270: 20 66 72 6f 7a 65 6e 73 65 74 28 5b 27 5f 70 72 frozenset(['_pr
0280: 65 70 61 72 65 64 27 2c 20 27 5f 64 62 27 5d 29 epared', '_db'])
0290: 0a 0a 09 64 65 66 20 5f 5f 69 6e 69 74 5f 5f 28 ...def __init__(
02a0: 73 65 6c 66 29 3a 0a 09 09 73 65 6c 66 2e 5f 70 self):...self._p
02b0: 72 65 70 61 72 65 64 20 3d 20 73 65 74 28 29 0a repared = set().
02c0: 09 09 63 6f 6e 66 69 67 2e 73 65 63 74 69 6f 6e ..config.section
02d0: 28 27 64 61 74 61 62 61 73 65 27 29 0a 09 09 73 ('database')...s
02e0: 65 6c 66 2e 5f 64 62 20 3d 20 70 6f 73 74 67 72 elf._db = postgr
02f0: 65 73 71 6c 2e 6f 70 65 6e 28 0a 09 09 09 27 70 esql.open(....'p
0300: 71 3a 2f 2f 7b 7d 3a 7b 7d 40 7b 7d 2f 7b 7d 27 q://{}:{}@{}/{}'
0310: 2e 66 6f 72 6d 61 74 28 0a 09 09 09 09 63 6f 6e .format(.....con
0320: 66 69 67 5b 27 75 73 65 72 27 5d 2c 0a 09 09 09 fig['user'],....
0330: 09 63 6f 6e 66 69 67 5b 27 70 61 73 73 77 6f 72 .config['passwor
0340: 64 27 5d 2c 0a 09 09 09 09 63 6f 6e 66 69 67 5b d'],.....config[
0350: 27 68 6f 73 74 27 5d 2c 0a 09 09 09 09 63 6f 6e 'host'],.....con
0360: 66 69 67 5b 27 64 61 74 61 62 61 73 65 27 5d 2c fig['database'],
0370: 0a 09 09 29 20 29 0a 0a 09 64 65 66 20 6c 6f 61 ...) )...def loa
0380: 64 28 73 65 6c 66 2c 20 63 73 76 5f 64 61 74 61 d(self, csv_data
0390: 29 3a 0a 09 09 77 69 74 68 20 73 65 6c 66 2e 5f ):...with self._
03a0: 64 62 2e 78 61 63 74 28 29 3a 0a 09 09 09 63 6f db.xact():....co
03b0: 6e 66 69 67 2e 73 65 63 74 69 6f 6e 28 27 6c 6f nfig.section('lo
03c0: 61 64 65 72 27 29 0a 09 09 09 69 66 20 63 6f 6e ader')....if con
03d0: 66 69 67 5b 27 64 72 6f 70 5f 64 61 74 61 62 61 fig['drop_databa
03e0: 73 65 27 5d 3a 0a 09 09 09 09 73 65 6c 66 2e 5f se']:.....self._
03f0: 64 62 2e 65 78 65 63 75 74 65 28 27 64 65 6c 65 db.execute('dele
0400: 74 65 20 66 72 6f 6d 20 75 72 6c 73 3b 27 29 0a te from urls;').
0410: 09 09 09 09 69 66 20 63 6f 6e 66 69 67 5b 27 64 ....if config['d
0420: 72 6f 70 5f 73 69 74 65 27 5d 3a 0a 09 09 09 09 rop_site']:.....
0430: 09 73 65 6c 66 2e 5f 64 62 2e 65 78 65 63 75 74 .self._db.execut
0440: 65 28 27 64 65 6c 65 74 65 20 66 72 6f 6d 20 73 e('delete from s
0450: 69 74 65 3b 27 29 3b 0a 09 09 09 69 6e 73 65 72 ite;');....inser
0460: 74 72 65 67 20 3d 20 73 65 6c 66 2e 5f 64 62 2e treg = self._db.
0470: 70 72 65 70 61 72 65 28 22 73 65 6c 65 63 74 20 prepare("select
0480: 73 65 74 28 24 31 2c 20 24 32 2c 20 24 33 29 22 set($1, $2, $3)"
0490: 29 0a 09 09 09 69 6e 73 65 72 74 20 3d 20 73 65 )....insert = se
04a0: 6c 66 2e 5f 64 62 2e 70 72 65 70 61 72 65 28 22 lf._db.prepare("
04b0: 73 65 6c 65 63 74 20 73 65 74 28 24 31 2c 20 24 select set($1, $
04c0: 32 29 22 29 0a 09 09 09 66 6f 72 20 72 6f 77 20 2)")....for row
04d0: 69 6e 20 63 73 76 5f 64 61 74 61 3a 0a 09 09 09 in csv_data:....
04e0: 09 69 66 20 6c 65 6e 28 72 6f 77 5b 32 5d 29 20 .if len(row[2])
04f0: 3e 20 30 3a 0a 09 09 09 09 09 69 6e 73 65 72 74 > 0:......insert
0500: 72 65 67 28 72 6f 77 5b 30 5d 2c 20 72 6f 77 5b reg(row[0], row[
0510: 31 5d 2c 20 72 6f 77 5b 32 5d 29 0a 09 09 09 09 1], row[2]).....
0520: 65 6c 73 65 3a 0a 09 09 09 09 09 69 6e 73 65 72 else:......inser
0530: 74 28 72 6f 77 5b 30 5d 2c 20 72 6f 77 5b 31 5d t(row[0], row[1]
0540: 29 0a 09 09 73 65 6c 66 2e 5f 64 62 2e 65 78 65 )...self._db.exe
0550: 63 75 74 65 28 27 76 61 63 75 75 6d 20 61 6e 61 cute('vacuum ana
0560: 6c 79 7a 65 20 73 69 74 65 3b 27 29 0a 09 09 73 lyze site;')...s
0570: 65 6c 66 2e 5f 64 62 2e 65 78 65 63 75 74 65 28 elf._db.execute(
0580: 27 76 61 63 75 75 6d 20 61 6e 61 6c 79 7a 65 20 'vacuum analyze
0590: 75 72 6c 73 3b 27 29 0a 0a 23 20 74 68 69 73 20 urls;')..# this
05a0: 63 6c 61 73 73 65 73 20 70 72 6f 63 65 73 73 65 classes processe
05b0: 73 20 63 6f 6e 66 69 67 20 66 69 6c 65 20 61 6e s config file an
05c0: 64 20 73 75 62 73 74 69 74 75 74 65 73 20 64 65 d substitutes de
05d0: 66 61 75 6c 74 20 76 61 6c 75 65 73 0a 63 6c 61 fault values.cla
05e0: 73 73 20 43 6f 6e 66 69 67 3a 0a 09 5f 5f 73 6c ss Config:..__sl
05f0: 6f 74 73 5f 5f 20 3d 20 66 72 6f 7a 65 6e 73 65 ots__ = frozense
0600: 74 28 5b 27 5f 63 6f 6e 66 69 67 27 2c 20 27 5f t(['_config', '_
0610: 64 65 66 61 75 6c 74 27 2c 20 27 5f 73 65 63 74 default', '_sect
0620: 69 6f 6e 27 5d 29 0a 09 5f 64 65 66 61 75 6c 74 ion']).._default
0630: 20 3d 20 7b 0a 09 09 27 72 65 61 63 74 6f 72 27 = {...'reactor'
0640: 3a 20 7b 0a 09 09 09 27 72 65 61 63 74 6f 72 27 : {....'reactor'
0650: 3a 20 27 74 68 72 65 61 64 27 2c 0a 09 09 7d 2c : 'thread',...},
0660: 0a 09 09 27 6c 6f 67 27 3a 20 7b 0a 09 09 09 27 ...'log': {....'
0670: 73 69 6c 65 6e 74 27 3a 20 27 6e 6f 27 2c 0a 09 silent': 'no',..
0680: 09 7d 2c 0a 09 09 27 64 61 74 61 62 61 73 65 27 .},...'database'
0690: 3a 20 7b 0a 09 09 09 27 75 73 65 72 27 3a 20 27 : {....'user': '
06a0: 73 71 75 69 64 54 61 67 27 2c 0a 09 09 09 27 70 squidTag',....'p
06b0: 61 73 73 77 6f 72 64 27 3a 20 27 70 61 73 73 77 assword': 'passw
06c0: 6f 72 64 27 2c 0a 09 09 09 27 68 6f 73 74 27 3a ord',....'host':
06d0: 20 27 6c 6f 63 61 6c 68 6f 73 74 27 2c 0a 09 09 'localhost',...
06e0: 09 27 64 61 74 61 62 61 73 65 27 3a 20 27 73 71 .'database': 'sq
06f0: 75 69 64 54 61 67 27 2c 0a 09 09 7d 2c 0a 09 09 uidTag',...},...
0700: 27 6c 6f 61 64 65 72 27 3a 20 7b 0a 09 09 09 27 'loader': {....'
0710: 64 72 6f 70 5f 64 61 74 61 62 61 73 65 27 3a 20 drop_database':
0720: 46 61 6c 73 65 2c 0a 09 09 09 27 64 72 6f 70 5f False,....'drop_
0730: 73 69 74 65 27 3a 20 46 61 6c 73 65 2c 0a 09 7d site': False,..}
0740: 2c 7d 0a 0a 09 23 20 66 75 6e 63 74 69 6f 6e 20 ,}...# function
0750: 74 6f 20 72 65 61 64 20 69 6e 20 63 6f 6e 66 69 to read in confi
0760: 67 20 66 69 6c 65 0a 09 64 65 66 20 5f 5f 69 6e g file..def __in
0770: 69 74 5f 5f 28 73 65 6c 66 29 3a 0a 09 09 70 61 it__(self):...pa
0780: 72 73 65 72 20 3d 20 6f 70 74 70 61 72 73 65 2e rser = optparse.
0790: 4f 70 74 69 6f 6e 50 61 72 73 65 72 28 29 0a 09 OptionParser()..
07a0: 09 70 61 72 73 65 72 2e 61 64 64 5f 6f 70 74 69 .parser.add_opti
07b0: 6f 6e 28 27 2d 63 27 2c 20 27 2d 2d 63 6f 6e 66 on('-c', '--conf
07c0: 69 67 27 2c 20 64 65 73 74 20 3d 20 27 63 6f 6e ig', dest = 'con
07d0: 66 69 67 27 2c 0a 09 09 09 68 65 6c 70 20 3d 20 fig',....help =
07e0: 27 63 6f 6e 66 69 67 20 66 69 6c 65 20 6c 6f 63 'config file loc
07f0: 61 74 69 6f 6e 27 2c 20 6d 65 74 61 76 61 72 20 ation', metavar
0800: 3d 20 27 46 49 4c 45 27 2c 0a 09 09 09 64 65 66 = 'FILE',....def
0810: 61 75 6c 74 20 3d 20 27 2f 75 73 72 2f 6c 6f 63 ault = '/usr/loc
0820: 61 6c 2f 65 74 63 2f 73 71 75 69 64 2d 74 61 67 al/etc/squid-tag
0830: 67 65 72 2e 63 6f 6e 66 27 29 0a 09 09 70 61 72 ger.conf')...par
0840: 73 65 72 2e 61 64 64 5f 6f 70 74 69 6f 6e 28 27 ser.add_option('
0850: 2d 64 27 2c 20 27 2d 2d 64 72 6f 70 2d 64 61 74 -d', '--drop-dat
0860: 61 62 61 73 65 27 2c 20 64 65 73 74 20 3d 20 27 abase', dest = '
0870: 64 72 6f 70 5f 64 61 74 61 62 61 73 65 27 2c 0a drop_database',.
0880: 09 09 09 68 65 6c 70 20 3d 20 27 73 69 67 6e 61 ...help = 'signa
0890: 6c 73 20 6c 6f 61 64 65 72 20 74 6f 20 64 72 6f ls loader to dro
08a0: 70 20 70 72 65 76 69 6f 75 73 20 64 61 74 61 62 p previous datab
08b0: 61 73 65 27 2c 0a 09 09 09 61 63 74 69 6f 6e 20 ase',....action
08c0: 3d 20 27 73 74 6f 72 65 5f 74 72 75 65 27 29 0a = 'store_true').
08d0: 09 09 70 61 72 73 65 72 2e 61 64 64 5f 6f 70 74 ..parser.add_opt
08e0: 69 6f 6e 28 27 2d 44 27 2c 20 27 2d 2d 64 72 6f ion('-D', '--dro
08f0: 70 2d 73 69 74 65 27 2c 20 64 65 73 74 20 3d 20 p-site', dest =
0900: 27 64 72 6f 70 5f 73 69 74 65 27 2c 0a 09 09 09 'drop_site',....
0910: 68 65 6c 70 20 3d 20 27 73 69 67 6e 61 6c 73 20 help = 'signals
0920: 6c 6f 61 64 65 72 20 74 6f 20 64 72 6f 70 20 6e loader to drop n
0930: 6f 74 20 6f 6e 6c 79 20 75 72 6c 20 64 65 66 69 ot only url defi
0940: 6e 69 74 69 6f 6e 73 20 62 75 74 20 73 69 74 65 nitions but site
0950: 20 69 6e 64 65 78 20 74 6f 6f 27 2c 0a 09 09 09 index too',....
0960: 61 63 74 69 6f 6e 20 3d 20 27 73 74 6f 72 65 5f action = 'store_
0970: 74 72 75 65 27 29 0a 0a 09 09 28 6f 70 74 69 6f true')....(optio
0980: 6e 73 2c 20 61 72 67 73 29 20 3d 20 70 61 72 73 ns, args) = pars
0990: 65 72 2e 70 61 72 73 65 5f 61 72 67 73 28 29 0a er.parse_args().
09a0: 0a 09 09 69 66 20 6f 70 74 69 6f 6e 73 2e 64 72 ...if options.dr
09b0: 6f 70 5f 64 61 74 61 62 61 73 65 3a 0a 09 09 09 op_database:....
09c0: 73 65 6c 66 2e 5f 64 65 66 61 75 6c 74 5b 27 6c self._default['l
09d0: 6f 61 64 65 72 27 5d 5b 27 64 72 6f 70 5f 64 61 oader']['drop_da
09e0: 74 61 62 61 73 65 27 5d 20 3d 20 54 72 75 65 0a tabase'] = True.
09f0: 0a 09 09 69 66 20 6f 70 74 69 6f 6e 73 2e 64 72 ...if options.dr
0a00: 6f 70 5f 73 69 74 65 3a 0a 09 09 09 73 65 6c 66 op_site:....self
0a10: 2e 5f 64 65 66 61 75 6c 74 5b 27 6c 6f 61 64 65 ._default['loade
0a20: 72 27 5d 5b 27 64 72 6f 70 5f 73 69 74 65 27 5d r']['drop_site']
0a30: 20 3d 20 54 72 75 65 0a 0a 09 09 69 66 20 6e 6f = True....if no
0a40: 74 20 6f 73 2e 61 63 63 65 73 73 28 6f 70 74 69 t os.access(opti
0a50: 6f 6e 73 2e 63 6f 6e 66 69 67 2c 20 6f 73 2e 52 ons.config, os.R
0a60: 5f 4f 4b 29 3a 0a 09 09 09 70 72 69 6e 74 28 22 _OK):....print("
0a70: 43 61 6e 27 74 20 72 65 61 64 20 7b 7d 3a 20 65 Can't read {}: e
0a80: 78 69 74 74 69 6e 67 22 2e 66 6f 72 6d 61 74 28 xitting".format(
0a90: 6f 70 74 69 6f 6e 73 2e 63 6f 6e 66 69 67 29 29 options.config))
0aa0: 0a 09 09 09 73 79 73 2e 65 78 69 74 28 32 29 0a ....sys.exit(2).
0ab0: 0a 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 20 ...self._config
0ac0: 3d 20 63 6f 6e 66 69 67 70 61 72 73 65 72 2e 43 = configparser.C
0ad0: 6f 6e 66 69 67 50 61 72 73 65 72 28 29 0a 09 09 onfigParser()...
0ae0: 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 72 65 61 self._config.rea
0af0: 64 66 70 28 6f 70 65 6e 28 6f 70 74 69 6f 6e 73 dfp(open(options
0b00: 2e 63 6f 6e 66 69 67 29 29 0a 0a 09 23 20 66 75 .config))...# fu
0b10: 6e 63 74 69 6f 6e 20 74 6f 20 73 65 6c 65 63 74 nction to select
0b20: 20 63 6f 6e 66 69 67 20 66 69 6c 65 20 73 65 63 config file sec
0b30: 74 69 6f 6e 20 6f 72 20 63 72 65 61 74 65 20 6f tion or create o
0b40: 6e 65 0a 09 64 65 66 20 73 65 63 74 69 6f 6e 28 ne..def section(
0b50: 73 65 6c 66 2c 20 73 65 63 74 69 6f 6e 29 3a 0a self, section):.
0b60: 09 09 69 66 20 6e 6f 74 20 73 65 6c 66 2e 5f 63 ..if not self._c
0b70: 6f 6e 66 69 67 2e 68 61 73 5f 73 65 63 74 69 6f onfig.has_sectio
0b80: 6e 28 73 65 63 74 69 6f 6e 29 3a 0a 09 09 09 73 n(section):....s
0b90: 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 61 64 64 5f elf._config.add_
0ba0: 73 65 63 74 69 6f 6e 28 73 65 63 74 69 6f 6e 29 section(section)
0bb0: 0a 09 09 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e ...self._section
0bc0: 20 3d 20 73 65 63 74 69 6f 6e 0a 0a 09 23 20 66 = section...# f
0bd0: 75 6e 63 74 69 6f 6e 20 74 6f 20 67 65 74 20 63 unction to get c
0be0: 6f 6e 66 69 67 20 70 61 72 61 6d 65 74 65 72 2c onfig parameter,
0bf0: 20 69 66 20 70 61 72 61 6d 65 74 65 72 20 64 6f if parameter do
0c00: 65 73 6e 27 74 20 65 78 69 73 74 73 20 74 68 65 esn't exists the
0c10: 20 64 65 66 61 75 6c 74 0a 09 23 20 76 61 6c 75 default..# valu
0c20: 65 20 6f 72 20 4e 6f 6e 65 20 69 73 20 73 75 62 e or None is sub
0c30: 73 74 69 74 75 74 65 64 0a 09 64 65 66 20 5f 5f stituted..def __
0c40: 67 65 74 69 74 65 6d 5f 5f 28 73 65 6c 66 2c 20 getitem__(self,
0c50: 6e 61 6d 65 29 3a 0a 09 09 69 66 20 6e 6f 74 20 name):...if not
0c60: 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 20 69 6e self._section in
0c70: 20 73 65 6c 66 2e 5f 64 65 66 61 75 6c 74 20 6f self._default o
0c80: 72 20 6e 6f 74 20 6e 61 6d 65 20 69 6e 20 73 65 r not name in se
0c90: 6c 66 2e 5f 64 65 66 61 75 6c 74 5b 73 65 6c 66 lf._default[self
0ca0: 2e 5f 73 65 63 74 69 6f 6e 5d 3a 0a 09 09 09 72 ._section]:....r
0cb0: 65 74 75 72 6e 20 4e 6f 6e 65 0a 09 09 69 66 20 eturn None...if
0cc0: 6e 6f 74 20 74 79 70 65 28 73 65 6c 66 2e 5f 64 not type(self._d
0cd0: 65 66 61 75 6c 74 5b 73 65 6c 66 2e 5f 73 65 63 efault[self._sec
0ce0: 74 69 6f 6e 5d 5b 6e 61 6d 65 5d 29 20 3d 3d 20 tion][name]) ==
0cf0: 74 79 70 65 28 54 72 75 65 29 3a 0a 09 09 09 69 type(True):....i
0d00: 66 20 6e 6f 74 20 73 65 6c 66 2e 5f 63 6f 6e 66 f not self._conf
0d10: 69 67 2e 68 61 73 5f 6f 70 74 69 6f 6e 28 73 65 ig.has_option(se
0d20: 6c 66 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e 61 6d lf._section, nam
0d30: 65 29 3a 0a 09 09 09 09 73 65 6c 66 2e 5f 63 6f e):.....self._co
0d40: 6e 66 69 67 2e 73 65 74 28 73 65 6c 66 2e 5f 73 nfig.set(self._s
0d50: 65 63 74 69 6f 6e 2c 20 6e 61 6d 65 2c 20 73 65 ection, name, se
0d60: 6c 66 2e 5f 64 65 66 61 75 6c 74 5b 73 65 6c 66 lf._default[self
0d70: 2e 5f 73 65 63 74 69 6f 6e 5d 5b 6e 61 6d 65 5d ._section][name]
0d80: 29 0a 09 09 09 72 65 74 75 72 6e 28 73 65 6c 66 )....return(self
0d90: 2e 5f 63 6f 6e 66 69 67 2e 67 65 74 28 73 65 6c ._config.get(sel
0da0: 66 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e 61 6d 65 f._section, name
0db0: 29 29 0a 09 09 65 6c 73 65 3a 0a 09 09 09 69 66 ))...else:....if
0dc0: 20 6e 6f 74 20 73 65 6c 66 2e 5f 63 6f 6e 66 69 not self._confi
0dd0: 67 2e 68 61 73 5f 6f 70 74 69 6f 6e 28 73 65 6c g.has_option(sel
0de0: 66 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e 61 6d 65 f._section, name
0df0: 29 3a 0a 09 09 09 09 73 65 6c 66 2e 5f 63 6f 6e ):.....self._con
0e00: 66 69 67 2e 73 65 74 28 73 65 6c 66 2e 5f 73 65 fig.set(self._se
0e10: 63 74 69 6f 6e 2c 20 6e 61 6d 65 2c 20 72 65 70 ction, name, rep
0e20: 72 28 73 65 6c 66 2e 5f 64 65 66 61 75 6c 74 5b r(self._default[
0e30: 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 5d 5b 6e self._section][n
0e40: 61 6d 65 5d 29 29 0a 09 09 09 72 65 74 75 72 6e ame]))....return
0e50: 28 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 67 65 (self._config.ge
0e60: 74 62 6f 6f 6c 65 61 6e 28 73 65 6c 66 2e 5f 73 tboolean(self._s
0e70: 65 63 74 69 6f 6e 2c 20 6e 61 6d 65 29 29 0a 0a ection, name))..
0e80: 23 20 69 6e 69 74 69 61 6c 69 7a 69 6e 67 20 61 # initializing a
0e90: 6e 64 20 72 65 61 64 69 6e 67 20 69 6e 20 63 6f nd reading in co
0ea0: 6e 66 69 67 20 66 69 6c 65 0a 63 6f 6e 66 69 67 nfig file.config
0eb0: 20 3d 20 43 6f 6e 66 69 67 28 29 0a 0a 74 61 67 = Config()..tag
0ec0: 64 62 20 3d 20 74 61 67 44 42 28 29 0a 0a 63 73 db = tagDB()..cs
0ed0: 76 5f 72 65 61 64 65 72 20 3d 20 63 73 76 2e 72 v_reader = csv.r
0ee0: 65 61 64 65 72 28 73 79 73 2e 73 74 64 69 6e 29 eader(sys.stdin)
0ef0: 0a 66 69 72 73 74 5f 72 6f 77 20 3d 20 6e 65 78 .first_row = nex
0f00: 74 28 63 73 76 5f 72 65 61 64 65 72 29 0a 69 66 t(csv_reader).if
0f10: 20 6e 6f 74 20 66 69 72 73 74 5f 72 6f 77 20 3d not first_row =
0f20: 3d 20 5b 27 73 69 74 65 27 2c 20 27 74 61 67 73 = ['site', 'tags
0f30: 27 2c 20 27 72 65 67 65 78 70 27 5d 3a 0a 09 70 ', 'regexp']:..p
0f40: 72 69 6e 74 28 27 46 69 6c 65 20 6d 75 73 74 20 rint('File must
0f50: 63 6f 6e 74 61 69 6e 20 63 73 76 20 64 61 74 61 contain csv data
0f60: 20 77 69 74 68 20 74 68 72 65 65 20 63 6f 6c 75 with three colu
0f70: 6d 6e 73 3a 20 22 73 69 74 65 22 2c 20 22 74 61 mns: "site", "ta
0f80: 67 73 22 20 61 6e 64 20 22 72 65 67 65 78 70 22 gs" and "regexp"
0f90: 2e 27 29 0a 09 73 79 73 2e 65 78 69 74 28 31 29 .')..sys.exit(1)
0fa0: 0a 74 61 67 64 62 2e 6c 6f 61 64 28 63 73 76 5f .tagdb.load(csv_
0fb0: 72 65 61 64 65 72 29 0a reader).