0000: 23 21 2f 75 73 72 2f 62 69 6e 2f 65 6e 76 20 70 #!/usr/bin/env p
0010: 79 74 68 6f 6e 33 2e 31 0a 0a 69 6d 70 6f 72 74 ython3.1..import
0020: 20 63 6f 6e 66 69 67 70 61 72 73 65 72 2c 20 63 configparser, c
0030: 73 76 2c 20 6f 70 74 70 61 72 73 65 2c 20 6f 73 sv, optparse, os
0040: 2c 20 70 6f 73 74 67 72 65 73 71 6c 2e 61 70 69 , postgresql.api
0050: 2c 20 72 65 2c 20 73 79 73 0a 0a 23 20 77 72 61 , re, sys..# wra
0060: 70 70 65 72 20 61 72 6f 75 6e 64 20 73 79 73 6c pper around sysl
0070: 6f 67 2c 20 63 61 6e 20 62 65 20 6d 75 74 65 64 og, can be muted
0080: 0a 63 6c 61 73 73 20 4c 6f 67 67 65 72 3a 0a 09 .class Logger:..
0090: 5f 5f 73 6c 6f 74 73 5f 5f 20 3d 20 66 72 6f 7a __slots__ = froz
00a0: 65 6e 73 65 74 28 5b 27 5f 73 79 73 6c 6f 67 27 enset(['_syslog'
00b0: 5d 29 0a 0a 09 64 65 66 20 5f 5f 69 6e 69 74 5f ])...def __init_
00c0: 5f 28 73 65 6c 66 29 3a 0a 09 09 63 6f 6e 66 69 _(self):...confi
00d0: 67 2e 73 65 63 74 69 6f 6e 28 27 6c 6f 67 27 29 g.section('log')
00e0: 0a 09 09 69 66 20 63 6f 6e 66 69 67 5b 27 73 69 ...if config['si
00f0: 6c 65 6e 74 27 5d 20 3d 3d 20 27 79 65 73 27 3a lent'] == 'yes':
0100: 0a 09 09 09 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 ....self._syslog
0110: 20 3d 20 4e 6f 6e 65 0a 09 09 65 6c 73 65 3a 0a = None...else:.
0120: 09 09 09 69 6d 70 6f 72 74 20 73 79 73 6c 6f 67 ...import syslog
0130: 0a 09 09 09 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 ....self._syslog
0140: 20 3d 20 73 79 73 6c 6f 67 0a 09 09 09 73 65 6c = syslog....sel
0150: 66 2e 5f 73 79 73 6c 6f 67 2e 6f 70 65 6e 6c 6f f._syslog.openlo
0160: 67 28 27 73 71 75 69 64 54 61 67 27 29 0a 0a 09 g('squidTag')...
0170: 64 65 66 20 69 6e 66 6f 28 73 65 6c 66 2c 20 6d def info(self, m
0180: 65 73 73 61 67 65 29 3a 0a 09 09 69 66 20 73 65 essage):...if se
0190: 6c 66 2e 5f 73 79 73 6c 6f 67 3a 0a 09 09 09 73 lf._syslog:....s
01a0: 65 6c 66 2e 5f 73 79 73 6c 6f 67 2e 73 79 73 6c elf._syslog.sysl
01b0: 6f 67 28 73 65 6c 66 2e 5f 73 79 73 6c 6f 67 2e og(self._syslog.
01c0: 4c 4f 47 5f 49 4e 46 4f 2c 20 6d 65 73 73 61 67 LOG_INFO, messag
01d0: 65 29 0a 0a 09 64 65 66 20 6e 6f 74 69 63 65 28 e)...def notice(
01e0: 73 65 6c 66 2c 20 6d 65 73 73 61 67 65 29 3a 0a self, message):.
01f0: 09 09 69 66 20 73 65 6c 66 2e 5f 73 79 73 6c 6f ..if self._syslo
0200: 67 3a 0a 09 09 09 73 65 6c 66 2e 5f 73 79 73 6c g:....self._sysl
0210: 6f 67 2e 73 79 73 6c 6f 67 28 73 65 6c 66 2e 5f og.syslog(self._
0220: 73 79 73 6c 6f 67 2e 4c 4f 47 5f 4e 4f 54 49 43 syslog.LOG_NOTIC
0230: 45 2c 20 6d 65 73 73 61 67 65 29 0a 0a 23 20 77 E, message)..# w
0240: 72 61 70 70 65 72 20 61 72 6f 75 6e 64 20 64 61 rapper around da
0250: 74 61 62 61 73 65 0a 63 6c 61 73 73 20 74 61 67 tabase.class tag
0260: 44 42 3a 0a 09 5f 5f 73 6c 6f 74 73 5f 5f 20 3d DB:..__slots__ =
0270: 20 66 72 6f 7a 65 6e 73 65 74 28 5b 27 5f 70 72 frozenset(['_pr
0280: 65 70 61 72 65 64 27 2c 20 27 5f 64 62 27 5d 29 epared', '_db'])
0290: 0a 0a 09 64 65 66 20 5f 5f 69 6e 69 74 5f 5f 28 ...def __init__(
02a0: 73 65 6c 66 29 3a 0a 09 09 73 65 6c 66 2e 5f 70 self):...self._p
02b0: 72 65 70 61 72 65 64 20 3d 20 73 65 74 28 29 0a repared = set().
02c0: 09 09 63 6f 6e 66 69 67 2e 73 65 63 74 69 6f 6e ..config.section
02d0: 28 27 64 61 74 61 62 61 73 65 27 29 0a 09 09 73 ('database')...s
02e0: 65 6c 66 2e 5f 64 62 20 3d 20 70 6f 73 74 67 72 elf._db = postgr
02f0: 65 73 71 6c 2e 6f 70 65 6e 28 0a 09 09 09 27 70 esql.open(....'p
0300: 71 3a 2f 2f 7b 7d 3a 7b 7d 40 7b 7d 2f 7b 7d 27 q://{}:{}@{}/{}'
0310: 2e 66 6f 72 6d 61 74 28 0a 09 09 09 09 63 6f 6e .format(.....con
0320: 66 69 67 5b 27 75 73 65 72 27 5d 2c 0a 09 09 09 fig['user'],....
0330: 09 63 6f 6e 66 69 67 5b 27 70 61 73 73 77 6f 72 .config['passwor
0340: 64 27 5d 2c 0a 09 09 09 09 63 6f 6e 66 69 67 5b d'],.....config[
0350: 27 68 6f 73 74 27 5d 2c 0a 09 09 09 09 63 6f 6e 'host'],.....con
0360: 66 69 67 5b 27 64 61 74 61 62 61 73 65 27 5d 2c fig['database'],
0370: 0a 09 09 29 20 29 0a 0a 09 64 65 66 20 6c 6f 61 ...) )...def loa
0380: 64 28 73 65 6c 66 2c 20 63 73 76 5f 64 61 74 61 d(self, csv_data
0390: 29 3a 0a 09 09 69 6e 73 65 72 74 20 3d 20 73 65 ):...insert = se
03a0: 6c 66 2e 5f 64 62 2e 70 72 65 70 61 72 65 28 22 lf._db.prepare("
03b0: 73 65 6c 65 63 74 20 73 65 74 28 24 31 2c 20 24 select set($1, $
03c0: 32 2c 20 24 33 29 22 29 0a 09 09 77 69 74 68 20 2, $3)")...with
03d0: 73 65 6c 66 2e 5f 64 62 2e 78 61 63 74 28 29 3a self._db.xact():
03e0: 0a 09 09 09 63 6f 6e 66 69 67 2e 73 65 63 74 69 ....config.secti
03f0: 6f 6e 28 27 6c 6f 61 64 65 72 27 29 0a 09 09 09 on('loader')....
0400: 69 66 20 63 6f 6e 66 69 67 5b 27 64 72 6f 70 5f if config['drop_
0410: 64 61 74 61 62 61 73 65 27 5d 3a 0a 09 09 09 09 database']:.....
0420: 73 65 6c 66 2e 5f 64 62 2e 65 78 65 63 75 74 65 self._db.execute
0430: 28 27 64 65 6c 65 74 65 20 66 72 6f 6d 20 75 72 ('delete from ur
0440: 6c 73 3b 27 29 0a 09 09 09 09 69 66 20 63 6f 6e ls;').....if con
0450: 66 69 67 5b 27 64 72 6f 70 5f 73 69 74 65 27 5d fig['drop_site']
0460: 3a 0a 09 09 09 09 09 73 65 6c 66 2e 5f 64 62 2e :......self._db.
0470: 65 78 65 63 75 74 65 28 27 64 65 6c 65 74 65 20 execute('delete
0480: 66 72 6f 6d 20 73 69 74 65 3b 27 29 3b 0a 09 09 from site;');...
0490: 09 66 6f 72 20 72 6f 77 20 69 6e 20 63 73 76 5f .for row in csv_
04a0: 64 61 74 61 3a 0a 09 09 09 09 69 6e 73 65 72 74 data:.....insert
04b0: 28 72 6f 77 5b 30 5d 2c 20 72 6f 77 5b 31 5d 2c (row[0], row[1],
04c0: 20 72 6f 77 5b 32 5d 29 0a 09 09 73 65 6c 66 2e row[2])...self.
04d0: 5f 64 62 2e 65 78 65 63 75 74 65 28 27 76 61 63 _db.execute('vac
04e0: 75 75 6d 20 61 6e 61 6c 79 7a 65 20 73 69 74 65 uum analyze site
04f0: 3b 27 29 0a 09 09 73 65 6c 66 2e 5f 64 62 2e 65 ;')...self._db.e
0500: 78 65 63 75 74 65 28 27 76 61 63 75 75 6d 20 61 xecute('vacuum a
0510: 6e 61 6c 79 7a 65 20 75 72 6c 73 3b 27 29 0a 0a nalyze urls;')..
0520: 23 20 74 68 69 73 20 63 6c 61 73 73 65 73 20 70 # this classes p
0530: 72 6f 63 65 73 73 65 73 20 63 6f 6e 66 69 67 20 rocesses config
0540: 66 69 6c 65 20 61 6e 64 20 73 75 62 73 74 69 74 file and substit
0550: 75 74 65 73 20 64 65 66 61 75 6c 74 20 76 61 6c utes default val
0560: 75 65 73 0a 63 6c 61 73 73 20 43 6f 6e 66 69 67 ues.class Config
0570: 3a 0a 09 5f 5f 73 6c 6f 74 73 5f 5f 20 3d 20 66 :..__slots__ = f
0580: 72 6f 7a 65 6e 73 65 74 28 5b 27 5f 63 6f 6e 66 rozenset(['_conf
0590: 69 67 27 2c 20 27 5f 64 65 66 61 75 6c 74 27 2c ig', '_default',
05a0: 20 27 5f 73 65 63 74 69 6f 6e 27 5d 29 0a 09 5f '_section']).._
05b0: 64 65 66 61 75 6c 74 20 3d 20 7b 0a 09 09 27 72 default = {...'r
05c0: 65 61 63 74 6f 72 27 3a 20 7b 0a 09 09 09 27 72 eactor': {....'r
05d0: 65 61 63 74 6f 72 27 3a 20 27 74 68 72 65 61 64 eactor': 'thread
05e0: 27 2c 0a 09 09 7d 2c 0a 09 09 27 6c 6f 67 27 3a ',...},...'log':
05f0: 20 7b 0a 09 09 09 27 73 69 6c 65 6e 74 27 3a 20 {....'silent':
0600: 27 6e 6f 27 2c 0a 09 09 7d 2c 0a 09 09 27 64 61 'no',...},...'da
0610: 74 61 62 61 73 65 27 3a 20 7b 0a 09 09 09 27 75 tabase': {....'u
0620: 73 65 72 27 3a 20 27 73 71 75 69 64 54 61 67 27 ser': 'squidTag'
0630: 2c 0a 09 09 09 27 70 61 73 73 77 6f 72 64 27 3a ,....'password':
0640: 20 27 70 61 73 73 77 6f 72 64 27 2c 0a 09 09 09 'password',....
0650: 27 68 6f 73 74 27 3a 20 27 6c 6f 63 61 6c 68 6f 'host': 'localho
0660: 73 74 27 2c 0a 09 09 09 27 64 61 74 61 62 61 73 st',....'databas
0670: 65 27 3a 20 27 73 71 75 69 64 54 61 67 27 2c 0a e': 'squidTag',.
0680: 09 09 7d 2c 0a 09 09 27 6c 6f 61 64 65 72 27 3a ..},...'loader':
0690: 20 7b 0a 09 09 09 27 64 72 6f 70 5f 64 61 74 61 {....'drop_data
06a0: 62 61 73 65 27 3a 20 46 61 6c 73 65 2c 0a 09 09 base': False,...
06b0: 09 27 64 72 6f 70 5f 73 69 74 65 27 3a 20 46 61 .'drop_site': Fa
06c0: 6c 73 65 2c 0a 09 7d 2c 7d 0a 0a 09 23 20 66 75 lse,..},}...# fu
06d0: 6e 63 74 69 6f 6e 20 74 6f 20 72 65 61 64 20 69 nction to read i
06e0: 6e 20 63 6f 6e 66 69 67 20 66 69 6c 65 0a 09 64 n config file..d
06f0: 65 66 20 5f 5f 69 6e 69 74 5f 5f 28 73 65 6c 66 ef __init__(self
0700: 29 3a 0a 09 09 70 61 72 73 65 72 20 3d 20 6f 70 ):...parser = op
0710: 74 70 61 72 73 65 2e 4f 70 74 69 6f 6e 50 61 72 tparse.OptionPar
0720: 73 65 72 28 29 0a 09 09 70 61 72 73 65 72 2e 61 ser()...parser.a
0730: 64 64 5f 6f 70 74 69 6f 6e 28 27 2d 63 27 2c 20 dd_option('-c',
0740: 27 2d 2d 63 6f 6e 66 69 67 27 2c 20 64 65 73 74 '--config', dest
0750: 20 3d 20 27 63 6f 6e 66 69 67 27 2c 0a 09 09 09 = 'config',....
0760: 68 65 6c 70 20 3d 20 27 63 6f 6e 66 69 67 20 66 help = 'config f
0770: 69 6c 65 20 6c 6f 63 61 74 69 6f 6e 27 2c 20 6d ile location', m
0780: 65 74 61 76 61 72 20 3d 20 27 46 49 4c 45 27 2c etavar = 'FILE',
0790: 0a 09 09 09 64 65 66 61 75 6c 74 20 3d 20 27 2f ....default = '/
07a0: 75 73 72 2f 6c 6f 63 61 6c 2f 65 74 63 2f 73 71 usr/local/etc/sq
07b0: 75 69 64 2d 74 61 67 67 65 72 2e 63 6f 6e 66 27 uid-tagger.conf'
07c0: 29 0a 09 09 70 61 72 73 65 72 2e 61 64 64 5f 6f )...parser.add_o
07d0: 70 74 69 6f 6e 28 27 2d 64 27 2c 20 27 2d 2d 64 ption('-d', '--d
07e0: 72 6f 70 2d 64 61 74 61 62 61 73 65 27 2c 20 64 rop-database', d
07f0: 65 73 74 20 3d 20 27 64 72 6f 70 5f 64 61 74 61 est = 'drop_data
0800: 62 61 73 65 27 2c 0a 09 09 09 68 65 6c 70 20 3d base',....help =
0810: 20 27 73 69 67 6e 61 6c 73 20 6c 6f 61 64 65 72 'signals loader
0820: 20 74 6f 20 64 72 6f 70 20 70 72 65 76 69 6f 75 to drop previou
0830: 73 20 64 61 74 61 62 61 73 65 27 2c 0a 09 09 09 s database',....
0840: 61 63 74 69 6f 6e 20 3d 20 27 73 74 6f 72 65 5f action = 'store_
0850: 74 72 75 65 27 29 0a 09 09 70 61 72 73 65 72 2e true')...parser.
0860: 61 64 64 5f 6f 70 74 69 6f 6e 28 27 2d 44 27 2c add_option('-D',
0870: 20 27 2d 2d 64 72 6f 70 2d 73 69 74 65 27 2c 20 '--drop-site',
0880: 64 65 73 74 20 3d 20 27 64 72 6f 70 5f 73 69 74 dest = 'drop_sit
0890: 65 27 2c 0a 09 09 09 68 65 6c 70 20 3d 20 27 73 e',....help = 's
08a0: 69 67 6e 61 6c 73 20 6c 6f 61 64 65 72 20 74 6f ignals loader to
08b0: 20 64 72 6f 70 20 6e 6f 74 20 6f 6e 6c 79 20 75 drop not only u
08c0: 72 6c 20 64 65 66 69 6e 69 74 69 6f 6e 73 20 62 rl definitions b
08d0: 75 74 20 73 69 74 65 20 69 6e 64 65 78 20 74 6f ut site index to
08e0: 6f 27 2c 0a 09 09 09 61 63 74 69 6f 6e 20 3d 20 o',....action =
08f0: 27 73 74 6f 72 65 5f 74 72 75 65 27 29 0a 0a 09 'store_true')...
0900: 09 28 6f 70 74 69 6f 6e 73 2c 20 61 72 67 73 29 .(options, args)
0910: 20 3d 20 70 61 72 73 65 72 2e 70 61 72 73 65 5f = parser.parse_
0920: 61 72 67 73 28 29 0a 0a 09 09 69 66 20 6f 70 74 args()....if opt
0930: 69 6f 6e 73 2e 64 72 6f 70 5f 64 61 74 61 62 61 ions.drop_databa
0940: 73 65 3a 0a 09 09 09 73 65 6c 66 2e 5f 64 65 66 se:....self._def
0950: 61 75 6c 74 5b 27 6c 6f 61 64 65 72 27 5d 5b 27 ault['loader']['
0960: 64 72 6f 70 5f 64 61 74 61 62 61 73 65 27 5d 20 drop_database']
0970: 3d 20 54 72 75 65 0a 0a 09 09 69 66 20 6f 70 74 = True....if opt
0980: 69 6f 6e 73 2e 64 72 6f 70 5f 73 69 74 65 3a 0a ions.drop_site:.
0990: 09 09 09 73 65 6c 66 2e 5f 64 65 66 61 75 6c 74 ...self._default
09a0: 5b 27 6c 6f 61 64 65 72 27 5d 5b 27 64 72 6f 70 ['loader']['drop
09b0: 5f 73 69 74 65 27 5d 20 3d 20 54 72 75 65 0a 0a _site'] = True..
09c0: 09 09 69 66 20 6e 6f 74 20 6f 73 2e 61 63 63 65 ..if not os.acce
09d0: 73 73 28 6f 70 74 69 6f 6e 73 2e 63 6f 6e 66 69 ss(options.confi
09e0: 67 2c 20 6f 73 2e 52 5f 4f 4b 29 3a 0a 09 09 09 g, os.R_OK):....
09f0: 70 72 69 6e 74 28 22 43 61 6e 27 74 20 72 65 61 print("Can't rea
0a00: 64 20 7b 7d 3a 20 65 78 69 74 74 69 6e 67 22 2e d {}: exitting".
0a10: 66 6f 72 6d 61 74 28 6f 70 74 69 6f 6e 73 2e 63 format(options.c
0a20: 6f 6e 66 69 67 29 29 0a 09 09 09 73 79 73 2e 65 onfig))....sys.e
0a30: 78 69 74 28 32 29 0a 0a 09 09 73 65 6c 66 2e 5f xit(2)....self._
0a40: 63 6f 6e 66 69 67 20 3d 20 63 6f 6e 66 69 67 70 config = configp
0a50: 61 72 73 65 72 2e 43 6f 6e 66 69 67 50 61 72 73 arser.ConfigPars
0a60: 65 72 28 29 0a 09 09 73 65 6c 66 2e 5f 63 6f 6e er()...self._con
0a70: 66 69 67 2e 72 65 61 64 66 70 28 6f 70 65 6e 28 fig.readfp(open(
0a80: 6f 70 74 69 6f 6e 73 2e 63 6f 6e 66 69 67 29 29 options.config))
0a90: 0a 0a 09 23 20 66 75 6e 63 74 69 6f 6e 20 74 6f ...# function to
0aa0: 20 73 65 6c 65 63 74 20 63 6f 6e 66 69 67 20 66 select config f
0ab0: 69 6c 65 20 73 65 63 74 69 6f 6e 20 6f 72 20 63 ile section or c
0ac0: 72 65 61 74 65 20 6f 6e 65 0a 09 64 65 66 20 73 reate one..def s
0ad0: 65 63 74 69 6f 6e 28 73 65 6c 66 2c 20 73 65 63 ection(self, sec
0ae0: 74 69 6f 6e 29 3a 0a 09 09 69 66 20 6e 6f 74 20 tion):...if not
0af0: 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 68 61 73 self._config.has
0b00: 5f 73 65 63 74 69 6f 6e 28 73 65 63 74 69 6f 6e _section(section
0b10: 29 3a 0a 09 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 ):....self._conf
0b20: 69 67 2e 61 64 64 5f 73 65 63 74 69 6f 6e 28 73 ig.add_section(s
0b30: 65 63 74 69 6f 6e 29 0a 09 09 73 65 6c 66 2e 5f ection)...self._
0b40: 73 65 63 74 69 6f 6e 20 3d 20 73 65 63 74 69 6f section = sectio
0b50: 6e 0a 0a 09 23 20 66 75 6e 63 74 69 6f 6e 20 74 n...# function t
0b60: 6f 20 67 65 74 20 63 6f 6e 66 69 67 20 70 61 72 o get config par
0b70: 61 6d 65 74 65 72 2c 20 69 66 20 70 61 72 61 6d ameter, if param
0b80: 65 74 65 72 20 64 6f 65 73 6e 27 74 20 65 78 69 eter doesn't exi
0b90: 73 74 73 20 74 68 65 20 64 65 66 61 75 6c 74 0a sts the default.
0ba0: 09 23 20 76 61 6c 75 65 20 6f 72 20 4e 6f 6e 65 .# value or None
0bb0: 20 69 73 20 73 75 62 73 74 69 74 75 74 65 64 0a is substituted.
0bc0: 09 64 65 66 20 5f 5f 67 65 74 69 74 65 6d 5f 5f .def __getitem__
0bd0: 28 73 65 6c 66 2c 20 6e 61 6d 65 29 3a 0a 09 09 (self, name):...
0be0: 69 66 20 6e 6f 74 20 73 65 6c 66 2e 5f 73 65 63 if not self._sec
0bf0: 74 69 6f 6e 20 69 6e 20 73 65 6c 66 2e 5f 64 65 tion in self._de
0c00: 66 61 75 6c 74 20 6f 72 20 6e 6f 74 20 6e 61 6d fault or not nam
0c10: 65 20 69 6e 20 73 65 6c 66 2e 5f 64 65 66 61 75 e in self._defau
0c20: 6c 74 5b 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e lt[self._section
0c30: 5d 3a 0a 09 09 09 72 65 74 75 72 6e 20 4e 6f 6e ]:....return Non
0c40: 65 0a 09 09 69 66 20 6e 6f 74 20 74 79 70 65 28 e...if not type(
0c50: 73 65 6c 66 2e 5f 64 65 66 61 75 6c 74 5b 73 65 self._default[se
0c60: 6c 66 2e 5f 73 65 63 74 69 6f 6e 5d 5b 6e 61 6d lf._section][nam
0c70: 65 5d 29 20 3d 3d 20 74 79 70 65 28 54 72 75 65 e]) == type(True
0c80: 29 3a 0a 09 09 09 69 66 20 6e 6f 74 20 73 65 6c ):....if not sel
0c90: 66 2e 5f 63 6f 6e 66 69 67 2e 68 61 73 5f 6f 70 f._config.has_op
0ca0: 74 69 6f 6e 28 73 65 6c 66 2e 5f 73 65 63 74 69 tion(self._secti
0cb0: 6f 6e 2c 20 6e 61 6d 65 29 3a 0a 09 09 09 09 73 on, name):.....s
0cc0: 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 73 65 74 28 elf._config.set(
0cd0: 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e self._section, n
0ce0: 61 6d 65 2c 20 73 65 6c 66 2e 5f 64 65 66 61 75 ame, self._defau
0cf0: 6c 74 5b 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e lt[self._section
0d00: 5d 5b 6e 61 6d 65 5d 29 0a 09 09 09 72 65 74 75 ][name])....retu
0d10: 72 6e 28 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e rn(self._config.
0d20: 67 65 74 28 73 65 6c 66 2e 5f 73 65 63 74 69 6f get(self._sectio
0d30: 6e 2c 20 6e 61 6d 65 29 29 0a 09 09 65 6c 73 65 n, name))...else
0d40: 3a 0a 09 09 09 69 66 20 6e 6f 74 20 73 65 6c 66 :....if not self
0d50: 2e 5f 63 6f 6e 66 69 67 2e 68 61 73 5f 6f 70 74 ._config.has_opt
0d60: 69 6f 6e 28 73 65 6c 66 2e 5f 73 65 63 74 69 6f ion(self._sectio
0d70: 6e 2c 20 6e 61 6d 65 29 3a 0a 09 09 09 09 73 65 n, name):.....se
0d80: 6c 66 2e 5f 63 6f 6e 66 69 67 2e 73 65 74 28 73 lf._config.set(s
0d90: 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e 61 elf._section, na
0da0: 6d 65 2c 20 72 65 70 72 28 73 65 6c 66 2e 5f 64 me, repr(self._d
0db0: 65 66 61 75 6c 74 5b 73 65 6c 66 2e 5f 73 65 63 efault[self._sec
0dc0: 74 69 6f 6e 5d 5b 6e 61 6d 65 5d 29 29 0a 09 09 tion][name]))...
0dd0: 09 72 65 74 75 72 6e 28 73 65 6c 66 2e 5f 63 6f .return(self._co
0de0: 6e 66 69 67 2e 67 65 74 62 6f 6f 6c 65 61 6e 28 nfig.getboolean(
0df0: 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e self._section, n
0e00: 61 6d 65 29 29 0a 0a 23 20 69 6e 69 74 69 61 6c ame))..# initial
0e10: 69 7a 69 6e 67 20 61 6e 64 20 72 65 61 64 69 6e izing and readin
0e20: 67 20 69 6e 20 63 6f 6e 66 69 67 20 66 69 6c 65 g in config file
0e30: 0a 63 6f 6e 66 69 67 20 3d 20 43 6f 6e 66 69 67 .config = Config
0e40: 28 29 0a 0a 74 61 67 64 62 20 3d 20 74 61 67 44 ()..tagdb = tagD
0e50: 42 28 29 0a 0a 63 73 76 5f 72 65 61 64 65 72 20 B()..csv_reader
0e60: 3d 20 63 73 76 2e 72 65 61 64 65 72 28 73 79 73 = csv.reader(sys
0e70: 2e 73 74 64 69 6e 29 0a 66 69 72 73 74 5f 72 6f .stdin).first_ro
0e80: 77 20 3d 20 6e 65 78 74 28 63 73 76 5f 72 65 61 w = next(csv_rea
0e90: 64 65 72 29 0a 69 66 20 6e 6f 74 20 66 69 72 73 der).if not firs
0ea0: 74 5f 72 6f 77 20 3d 3d 20 5b 27 73 69 74 65 27 t_row == ['site'
0eb0: 2c 20 27 74 61 67 73 27 2c 20 27 72 65 67 65 78 , 'tags', 'regex
0ec0: 70 27 5d 3a 0a 09 70 72 69 6e 74 28 27 46 69 6c p']:..print('Fil
0ed0: 65 20 6d 75 73 74 20 63 6f 6e 74 61 69 6e 20 63 e must contain c
0ee0: 73 76 20 64 61 74 61 20 77 69 74 68 20 74 68 72 sv data with thr
0ef0: 65 65 20 63 6f 6c 75 6d 6e 73 3a 20 22 73 69 74 ee columns: "sit
0f00: 65 22 2c 20 22 74 61 67 73 22 20 61 6e 64 20 22 e", "tags" and "
0f10: 72 65 67 65 78 70 22 2e 27 29 0a 09 73 79 73 2e regexp".')..sys.
0f20: 65 78 69 74 28 31 29 0a 74 61 67 64 62 2e 6c 6f exit(1).tagdb.lo
0f30: 61 64 28 63 73 76 5f 72 65 61 64 65 72 29 0a ad(csv_reader).