0000: 23 21 2f 75 73 72 2f 62 69 6e 2f 65 6e 76 20 70 #!/usr/bin/env p
0010: 79 74 68 6f 6e 33 0a 0a 69 6d 70 6f 72 74 20 63 ython3..import c
0020: 6f 6e 66 69 67 70 61 72 73 65 72 2c 20 65 6d 61 onfigparser, ema
0030: 69 6c 2e 75 74 69 6c 73 2c 20 67 65 74 70 61 73 il.utils, getpas
0040: 73 2c 20 69 6d 61 70 6c 69 62 2c 20 6e 6e 74 70 s, imaplib, nntp
0050: 6c 69 62 2c 20 72 65 2c 20 73 71 6c 69 74 65 33 lib, re, sqlite3
0060: 2c 20 73 79 73 0a 69 6d 61 70 6c 69 62 2e 5f 4d , sys.imaplib._M
0070: 41 58 4c 49 4e 45 20 3d 20 31 30 32 34 20 2a 20 AXLINE = 1024 *
0080: 31 30 32 34 0a 6e 6e 74 70 6c 69 62 2e 5f 4d 41 1024.nntplib._MA
0090: 58 4c 49 4e 45 20 3d 20 31 30 32 34 20 2a 20 31 XLINE = 1024 * 1
00a0: 30 32 34 0a 0a 63 6f 6e 66 69 67 20 3d 20 63 6f 024..config = co
00b0: 6e 66 69 67 70 61 72 73 65 72 2e 43 6f 6e 66 69 nfigparser.Confi
00c0: 67 50 61 72 73 65 72 28 61 6c 6c 6f 77 5f 6e 6f gParser(allow_no
00d0: 5f 76 61 6c 75 65 20 3d 20 54 72 75 65 29 0a 63 _value = True).c
00e0: 6f 6e 66 69 67 2e 72 65 61 64 28 27 6e 6e 74 70 onfig.read('nntp
00f0: 64 75 70 2e 63 6f 6e 66 27 29 0a 0a 74 72 79 3a dup.conf')..try:
0100: 0a 09 73 65 72 76 65 72 20 3d 20 6e 6e 74 70 6c ..server = nntpl
0110: 69 62 2e 4e 4e 54 50 5f 53 53 4c 28 63 6f 6e 66 ib.NNTP_SSL(conf
0120: 69 67 5b 27 63 6f 6e 6e 65 63 74 69 6f 6e 27 5d ig['connection']
0130: 5b 27 6e 65 77 73 73 65 72 76 65 72 27 5d 29 0a ['newsserver']).
0140: 65 78 63 65 70 74 20 6e 6e 74 70 6c 69 62 2e 4e except nntplib.N
0150: 4e 54 50 54 65 6d 70 6f 72 61 72 79 45 72 72 6f NTPTemporaryErro
0160: 72 20 61 73 20 65 72 72 3a 0a 09 69 66 20 65 72 r as err:..if er
0170: 72 2e 72 65 73 70 6f 6e 73 65 2e 73 74 61 72 74 r.response.start
0180: 73 77 69 74 68 28 27 34 30 30 20 6c 6f 61 64 20 swith('400 load
0190: 61 74 20 27 29 3a 0a 09 09 70 72 69 6e 74 28 65 at '):...print(e
01a0: 72 72 2e 72 65 73 70 6f 6e 73 65 29 0a 09 09 65 rr.response)...e
01b0: 78 69 74 28 30 29 0a 09 65 6c 73 65 3a 0a 09 09 xit(0)..else:...
01c0: 72 61 69 73 65 28 65 72 72 29 0a 6d 73 65 72 76 raise(err).mserv
01d0: 65 72 20 3d 20 69 6d 61 70 6c 69 62 2e 49 4d 41 er = imaplib.IMA
01e0: 50 34 5f 53 53 4c 28 63 6f 6e 66 69 67 5b 27 63 P4_SSL(config['c
01f0: 6f 6e 6e 65 63 74 69 6f 6e 27 5d 5b 27 6d 61 69 onnection']['mai
0200: 6c 73 65 72 76 65 72 27 5d 29 0a 72 65 4d 65 73 lserver']).reMes
0210: 73 61 67 65 49 64 20 3d 20 72 65 2e 63 6f 6d 70 sageId = re.comp
0220: 69 6c 65 28 27 28 3c 5b 2d 5c 5d 5b 61 2d 7a 41 ile('(<[-\][a-zA
0230: 2d 5a 30 2d 39 40 2e 25 2f 3d 5f 5c 24 2b 21 26 -Z0-9@.%/=_\$+!&
0240: 7e 23 5c 3f 7d 5d 2b 3e 29 22 3f 5c 29 5c 29 28 ~#\?}]+>)"?\)\)(
0250: 5c 64 2b 20 5c 28 46 4c 41 47 53 5c 28 5c 29 5c \d+ \(FLAGS\(\)\
0260: 29 29 3f 24 27 29 0a 6d 73 65 72 76 65 72 2e 6c ))?$').mserver.l
0270: 6f 67 69 6e 28 63 6f 6e 66 69 67 5b 27 63 6f 6e ogin(config['con
0280: 6e 65 63 74 69 6f 6e 27 5d 5b 27 6d 61 69 6c 5f nection']['mail_
0290: 75 73 65 72 27 5d 2c 20 63 6f 6e 66 69 67 5b 27 user'], config['
02a0: 63 6f 6e 6e 65 63 74 69 6f 6e 27 5d 5b 27 6d 61 connection']['ma
02b0: 69 6c 5f 70 61 73 73 77 6f 72 64 27 5d 29 0a 69 il_password']).i
02c0: 66 20 27 6d 61 69 6c 5f 6c 69 6d 69 74 27 20 69 f 'mail_limit' i
02d0: 6e 20 63 6f 6e 66 69 67 5b 27 63 6f 6e 6e 65 63 n config['connec
02e0: 74 69 6f 6e 27 5d 3a 0a 09 6d 61 69 6c 4c 69 6d tion']:..mailLim
02f0: 69 74 20 3d 20 69 6e 74 28 63 6f 6e 66 69 67 5b it = int(config[
0300: 27 63 6f 6e 6e 65 63 74 69 6f 6e 27 5d 5b 27 6d 'connection']['m
0310: 61 69 6c 5f 6c 69 6d 69 74 27 5d 29 0a 65 6c 73 ail_limit']).els
0320: 65 3a 0a 09 6d 61 69 6c 4c 69 6d 69 74 20 3d 20 e:..mailLimit =
0330: 31 30 30 0a 69 66 20 27 68 65 61 64 65 72 5f 6c 100.if 'header_l
0340: 69 6d 69 74 27 20 69 6e 20 63 6f 6e 66 69 67 5b imit' in config[
0350: 27 63 6f 6e 6e 65 63 74 69 6f 6e 27 5d 3a 0a 09 'connection']:..
0360: 68 65 61 64 65 72 4c 69 6d 69 74 20 3d 20 69 6e headerLimit = in
0370: 74 28 63 6f 6e 66 69 67 5b 27 63 6f 6e 6e 65 63 t(config['connec
0380: 74 69 6f 6e 27 5d 5b 27 68 65 61 64 65 72 5f 6c tion']['header_l
0390: 69 6d 69 74 27 5d 29 0a 65 6c 73 65 3a 0a 09 68 imit']).else:..h
03a0: 65 61 64 65 72 4c 69 6d 69 74 20 3d 20 31 30 30 eaderLimit = 100
03b0: 30 0a 0a 74 61 62 6c 65 73 20 3d 20 7b 0a 09 27 0..tables = {..'
03c0: 6c 69 73 74 27 3a 20 5b 22 63 72 65 61 74 65 20 list': ["create
03d0: 74 61 62 6c 65 20 6c 69 73 74 20 28 69 64 20 69 table list (id i
03e0: 6e 74 65 67 65 72 20 70 72 69 6d 61 72 79 20 6b nteger primary k
03f0: 65 79 2c 20 6e 61 6d 65 20 74 65 78 74 2c 20 6c ey, name text, l
0400: 61 73 74 20 69 6e 74 65 67 65 72 20 64 65 66 61 ast integer defa
0410: 75 6c 74 20 30 29 3b 22 5d 2c 0a 09 27 69 64 73 ult 0);"],..'ids
0420: 27 3a 20 5b 22 63 72 65 61 74 65 20 74 61 62 6c ': ["create tabl
0430: 65 20 69 64 73 20 28 69 64 20 69 6e 74 65 67 65 e ids (id intege
0440: 72 2c 20 6e 61 6d 65 20 74 65 78 74 2c 20 6d 61 r, name text, ma
0450: 73 6b 20 69 6e 74 65 67 65 72 2c 20 64 61 74 65 sk integer, date
0460: 20 69 6e 74 65 67 65 72 29 3b 22 2c 20 22 63 72 integer);", "cr
0470: 65 61 74 65 20 75 6e 69 71 75 65 20 69 6e 64 65 eate unique inde
0480: 78 20 69 64 73 5f 5f 69 64 5f 6e 61 6d 65 20 6f x ids__id_name o
0490: 6e 20 69 64 73 28 69 64 2c 20 6e 61 6d 65 29 3b n ids(id, name);
04a0: 22 5d 2c 0a 7d 0a 0a 63 6c 61 73 73 20 46 6f 6c "],.}..class Fol
04b0: 64 65 72 3a 0a 09 64 65 66 20 5f 5f 69 6e 69 74 der:..def __init
04c0: 5f 5f 28 74 68 69 73 2c 20 66 69 6c 65 6e 61 6d __(this, filenam
04d0: 65 29 3a 0a 09 09 74 68 69 73 2e 64 62 20 3d 20 e):...this.db =
04e0: 73 71 6c 69 74 65 33 2e 63 6f 6e 6e 65 63 74 28 sqlite3.connect(
04f0: 66 69 6c 65 6e 61 6d 65 29 0a 09 09 74 68 69 73 filename)...this
0500: 2e 69 64 20 3d 20 4e 6f 6e 65 0a 09 09 66 6f 75 .id = None...fou
0510: 6e 64 20 3d 20 73 65 74 28 29 0a 09 09 66 6f 72 nd = set()...for
0520: 20 72 6f 77 20 69 6e 20 74 68 69 73 2e 64 62 2e row in this.db.
0530: 65 78 65 63 75 74 65 28 22 73 65 6c 65 63 74 20 execute("select
0540: 6e 61 6d 65 20 66 72 6f 6d 20 73 71 6c 69 74 65 name from sqlite
0550: 5f 6d 61 73 74 65 72 20 77 68 65 72 65 20 74 79 _master where ty
0560: 70 65 20 3d 20 27 74 61 62 6c 65 27 3b 22 29 3a pe = 'table';"):
0570: 0a 09 09 09 66 6f 75 6e 64 2e 61 64 64 28 72 6f ....found.add(ro
0580: 77 5b 30 5d 29 0a 09 09 66 6f 72 20 61 62 73 65 w[0])...for abse
0590: 6e 74 20 69 6e 20 73 65 74 28 74 61 62 6c 65 73 nt in set(tables
05a0: 2e 6b 65 79 73 28 29 29 2e 64 69 66 66 65 72 65 .keys()).differe
05b0: 6e 63 65 28 66 6f 75 6e 64 29 3a 0a 09 09 09 66 nce(found):....f
05c0: 6f 72 20 71 75 65 72 79 20 69 6e 20 74 61 62 6c or query in tabl
05d0: 65 73 5b 61 62 73 65 6e 74 5d 3a 0a 09 09 09 09 es[absent]:.....
05e0: 74 68 69 73 2e 64 62 2e 65 78 65 63 75 74 65 28 this.db.execute(
05f0: 71 75 65 72 79 29 0a 0a 09 64 65 66 20 73 65 6c query)...def sel
0600: 65 63 74 28 74 68 69 73 2c 20 66 6f 6c 64 65 72 ect(this, folder
0610: 4e 61 6d 65 29 3a 0a 09 09 74 68 69 73 2e 6e 61 Name):...this.na
0620: 6d 65 20 3d 20 66 6f 6c 64 65 72 4e 61 6d 65 0a me = folderName.
0630: 09 09 74 68 69 73 2e 69 64 20 3d 20 4e 6f 6e 65 ..this.id = None
0640: 0a 09 09 77 68 69 6c 65 20 54 72 75 65 3a 0a 09 ...while True:..
0650: 09 09 70 72 65 73 65 6e 74 20 3d 20 46 61 6c 73 ..present = Fals
0660: 65 0a 09 09 09 66 6f 72 20 72 6f 77 20 69 6e 20 e....for row in
0670: 74 68 69 73 2e 64 62 2e 65 78 65 63 75 74 65 28 this.db.execute(
0680: 22 73 65 6c 65 63 74 20 69 64 2c 20 6c 61 73 74 "select id, last
0690: 20 66 72 6f 6d 20 6c 69 73 74 20 77 68 65 72 65 from list where
06a0: 20 6e 61 6d 65 20 3d 20 3f 3b 22 2c 20 5b 66 6f name = ?;", [fo
06b0: 6c 64 65 72 4e 61 6d 65 5d 29 3a 0a 09 09 09 09 lderName]):.....
06c0: 70 72 65 73 65 6e 74 20 3d 20 54 72 75 65 0a 09 present = True..
06d0: 09 09 09 74 68 69 73 2e 69 64 20 3d 20 72 6f 77 ...this.id = row
06e0: 5b 30 5d 0a 09 09 09 09 74 68 69 73 2e 6c 61 73 [0].....this.las
06f0: 74 20 3d 20 72 6f 77 5b 31 5d 0a 09 09 09 69 66 t = row[1]....if
0700: 20 70 72 65 73 65 6e 74 3a 0a 09 09 09 09 62 72 present:.....br
0710: 65 61 6b 0a 09 09 09 74 68 69 73 2e 64 62 2e 65 eak....this.db.e
0720: 78 65 63 75 74 65 28 22 69 6e 73 65 72 74 20 69 xecute("insert i
0730: 6e 74 6f 20 6c 69 73 74 28 6e 61 6d 65 29 20 76 nto list(name) v
0740: 61 6c 75 65 73 20 28 3f 29 3b 22 2c 20 5b 66 6f alues (?);", [fo
0750: 6c 64 65 72 4e 61 6d 65 5d 29 0a 09 09 69 66 20 lderName])...if
0760: 74 68 69 73 2e 69 64 20 3d 3d 20 4e 6f 6e 65 3a this.id == None:
0770: 0a 09 09 09 70 72 69 6e 74 28 27 49 64 20 6e 6f ....print('Id no
0780: 74 20 66 6f 75 6e 64 2e 27 29 0a 09 09 09 65 78 t found.')....ex
0790: 69 74 28 31 29 0a 09 09 74 68 69 73 2e 6d 61 73 it(1)...this.mas
07a0: 6b 20 3d 20 7b 7d 0a 09 09 74 68 69 73 2e 67 65 k = {}...this.ge
07b0: 74 5f 63 6f 75 6e 74 28 29 0a 0a 09 64 65 66 20 t_count()...def
07c0: 67 65 74 5f 63 6f 75 6e 74 28 74 68 69 73 29 3a get_count(this):
07d0: 0a 09 09 74 68 69 73 2e 63 6f 75 6e 74 20 3d 20 ...this.count =
07e0: 30 0a 09 09 66 6f 72 20 72 6f 77 20 69 6e 20 74 0...for row in t
07f0: 68 69 73 2e 64 62 2e 65 78 65 63 75 74 65 28 22 his.db.execute("
0800: 73 65 6c 65 63 74 20 63 6f 75 6e 74 28 2a 29 20 select count(*)
0810: 66 72 6f 6d 20 69 64 73 20 77 68 65 72 65 20 69 from ids where i
0820: 64 20 3d 20 3f 20 61 6e 64 20 6d 61 73 6b 20 69 d = ? and mask i
0830: 6e 20 28 33 2c 20 31 29 3b 22 2c 20 5b 74 68 69 n (3, 1);", [thi
0840: 73 2e 69 64 5d 29 3a 0a 09 09 09 74 68 69 73 2e s.id]):....this.
0850: 63 6f 75 6e 74 20 3d 20 72 6f 77 5b 30 5d 0a 0a count = row[0]..
0860: 09 64 65 66 20 67 65 74 5f 72 65 63 6f 72 64 5f .def get_record_
0870: 63 6f 75 6e 74 28 74 68 69 73 2c 20 6d 61 73 6b count(this, mask
0880: 29 3a 0a 09 09 66 6f 72 20 72 6f 77 20 69 6e 20 ):...for row in
0890: 74 68 69 73 2e 64 62 2e 65 78 65 63 75 74 65 28 this.db.execute(
08a0: 22 73 65 6c 65 63 74 20 63 6f 75 6e 74 28 2a 29 "select count(*)
08b0: 20 66 72 6f 6d 20 69 64 73 20 77 68 65 72 65 20 from ids where
08c0: 69 64 20 3d 20 3f 20 61 6e 64 20 6d 61 73 6b 20 id = ? and mask
08d0: 3d 20 3f 3b 22 2c 20 5b 74 68 69 73 2e 69 64 2c = ?;", [this.id,
08e0: 20 6d 61 73 6b 5d 29 3a 0a 09 09 09 72 65 74 75 mask]):....retu
08f0: 72 6e 28 72 6f 77 5b 30 5d 29 0a 0a 09 64 65 66 rn(row[0])...def
0900: 20 63 68 65 63 6b 28 74 68 69 73 2c 20 6e 61 6d check(this, nam
0910: 65 29 3a 0a 09 09 69 66 20 6e 61 6d 65 20 69 6e e):...if name in
0920: 20 74 68 69 73 2e 6d 61 73 6b 3a 0a 09 09 09 72 this.mask:....r
0930: 65 74 75 72 6e 28 74 68 69 73 2e 6d 61 73 6b 5b eturn(this.mask[
0940: 6e 61 6d 65 5d 29 0a 09 09 66 6f 72 20 72 6f 77 name])...for row
0950: 20 69 6e 20 74 68 69 73 2e 64 62 2e 65 78 65 63 in this.db.exec
0960: 75 74 65 28 22 73 65 6c 65 63 74 20 6d 61 73 6b ute("select mask
0970: 20 66 72 6f 6d 20 69 64 73 20 77 68 65 72 65 20 from ids where
0980: 69 64 20 3d 20 3f 20 61 6e 64 20 6e 61 6d 65 20 id = ? and name
0990: 3d 20 3f 3b 22 2c 20 5b 74 68 69 73 2e 69 64 2c = ?;", [this.id,
09a0: 20 6e 61 6d 65 5d 29 3a 0a 09 09 09 74 68 69 73 name]):....this
09b0: 2e 6d 61 73 6b 5b 6e 61 6d 65 5d 20 3d 20 72 6f .mask[name] = ro
09c0: 77 5b 30 5d 0a 09 09 09 72 65 74 75 72 6e 28 72 w[0]....return(r
09d0: 6f 77 5b 30 5d 29 0a 0a 09 64 65 66 20 61 64 64 ow[0])...def add
09e0: 6c 61 73 74 28 74 68 69 73 2c 20 63 6f 75 6e 74 last(this, count
09f0: 29 3a 0a 09 09 74 68 69 73 2e 6c 61 73 74 20 2b ):...this.last +
0a00: 3d 20 63 6f 75 6e 74 0a 09 09 74 68 69 73 2e 64 = count...this.d
0a10: 62 2e 65 78 65 63 75 74 65 28 22 75 70 64 61 74 b.execute("updat
0a20: 65 20 6c 69 73 74 20 73 65 74 20 6c 61 73 74 20 e list set last
0a30: 3d 20 3f 20 77 68 65 72 65 20 69 64 20 3d 20 3f = ? where id = ?
0a40: 3b 22 2c 20 5b 74 68 69 73 2e 6c 61 73 74 2c 20 ;", [this.last,
0a50: 74 68 69 73 2e 69 64 5d 29 0a 0a 09 64 65 66 20 this.id])...def
0a60: 64 72 6f 70 6c 61 73 74 28 74 68 69 73 29 3a 0a droplast(this):.
0a70: 09 09 74 68 69 73 2e 6c 61 73 74 20 3d 20 30 0a ..this.last = 0.
0a80: 09 09 74 68 69 73 2e 64 62 2e 65 78 65 63 75 74 ..this.db.execut
0a90: 65 28 22 75 70 64 61 74 65 20 6c 69 73 74 20 73 e("update list s
0aa0: 65 74 20 6c 61 73 74 20 3d 20 3f 20 77 68 65 72 et last = ? wher
0ab0: 65 20 69 64 20 3d 20 3f 3b 22 2c 20 5b 74 68 69 e id = ?;", [thi
0ac0: 73 2e 6c 61 73 74 2c 20 74 68 69 73 2e 69 64 5d s.last, this.id]
0ad0: 29 0a 0a 09 64 65 66 20 61 64 64 6d 61 69 6c 28 )...def addmail(
0ae0: 74 68 69 73 2c 20 6d 69 64 29 3a 0a 09 09 6d 61 this, mid):...ma
0af0: 73 6b 20 3d 20 74 68 69 73 2e 63 68 65 63 6b 28 sk = this.check(
0b00: 6d 69 64 29 0a 09 09 69 66 20 6d 61 73 6b 20 69 mid)...if mask i
0b10: 6e 20 28 33 2c 20 32 29 3a 0a 09 09 09 74 68 69 n (3, 2):....thi
0b20: 73 2e 64 62 2e 65 78 65 63 75 74 65 28 22 75 70 s.db.execute("up
0b30: 64 61 74 65 20 69 64 73 20 73 65 74 20 6d 61 73 date ids set mas
0b40: 6b 20 3d 20 33 20 77 68 65 72 65 20 69 64 20 3d k = 3 where id =
0b50: 20 3f 20 61 6e 64 20 6e 61 6d 65 20 3d 20 3f 3b ? and name = ?;
0b60: 22 2c 20 5b 74 68 69 73 2e 69 64 2c 20 6d 69 64 ", [this.id, mid
0b70: 5d 29 0a 09 09 09 74 68 69 73 2e 6d 61 73 6b 5b ])....this.mask[
0b80: 6d 69 64 5d 20 3d 20 33 0a 09 09 65 6c 73 65 3a mid] = 3...else:
0b90: 0a 09 09 09 74 68 69 73 2e 64 62 2e 65 78 65 63 ....this.db.exec
0ba0: 75 74 65 28 22 69 6e 73 65 72 74 20 69 6e 74 6f ute("insert into
0bb0: 20 69 64 73 28 69 64 2c 20 6e 61 6d 65 2c 20 6d ids(id, name, m
0bc0: 61 73 6b 29 20 76 61 6c 75 65 73 28 3f 2c 20 3f ask) values(?, ?
0bd0: 2c 20 3f 29 3b 22 2c 20 5b 74 68 69 73 2e 69 64 , ?);", [this.id
0be0: 2c 20 6d 69 64 2c 20 31 5d 29 0a 09 09 09 74 68 , mid, 1])....th
0bf0: 69 73 2e 63 6f 75 6e 74 20 2b 3d 20 31 0a 09 09 is.count += 1...
0c00: 09 74 68 69 73 2e 6d 61 73 6b 5b 6d 69 64 5d 20 .this.mask[mid]
0c10: 3d 20 31 0a 0a 09 64 65 66 20 61 64 64 6e 65 77 = 1...def addnew
0c20: 73 28 74 68 69 73 2c 20 6d 69 64 2c 20 64 61 74 s(this, mid, dat
0c30: 65 20 3d 20 4e 6f 6e 65 29 3a 0a 09 09 6d 61 73 e = None):...mas
0c40: 6b 20 3d 20 74 68 69 73 2e 63 68 65 63 6b 28 6d k = this.check(m
0c50: 69 64 29 0a 09 09 69 66 20 6d 61 73 6b 20 69 6e id)...if mask in
0c60: 20 28 31 2c 20 33 29 3a 0a 09 09 09 74 68 69 73 (1, 3):....this
0c70: 2e 64 62 2e 65 78 65 63 75 74 65 28 22 75 70 64 .db.execute("upd
0c80: 61 74 65 20 69 64 73 20 73 65 74 20 6d 61 73 6b ate ids set mask
0c90: 20 3d 20 33 2c 20 64 61 74 65 20 3d 20 3f 20 77 = 3, date = ? w
0ca0: 68 65 72 65 20 69 64 20 3d 20 3f 20 61 6e 64 20 here id = ? and
0cb0: 6e 61 6d 65 20 3d 20 3f 3b 22 2c 20 5b 64 61 74 name = ?;", [dat
0cc0: 65 2c 20 74 68 69 73 2e 69 64 2c 20 6d 69 64 5d e, this.id, mid]
0cd0: 29 0a 09 09 09 74 68 69 73 2e 6d 61 73 6b 5b 6d )....this.mask[m
0ce0: 69 64 5d 20 3d 20 33 0a 09 09 65 6c 73 65 3a 0a id] = 3...else:.
0cf0: 09 09 09 74 68 69 73 2e 64 62 2e 65 78 65 63 75 ...this.db.execu
0d00: 74 65 28 22 69 6e 73 65 72 74 20 69 6e 74 6f 20 te("insert into
0d10: 69 64 73 28 69 64 2c 20 6e 61 6d 65 2c 20 6d 61 ids(id, name, ma
0d20: 73 6b 2c 20 64 61 74 65 29 20 76 61 6c 75 65 73 sk, date) values
0d30: 28 3f 2c 20 3f 2c 20 3f 2c 20 3f 29 3b 22 2c 20 (?, ?, ?, ?);",
0d40: 5b 74 68 69 73 2e 69 64 2c 20 6d 69 64 2c 20 32 [this.id, mid, 2
0d50: 2c 20 64 61 74 65 5d 29 0a 09 09 09 74 68 69 73 , date])....this
0d60: 2e 63 6f 75 6e 74 20 2b 3d 20 31 0a 09 09 09 74 .count += 1....t
0d70: 68 69 73 2e 6d 61 73 6b 5b 6d 69 64 5d 20 3d 20 his.mask[mid] =
0d80: 32 0a 0a 09 64 65 66 20 7a 65 72 6f 6d 61 69 6c 2...def zeromail
0d90: 28 74 68 69 73 29 3a 0a 09 09 74 68 69 73 2e 6d (this):...this.m
0da0: 61 73 6b 20 3d 20 7b 7d 0a 09 09 74 68 69 73 2e ask = {}...this.
0db0: 64 62 2e 65 78 65 63 75 74 65 28 22 75 70 64 61 db.execute("upda
0dc0: 74 65 20 69 64 73 20 73 65 74 20 6d 61 73 6b 20 te ids set mask
0dd0: 3d 20 32 20 77 68 65 72 65 20 69 64 20 3d 20 3f = 2 where id = ?
0de0: 20 61 6e 64 20 6d 61 73 6b 20 3d 20 33 3b 22 2c and mask = 3;",
0df0: 20 5b 74 68 69 73 2e 69 64 5d 29 0a 09 09 74 68 [this.id])...th
0e00: 69 73 2e 64 62 2e 65 78 65 63 75 74 65 28 22 64 is.db.execute("d
0e10: 65 6c 65 74 65 20 66 72 6f 6d 20 69 64 73 20 77 elete from ids w
0e20: 68 65 72 65 20 69 64 20 3d 20 3f 20 61 6e 64 20 here id = ? and
0e30: 6d 61 73 6b 20 3d 20 31 3b 22 2c 20 5b 74 68 69 mask = 1;", [thi
0e40: 73 2e 69 64 5d 29 0a 09 09 74 68 69 73 2e 73 79 s.id])...this.sy
0e50: 6e 63 28 29 0a 09 09 74 68 69 73 2e 67 65 74 5f nc()...this.get_
0e60: 63 6f 75 6e 74 28 29 0a 0a 09 64 65 66 20 7a 65 count()...def ze
0e70: 72 6f 6e 65 77 73 28 74 68 69 73 29 3a 0a 09 09 ronews(this):...
0e80: 74 68 69 73 2e 6d 61 73 6b 20 3d 20 7b 7d 0a 09 this.mask = {}..
0e90: 09 74 68 69 73 2e 64 62 2e 65 78 65 63 75 74 65 .this.db.execute
0ea0: 28 22 75 70 64 61 74 65 20 69 64 73 20 73 65 74 ("update ids set
0eb0: 20 6d 61 73 6b 20 3d 20 31 20 77 68 65 72 65 20 mask = 1 where
0ec0: 69 64 20 3d 20 3f 20 61 6e 64 20 6d 61 73 6b 20 id = ? and mask
0ed0: 3d 20 33 3b 22 2c 20 5b 74 68 69 73 2e 69 64 5d = 3;", [this.id]
0ee0: 29 0a 09 09 74 68 69 73 2e 64 62 2e 65 78 65 63 )...this.db.exec
0ef0: 75 74 65 28 22 64 65 6c 65 74 65 20 66 72 6f 6d ute("delete from
0f00: 20 69 64 73 20 77 68 65 72 65 20 69 64 20 3d 20 ids where id =
0f10: 3f 20 61 6e 64 20 6d 61 73 6b 20 3d 20 32 3b 22 ? and mask = 2;"
0f20: 2c 20 5b 74 68 69 73 2e 69 64 5d 29 0a 09 09 74 , [this.id])...t
0f30: 68 69 73 2e 64 72 6f 70 6c 61 73 74 28 29 0a 09 his.droplast()..
0f40: 09 74 68 69 73 2e 73 79 6e 63 28 29 0a 0a 09 64 .this.sync()...d
0f50: 65 66 20 73 79 6e 63 28 74 68 69 73 29 3a 0a 09 ef sync(this):..
0f60: 09 74 68 69 73 2e 64 62 2e 63 6f 6d 6d 69 74 28 .this.db.commit(
0f70: 29 0a 0a 09 64 65 66 20 67 65 74 5f 75 6e 66 65 )...def get_unfe
0f80: 74 63 68 65 64 28 74 68 69 73 29 3a 0a 09 09 72 tched(this):...r
0f90: 65 74 75 72 6e 28 74 68 69 73 2e 64 62 2e 65 78 eturn(this.db.ex
0fa0: 65 63 75 74 65 28 22 73 65 6c 65 63 74 20 6e 61 ecute("select na
0fb0: 6d 65 2c 20 64 61 74 65 20 66 72 6f 6d 20 69 64 me, date from id
0fc0: 73 20 77 68 65 72 65 20 69 64 20 3d 20 3f 20 61 s where id = ? a
0fd0: 6e 64 20 6d 61 73 6b 20 3d 20 32 20 6f 72 64 65 nd mask = 2 orde
0fe0: 72 20 62 79 20 64 61 74 65 20 64 65 73 63 3b 22 r by date desc;"
0ff0: 2c 20 5b 74 68 69 73 2e 69 64 5d 29 29 0a 0a 09 , [this.id]))...
1000: 64 65 66 20 66 6f 72 67 65 74 28 74 68 69 73 2c def forget(this,
1010: 20 6d 69 64 29 3a 0a 09 09 74 68 69 73 2e 64 62 mid):...this.db
1020: 2e 65 78 65 63 75 74 65 28 22 64 65 6c 65 74 65 .execute("delete
1030: 20 66 72 6f 6d 20 69 64 73 20 77 68 65 72 65 20 from ids where
1040: 69 64 20 3d 20 3f 20 61 6e 64 20 6e 61 6d 65 20 id = ? and name
1050: 3d 20 3f 3b 22 2c 20 5b 74 68 69 73 2e 69 64 2c = ?;", [this.id,
1060: 20 6d 69 64 5d 29 0a 0a 64 65 66 20 63 68 65 63 mid])..def chec
1070: 6b 5f 66 6f 6c 64 65 72 28 6d 73 65 72 76 65 72 k_folder(mserver
1080: 2c 20 66 6f 6c 64 65 72 2c 20 66 6f 6c 64 65 72 , folder, folder
1090: 4e 61 6d 65 29 3a 0a 09 66 6f 6c 64 65 72 2e 7a Name):..folder.z
10a0: 65 72 6f 6d 61 69 6c 28 29 0a 09 64 65 6c 65 74 eromail()..delet
10b0: 65 64 20 3d 20 30 0a 09 6d 73 65 72 76 65 72 2e ed = 0..mserver.
10c0: 73 65 6c 65 63 74 28 66 6f 6c 64 65 72 4e 61 6d select(folderNam
10d0: 65 29 0a 09 74 79 70 2c 20 64 61 74 61 20 3d 20 e)..typ, data =
10e0: 6d 73 65 72 76 65 72 2e 73 65 61 72 63 68 28 4e mserver.search(N
10f0: 6f 6e 65 2c 20 27 4e 4f 54 20 44 45 4c 45 54 45 one, 'NOT DELETE
1100: 44 27 29 0a 09 63 6f 75 6e 74 20 3d 20 30 0a 09 D')..count = 0..
1110: 70 72 69 6e 74 28 27 20 2d 20 62 75 69 6c 64 69 print(' - buildi
1120: 6e 67 20 69 6d 61 70 20 69 6e 64 65 78 27 2c 20 ng imap index',
1130: 66 6f 6c 64 65 72 4e 61 6d 65 2c 20 27 5b 27 2c folderName, '[',
1140: 20 65 6e 64 3d 27 27 29 0a 09 66 6f 72 20 6e 75 end='')..for nu
1150: 6d 20 69 6e 20 64 61 74 61 5b 30 5d 2e 73 70 6c m in data[0].spl
1160: 69 74 28 29 3a 0a 09 09 66 6f 75 6e 64 20 3d 20 it():...found =
1170: 46 61 6c 73 65 0a 09 09 74 79 70 2c 20 64 61 74 False...typ, dat
1180: 61 20 3d 20 6d 73 65 72 76 65 72 2e 66 65 74 63 a = mserver.fetc
1190: 68 28 6e 75 6d 2c 20 27 28 45 4e 56 45 4c 4f 50 h(num, '(ENVELOP
11a0: 45 29 27 29 0a 09 09 66 69 65 6c 64 20 3d 20 30 E)')...field = 0
11b0: 0a 09 09 66 6f 72 20 72 65 63 20 69 6e 20 64 61 ...for rec in da
11c0: 74 61 3a 0a 09 09 09 69 66 20 74 79 70 65 28 72 ta:....if type(r
11d0: 65 63 29 20 3d 3d 20 74 75 70 6c 65 3a 0a 09 09 ec) == tuple:...
11e0: 09 09 64 61 74 61 5b 66 69 65 6c 64 5d 20 3d 20 ..data[field] =
11f0: 27 27 2e 6a 6f 69 6e 28 69 2e 64 65 63 6f 64 65 ''.join(i.decode
1200: 28 27 75 74 66 2d 38 27 2c 20 27 69 67 6e 6f 72 ('utf-8', 'ignor
1210: 65 27 29 20 66 6f 72 20 69 20 69 6e 20 72 65 63 e') for i in rec
1220: 29 0a 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 64 )....else:.....d
1230: 61 74 61 5b 66 69 65 6c 64 5d 20 3d 20 72 65 63 ata[field] = rec
1240: 2e 64 65 63 6f 64 65 28 27 75 74 66 2d 38 27 2c .decode('utf-8',
1250: 20 27 69 67 6e 6f 72 65 27 29 0a 09 09 09 66 69 'ignore')....fi
1260: 65 6c 64 20 2b 3d 20 31 0a 09 09 64 61 74 61 20 eld += 1...data
1270: 3d 20 27 27 2e 6a 6f 69 6e 28 64 61 74 61 29 0a = ''.join(data).
1280: 09 09 69 73 4d 69 64 20 3d 20 72 65 4d 65 73 73 ..isMid = reMess
1290: 61 67 65 49 64 2e 73 65 61 72 63 68 28 64 61 74 ageId.search(dat
12a0: 61 29 0a 09 09 69 66 20 69 73 4d 69 64 3a 0a 09 a)...if isMid:..
12b0: 09 09 6d 69 64 20 3d 20 69 73 4d 69 64 2e 67 72 ..mid = isMid.gr
12c0: 6f 75 70 28 31 29 0a 09 09 09 6d 61 73 6b 20 3d oup(1)....mask =
12d0: 20 66 6f 6c 64 65 72 2e 63 68 65 63 6b 28 6d 69 folder.check(mi
12e0: 64 29 0a 09 09 09 69 66 20 6e 6f 74 20 6d 61 73 d)....if not mas
12f0: 6b 20 69 6e 20 28 31 2c 20 33 29 3a 0a 09 09 09 k in (1, 3):....
1300: 09 66 6f 6c 64 65 72 2e 61 64 64 6d 61 69 6c 28 .folder.addmail(
1310: 6d 69 64 29 0a 09 09 09 09 63 6f 75 6e 74 20 2b mid).....count +
1320: 3d 20 31 0a 09 09 09 65 6c 73 65 3a 0a 09 09 09 = 1....else:....
1330: 09 6d 73 65 72 76 65 72 2e 73 74 6f 72 65 28 6e .mserver.store(n
1340: 75 6d 2c 20 27 2b 46 4c 41 47 53 27 2c 20 27 5c um, '+FLAGS', '\
1350: 5c 44 65 6c 65 74 65 64 27 29 0a 09 09 09 09 64 \Deleted').....d
1360: 65 6c 65 74 65 64 20 2b 3d 20 31 0a 09 09 09 09 eleted += 1.....
1370: 73 79 73 2e 73 74 64 6f 75 74 2e 77 72 69 74 65 sys.stdout.write
1380: 28 27 78 27 29 0a 09 09 09 09 73 79 73 2e 73 74 ('x').....sys.st
1390: 64 6f 75 74 2e 66 6c 75 73 68 28 29 0a 09 09 65 dout.flush()...e
13a0: 6c 73 65 3a 0a 09 09 09 70 72 69 6e 74 28 27 4d lse:....print('M
13b0: 65 73 73 61 67 65 20 69 64 20 6e 6f 74 20 66 6f essage id not fo
13c0: 75 6e 64 2e 27 29 0a 09 09 09 70 72 69 6e 74 28 und.')....print(
13d0: 72 65 70 72 28 64 61 74 61 29 29 0a 09 09 09 65 repr(data))....e
13e0: 78 69 74 28 31 29 0a 09 09 69 66 20 28 63 6f 75 xit(1)...if (cou
13f0: 6e 74 20 25 20 31 30 30 30 29 20 3d 3d 20 30 3a nt % 1000) == 0:
1400: 0a 09 09 09 73 79 73 2e 73 74 64 6f 75 74 2e 77 ....sys.stdout.w
1410: 72 69 74 65 28 27 2e 27 29 0a 09 09 09 73 79 73 rite('.')....sys
1420: 2e 73 74 64 6f 75 74 2e 66 6c 75 73 68 28 29 0a .stdout.flush().
1430: 09 70 72 69 6e 74 28 27 5d 2c 20 64 65 6c 65 74 .print('], delet
1440: 65 64 3a 27 2c 20 64 65 6c 65 74 65 64 2c 20 65 ed:', deleted, e
1450: 6e 64 20 3d 20 27 27 29 0a 09 66 6f 6c 64 65 72 nd = '')..folder
1460: 2e 73 79 6e 63 28 29 0a 09 6d 73 65 72 76 65 72 .sync()..mserver
1470: 2e 65 78 70 75 6e 67 65 28 29 0a 0a 66 6f 6c 64 .expunge()..fold
1480: 65 72 20 3d 20 46 6f 6c 64 65 72 28 27 6e 6e 74 er = Folder('nnt
1490: 70 64 75 70 2e 73 71 6c 69 74 65 27 29 0a 0a 6c pdup.sqlite')..l
14a0: 69 6d 69 74 73 20 3d 20 5b 30 2c 20 30 5d 0a 6c imits = [0, 0].l
14b0: 69 6d 69 74 53 74 65 70 73 20 3d 20 5b 68 65 61 imitSteps = [hea
14c0: 64 65 72 4c 69 6d 69 74 20 2f 20 6c 65 6e 28 63 derLimit / len(c
14d0: 6f 6e 66 69 67 5b 27 67 72 6f 75 70 73 27 5d 29 onfig['groups'])
14e0: 2c 20 6d 61 69 6c 4c 69 6d 69 74 20 2f 20 6c 65 , mailLimit / le
14f0: 6e 28 63 6f 6e 66 69 67 5b 27 67 72 6f 75 70 73 n(config['groups
1500: 27 5d 29 5d 0a 0a 6d 61 78 6c 65 6e 67 74 68 20 '])]..maxlength
1510: 3d 20 30 0a 66 6f 72 20 66 6f 6c 64 65 72 4e 61 = 0.for folderNa
1520: 6d 65 20 69 6e 20 28 63 6f 6e 66 69 67 5b 27 67 me in (config['g
1530: 72 6f 75 70 73 27 5d 2e 6b 65 79 73 28 29 29 3a roups'].keys()):
1540: 0a 09 6d 61 78 6c 65 6e 67 74 68 20 3d 20 6d 61 ..maxlength = ma
1550: 78 28 6d 61 78 6c 65 6e 67 74 68 2c 20 6c 65 6e x(maxlength, len
1560: 28 66 6f 6c 64 65 72 4e 61 6d 65 29 29 0a 0a 73 (folderName))..s
1570: 6b 65 77 20 3d 20 31 20 2b 20 69 6e 74 28 6d 61 kew = 1 + int(ma
1580: 78 6c 65 6e 67 74 68 20 2f 20 38 29 0a 0a 66 6f xlength / 8)..fo
1590: 72 20 66 6f 6c 64 65 72 4e 61 6d 65 20 69 6e 20 r folderName in
15a0: 28 73 65 74 28 63 6f 6e 66 69 67 5b 27 67 72 6f (set(config['gro
15b0: 75 70 73 27 5d 2e 6b 65 79 73 28 29 29 29 3a 0a ups'].keys())):.
15c0: 09 73 74 61 74 73 20 3d 20 5b 30 2c 20 30 5d 0a .stats = [0, 0].
15d0: 09 66 6f 6c 64 65 72 2e 73 65 6c 65 63 74 28 66 .folder.select(f
15e0: 6f 6c 64 65 72 4e 61 6d 65 29 0a 0a 09 72 65 73 olderName)...res
15f0: 70 20 3d 20 6d 73 65 72 76 65 72 2e 73 65 6c 65 p = mserver.sele
1600: 63 74 28 66 6f 6c 64 65 72 4e 61 6d 65 29 0a 09 ct(folderName)..
1610: 69 66 20 72 65 73 70 5b 30 5d 20 21 3d 20 27 4f if resp[0] != 'O
1620: 4b 27 3a 0a 09 09 70 72 69 6e 74 28 22 43 61 6e K':...print("Can
1630: 27 74 20 6f 70 65 6e 20 66 6f 6c 64 65 72 2e 22 't open folder."
1640: 29 0a 09 09 65 78 69 74 28 31 29 0a 09 69 66 20 )...exit(1)..if
1650: 69 6e 74 28 72 65 73 70 5b 31 5d 5b 30 5d 29 20 int(resp[1][0])
1660: 21 3d 20 66 6f 6c 64 65 72 2e 63 6f 75 6e 74 3a != folder.count:
1670: 0a 09 09 63 68 65 63 6b 5f 66 6f 6c 64 65 72 28 ...check_folder(
1680: 6d 73 65 72 76 65 72 2c 20 66 6f 6c 64 65 72 2c mserver, folder,
1690: 20 66 6f 6c 64 65 72 4e 61 6d 65 29 0a 0a 09 5f folderName)..._
16a0: 2c 20 63 6f 75 6e 74 2c 20 66 69 72 73 74 2c 20 , count, first,
16b0: 6c 61 73 74 2c 20 5f 20 3d 20 73 65 72 76 65 72 last, _ = server
16c0: 2e 67 72 6f 75 70 28 66 6f 6c 64 65 72 4e 61 6d .group(folderNam
16d0: 65 29 0a 09 6c 69 6d 69 74 73 5b 30 5d 20 2b 3d e)..limits[0] +=
16e0: 20 6c 69 6d 69 74 53 74 65 70 73 5b 30 5d 0a 09 limitSteps[0]..
16f0: 69 66 20 6c 61 73 74 20 3e 20 66 6f 6c 64 65 72 if last > folder
1700: 2e 6c 61 73 74 3a 0a 09 09 63 6f 75 6e 74 20 3d .last:...count =
1710: 20 30 0a 09 09 23 20 77 65 20 6e 65 65 64 20 74 0...# we need t
1720: 6f 20 66 65 74 63 68 20 6e 65 77 20 69 64 73 0a o fetch new ids.
1730: 09 09 72 65 71 75 65 73 74 20 3d 20 6d 69 6e 28 ..request = min(
1740: 6c 61 73 74 2c 20 66 6f 6c 64 65 72 2e 6c 61 73 last, folder.las
1750: 74 20 2b 20 6c 69 6d 69 74 73 5b 30 5d 29 0a 09 t + limits[0])..
1760: 09 74 72 79 3a 0a 09 09 09 66 6f 72 20 72 65 63 .try:....for rec
1770: 6f 72 64 20 69 6e 20 73 65 72 76 65 72 2e 6f 76 ord in server.ov
1780: 65 72 28 28 69 6e 74 28 66 6f 6c 64 65 72 2e 6c er((int(folder.l
1790: 61 73 74 29 20 2b 20 31 2c 20 69 6e 74 28 72 65 ast) + 1, int(re
17a0: 71 75 65 73 74 29 29 29 5b 31 5d 3a 0a 09 09 09 quest)))[1]:....
17b0: 09 6d 69 64 20 3d 20 72 65 63 6f 72 64 5b 31 5d .mid = record[1]
17c0: 5b 27 6d 65 73 73 61 67 65 2d 69 64 27 5d 0a 09 ['message-id']..
17d0: 09 09 09 69 66 20 6c 65 6e 28 72 65 63 6f 72 64 ...if len(record
17e0: 5b 31 5d 5b 27 6d 65 73 73 61 67 65 2d 69 64 27 [1]['message-id'
17f0: 5d 29 20 3e 20 30 3a 0a 09 09 09 09 09 74 72 79 ]) > 0:......try
1800: 3a 0a 09 09 09 09 09 09 66 6f 6c 64 65 72 2e 61 :.......folder.a
1810: 64 64 6e 65 77 73 28 72 65 63 6f 72 64 5b 31 5d ddnews(record[1]
1820: 5b 27 6d 65 73 73 61 67 65 2d 69 64 27 5d 2c 20 ['message-id'],
1830: 65 6d 61 69 6c 2e 75 74 69 6c 73 2e 70 61 72 73 email.utils.pars
1840: 65 64 61 74 65 5f 74 6f 5f 64 61 74 65 74 69 6d edate_to_datetim
1850: 65 28 72 65 63 6f 72 64 5b 31 5d 5b 27 64 61 74 e(record[1]['dat
1860: 65 27 5d 29 2e 74 69 6d 65 73 74 61 6d 70 28 29 e']).timestamp()
1870: 29 0a 09 09 09 09 09 65 78 63 65 70 74 20 4f 76 )......except Ov
1880: 65 72 66 6c 6f 77 45 72 72 6f 72 20 61 73 20 65 erflowError as e
1890: 72 72 3a 0a 09 09 09 09 09 09 66 6f 6c 64 65 72 rr:.......folder
18a0: 2e 61 64 64 6e 65 77 73 28 72 65 63 6f 72 64 5b .addnews(record[
18b0: 31 5d 5b 27 6d 65 73 73 61 67 65 2d 69 64 27 5d 1]['message-id']
18c0: 29 0a 09 09 09 09 09 65 78 63 65 70 74 20 54 79 )......except Ty
18d0: 70 65 45 72 72 6f 72 20 61 73 20 65 72 72 3a 0a peError as err:.
18e0: 09 09 09 09 09 09 66 6f 6c 64 65 72 2e 61 64 64 ......folder.add
18f0: 6e 65 77 73 28 72 65 63 6f 72 64 5b 31 5d 5b 27 news(record[1]['
1900: 6d 65 73 73 61 67 65 2d 69 64 27 5d 29 0a 09 09 message-id'])...
1910: 09 09 63 6f 75 6e 74 20 2b 3d 20 31 0a 09 09 65 ..count += 1...e
1920: 78 63 65 70 74 20 6e 6e 74 70 6c 69 62 2e 4e 4e xcept nntplib.NN
1930: 54 50 54 65 6d 70 6f 72 61 72 79 45 72 72 6f 72 TPTemporaryError
1940: 20 61 73 20 65 72 72 3a 0a 09 09 09 69 66 20 65 as err:....if e
1950: 72 72 2e 72 65 73 70 6f 6e 73 65 2e 73 74 61 72 rr.response.star
1960: 74 73 77 69 74 68 28 27 34 32 33 20 27 29 3a 0a tswith('423 '):.
1970: 09 09 09 09 70 61 73 73 0a 09 09 09 65 6c 73 65 ....pass....else
1980: 3a 0a 09 09 09 09 72 61 69 73 65 28 65 72 72 29 :.....raise(err)
1990: 0a 09 09 65 78 63 65 70 74 20 6e 6e 74 70 6c 69 ...except nntpli
19a0: 62 2e 4e 4e 54 50 50 65 72 6d 61 6e 65 6e 74 45 b.NNTPPermanentE
19b0: 72 72 6f 72 20 61 73 20 65 72 72 3a 0a 09 09 09 rror as err:....
19c0: 70 72 69 6e 74 28 66 6f 6c 64 65 72 2e 6c 61 73 print(folder.las
19d0: 74 2c 20 72 65 71 75 65 73 74 29 0a 09 09 09 72 t, request)....r
19e0: 61 69 73 65 28 65 72 72 29 0a 09 09 65 78 63 65 aise(err)...exce
19f0: 70 74 20 73 71 6c 69 74 65 33 2e 49 6e 74 65 67 pt sqlite3.Integ
1a00: 72 69 74 79 45 72 72 6f 72 20 61 73 20 65 72 72 rityError as err
1a10: 3a 0a 09 09 09 70 72 69 6e 74 28 72 65 70 72 28 :....print(repr(
1a20: 72 65 63 6f 72 64 29 29 0a 09 09 09 70 72 69 6e record))....prin
1a30: 74 28 5b 78 20 66 6f 72 20 78 20 69 6e 20 6d 61 t([x for x in ma
1a40: 70 28 72 65 70 72 2c 20 66 6f 6c 64 65 72 2e 64 p(repr, folder.d
1a50: 62 2e 65 78 65 63 75 74 65 28 22 73 65 6c 65 63 b.execute("selec
1a60: 74 20 2a 20 66 72 6f 6d 20 69 64 73 20 77 68 65 t * from ids whe
1a70: 72 65 20 69 64 20 3d 20 3f 20 61 6e 64 20 6e 61 re id = ? and na
1a80: 6d 65 20 3d 20 3f 3b 22 2c 20 5b 66 6f 6c 64 65 me = ?;", [folde
1a90: 72 2e 69 64 2c 20 72 65 63 6f 72 64 5b 31 5d 5b r.id, record[1][
1aa0: 27 6d 65 73 73 61 67 65 2d 69 64 27 5d 5d 29 29 'message-id']]))
1ab0: 5d 29 0a 09 09 09 72 61 69 73 65 28 65 72 72 29 ])....raise(err)
1ac0: 0a 09 09 73 74 61 74 73 5b 30 5d 20 3d 20 63 6f ...stats[0] = co
1ad0: 75 6e 74 0a 09 09 6c 69 6d 69 74 73 5b 30 5d 20 unt...limits[0]
1ae0: 2d 3d 20 63 6f 75 6e 74 0a 09 09 66 6f 6c 64 65 -= count...folde
1af0: 72 2e 61 64 64 6c 61 73 74 28 72 65 71 75 65 73 r.addlast(reques
1b00: 74 20 2d 20 66 6f 6c 64 65 72 2e 6c 61 73 74 29 t - folder.last)
1b10: 0a 09 09 66 6f 6c 64 65 72 2e 73 79 6e 63 28 29 ...folder.sync()
1b20: 0a 09 65 6c 69 66 20 66 6f 6c 64 65 72 2e 67 65 ..elif folder.ge
1b30: 74 5f 72 65 63 6f 72 64 5f 63 6f 75 6e 74 28 31 t_record_count(1
1b40: 29 20 3e 20 30 3a 0a 09 09 66 6f 6c 64 65 72 2e ) > 0:...folder.
1b50: 64 72 6f 70 6c 61 73 74 28 29 0a 0a 09 6c 69 6d droplast()...lim
1b60: 69 74 73 5b 31 5d 20 2b 3d 20 6c 69 6d 69 74 53 its[1] += limitS
1b70: 74 65 70 73 5b 31 5d 0a 09 69 66 20 66 6f 6c 64 teps[1]..if fold
1b80: 65 72 2e 67 65 74 5f 72 65 63 6f 72 64 5f 63 6f er.get_record_co
1b90: 75 6e 74 28 32 29 20 3e 20 30 3a 0a 09 09 63 6f unt(2) > 0:...co
1ba0: 75 6e 74 20 3d 20 30 0a 09 09 23 20 74 68 65 72 unt = 0...# ther
1bb0: 65 20 61 72 65 20 65 78 74 72 61 20 61 72 74 69 e are extra arti
1bc0: 63 6c 65 73 0a 09 09 72 61 77 5f 64 61 74 65 20 cles...raw_date
1bd0: 3d 20 5b 5d 0a 09 09 75 6e 66 65 74 63 68 65 64 = []...unfetched
1be0: 20 3d 20 5b 5d 0a 09 09 66 6f 72 20 69 74 65 6d = []...for item
1bf0: 2c 20 65 6e 76 5f 64 61 74 65 20 69 6e 20 66 6f , env_date in fo
1c00: 6c 64 65 72 2e 67 65 74 5f 75 6e 66 65 74 63 68 lder.get_unfetch
1c10: 65 64 28 29 3a 0a 09 09 09 6d 61 73 6b 20 3d 20 ed():....mask =
1c20: 66 6f 6c 64 65 72 2e 63 68 65 63 6b 28 69 74 65 folder.check(ite
1c30: 6d 29 0a 09 09 09 69 66 20 6d 61 73 6b 20 3d 3d m)....if mask ==
1c40: 20 32 3a 0a 09 09 09 09 75 6e 66 65 74 63 68 65 2:.....unfetche
1c50: 64 20 2b 3d 20 28 69 74 65 6d 2c 20 65 6e 76 5f d += (item, env_
1c60: 64 61 74 65 29 2c 0a 09 09 66 6f 72 20 69 74 65 date),...for ite
1c70: 6d 2c 20 65 6e 76 5f 64 61 74 65 20 69 6e 20 75 m, env_date in u
1c80: 6e 66 65 74 63 68 65 64 3a 0a 09 09 09 74 72 79 nfetched:....try
1c90: 3a 0a 09 09 09 09 5f 2c 20 69 6e 66 6f 20 3d 20 :....._, info =
1ca0: 73 65 72 76 65 72 2e 61 72 74 69 63 6c 65 28 69 server.article(i
1cb0: 74 65 6d 29 0a 09 09 09 09 69 66 20 65 6e 76 5f tem).....if env_
1cc0: 64 61 74 65 20 3d 3d 20 4e 6f 6e 65 20 6f 72 20 date == None or
1cd0: 65 6e 76 5f 64 61 74 65 20 3c 20 30 3a 0a 09 09 env_date < 0:...
1ce0: 09 09 09 64 61 74 65 20 3d 20 4e 6f 6e 65 0a 09 ...date = None..
1cf0: 09 09 09 09 62 61 63 6b 75 70 5f 64 61 74 65 20 ....backup_date
1d00: 3d 20 4e 6f 6e 65 0a 09 09 09 09 09 6f 75 74 20 = None......out
1d10: 3d 20 5b 5d 0a 09 09 09 09 09 66 6f 72 20 6c 69 = []......for li
1d20: 6e 65 20 69 6e 20 69 6e 66 6f 2e 6c 69 6e 65 73 ne in info.lines
1d30: 3a 0a 09 09 09 09 09 09 69 66 20 6c 65 6e 28 6c :.......if len(l
1d40: 69 6e 65 29 20 3d 3d 20 30 3a 0a 09 09 09 09 09 ine) == 0:......
1d50: 09 09 6d 65 73 67 20 3d 20 65 6d 61 69 6c 2e 6d ..mesg = email.m
1d60: 65 73 73 61 67 65 5f 66 72 6f 6d 5f 73 74 72 69 essage_from_stri
1d70: 6e 67 28 27 5c 6e 27 2e 6a 6f 69 6e 28 6f 75 74 ng('\n'.join(out
1d80: 29 29 0a 09 09 09 09 09 09 09 66 6f 72 20 68 65 ))........for he
1d90: 61 64 65 72 20 69 6e 20 6d 65 73 67 2e 5f 68 65 ader in mesg._he
1da0: 61 64 65 72 73 3a 0a 09 09 09 09 09 09 09 09 69 aders:.........i
1db0: 66 20 68 65 61 64 65 72 5b 30 5d 20 3d 3d 20 27 f header[0] == '
1dc0: 44 61 74 65 27 3a 0a 09 09 09 09 09 09 09 09 09 Date':..........
1dd0: 72 61 77 5f 64 61 74 65 20 2b 3d 20 68 65 61 64 raw_date += head
1de0: 65 72 5b 31 5d 2c 0a 09 09 09 09 09 09 09 09 09 er[1],..........
1df0: 64 61 74 65 20 3d 20 65 6d 61 69 6c 2e 75 74 69 date = email.uti
1e00: 6c 73 2e 70 61 72 73 65 64 61 74 65 28 68 65 61 ls.parsedate(hea
1e10: 64 65 72 5b 31 5d 29 0a 09 09 09 09 09 09 09 09 der[1]).........
1e20: 65 6c 69 66 20 68 65 61 64 65 72 5b 30 5d 20 3d elif header[0] =
1e30: 3d 20 27 4f 72 69 67 69 6e 61 6c 2d 52 65 63 65 = 'Original-Rece
1e40: 69 76 65 64 27 3a 0a 09 09 09 09 09 09 09 09 09 ived':..........
1e50: 72 61 77 5f 64 61 74 65 20 2b 3d 20 68 65 61 64 raw_date += head
1e60: 65 72 5b 31 5d 2c 0a 09 09 09 09 09 09 09 09 09 er[1],..........
1e70: 74 6d 70 5f 64 61 74 65 20 3d 20 65 6d 61 69 6c tmp_date = email
1e80: 2e 75 74 69 6c 73 2e 70 61 72 73 65 64 61 74 65 .utils.parsedate
1e90: 28 68 65 61 64 65 72 5b 31 5d 2e 73 70 6c 69 74 (header[1].split
1ea0: 28 27 3b 27 29 5b 2d 31 5d 29 0a 09 09 09 09 09 (';')[-1])......
1eb0: 09 09 09 09 69 66 20 74 6d 70 5f 64 61 74 65 20 ....if tmp_date
1ec0: 21 3d 20 4e 6f 6e 65 20 61 6e 64 20 74 6d 70 5f != None and tmp_
1ed0: 64 61 74 65 5b 30 5d 20 3e 3d 20 31 39 37 30 3a date[0] >= 1970:
1ee0: 0a 09 09 09 09 09 09 09 09 09 09 62 61 63 6b 75 ...........backu
1ef0: 70 5f 64 61 74 65 20 3d 20 74 6d 70 5f 64 61 74 p_date = tmp_dat
1f00: 65 0a 09 09 09 09 09 09 09 69 66 20 64 61 74 65 e........if date
1f10: 20 3d 3d 20 4e 6f 6e 65 20 61 6e 64 20 62 61 63 == None and bac
1f20: 6b 75 70 5f 64 61 74 65 20 3d 3d 20 4e 6f 6e 65 kup_date == None
1f30: 3a 0a 09 09 09 09 09 09 09 09 70 72 69 6e 74 28 :.........print(
1f40: 27 44 61 74 65 20 6d 69 73 73 65 64 2e 27 29 0a 'Date missed.').
1f50: 09 09 09 09 09 09 09 09 70 72 69 6e 74 28 72 65 ........print(re
1f60: 70 72 28 6f 75 74 29 29 0a 09 09 09 09 09 09 09 pr(out))........
1f70: 09 65 78 69 74 28 31 29 0a 09 09 09 09 09 09 09 .exit(1)........
1f80: 65 6c 69 66 20 64 61 74 65 20 3d 3d 20 4e 6f 6e elif date == Non
1f90: 65 3a 0a 09 09 09 09 09 09 09 09 64 61 74 65 20 e:.........date
1fa0: 3d 20 62 61 63 6b 75 70 5f 64 61 74 65 0a 09 09 = backup_date...
1fb0: 09 09 09 09 09 62 72 65 61 6b 0a 09 09 09 09 09 .....break......
1fc0: 09 74 72 79 3a 0a 09 09 09 09 09 09 09 6f 75 74 .try:........out
1fd0: 2e 61 70 70 65 6e 64 28 6c 69 6e 65 2e 64 65 63 .append(line.dec
1fe0: 6f 64 65 28 27 61 73 63 69 69 27 2c 20 27 69 67 ode('ascii', 'ig
1ff0: 6e 6f 72 65 27 29 29 0a 09 09 09 09 09 09 65 78 nore')).......ex
2000: 63 65 70 74 20 55 6e 69 63 6f 64 65 44 65 63 6f cept UnicodeDeco
2010: 64 65 45 72 72 6f 72 3a 0a 09 09 09 09 09 09 09 deError:........
2020: 70 72 69 6e 74 28 72 65 70 72 28 6c 69 6e 65 29 print(repr(line)
2030: 29 0a 09 09 09 09 09 09 09 65 78 69 74 28 31 29 )........exit(1)
2040: 0a 09 09 09 09 09 6f 75 74 2e 61 70 70 65 6e 64 ......out.append
2050: 28 27 5c 6e 27 29 0a 09 09 09 09 09 74 72 79 3a ('\n')......try:
2060: 0a 09 09 09 09 09 09 23 70 72 69 6e 74 28 27 2a .......#print('*
2070: 27 2c 20 69 74 65 6d 2c 20 64 61 74 65 2c 20 74 ', item, date, t
2080: 79 70 65 28 64 61 74 65 29 29 0a 09 09 09 09 09 ype(date))......
2090: 09 6d 73 65 72 76 65 72 2e 61 70 70 65 6e 64 28 .mserver.append(
20a0: 66 6f 6c 64 65 72 4e 61 6d 65 2c 20 4e 6f 6e 65 folderName, None
20b0: 2c 20 64 61 74 65 2c 20 62 27 5c 6e 27 2e 6a 6f , date, b'\n'.jo
20c0: 69 6e 28 69 6e 66 6f 2e 6c 69 6e 65 73 29 29 0a in(info.lines)).
20d0: 09 09 09 09 09 65 78 63 65 70 74 20 41 74 74 72 .....except Attr
20e0: 69 62 75 74 65 45 72 72 6f 72 20 61 73 20 65 72 ibuteError as er
20f0: 72 3a 0a 09 09 09 09 09 09 23 70 72 69 6e 74 28 r:.......#print(
2100: 27 2a 27 2c 20 69 74 65 6d 2c 20 72 61 77 5f 64 '*', item, raw_d
2110: 61 74 65 2c 20 72 65 70 72 28 64 61 74 65 29 29 ate, repr(date))
2120: 0a 09 09 09 09 09 09 23 72 61 69 73 65 28 65 72 .......#raise(er
2130: 72 29 0a 09 09 09 09 09 09 6d 73 65 72 76 65 72 r).......mserver
2140: 2e 61 70 70 65 6e 64 28 66 6f 6c 64 65 72 4e 61 .append(folderNa
2150: 6d 65 2c 20 4e 6f 6e 65 2c 20 62 61 63 6b 75 70 me, None, backup
2160: 5f 64 61 74 65 2c 20 62 27 5c 6e 27 2e 6a 6f 69 _date, b'\n'.joi
2170: 6e 28 69 6e 66 6f 2e 6c 69 6e 65 73 29 29 0a 09 n(info.lines))..
2180: 09 09 09 09 65 78 63 65 70 74 20 4f 76 65 72 66 ....except Overf
2190: 6c 6f 77 45 72 72 6f 72 20 61 73 20 65 72 72 3a lowError as err:
21a0: 0a 09 09 09 09 09 09 23 70 72 69 6e 74 28 27 2a .......#print('*
21b0: 27 2c 20 69 74 65 6d 2c 20 72 61 77 5f 64 61 74 ', item, raw_dat
21c0: 65 2c 20 72 65 70 72 28 64 61 74 65 29 29 0a 09 e, repr(date))..
21d0: 09 09 09 09 09 23 72 61 69 73 65 28 65 72 72 29 .....#raise(err)
21e0: 0a 09 09 09 09 09 09 6d 73 65 72 76 65 72 2e 61 .......mserver.a
21f0: 70 70 65 6e 64 28 66 6f 6c 64 65 72 4e 61 6d 65 ppend(folderName
2200: 2c 20 4e 6f 6e 65 2c 20 62 61 63 6b 75 70 5f 64 , None, backup_d
2210: 61 74 65 2c 20 62 27 5c 6e 27 2e 6a 6f 69 6e 28 ate, b'\n'.join(
2220: 69 6e 66 6f 2e 6c 69 6e 65 73 29 29 0a 09 09 09 info.lines))....
2230: 09 65 6c 73 65 3a 0a 09 09 09 09 09 23 70 72 69 .else:......#pri
2240: 6e 74 28 27 2a 27 2c 20 69 74 65 6d 2c 20 65 6e nt('*', item, en
2250: 76 5f 64 61 74 65 2c 20 74 79 70 65 28 65 6e 76 v_date, type(env
2260: 5f 64 61 74 65 29 29 0a 09 09 09 09 09 6d 73 65 _date))......mse
2270: 72 76 65 72 2e 61 70 70 65 6e 64 28 66 6f 6c 64 rver.append(fold
2280: 65 72 4e 61 6d 65 2c 20 4e 6f 6e 65 2c 20 65 6e erName, None, en
2290: 76 5f 64 61 74 65 2c 20 62 27 5c 6e 27 2e 6a 6f v_date, b'\n'.jo
22a0: 69 6e 28 69 6e 66 6f 2e 6c 69 6e 65 73 29 29 0a in(info.lines)).
22b0: 09 09 09 09 66 6f 6c 64 65 72 2e 61 64 64 6d 61 ....folder.addma
22c0: 69 6c 28 69 74 65 6d 29 0a 09 09 09 09 66 6f 6c il(item).....fol
22d0: 64 65 72 2e 73 79 6e 63 28 29 0a 09 09 09 09 63 der.sync().....c
22e0: 6f 75 6e 74 20 2b 3d 20 31 0a 09 09 09 09 69 66 ount += 1.....if
22f0: 20 63 6f 75 6e 74 20 3e 3d 20 6c 69 6d 69 74 73 count >= limits
2300: 5b 31 5d 3a 0a 09 09 09 09 09 62 72 65 61 6b 0a [1]:......break.
2310: 09 09 09 65 78 63 65 70 74 20 6e 6e 74 70 6c 69 ...except nntpli
2320: 62 2e 4e 4e 54 50 54 65 6d 70 6f 72 61 72 79 45 b.NNTPTemporaryE
2330: 72 72 6f 72 20 61 73 20 65 72 72 3a 0a 09 09 09 rror as err:....
2340: 09 69 66 20 65 72 72 2e 72 65 73 70 6f 6e 73 65 .if err.response
2350: 2e 73 74 61 72 74 73 77 69 74 68 28 27 34 33 30 .startswith('430
2360: 20 4e 6f 20 73 75 63 68 20 61 72 74 69 63 6c 65 No such article
2370: 27 29 3a 0a 09 09 09 09 09 66 6f 6c 64 65 72 2e '):......folder.
2380: 66 6f 72 67 65 74 28 69 74 65 6d 29 0a 09 09 09 forget(item)....
2390: 09 65 6c 73 65 3a 0a 09 09 09 09 09 70 72 69 6e .else:......prin
23a0: 74 28 65 72 72 2e 72 65 73 70 6f 6e 73 65 2c 20 t(err.response,
23b0: 69 74 65 6d 2c 20 65 6e 76 5f 64 61 74 65 29 0a item, env_date).
23c0: 09 09 09 09 09 72 61 69 73 65 28 65 72 72 29 0a .....raise(err).
23d0: 09 09 73 74 61 74 73 5b 31 5d 20 3d 20 63 6f 75 ..stats[1] = cou
23e0: 6e 74 0a 09 09 6c 69 6d 69 74 73 5b 31 5d 20 2d nt...limits[1] -
23f0: 3d 20 63 6f 75 6e 74 0a 0a 09 69 66 20 73 74 61 = count...if sta
2400: 74 73 5b 30 5d 20 21 3d 20 30 20 6f 72 20 73 74 ts[0] != 0 or st
2410: 61 74 73 5b 31 5d 20 21 3d 20 30 3a 0a 09 09 70 ats[1] != 0:...p
2420: 72 69 6e 74 28 27 23 20 27 2c 20 66 6f 6c 64 65 rint('# ', folde
2430: 72 4e 61 6d 65 2c 20 27 5c 74 27 2a 28 73 6b 65 rName, '\t'*(ske
2440: 77 20 2d 20 69 6e 74 28 28 6c 65 6e 28 66 6f 6c w - int((len(fol
2450: 64 65 72 4e 61 6d 65 29 20 2b 20 32 29 20 2f 20 derName) + 2) /
2460: 38 29 29 2c 20 27 5c 74 27 2e 6a 6f 69 6e 28 6d 8)), '\t'.join(m
2470: 61 70 28 73 74 72 2c 20 73 74 61 74 73 29 29 2c ap(str, stats)),
2480: 20 73 65 70 20 3d 20 27 27 29 0a 09 66 6f 6c 64 sep = '')..fold
2490: 65 72 2e 73 79 6e 63 28 29 0a er.sync().