0000: 23 21 2f 75 73 72 2f 62 69 6e 2f 65 6e 76 20 70 #!/usr/bin/env p
0010: 79 74 68 6f 6e 33 0a 0a 69 6d 70 6f 72 74 20 63 ython3..import c
0020: 6f 6e 66 69 67 70 61 72 73 65 72 2c 20 65 6d 61 onfigparser, ema
0030: 69 6c 2e 75 74 69 6c 73 2c 20 67 65 74 70 61 73 il.utils, getpas
0040: 73 2c 20 69 6d 61 70 6c 69 62 2c 20 6e 6e 74 70 s, imaplib, nntp
0050: 6c 69 62 2c 20 72 65 2c 20 73 71 6c 69 74 65 33 lib, re, sqlite3
0060: 2c 20 73 79 73 0a 69 6d 61 70 6c 69 62 2e 5f 4d , sys.imaplib._M
0070: 41 58 4c 49 4e 45 20 3d 20 31 30 32 34 20 2a 20 AXLINE = 1024 *
0080: 31 30 32 34 20 2a 20 34 0a 6e 6e 74 70 6c 69 62 1024 * 4.nntplib
0090: 2e 5f 4d 41 58 4c 49 4e 45 20 3d 20 31 30 32 34 ._MAXLINE = 1024
00a0: 20 2a 20 31 30 32 34 20 2a 20 34 0a 0a 63 6f 6e * 1024 * 4..con
00b0: 66 69 67 20 3d 20 63 6f 6e 66 69 67 70 61 72 73 fig = configpars
00c0: 65 72 2e 43 6f 6e 66 69 67 50 61 72 73 65 72 28 er.ConfigParser(
00d0: 61 6c 6c 6f 77 5f 6e 6f 5f 76 61 6c 75 65 20 3d allow_no_value =
00e0: 20 54 72 75 65 29 0a 63 6f 6e 66 69 67 2e 72 65 True).config.re
00f0: 61 64 28 27 6e 6e 74 70 64 75 70 2e 63 6f 6e 66 ad('nntpdup.conf
0100: 27 29 0a 0a 74 72 79 3a 0a 09 23 73 65 72 76 65 ')..try:..#serve
0110: 72 20 3d 20 6e 6e 74 70 6c 69 62 2e 4e 4e 54 50 r = nntplib.NNTP
0120: 5f 53 53 4c 28 63 6f 6e 66 69 67 5b 27 63 6f 6e _SSL(config['con
0130: 6e 65 63 74 69 6f 6e 27 5d 5b 27 6e 65 77 73 73 nection']['newss
0140: 65 72 76 65 72 27 5d 29 0a 09 73 65 72 76 65 72 erver'])..server
0150: 20 3d 20 6e 6e 74 70 6c 69 62 2e 4e 4e 54 50 28 = nntplib.NNTP(
0160: 63 6f 6e 66 69 67 5b 27 63 6f 6e 6e 65 63 74 69 config['connecti
0170: 6f 6e 27 5d 5b 27 6e 65 77 73 73 65 72 76 65 72 on']['newsserver
0180: 27 5d 29 0a 65 78 63 65 70 74 20 6e 6e 74 70 6c ']).except nntpl
0190: 69 62 2e 4e 4e 54 50 54 65 6d 70 6f 72 61 72 79 ib.NNTPTemporary
01a0: 45 72 72 6f 72 20 61 73 20 65 72 72 3a 0a 09 69 Error as err:..i
01b0: 66 20 65 72 72 2e 72 65 73 70 6f 6e 73 65 2e 73 f err.response.s
01c0: 74 61 72 74 73 77 69 74 68 28 27 34 30 30 20 6c tartswith('400 l
01d0: 6f 61 64 20 61 74 20 27 29 3a 0a 09 09 70 72 69 oad at '):...pri
01e0: 6e 74 28 65 72 72 2e 72 65 73 70 6f 6e 73 65 29 nt(err.response)
01f0: 0a 09 09 65 78 69 74 28 30 29 0a 09 65 6c 73 65 ...exit(0)..else
0200: 3a 0a 09 09 72 61 69 73 65 28 65 72 72 29 0a 6d :...raise(err).m
0210: 73 65 72 76 65 72 20 3d 20 69 6d 61 70 6c 69 62 server = imaplib
0220: 2e 49 4d 41 50 34 5f 53 53 4c 28 63 6f 6e 66 69 .IMAP4_SSL(confi
0230: 67 5b 27 63 6f 6e 6e 65 63 74 69 6f 6e 27 5d 5b g['connection'][
0240: 27 6d 61 69 6c 73 65 72 76 65 72 27 5d 29 0a 72 'mailserver']).r
0250: 65 4d 65 73 73 61 67 65 49 64 20 3d 20 72 65 2e eMessageId = re.
0260: 63 6f 6d 70 69 6c 65 28 27 28 3c 5b 2d 5c 5d 5b compile('(<[-\][
0270: 61 2d 7a 41 2d 5a 30 2d 39 40 2e 25 2f 3d 5f 5c a-zA-Z0-9@.%/=_\
0280: 24 2b 21 26 7e 23 5c 3f 7d 5d 2b 3e 29 22 3f 5c $+!&~#\?}]+>)"?\
0290: 29 5c 29 28 5c 64 2b 20 5c 28 46 4c 41 47 53 5c )\)(\d+ \(FLAGS\
02a0: 28 5c 29 5c 29 29 3f 24 27 29 0a 6d 73 65 72 76 (\)\))?$').mserv
02b0: 65 72 2e 6c 6f 67 69 6e 28 63 6f 6e 66 69 67 5b er.login(config[
02c0: 27 63 6f 6e 6e 65 63 74 69 6f 6e 27 5d 5b 27 6d 'connection']['m
02d0: 61 69 6c 5f 75 73 65 72 27 5d 2c 20 63 6f 6e 66 ail_user'], conf
02e0: 69 67 5b 27 63 6f 6e 6e 65 63 74 69 6f 6e 27 5d ig['connection']
02f0: 5b 27 6d 61 69 6c 5f 70 61 73 73 77 6f 72 64 27 ['mail_password'
0300: 5d 29 0a 69 66 20 27 6d 61 69 6c 5f 6c 69 6d 69 ]).if 'mail_limi
0310: 74 27 20 69 6e 20 63 6f 6e 66 69 67 5b 27 63 6f t' in config['co
0320: 6e 6e 65 63 74 69 6f 6e 27 5d 3a 0a 09 6d 61 69 nnection']:..mai
0330: 6c 4c 69 6d 69 74 20 3d 20 69 6e 74 28 63 6f 6e lLimit = int(con
0340: 66 69 67 5b 27 63 6f 6e 6e 65 63 74 69 6f 6e 27 fig['connection'
0350: 5d 5b 27 6d 61 69 6c 5f 6c 69 6d 69 74 27 5d 29 ]['mail_limit'])
0360: 0a 65 6c 73 65 3a 0a 09 6d 61 69 6c 4c 69 6d 69 .else:..mailLimi
0370: 74 20 3d 20 31 30 30 0a 69 66 20 27 68 65 61 64 t = 100.if 'head
0380: 65 72 5f 6c 69 6d 69 74 27 20 69 6e 20 63 6f 6e er_limit' in con
0390: 66 69 67 5b 27 63 6f 6e 6e 65 63 74 69 6f 6e 27 fig['connection'
03a0: 5d 3a 0a 09 68 65 61 64 65 72 4c 69 6d 69 74 20 ]:..headerLimit
03b0: 3d 20 69 6e 74 28 63 6f 6e 66 69 67 5b 27 63 6f = int(config['co
03c0: 6e 6e 65 63 74 69 6f 6e 27 5d 5b 27 68 65 61 64 nnection']['head
03d0: 65 72 5f 6c 69 6d 69 74 27 5d 29 0a 65 6c 73 65 er_limit']).else
03e0: 3a 0a 09 68 65 61 64 65 72 4c 69 6d 69 74 20 3d :..headerLimit =
03f0: 20 31 30 30 30 0a 0a 74 61 62 6c 65 73 20 3d 20 1000..tables =
0400: 7b 0a 09 27 6c 69 73 74 27 3a 20 5b 22 63 72 65 {..'list': ["cre
0410: 61 74 65 20 74 61 62 6c 65 20 6c 69 73 74 20 28 ate table list (
0420: 69 64 20 69 6e 74 65 67 65 72 20 70 72 69 6d 61 id integer prima
0430: 72 79 20 6b 65 79 2c 20 6e 61 6d 65 20 74 65 78 ry key, name tex
0440: 74 2c 20 6c 61 73 74 20 69 6e 74 65 67 65 72 20 t, last integer
0450: 64 65 66 61 75 6c 74 20 30 29 3b 22 5d 2c 0a 09 default 0);"],..
0460: 27 69 64 73 27 3a 20 5b 22 63 72 65 61 74 65 20 'ids': ["create
0470: 74 61 62 6c 65 20 69 64 73 20 28 69 64 20 69 6e table ids (id in
0480: 74 65 67 65 72 2c 20 6e 61 6d 65 20 74 65 78 74 teger, name text
0490: 2c 20 6d 61 73 6b 20 69 6e 74 65 67 65 72 2c 20 , mask integer,
04a0: 64 61 74 65 20 69 6e 74 65 67 65 72 29 3b 22 2c date integer);",
04b0: 20 22 63 72 65 61 74 65 20 75 6e 69 71 75 65 20 "create unique
04c0: 69 6e 64 65 78 20 69 64 73 5f 5f 69 64 5f 6e 61 index ids__id_na
04d0: 6d 65 20 6f 6e 20 69 64 73 28 69 64 2c 20 6e 61 me on ids(id, na
04e0: 6d 65 29 3b 22 5d 2c 0a 7d 0a 0a 63 6c 61 73 73 me);"],.}..class
04f0: 20 46 6f 6c 64 65 72 3a 0a 09 64 65 66 20 5f 5f Folder:..def __
0500: 69 6e 69 74 5f 5f 28 74 68 69 73 2c 20 66 69 6c init__(this, fil
0510: 65 6e 61 6d 65 29 3a 0a 09 09 74 68 69 73 2e 64 ename):...this.d
0520: 62 20 3d 20 73 71 6c 69 74 65 33 2e 63 6f 6e 6e b = sqlite3.conn
0530: 65 63 74 28 66 69 6c 65 6e 61 6d 65 29 0a 09 09 ect(filename)...
0540: 74 68 69 73 2e 69 64 20 3d 20 4e 6f 6e 65 0a 09 this.id = None..
0550: 09 66 6f 75 6e 64 20 3d 20 73 65 74 28 29 0a 09 .found = set()..
0560: 09 66 6f 72 20 72 6f 77 20 69 6e 20 74 68 69 73 .for row in this
0570: 2e 64 62 2e 65 78 65 63 75 74 65 28 22 73 65 6c .db.execute("sel
0580: 65 63 74 20 6e 61 6d 65 20 66 72 6f 6d 20 73 71 ect name from sq
0590: 6c 69 74 65 5f 6d 61 73 74 65 72 20 77 68 65 72 lite_master wher
05a0: 65 20 74 79 70 65 20 3d 20 27 74 61 62 6c 65 27 e type = 'table'
05b0: 3b 22 29 3a 0a 09 09 09 66 6f 75 6e 64 2e 61 64 ;"):....found.ad
05c0: 64 28 72 6f 77 5b 30 5d 29 0a 09 09 66 6f 72 20 d(row[0])...for
05d0: 61 62 73 65 6e 74 20 69 6e 20 73 65 74 28 74 61 absent in set(ta
05e0: 62 6c 65 73 2e 6b 65 79 73 28 29 29 2e 64 69 66 bles.keys()).dif
05f0: 66 65 72 65 6e 63 65 28 66 6f 75 6e 64 29 3a 0a ference(found):.
0600: 09 09 09 66 6f 72 20 71 75 65 72 79 20 69 6e 20 ...for query in
0610: 74 61 62 6c 65 73 5b 61 62 73 65 6e 74 5d 3a 0a tables[absent]:.
0620: 09 09 09 09 74 68 69 73 2e 64 62 2e 65 78 65 63 ....this.db.exec
0630: 75 74 65 28 71 75 65 72 79 29 0a 0a 09 64 65 66 ute(query)...def
0640: 20 73 65 6c 65 63 74 28 74 68 69 73 2c 20 66 6f select(this, fo
0650: 6c 64 65 72 4e 61 6d 65 29 3a 0a 09 09 74 68 69 lderName):...thi
0660: 73 2e 6e 61 6d 65 20 3d 20 66 6f 6c 64 65 72 4e s.name = folderN
0670: 61 6d 65 0a 09 09 74 68 69 73 2e 69 64 20 3d 20 ame...this.id =
0680: 4e 6f 6e 65 0a 09 09 77 68 69 6c 65 20 54 72 75 None...while Tru
0690: 65 3a 0a 09 09 09 70 72 65 73 65 6e 74 20 3d 20 e:....present =
06a0: 46 61 6c 73 65 0a 09 09 09 66 6f 72 20 72 6f 77 False....for row
06b0: 20 69 6e 20 74 68 69 73 2e 64 62 2e 65 78 65 63 in this.db.exec
06c0: 75 74 65 28 22 73 65 6c 65 63 74 20 69 64 2c 20 ute("select id,
06d0: 6c 61 73 74 20 66 72 6f 6d 20 6c 69 73 74 20 77 last from list w
06e0: 68 65 72 65 20 6e 61 6d 65 20 3d 20 3f 3b 22 2c here name = ?;",
06f0: 20 5b 66 6f 6c 64 65 72 4e 61 6d 65 5d 29 3a 0a [folderName]):.
0700: 09 09 09 09 70 72 65 73 65 6e 74 20 3d 20 54 72 ....present = Tr
0710: 75 65 0a 09 09 09 09 74 68 69 73 2e 69 64 20 3d ue.....this.id =
0720: 20 72 6f 77 5b 30 5d 0a 09 09 09 09 74 68 69 73 row[0].....this
0730: 2e 6c 61 73 74 20 3d 20 72 6f 77 5b 31 5d 0a 09 .last = row[1]..
0740: 09 09 69 66 20 70 72 65 73 65 6e 74 3a 0a 09 09 ..if present:...
0750: 09 09 62 72 65 61 6b 0a 09 09 09 74 68 69 73 2e ..break....this.
0760: 64 62 2e 65 78 65 63 75 74 65 28 22 69 6e 73 65 db.execute("inse
0770: 72 74 20 69 6e 74 6f 20 6c 69 73 74 28 6e 61 6d rt into list(nam
0780: 65 29 20 76 61 6c 75 65 73 20 28 3f 29 3b 22 2c e) values (?);",
0790: 20 5b 66 6f 6c 64 65 72 4e 61 6d 65 5d 29 0a 09 [folderName])..
07a0: 09 69 66 20 74 68 69 73 2e 69 64 20 3d 3d 20 4e .if this.id == N
07b0: 6f 6e 65 3a 0a 09 09 09 70 72 69 6e 74 28 27 49 one:....print('I
07c0: 64 20 6e 6f 74 20 66 6f 75 6e 64 2e 27 29 0a 09 d not found.')..
07d0: 09 09 65 78 69 74 28 31 29 0a 09 09 74 68 69 73 ..exit(1)...this
07e0: 2e 6d 61 73 6b 20 3d 20 7b 7d 0a 09 09 74 68 69 .mask = {}...thi
07f0: 73 2e 67 65 74 5f 63 6f 75 6e 74 28 29 0a 0a 09 s.get_count()...
0800: 64 65 66 20 67 65 74 5f 63 6f 75 6e 74 28 74 68 def get_count(th
0810: 69 73 29 3a 0a 09 09 74 68 69 73 2e 63 6f 75 6e is):...this.coun
0820: 74 20 3d 20 30 0a 09 09 66 6f 72 20 72 6f 77 20 t = 0...for row
0830: 69 6e 20 74 68 69 73 2e 64 62 2e 65 78 65 63 75 in this.db.execu
0840: 74 65 28 22 73 65 6c 65 63 74 20 63 6f 75 6e 74 te("select count
0850: 28 2a 29 20 66 72 6f 6d 20 69 64 73 20 77 68 65 (*) from ids whe
0860: 72 65 20 69 64 20 3d 20 3f 20 61 6e 64 20 6d 61 re id = ? and ma
0870: 73 6b 20 69 6e 20 28 33 2c 20 31 29 3b 22 2c 20 sk in (3, 1);",
0880: 5b 74 68 69 73 2e 69 64 5d 29 3a 0a 09 09 09 74 [this.id]):....t
0890: 68 69 73 2e 63 6f 75 6e 74 20 3d 20 72 6f 77 5b his.count = row[
08a0: 30 5d 0a 0a 09 64 65 66 20 67 65 74 5f 72 65 63 0]...def get_rec
08b0: 6f 72 64 5f 63 6f 75 6e 74 28 74 68 69 73 2c 20 ord_count(this,
08c0: 6d 61 73 6b 29 3a 0a 09 09 66 6f 72 20 72 6f 77 mask):...for row
08d0: 20 69 6e 20 74 68 69 73 2e 64 62 2e 65 78 65 63 in this.db.exec
08e0: 75 74 65 28 22 73 65 6c 65 63 74 20 63 6f 75 6e ute("select coun
08f0: 74 28 2a 29 20 66 72 6f 6d 20 69 64 73 20 77 68 t(*) from ids wh
0900: 65 72 65 20 69 64 20 3d 20 3f 20 61 6e 64 20 6d ere id = ? and m
0910: 61 73 6b 20 3d 20 3f 3b 22 2c 20 5b 74 68 69 73 ask = ?;", [this
0920: 2e 69 64 2c 20 6d 61 73 6b 5d 29 3a 0a 09 09 09 .id, mask]):....
0930: 72 65 74 75 72 6e 28 72 6f 77 5b 30 5d 29 0a 0a return(row[0])..
0940: 09 64 65 66 20 63 68 65 63 6b 28 74 68 69 73 2c .def check(this,
0950: 20 6e 61 6d 65 29 3a 0a 09 09 69 66 20 6e 61 6d name):...if nam
0960: 65 20 69 6e 20 74 68 69 73 2e 6d 61 73 6b 3a 0a e in this.mask:.
0970: 09 09 09 72 65 74 75 72 6e 28 74 68 69 73 2e 6d ...return(this.m
0980: 61 73 6b 5b 6e 61 6d 65 5d 29 0a 09 09 66 6f 72 ask[name])...for
0990: 20 72 6f 77 20 69 6e 20 74 68 69 73 2e 64 62 2e row in this.db.
09a0: 65 78 65 63 75 74 65 28 22 73 65 6c 65 63 74 20 execute("select
09b0: 6d 61 73 6b 20 66 72 6f 6d 20 69 64 73 20 77 68 mask from ids wh
09c0: 65 72 65 20 69 64 20 3d 20 3f 20 61 6e 64 20 6e ere id = ? and n
09d0: 61 6d 65 20 3d 20 3f 3b 22 2c 20 5b 74 68 69 73 ame = ?;", [this
09e0: 2e 69 64 2c 20 6e 61 6d 65 5d 29 3a 0a 09 09 09 .id, name]):....
09f0: 74 68 69 73 2e 6d 61 73 6b 5b 6e 61 6d 65 5d 20 this.mask[name]
0a00: 3d 20 72 6f 77 5b 30 5d 0a 09 09 09 72 65 74 75 = row[0]....retu
0a10: 72 6e 28 72 6f 77 5b 30 5d 29 0a 0a 09 64 65 66 rn(row[0])...def
0a20: 20 61 64 64 6c 61 73 74 28 74 68 69 73 2c 20 63 addlast(this, c
0a30: 6f 75 6e 74 29 3a 0a 09 09 74 68 69 73 2e 6c 61 ount):...this.la
0a40: 73 74 20 2b 3d 20 63 6f 75 6e 74 0a 09 09 74 68 st += count...th
0a50: 69 73 2e 64 62 2e 65 78 65 63 75 74 65 28 22 75 is.db.execute("u
0a60: 70 64 61 74 65 20 6c 69 73 74 20 73 65 74 20 6c pdate list set l
0a70: 61 73 74 20 3d 20 3f 20 77 68 65 72 65 20 69 64 ast = ? where id
0a80: 20 3d 20 3f 3b 22 2c 20 5b 74 68 69 73 2e 6c 61 = ?;", [this.la
0a90: 73 74 2c 20 74 68 69 73 2e 69 64 5d 29 0a 0a 09 st, this.id])...
0aa0: 64 65 66 20 64 72 6f 70 6c 61 73 74 28 74 68 69 def droplast(thi
0ab0: 73 29 3a 0a 09 09 74 68 69 73 2e 6c 61 73 74 20 s):...this.last
0ac0: 3d 20 30 0a 09 09 74 68 69 73 2e 64 62 2e 65 78 = 0...this.db.ex
0ad0: 65 63 75 74 65 28 22 75 70 64 61 74 65 20 6c 69 ecute("update li
0ae0: 73 74 20 73 65 74 20 6c 61 73 74 20 3d 20 3f 20 st set last = ?
0af0: 77 68 65 72 65 20 69 64 20 3d 20 3f 3b 22 2c 20 where id = ?;",
0b00: 5b 74 68 69 73 2e 6c 61 73 74 2c 20 74 68 69 73 [this.last, this
0b10: 2e 69 64 5d 29 0a 0a 09 64 65 66 20 61 64 64 6d .id])...def addm
0b20: 61 69 6c 28 74 68 69 73 2c 20 6d 69 64 29 3a 0a ail(this, mid):.
0b30: 09 09 6d 61 73 6b 20 3d 20 74 68 69 73 2e 63 68 ..mask = this.ch
0b40: 65 63 6b 28 6d 69 64 29 0a 09 09 69 66 20 6d 61 eck(mid)...if ma
0b50: 73 6b 20 69 6e 20 28 33 2c 20 32 29 3a 0a 09 09 sk in (3, 2):...
0b60: 09 74 68 69 73 2e 64 62 2e 65 78 65 63 75 74 65 .this.db.execute
0b70: 28 22 75 70 64 61 74 65 20 69 64 73 20 73 65 74 ("update ids set
0b80: 20 6d 61 73 6b 20 3d 20 33 20 77 68 65 72 65 20 mask = 3 where
0b90: 69 64 20 3d 20 3f 20 61 6e 64 20 6e 61 6d 65 20 id = ? and name
0ba0: 3d 20 3f 3b 22 2c 20 5b 74 68 69 73 2e 69 64 2c = ?;", [this.id,
0bb0: 20 6d 69 64 5d 29 0a 09 09 09 74 68 69 73 2e 6d mid])....this.m
0bc0: 61 73 6b 5b 6d 69 64 5d 20 3d 20 33 0a 09 09 65 ask[mid] = 3...e
0bd0: 6c 73 65 3a 0a 09 09 09 74 68 69 73 2e 64 62 2e lse:....this.db.
0be0: 65 78 65 63 75 74 65 28 22 69 6e 73 65 72 74 20 execute("insert
0bf0: 69 6e 74 6f 20 69 64 73 28 69 64 2c 20 6e 61 6d into ids(id, nam
0c00: 65 2c 20 6d 61 73 6b 29 20 76 61 6c 75 65 73 28 e, mask) values(
0c10: 3f 2c 20 3f 2c 20 3f 29 3b 22 2c 20 5b 74 68 69 ?, ?, ?);", [thi
0c20: 73 2e 69 64 2c 20 6d 69 64 2c 20 31 5d 29 0a 09 s.id, mid, 1])..
0c30: 09 09 74 68 69 73 2e 63 6f 75 6e 74 20 2b 3d 20 ..this.count +=
0c40: 31 0a 09 09 09 74 68 69 73 2e 6d 61 73 6b 5b 6d 1....this.mask[m
0c50: 69 64 5d 20 3d 20 31 0a 0a 09 64 65 66 20 61 64 id] = 1...def ad
0c60: 64 6e 65 77 73 28 74 68 69 73 2c 20 6d 69 64 2c dnews(this, mid,
0c70: 20 64 61 74 65 20 3d 20 4e 6f 6e 65 29 3a 0a 09 date = None):..
0c80: 09 6d 61 73 6b 20 3d 20 74 68 69 73 2e 63 68 65 .mask = this.che
0c90: 63 6b 28 6d 69 64 29 0a 09 09 69 66 20 6d 61 73 ck(mid)...if mas
0ca0: 6b 20 69 6e 20 28 31 2c 20 33 29 3a 0a 09 09 09 k in (1, 3):....
0cb0: 74 68 69 73 2e 64 62 2e 65 78 65 63 75 74 65 28 this.db.execute(
0cc0: 22 75 70 64 61 74 65 20 69 64 73 20 73 65 74 20 "update ids set
0cd0: 6d 61 73 6b 20 3d 20 33 2c 20 64 61 74 65 20 3d mask = 3, date =
0ce0: 20 3f 20 77 68 65 72 65 20 69 64 20 3d 20 3f 20 ? where id = ?
0cf0: 61 6e 64 20 6e 61 6d 65 20 3d 20 3f 3b 22 2c 20 and name = ?;",
0d00: 5b 64 61 74 65 2c 20 74 68 69 73 2e 69 64 2c 20 [date, this.id,
0d10: 6d 69 64 5d 29 0a 09 09 09 74 68 69 73 2e 6d 61 mid])....this.ma
0d20: 73 6b 5b 6d 69 64 5d 20 3d 20 33 0a 09 09 65 6c sk[mid] = 3...el
0d30: 73 65 3a 0a 09 09 09 74 68 69 73 2e 64 62 2e 65 se:....this.db.e
0d40: 78 65 63 75 74 65 28 22 69 6e 73 65 72 74 20 69 xecute("insert i
0d50: 6e 74 6f 20 69 64 73 28 69 64 2c 20 6e 61 6d 65 nto ids(id, name
0d60: 2c 20 6d 61 73 6b 2c 20 64 61 74 65 29 20 76 61 , mask, date) va
0d70: 6c 75 65 73 28 3f 2c 20 3f 2c 20 3f 2c 20 3f 29 lues(?, ?, ?, ?)
0d80: 3b 22 2c 20 5b 74 68 69 73 2e 69 64 2c 20 6d 69 ;", [this.id, mi
0d90: 64 2c 20 32 2c 20 64 61 74 65 5d 29 0a 09 09 09 d, 2, date])....
0da0: 74 68 69 73 2e 63 6f 75 6e 74 20 2b 3d 20 31 0a this.count += 1.
0db0: 09 09 09 74 68 69 73 2e 6d 61 73 6b 5b 6d 69 64 ...this.mask[mid
0dc0: 5d 20 3d 20 32 0a 0a 09 64 65 66 20 7a 65 72 6f ] = 2...def zero
0dd0: 6d 61 69 6c 28 74 68 69 73 29 3a 0a 09 09 74 68 mail(this):...th
0de0: 69 73 2e 6d 61 73 6b 20 3d 20 7b 7d 0a 09 09 74 is.mask = {}...t
0df0: 68 69 73 2e 64 62 2e 65 78 65 63 75 74 65 28 22 his.db.execute("
0e00: 75 70 64 61 74 65 20 69 64 73 20 73 65 74 20 6d update ids set m
0e10: 61 73 6b 20 3d 20 32 20 77 68 65 72 65 20 69 64 ask = 2 where id
0e20: 20 3d 20 3f 20 61 6e 64 20 6d 61 73 6b 20 3d 20 = ? and mask =
0e30: 33 3b 22 2c 20 5b 74 68 69 73 2e 69 64 5d 29 0a 3;", [this.id]).
0e40: 09 09 74 68 69 73 2e 64 62 2e 65 78 65 63 75 74 ..this.db.execut
0e50: 65 28 22 64 65 6c 65 74 65 20 66 72 6f 6d 20 69 e("delete from i
0e60: 64 73 20 77 68 65 72 65 20 69 64 20 3d 20 3f 20 ds where id = ?
0e70: 61 6e 64 20 6d 61 73 6b 20 3d 20 31 3b 22 2c 20 and mask = 1;",
0e80: 5b 74 68 69 73 2e 69 64 5d 29 0a 09 09 74 68 69 [this.id])...thi
0e90: 73 2e 73 79 6e 63 28 29 0a 09 09 74 68 69 73 2e s.sync()...this.
0ea0: 67 65 74 5f 63 6f 75 6e 74 28 29 0a 0a 09 64 65 get_count()...de
0eb0: 66 20 7a 65 72 6f 6e 65 77 73 28 74 68 69 73 29 f zeronews(this)
0ec0: 3a 0a 09 09 74 68 69 73 2e 6d 61 73 6b 20 3d 20 :...this.mask =
0ed0: 7b 7d 0a 09 09 74 68 69 73 2e 64 62 2e 65 78 65 {}...this.db.exe
0ee0: 63 75 74 65 28 22 75 70 64 61 74 65 20 69 64 73 cute("update ids
0ef0: 20 73 65 74 20 6d 61 73 6b 20 3d 20 31 20 77 68 set mask = 1 wh
0f00: 65 72 65 20 69 64 20 3d 20 3f 20 61 6e 64 20 6d ere id = ? and m
0f10: 61 73 6b 20 3d 20 33 3b 22 2c 20 5b 74 68 69 73 ask = 3;", [this
0f20: 2e 69 64 5d 29 0a 09 09 74 68 69 73 2e 64 62 2e .id])...this.db.
0f30: 65 78 65 63 75 74 65 28 22 64 65 6c 65 74 65 20 execute("delete
0f40: 66 72 6f 6d 20 69 64 73 20 77 68 65 72 65 20 69 from ids where i
0f50: 64 20 3d 20 3f 20 61 6e 64 20 6d 61 73 6b 20 3d d = ? and mask =
0f60: 20 32 3b 22 2c 20 5b 74 68 69 73 2e 69 64 5d 29 2;", [this.id])
0f70: 0a 09 09 74 68 69 73 2e 64 72 6f 70 6c 61 73 74 ...this.droplast
0f80: 28 29 0a 09 09 74 68 69 73 2e 73 79 6e 63 28 29 ()...this.sync()
0f90: 0a 0a 09 64 65 66 20 73 79 6e 63 28 74 68 69 73 ...def sync(this
0fa0: 29 3a 0a 09 09 74 68 69 73 2e 64 62 2e 63 6f 6d ):...this.db.com
0fb0: 6d 69 74 28 29 0a 0a 09 64 65 66 20 67 65 74 5f mit()...def get_
0fc0: 75 6e 66 65 74 63 68 65 64 28 74 68 69 73 29 3a unfetched(this):
0fd0: 0a 09 09 72 65 74 75 72 6e 28 74 68 69 73 2e 64 ...return(this.d
0fe0: 62 2e 65 78 65 63 75 74 65 28 22 73 65 6c 65 63 b.execute("selec
0ff0: 74 20 6e 61 6d 65 2c 20 64 61 74 65 20 66 72 6f t name, date fro
1000: 6d 20 69 64 73 20 77 68 65 72 65 20 69 64 20 3d m ids where id =
1010: 20 3f 20 61 6e 64 20 6d 61 73 6b 20 3d 20 32 20 ? and mask = 2
1020: 6f 72 64 65 72 20 62 79 20 64 61 74 65 20 64 65 order by date de
1030: 73 63 3b 22 2c 20 5b 74 68 69 73 2e 69 64 5d 29 sc;", [this.id])
1040: 29 0a 0a 09 64 65 66 20 66 6f 72 67 65 74 28 74 )...def forget(t
1050: 68 69 73 2c 20 6d 69 64 29 3a 0a 09 09 74 68 69 his, mid):...thi
1060: 73 2e 64 62 2e 65 78 65 63 75 74 65 28 22 64 65 s.db.execute("de
1070: 6c 65 74 65 20 66 72 6f 6d 20 69 64 73 20 77 68 lete from ids wh
1080: 65 72 65 20 69 64 20 3d 20 3f 20 61 6e 64 20 6e ere id = ? and n
1090: 61 6d 65 20 3d 20 3f 3b 22 2c 20 5b 74 68 69 73 ame = ?;", [this
10a0: 2e 69 64 2c 20 6d 69 64 5d 29 0a 0a 64 65 66 20 .id, mid])..def
10b0: 63 68 65 63 6b 5f 66 6f 6c 64 65 72 28 6d 73 65 check_folder(mse
10c0: 72 76 65 72 2c 20 66 6f 6c 64 65 72 2c 20 66 6f rver, folder, fo
10d0: 6c 64 65 72 4e 61 6d 65 29 3a 0a 09 66 6f 6c 64 lderName):..fold
10e0: 65 72 2e 7a 65 72 6f 6d 61 69 6c 28 29 0a 09 64 er.zeromail()..d
10f0: 65 6c 65 74 65 64 20 3d 20 30 0a 09 6d 73 65 72 eleted = 0..mser
1100: 76 65 72 2e 73 65 6c 65 63 74 28 66 6f 6c 64 65 ver.select(folde
1110: 72 4e 61 6d 65 29 0a 09 74 79 70 2c 20 64 61 74 rName)..typ, dat
1120: 61 20 3d 20 6d 73 65 72 76 65 72 2e 73 65 61 72 a = mserver.sear
1130: 63 68 28 4e 6f 6e 65 2c 20 27 4e 4f 54 20 44 45 ch(None, 'NOT DE
1140: 4c 45 54 45 44 27 29 0a 09 63 6f 75 6e 74 20 3d LETED')..count =
1150: 20 30 0a 09 70 72 69 6e 74 28 27 20 2d 20 62 75 0..print(' - bu
1160: 69 6c 64 69 6e 67 20 69 6d 61 70 20 69 6e 64 65 ilding imap inde
1170: 78 27 2c 20 66 6f 6c 64 65 72 4e 61 6d 65 2c 20 x', folderName,
1180: 27 5b 27 2c 20 65 6e 64 3d 27 27 29 0a 09 66 6f '[', end='')..fo
1190: 72 20 6e 75 6d 20 69 6e 20 64 61 74 61 5b 30 5d r num in data[0]
11a0: 2e 73 70 6c 69 74 28 29 3a 0a 09 09 66 6f 75 6e .split():...foun
11b0: 64 20 3d 20 46 61 6c 73 65 0a 09 09 74 79 70 2c d = False...typ,
11c0: 20 64 61 74 61 20 3d 20 6d 73 65 72 76 65 72 2e data = mserver.
11d0: 66 65 74 63 68 28 6e 75 6d 2c 20 27 28 45 4e 56 fetch(num, '(ENV
11e0: 45 4c 4f 50 45 29 27 29 0a 09 09 66 69 65 6c 64 ELOPE)')...field
11f0: 20 3d 20 30 0a 09 09 66 6f 72 20 72 65 63 20 69 = 0...for rec i
1200: 6e 20 64 61 74 61 3a 0a 09 09 09 69 66 20 74 79 n data:....if ty
1210: 70 65 28 72 65 63 29 20 3d 3d 20 74 75 70 6c 65 pe(rec) == tuple
1220: 3a 0a 09 09 09 09 64 61 74 61 5b 66 69 65 6c 64 :.....data[field
1230: 5d 20 3d 20 27 27 2e 6a 6f 69 6e 28 69 2e 64 65 ] = ''.join(i.de
1240: 63 6f 64 65 28 27 75 74 66 2d 38 27 2c 20 27 69 code('utf-8', 'i
1250: 67 6e 6f 72 65 27 29 20 66 6f 72 20 69 20 69 6e gnore') for i in
1260: 20 72 65 63 29 0a 09 09 09 65 6c 73 65 3a 0a 09 rec)....else:..
1270: 09 09 09 64 61 74 61 5b 66 69 65 6c 64 5d 20 3d ...data[field] =
1280: 20 72 65 63 2e 64 65 63 6f 64 65 28 27 75 74 66 rec.decode('utf
1290: 2d 38 27 2c 20 27 69 67 6e 6f 72 65 27 29 0a 09 -8', 'ignore')..
12a0: 09 09 66 69 65 6c 64 20 2b 3d 20 31 0a 09 09 64 ..field += 1...d
12b0: 61 74 61 20 3d 20 27 27 2e 6a 6f 69 6e 28 64 61 ata = ''.join(da
12c0: 74 61 29 0a 09 09 69 73 4d 69 64 20 3d 20 72 65 ta)...isMid = re
12d0: 4d 65 73 73 61 67 65 49 64 2e 73 65 61 72 63 68 MessageId.search
12e0: 28 64 61 74 61 29 0a 09 09 69 66 20 69 73 4d 69 (data)...if isMi
12f0: 64 3a 0a 09 09 09 6d 69 64 20 3d 20 69 73 4d 69 d:....mid = isMi
1300: 64 2e 67 72 6f 75 70 28 31 29 0a 09 09 09 6d 61 d.group(1)....ma
1310: 73 6b 20 3d 20 66 6f 6c 64 65 72 2e 63 68 65 63 sk = folder.chec
1320: 6b 28 6d 69 64 29 0a 09 09 09 69 66 20 6e 6f 74 k(mid)....if not
1330: 20 6d 61 73 6b 20 69 6e 20 28 31 2c 20 33 29 3a mask in (1, 3):
1340: 0a 09 09 09 09 66 6f 6c 64 65 72 2e 61 64 64 6d .....folder.addm
1350: 61 69 6c 28 6d 69 64 29 0a 09 09 09 09 63 6f 75 ail(mid).....cou
1360: 6e 74 20 2b 3d 20 31 0a 09 09 09 65 6c 73 65 3a nt += 1....else:
1370: 0a 09 09 09 09 6d 73 65 72 76 65 72 2e 73 74 6f .....mserver.sto
1380: 72 65 28 6e 75 6d 2c 20 27 2b 46 4c 41 47 53 27 re(num, '+FLAGS'
1390: 2c 20 27 5c 5c 44 65 6c 65 74 65 64 27 29 0a 09 , '\\Deleted')..
13a0: 09 09 09 64 65 6c 65 74 65 64 20 2b 3d 20 31 0a ...deleted += 1.
13b0: 09 09 09 09 73 79 73 2e 73 74 64 6f 75 74 2e 77 ....sys.stdout.w
13c0: 72 69 74 65 28 27 78 27 29 0a 09 09 09 09 73 79 rite('x').....sy
13d0: 73 2e 73 74 64 6f 75 74 2e 66 6c 75 73 68 28 29 s.stdout.flush()
13e0: 0a 09 09 65 6c 73 65 3a 0a 09 09 09 70 72 69 6e ...else:....prin
13f0: 74 28 27 4d 65 73 73 61 67 65 20 69 64 20 6e 6f t('Message id no
1400: 74 20 66 6f 75 6e 64 2e 27 29 0a 09 09 09 70 72 t found.')....pr
1410: 69 6e 74 28 72 65 70 72 28 64 61 74 61 29 29 0a int(repr(data)).
1420: 09 09 09 65 78 69 74 28 31 29 0a 09 09 69 66 20 ...exit(1)...if
1430: 28 63 6f 75 6e 74 20 25 20 31 30 30 30 29 20 3d (count % 1000) =
1440: 3d 20 30 3a 0a 09 09 09 73 79 73 2e 73 74 64 6f = 0:....sys.stdo
1450: 75 74 2e 77 72 69 74 65 28 27 2e 27 29 0a 09 09 ut.write('.')...
1460: 09 73 79 73 2e 73 74 64 6f 75 74 2e 66 6c 75 73 .sys.stdout.flus
1470: 68 28 29 0a 09 70 72 69 6e 74 28 27 5d 2c 20 64 h()..print('], d
1480: 65 6c 65 74 65 64 3a 27 2c 20 64 65 6c 65 74 65 eleted:', delete
1490: 64 29 0a 09 66 6f 6c 64 65 72 2e 73 79 6e 63 28 d)..folder.sync(
14a0: 29 0a 09 6d 73 65 72 76 65 72 2e 65 78 70 75 6e )..mserver.expun
14b0: 67 65 28 29 0a 0a 66 6f 6c 64 65 72 20 3d 20 46 ge()..folder = F
14c0: 6f 6c 64 65 72 28 27 6e 6e 74 70 64 75 70 2e 73 older('nntpdup.s
14d0: 71 6c 69 74 65 27 29 0a 0a 6c 69 6d 69 74 73 20 qlite')..limits
14e0: 3d 20 5b 30 2c 20 30 5d 0a 6c 69 6d 69 74 53 74 = [0, 0].limitSt
14f0: 65 70 73 20 3d 20 5b 68 65 61 64 65 72 4c 69 6d eps = [headerLim
1500: 69 74 20 2f 20 6c 65 6e 28 63 6f 6e 66 69 67 5b it / len(config[
1510: 27 67 72 6f 75 70 73 27 5d 29 2c 20 6d 61 69 6c 'groups']), mail
1520: 4c 69 6d 69 74 20 2f 20 6c 65 6e 28 63 6f 6e 66 Limit / len(conf
1530: 69 67 5b 27 67 72 6f 75 70 73 27 5d 29 5d 0a 0a ig['groups'])]..
1540: 6d 61 78 6c 65 6e 67 74 68 20 3d 20 30 0a 66 6f maxlength = 0.fo
1550: 72 20 66 6f 6c 64 65 72 4e 61 6d 65 20 69 6e 20 r folderName in
1560: 28 63 6f 6e 66 69 67 5b 27 67 72 6f 75 70 73 27 (config['groups'
1570: 5d 2e 6b 65 79 73 28 29 29 3a 0a 09 6d 61 78 6c ].keys()):..maxl
1580: 65 6e 67 74 68 20 3d 20 6d 61 78 28 6d 61 78 6c ength = max(maxl
1590: 65 6e 67 74 68 2c 20 6c 65 6e 28 66 6f 6c 64 65 ength, len(folde
15a0: 72 4e 61 6d 65 29 29 0a 0a 73 6b 65 77 20 3d 20 rName))..skew =
15b0: 31 20 2b 20 69 6e 74 28 6d 61 78 6c 65 6e 67 74 1 + int(maxlengt
15c0: 68 20 2f 20 38 29 0a 0a 66 6f 72 20 66 6f 6c 64 h / 8)..for fold
15d0: 65 72 4e 61 6d 65 20 69 6e 20 28 73 65 74 28 63 erName in (set(c
15e0: 6f 6e 66 69 67 5b 27 67 72 6f 75 70 73 27 5d 2e onfig['groups'].
15f0: 6b 65 79 73 28 29 29 29 3a 0a 09 73 74 61 74 73 keys())):..stats
1600: 20 3d 20 5b 30 2c 20 30 5d 0a 09 66 6f 6c 64 65 = [0, 0]..folde
1610: 72 2e 73 65 6c 65 63 74 28 66 6f 6c 64 65 72 4e r.select(folderN
1620: 61 6d 65 29 0a 09 6c 6f 63 61 6c 46 6f 6c 64 65 ame)..localFolde
1630: 72 4e 61 6d 65 20 3d 20 66 6f 6c 64 65 72 4e 61 rName = folderNa
1640: 6d 65 0a 0a 09 72 65 73 70 20 3d 20 6d 73 65 72 me...resp = mser
1650: 76 65 72 2e 73 65 6c 65 63 74 28 6c 6f 63 61 6c ver.select(local
1660: 46 6f 6c 64 65 72 4e 61 6d 65 29 0a 09 70 72 69 FolderName)..pri
1670: 6e 74 28 27 23 2d 2d 27 2c 20 6c 6f 63 61 6c 46 nt('#--', localF
1680: 6f 6c 64 65 72 4e 61 6d 65 2c 20 27 3a 27 2c 20 olderName, ':',
1690: 72 65 73 70 29 0a 09 69 66 20 72 65 73 70 5b 30 resp)..if resp[0
16a0: 5d 20 21 3d 20 27 4f 4b 27 3a 0a 09 09 6c 6f 63 ] != 'OK':...loc
16b0: 61 6c 46 6f 6c 64 65 72 4e 61 6d 65 20 3d 20 66 alFolderName = f
16c0: 6f 6c 64 65 72 4e 61 6d 65 2e 72 65 70 6c 61 63 olderName.replac
16d0: 65 28 27 2e 27 2c 20 27 2f 27 29 0a 09 09 72 65 e('.', '/')...re
16e0: 73 70 20 3d 20 6d 73 65 72 76 65 72 2e 73 65 6c sp = mserver.sel
16f0: 65 63 74 28 6c 6f 63 61 6c 46 6f 6c 64 65 72 4e ect(localFolderN
1700: 61 6d 65 29 0a 09 09 69 66 20 72 65 73 70 5b 30 ame)...if resp[0
1710: 5d 20 21 3d 20 27 4f 4b 27 3a 0a 09 09 09 70 72 ] != 'OK':....pr
1720: 69 6e 74 28 22 43 61 6e 27 74 20 6f 70 65 6e 20 int("Can't open
1730: 66 6f 6c 64 65 72 2e 22 29 0a 09 09 09 65 78 69 folder.")....exi
1740: 74 28 31 29 0a 09 69 66 20 69 6e 74 28 72 65 73 t(1)..if int(res
1750: 70 5b 31 5d 5b 30 5d 29 20 21 3d 20 66 6f 6c 64 p[1][0]) != fold
1760: 65 72 2e 63 6f 75 6e 74 3a 0a 09 09 63 68 65 63 er.count:...chec
1770: 6b 5f 66 6f 6c 64 65 72 28 6d 73 65 72 76 65 72 k_folder(mserver
1780: 2c 20 66 6f 6c 64 65 72 2c 20 6c 6f 63 61 6c 46 , folder, localF
1790: 6f 6c 64 65 72 4e 61 6d 65 29 0a 0a 09 5f 2c 20 olderName)..._,
17a0: 63 6f 75 6e 74 2c 20 66 69 72 73 74 2c 20 6c 61 count, first, la
17b0: 73 74 2c 20 5f 20 3d 20 73 65 72 76 65 72 2e 67 st, _ = server.g
17c0: 72 6f 75 70 28 66 6f 6c 64 65 72 4e 61 6d 65 29 roup(folderName)
17d0: 0a 09 6c 69 6d 69 74 73 5b 30 5d 20 2b 3d 20 6c ..limits[0] += l
17e0: 69 6d 69 74 53 74 65 70 73 5b 30 5d 0a 09 69 66 imitSteps[0]..if
17f0: 20 6c 61 73 74 20 3e 20 66 6f 6c 64 65 72 2e 6c last > folder.l
1800: 61 73 74 3a 0a 09 09 63 6f 75 6e 74 20 3d 20 30 ast:...count = 0
1810: 0a 09 09 23 20 77 65 20 6e 65 65 64 20 74 6f 20 ...# we need to
1820: 66 65 74 63 68 20 6e 65 77 20 69 64 73 0a 09 09 fetch new ids...
1830: 72 65 71 75 65 73 74 20 3d 20 6d 69 6e 28 6c 61 request = min(la
1840: 73 74 2c 20 66 6f 6c 64 65 72 2e 6c 61 73 74 20 st, folder.last
1850: 2b 20 6c 69 6d 69 74 73 5b 30 5d 29 0a 09 09 74 + limits[0])...t
1860: 72 79 3a 0a 09 09 09 66 6f 72 20 72 65 63 6f 72 ry:....for recor
1870: 64 20 69 6e 20 73 65 72 76 65 72 2e 6f 76 65 72 d in server.over
1880: 28 28 69 6e 74 28 66 6f 6c 64 65 72 2e 6c 61 73 ((int(folder.las
1890: 74 29 20 2b 20 31 2c 20 69 6e 74 28 72 65 71 75 t) + 1, int(requ
18a0: 65 73 74 29 29 29 5b 31 5d 3a 0a 09 09 09 09 6d est)))[1]:.....m
18b0: 69 64 20 3d 20 72 65 63 6f 72 64 5b 31 5d 5b 27 id = record[1]['
18c0: 6d 65 73 73 61 67 65 2d 69 64 27 5d 0a 09 09 09 message-id']....
18d0: 09 69 66 20 6c 65 6e 28 72 65 63 6f 72 64 5b 31 .if len(record[1
18e0: 5d 5b 27 6d 65 73 73 61 67 65 2d 69 64 27 5d 29 ]['message-id'])
18f0: 20 3e 20 30 3a 0a 09 09 09 09 09 74 72 79 3a 0a > 0:......try:.
1900: 09 09 09 09 09 09 66 6f 6c 64 65 72 2e 61 64 64 ......folder.add
1910: 6e 65 77 73 28 72 65 63 6f 72 64 5b 31 5d 5b 27 news(record[1]['
1920: 6d 65 73 73 61 67 65 2d 69 64 27 5d 2c 20 65 6d message-id'], em
1930: 61 69 6c 2e 75 74 69 6c 73 2e 70 61 72 73 65 64 ail.utils.parsed
1940: 61 74 65 5f 74 6f 5f 64 61 74 65 74 69 6d 65 28 ate_to_datetime(
1950: 72 65 63 6f 72 64 5b 31 5d 5b 27 64 61 74 65 27 record[1]['date'
1960: 5d 29 2e 74 69 6d 65 73 74 61 6d 70 28 29 29 0a ]).timestamp()).
1970: 09 09 09 09 09 65 78 63 65 70 74 20 4f 76 65 72 .....except Over
1980: 66 6c 6f 77 45 72 72 6f 72 20 61 73 20 65 72 72 flowError as err
1990: 3a 0a 09 09 09 09 09 09 66 6f 6c 64 65 72 2e 61 :.......folder.a
19a0: 64 64 6e 65 77 73 28 72 65 63 6f 72 64 5b 31 5d ddnews(record[1]
19b0: 5b 27 6d 65 73 73 61 67 65 2d 69 64 27 5d 29 0a ['message-id']).
19c0: 09 09 09 09 09 65 78 63 65 70 74 20 54 79 70 65 .....except Type
19d0: 45 72 72 6f 72 20 61 73 20 65 72 72 3a 0a 09 09 Error as err:...
19e0: 09 09 09 09 66 6f 6c 64 65 72 2e 61 64 64 6e 65 ....folder.addne
19f0: 77 73 28 72 65 63 6f 72 64 5b 31 5d 5b 27 6d 65 ws(record[1]['me
1a00: 73 73 61 67 65 2d 69 64 27 5d 29 0a 09 09 09 09 ssage-id']).....
1a10: 63 6f 75 6e 74 20 2b 3d 20 31 0a 09 09 65 78 63 count += 1...exc
1a20: 65 70 74 20 6e 6e 74 70 6c 69 62 2e 4e 4e 54 50 ept nntplib.NNTP
1a30: 54 65 6d 70 6f 72 61 72 79 45 72 72 6f 72 20 61 TemporaryError a
1a40: 73 20 65 72 72 3a 0a 09 09 09 69 66 20 65 72 72 s err:....if err
1a50: 2e 72 65 73 70 6f 6e 73 65 2e 73 74 61 72 74 73 .response.starts
1a60: 77 69 74 68 28 27 34 32 33 20 27 29 3a 0a 09 09 with('423 '):...
1a70: 09 09 70 61 73 73 0a 09 09 09 65 6c 73 65 3a 0a ..pass....else:.
1a80: 09 09 09 09 72 61 69 73 65 28 65 72 72 29 0a 09 ....raise(err)..
1a90: 09 65 78 63 65 70 74 20 6e 6e 74 70 6c 69 62 2e .except nntplib.
1aa0: 4e 4e 54 50 50 65 72 6d 61 6e 65 6e 74 45 72 72 NNTPPermanentErr
1ab0: 6f 72 20 61 73 20 65 72 72 3a 0a 09 09 09 70 72 or as err:....pr
1ac0: 69 6e 74 28 66 6f 6c 64 65 72 2e 6c 61 73 74 2c int(folder.last,
1ad0: 20 72 65 71 75 65 73 74 29 0a 09 09 09 72 61 69 request)....rai
1ae0: 73 65 28 65 72 72 29 0a 09 09 65 78 63 65 70 74 se(err)...except
1af0: 20 73 71 6c 69 74 65 33 2e 49 6e 74 65 67 72 69 sqlite3.Integri
1b00: 74 79 45 72 72 6f 72 20 61 73 20 65 72 72 3a 0a tyError as err:.
1b10: 09 09 09 70 72 69 6e 74 28 72 65 70 72 28 72 65 ...print(repr(re
1b20: 63 6f 72 64 29 29 0a 09 09 09 70 72 69 6e 74 28 cord))....print(
1b30: 5b 78 20 66 6f 72 20 78 20 69 6e 20 6d 61 70 28 [x for x in map(
1b40: 72 65 70 72 2c 20 66 6f 6c 64 65 72 2e 64 62 2e repr, folder.db.
1b50: 65 78 65 63 75 74 65 28 22 73 65 6c 65 63 74 20 execute("select
1b60: 2a 20 66 72 6f 6d 20 69 64 73 20 77 68 65 72 65 * from ids where
1b70: 20 69 64 20 3d 20 3f 20 61 6e 64 20 6e 61 6d 65 id = ? and name
1b80: 20 3d 20 3f 3b 22 2c 20 5b 66 6f 6c 64 65 72 2e = ?;", [folder.
1b90: 69 64 2c 20 72 65 63 6f 72 64 5b 31 5d 5b 27 6d id, record[1]['m
1ba0: 65 73 73 61 67 65 2d 69 64 27 5d 5d 29 29 5d 29 essage-id']]))])
1bb0: 0a 09 09 09 72 61 69 73 65 28 65 72 72 29 0a 09 ....raise(err)..
1bc0: 09 73 74 61 74 73 5b 30 5d 20 3d 20 63 6f 75 6e .stats[0] = coun
1bd0: 74 0a 09 09 6c 69 6d 69 74 73 5b 30 5d 20 2d 3d t...limits[0] -=
1be0: 20 63 6f 75 6e 74 0a 09 09 66 6f 6c 64 65 72 2e count...folder.
1bf0: 61 64 64 6c 61 73 74 28 72 65 71 75 65 73 74 20 addlast(request
1c00: 2d 20 66 6f 6c 64 65 72 2e 6c 61 73 74 29 0a 09 - folder.last)..
1c10: 09 66 6f 6c 64 65 72 2e 73 79 6e 63 28 29 0a 09 .folder.sync()..
1c20: 65 6c 69 66 20 66 6f 6c 64 65 72 2e 67 65 74 5f elif folder.get_
1c30: 72 65 63 6f 72 64 5f 63 6f 75 6e 74 28 31 29 20 record_count(1)
1c40: 3e 20 30 3a 0a 09 09 66 6f 6c 64 65 72 2e 64 72 > 0:...folder.dr
1c50: 6f 70 6c 61 73 74 28 29 0a 0a 09 6c 69 6d 69 74 oplast()...limit
1c60: 73 5b 31 5d 20 2b 3d 20 6c 69 6d 69 74 53 74 65 s[1] += limitSte
1c70: 70 73 5b 31 5d 0a 09 69 66 20 66 6f 6c 64 65 72 ps[1]..if folder
1c80: 2e 67 65 74 5f 72 65 63 6f 72 64 5f 63 6f 75 6e .get_record_coun
1c90: 74 28 32 29 20 3e 20 30 3a 0a 09 09 63 6f 75 6e t(2) > 0:...coun
1ca0: 74 20 3d 20 30 0a 09 09 23 20 74 68 65 72 65 20 t = 0...# there
1cb0: 61 72 65 20 65 78 74 72 61 20 61 72 74 69 63 6c are extra articl
1cc0: 65 73 0a 09 09 72 61 77 5f 64 61 74 65 20 3d 20 es...raw_date =
1cd0: 5b 5d 0a 09 09 75 6e 66 65 74 63 68 65 64 20 3d []...unfetched =
1ce0: 20 5b 5d 0a 09 09 66 6f 72 20 69 74 65 6d 2c 20 []...for item,
1cf0: 65 6e 76 5f 64 61 74 65 20 69 6e 20 66 6f 6c 64 env_date in fold
1d00: 65 72 2e 67 65 74 5f 75 6e 66 65 74 63 68 65 64 er.get_unfetched
1d10: 28 29 3a 0a 09 09 09 6d 61 73 6b 20 3d 20 66 6f ():....mask = fo
1d20: 6c 64 65 72 2e 63 68 65 63 6b 28 69 74 65 6d 29 lder.check(item)
1d30: 0a 09 09 09 69 66 20 6d 61 73 6b 20 3d 3d 20 32 ....if mask == 2
1d40: 3a 0a 09 09 09 09 75 6e 66 65 74 63 68 65 64 20 :.....unfetched
1d50: 2b 3d 20 28 69 74 65 6d 2c 20 65 6e 76 5f 64 61 += (item, env_da
1d60: 74 65 29 2c 0a 09 09 66 6f 72 20 69 74 65 6d 2c te),...for item,
1d70: 20 65 6e 76 5f 64 61 74 65 20 69 6e 20 75 6e 66 env_date in unf
1d80: 65 74 63 68 65 64 3a 0a 09 09 09 74 72 79 3a 0a etched:....try:.
1d90: 09 09 09 09 5f 2c 20 69 6e 66 6f 20 3d 20 73 65 ...._, info = se
1da0: 72 76 65 72 2e 61 72 74 69 63 6c 65 28 69 74 65 rver.article(ite
1db0: 6d 29 0a 09 09 09 09 69 66 20 65 6e 76 5f 64 61 m).....if env_da
1dc0: 74 65 20 3d 3d 20 4e 6f 6e 65 20 6f 72 20 65 6e te == None or en
1dd0: 76 5f 64 61 74 65 20 3c 20 30 3a 0a 09 09 09 09 v_date < 0:.....
1de0: 09 64 61 74 65 20 3d 20 4e 6f 6e 65 0a 09 09 09 .date = None....
1df0: 09 09 62 61 63 6b 75 70 5f 64 61 74 65 20 3d 20 ..backup_date =
1e00: 4e 6f 6e 65 0a 09 09 09 09 09 6f 75 74 20 3d 20 None......out =
1e10: 5b 5d 0a 09 09 09 09 09 66 6f 72 20 6c 69 6e 65 []......for line
1e20: 20 69 6e 20 69 6e 66 6f 2e 6c 69 6e 65 73 3a 0a in info.lines:.
1e30: 09 09 09 09 09 09 69 66 20 6c 65 6e 28 6c 69 6e ......if len(lin
1e40: 65 29 20 3d 3d 20 30 3a 0a 09 09 09 09 09 09 09 e) == 0:........
1e50: 6d 65 73 67 20 3d 20 65 6d 61 69 6c 2e 6d 65 73 mesg = email.mes
1e60: 73 61 67 65 5f 66 72 6f 6d 5f 73 74 72 69 6e 67 sage_from_string
1e70: 28 27 5c 6e 27 2e 6a 6f 69 6e 28 6f 75 74 29 29 ('\n'.join(out))
1e80: 0a 09 09 09 09 09 09 09 66 6f 72 20 68 65 61 64 ........for head
1e90: 65 72 20 69 6e 20 6d 65 73 67 2e 5f 68 65 61 64 er in mesg._head
1ea0: 65 72 73 3a 0a 09 09 09 09 09 09 09 09 69 66 20 ers:.........if
1eb0: 68 65 61 64 65 72 5b 30 5d 20 3d 3d 20 27 44 61 header[0] == 'Da
1ec0: 74 65 27 3a 0a 09 09 09 09 09 09 09 09 09 72 61 te':..........ra
1ed0: 77 5f 64 61 74 65 20 2b 3d 20 68 65 61 64 65 72 w_date += header
1ee0: 5b 31 5d 2c 0a 09 09 09 09 09 09 09 09 09 64 61 [1],..........da
1ef0: 74 65 20 3d 20 65 6d 61 69 6c 2e 75 74 69 6c 73 te = email.utils
1f00: 2e 70 61 72 73 65 64 61 74 65 28 68 65 61 64 65 .parsedate(heade
1f10: 72 5b 31 5d 29 0a 09 09 09 09 09 09 09 09 65 6c r[1]).........el
1f20: 69 66 20 68 65 61 64 65 72 5b 30 5d 20 3d 3d 20 if header[0] ==
1f30: 27 4f 72 69 67 69 6e 61 6c 2d 52 65 63 65 69 76 'Original-Receiv
1f40: 65 64 27 3a 0a 09 09 09 09 09 09 09 09 09 72 61 ed':..........ra
1f50: 77 5f 64 61 74 65 20 2b 3d 20 68 65 61 64 65 72 w_date += header
1f60: 5b 31 5d 2c 0a 09 09 09 09 09 09 09 09 09 74 6d [1],..........tm
1f70: 70 5f 64 61 74 65 20 3d 20 65 6d 61 69 6c 2e 75 p_date = email.u
1f80: 74 69 6c 73 2e 70 61 72 73 65 64 61 74 65 28 68 tils.parsedate(h
1f90: 65 61 64 65 72 5b 31 5d 2e 73 70 6c 69 74 28 27 eader[1].split('
1fa0: 3b 27 29 5b 2d 31 5d 29 0a 09 09 09 09 09 09 09 ;')[-1])........
1fb0: 09 09 69 66 20 74 6d 70 5f 64 61 74 65 20 21 3d ..if tmp_date !=
1fc0: 20 4e 6f 6e 65 20 61 6e 64 20 74 6d 70 5f 64 61 None and tmp_da
1fd0: 74 65 5b 30 5d 20 3e 3d 20 31 39 37 30 3a 0a 09 te[0] >= 1970:..
1fe0: 09 09 09 09 09 09 09 09 09 62 61 63 6b 75 70 5f .........backup_
1ff0: 64 61 74 65 20 3d 20 74 6d 70 5f 64 61 74 65 0a date = tmp_date.
2000: 09 09 09 09 09 09 09 69 66 20 64 61 74 65 20 3d .......if date =
2010: 3d 20 4e 6f 6e 65 20 61 6e 64 20 62 61 63 6b 75 = None and backu
2020: 70 5f 64 61 74 65 20 3d 3d 20 4e 6f 6e 65 3a 0a p_date == None:.
2030: 09 09 09 09 09 09 09 09 70 72 69 6e 74 28 27 44 ........print('D
2040: 61 74 65 20 6d 69 73 73 65 64 2e 27 29 0a 09 09 ate missed.')...
2050: 09 09 09 09 09 09 70 72 69 6e 74 28 72 65 70 72 ......print(repr
2060: 28 6f 75 74 29 29 0a 09 09 09 09 09 09 09 09 65 (out)).........e
2070: 78 69 74 28 31 29 0a 09 09 09 09 09 09 09 65 6c xit(1)........el
2080: 69 66 20 64 61 74 65 20 3d 3d 20 4e 6f 6e 65 3a if date == None:
2090: 0a 09 09 09 09 09 09 09 09 64 61 74 65 20 3d 20 .........date =
20a0: 62 61 63 6b 75 70 5f 64 61 74 65 0a 09 09 09 09 backup_date.....
20b0: 09 09 09 62 72 65 61 6b 0a 09 09 09 09 09 09 74 ...break.......t
20c0: 72 79 3a 0a 09 09 09 09 09 09 09 6f 75 74 2e 61 ry:........out.a
20d0: 70 70 65 6e 64 28 6c 69 6e 65 2e 64 65 63 6f 64 ppend(line.decod
20e0: 65 28 27 61 73 63 69 69 27 2c 20 27 69 67 6e 6f e('ascii', 'igno
20f0: 72 65 27 29 29 0a 09 09 09 09 09 09 65 78 63 65 re')).......exce
2100: 70 74 20 55 6e 69 63 6f 64 65 44 65 63 6f 64 65 pt UnicodeDecode
2110: 45 72 72 6f 72 3a 0a 09 09 09 09 09 09 09 70 72 Error:........pr
2120: 69 6e 74 28 72 65 70 72 28 6c 69 6e 65 29 29 0a int(repr(line)).
2130: 09 09 09 09 09 09 09 65 78 69 74 28 31 29 0a 09 .......exit(1)..
2140: 09 09 09 09 6f 75 74 2e 61 70 70 65 6e 64 28 27 ....out.append('
2150: 5c 6e 27 29 0a 09 09 09 09 09 74 72 79 3a 0a 09 \n')......try:..
2160: 09 09 09 09 09 23 70 72 69 6e 74 28 27 2a 27 2c .....#print('*',
2170: 20 69 74 65 6d 2c 20 64 61 74 65 2c 20 74 79 70 item, date, typ
2180: 65 28 64 61 74 65 29 29 0a 09 09 09 09 09 09 6d e(date)).......m
2190: 73 65 72 76 65 72 2e 61 70 70 65 6e 64 28 6c 6f server.append(lo
21a0: 63 61 6c 46 6f 6c 64 65 72 4e 61 6d 65 2c 20 4e calFolderName, N
21b0: 6f 6e 65 2c 20 64 61 74 65 2c 20 62 27 5c 6e 27 one, date, b'\n'
21c0: 2e 6a 6f 69 6e 28 69 6e 66 6f 2e 6c 69 6e 65 73 .join(info.lines
21d0: 29 29 0a 09 09 09 09 09 65 78 63 65 70 74 20 41 ))......except A
21e0: 74 74 72 69 62 75 74 65 45 72 72 6f 72 20 61 73 ttributeError as
21f0: 20 65 72 72 3a 0a 09 09 09 09 09 09 23 70 72 69 err:.......#pri
2200: 6e 74 28 27 2a 27 2c 20 69 74 65 6d 2c 20 72 61 nt('*', item, ra
2210: 77 5f 64 61 74 65 2c 20 72 65 70 72 28 64 61 74 w_date, repr(dat
2220: 65 29 29 0a 09 09 09 09 09 09 23 72 61 69 73 65 e)).......#raise
2230: 28 65 72 72 29 0a 09 09 09 09 09 09 6d 73 65 72 (err).......mser
2240: 76 65 72 2e 61 70 70 65 6e 64 28 6c 6f 63 61 6c ver.append(local
2250: 46 6f 6c 64 65 72 4e 61 6d 65 2c 20 4e 6f 6e 65 FolderName, None
2260: 2c 20 62 61 63 6b 75 70 5f 64 61 74 65 2c 20 62 , backup_date, b
2270: 27 5c 6e 27 2e 6a 6f 69 6e 28 69 6e 66 6f 2e 6c '\n'.join(info.l
2280: 69 6e 65 73 29 29 0a 09 09 09 09 09 65 78 63 65 ines))......exce
2290: 70 74 20 4f 76 65 72 66 6c 6f 77 45 72 72 6f 72 pt OverflowError
22a0: 20 61 73 20 65 72 72 3a 0a 09 09 09 09 09 09 23 as err:.......#
22b0: 70 72 69 6e 74 28 27 2a 27 2c 20 69 74 65 6d 2c print('*', item,
22c0: 20 72 61 77 5f 64 61 74 65 2c 20 72 65 70 72 28 raw_date, repr(
22d0: 64 61 74 65 29 29 0a 09 09 09 09 09 09 23 72 61 date)).......#ra
22e0: 69 73 65 28 65 72 72 29 0a 09 09 09 09 09 09 6d ise(err).......m
22f0: 73 65 72 76 65 72 2e 61 70 70 65 6e 64 28 6c 6f server.append(lo
2300: 63 61 6c 46 6f 6c 64 65 72 4e 61 6d 65 2c 20 4e calFolderName, N
2310: 6f 6e 65 2c 20 62 61 63 6b 75 70 5f 64 61 74 65 one, backup_date
2320: 2c 20 62 27 5c 6e 27 2e 6a 6f 69 6e 28 69 6e 66 , b'\n'.join(inf
2330: 6f 2e 6c 69 6e 65 73 29 29 0a 09 09 09 09 65 6c o.lines)).....el
2340: 73 65 3a 0a 09 09 09 09 09 23 70 72 69 6e 74 28 se:......#print(
2350: 27 2a 27 2c 20 69 74 65 6d 2c 20 65 6e 76 5f 64 '*', item, env_d
2360: 61 74 65 2c 20 74 79 70 65 28 65 6e 76 5f 64 61 ate, type(env_da
2370: 74 65 29 29 0a 09 09 09 09 09 6d 73 65 72 76 65 te))......mserve
2380: 72 2e 61 70 70 65 6e 64 28 6c 6f 63 61 6c 46 6f r.append(localFo
2390: 6c 64 65 72 4e 61 6d 65 2c 20 4e 6f 6e 65 2c 20 lderName, None,
23a0: 65 6e 76 5f 64 61 74 65 2c 20 62 27 5c 6e 27 2e env_date, b'\n'.
23b0: 6a 6f 69 6e 28 69 6e 66 6f 2e 6c 69 6e 65 73 29 join(info.lines)
23c0: 29 0a 09 09 09 09 66 6f 6c 64 65 72 2e 61 64 64 ).....folder.add
23d0: 6d 61 69 6c 28 69 74 65 6d 29 0a 09 09 09 09 66 mail(item).....f
23e0: 6f 6c 64 65 72 2e 73 79 6e 63 28 29 0a 09 09 09 older.sync()....
23f0: 09 63 6f 75 6e 74 20 2b 3d 20 31 0a 09 09 09 09 .count += 1.....
2400: 69 66 20 63 6f 75 6e 74 20 3e 3d 20 6c 69 6d 69 if count >= limi
2410: 74 73 5b 31 5d 3a 0a 09 09 09 09 09 62 72 65 61 ts[1]:......brea
2420: 6b 0a 09 09 09 65 78 63 65 70 74 20 6e 6e 74 70 k....except nntp
2430: 6c 69 62 2e 4e 4e 54 50 54 65 6d 70 6f 72 61 72 lib.NNTPTemporar
2440: 79 45 72 72 6f 72 20 61 73 20 65 72 72 3a 0a 09 yError as err:..
2450: 09 09 09 69 66 20 65 72 72 2e 72 65 73 70 6f 6e ...if err.respon
2460: 73 65 2e 73 74 61 72 74 73 77 69 74 68 28 27 34 se.startswith('4
2470: 33 30 20 4e 6f 20 73 75 63 68 20 61 72 74 69 63 30 No such artic
2480: 6c 65 27 29 3a 0a 09 09 09 09 09 66 6f 6c 64 65 le'):......folde
2490: 72 2e 66 6f 72 67 65 74 28 69 74 65 6d 29 0a 09 r.forget(item)..
24a0: 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 70 72 ...else:......pr
24b0: 69 6e 74 28 65 72 72 2e 72 65 73 70 6f 6e 73 65 int(err.response
24c0: 2c 20 69 74 65 6d 2c 20 65 6e 76 5f 64 61 74 65 , item, env_date
24d0: 29 0a 09 09 09 09 09 72 61 69 73 65 28 65 72 72 )......raise(err
24e0: 29 0a 09 09 73 74 61 74 73 5b 31 5d 20 3d 20 63 )...stats[1] = c
24f0: 6f 75 6e 74 0a 09 09 6c 69 6d 69 74 73 5b 31 5d ount...limits[1]
2500: 20 2d 3d 20 63 6f 75 6e 74 0a 0a 09 69 66 20 73 -= count...if s
2510: 74 61 74 73 5b 30 5d 20 21 3d 20 30 20 6f 72 20 tats[0] != 0 or
2520: 73 74 61 74 73 5b 31 5d 20 21 3d 20 30 3a 0a 09 stats[1] != 0:..
2530: 09 70 72 69 6e 74 28 27 23 20 27 2c 20 66 6f 6c .print('# ', fol
2540: 64 65 72 4e 61 6d 65 2c 20 27 5c 74 27 2a 28 73 derName, '\t'*(s
2550: 6b 65 77 20 2d 20 69 6e 74 28 28 6c 65 6e 28 66 kew - int((len(f
2560: 6f 6c 64 65 72 4e 61 6d 65 29 20 2b 20 32 29 20 olderName) + 2)
2570: 2f 20 38 29 29 2c 20 27 5c 74 27 2e 6a 6f 69 6e / 8)), '\t'.join
2580: 28 6d 61 70 28 73 74 72 2c 20 73 74 61 74 73 29 (map(str, stats)
2590: 29 2c 20 73 65 70 20 3d 20 27 27 29 0a 09 66 6f ), sep = '')..fo
25a0: 6c 64 65 72 2e 73 79 6e 63 28 29 0a lder.sync().