0000: 23 21 2f 75 73 72 2f 62 69 6e 2f 65 6e 76 20 70 #!/usr/bin/env p
0010: 79 74 68 6f 6e 33 2e 34 0a 0a 69 6d 70 6f 72 74 ython3.4..import
0020: 20 63 6f 6e 66 69 67 70 61 72 73 65 72 2c 20 65 configparser, e
0030: 6d 61 69 6c 2e 75 74 69 6c 73 2c 20 67 65 74 70 mail.utils, getp
0040: 61 73 73 2c 20 69 6d 61 70 6c 69 62 2c 20 6e 6e ass, imaplib, nn
0050: 74 70 6c 69 62 2c 20 72 65 2c 20 73 71 6c 69 74 tplib, re, sqlit
0060: 65 33 2c 20 73 79 73 0a 69 6d 61 70 6c 69 62 2e e3, sys.imaplib.
0070: 5f 4d 41 58 4c 49 4e 45 20 3d 20 31 30 32 34 20 _MAXLINE = 1024
0080: 2a 20 31 30 32 34 0a 6e 6e 74 70 6c 69 62 2e 5f * 1024.nntplib._
0090: 4d 41 58 4c 49 4e 45 20 3d 20 31 30 32 34 20 2a MAXLINE = 1024 *
00a0: 20 31 30 32 34 0a 0a 63 6f 6e 66 69 67 20 3d 20 1024..config =
00b0: 63 6f 6e 66 69 67 70 61 72 73 65 72 2e 43 6f 6e configparser.Con
00c0: 66 69 67 50 61 72 73 65 72 28 61 6c 6c 6f 77 5f figParser(allow_
00d0: 6e 6f 5f 76 61 6c 75 65 20 3d 20 54 72 75 65 29 no_value = True)
00e0: 0a 63 6f 6e 66 69 67 2e 72 65 61 64 28 27 6e 6e .config.read('nn
00f0: 74 70 64 75 70 2e 63 6f 6e 66 27 29 0a 0a 74 72 tpdup.conf')..tr
0100: 79 3a 0a 09 73 65 72 76 65 72 20 3d 20 6e 6e 74 y:..server = nnt
0110: 70 6c 69 62 2e 4e 4e 54 50 5f 53 53 4c 28 63 6f plib.NNTP_SSL(co
0120: 6e 66 69 67 5b 27 63 6f 6e 6e 65 63 74 69 6f 6e nfig['connection
0130: 27 5d 5b 27 6e 65 77 73 73 65 72 76 65 72 27 5d ']['newsserver']
0140: 29 0a 65 78 63 65 70 74 20 6e 6e 74 70 6c 69 62 ).except nntplib
0150: 2e 4e 4e 54 50 54 65 6d 70 6f 72 61 72 79 45 72 .NNTPTemporaryEr
0160: 72 6f 72 20 61 73 20 65 72 72 3a 0a 09 69 66 20 ror as err:..if
0170: 65 72 72 2e 72 65 73 70 6f 6e 73 65 2e 73 74 61 err.response.sta
0180: 72 74 73 77 69 74 68 28 27 34 30 30 20 6c 6f 61 rtswith('400 loa
0190: 64 20 61 74 20 27 29 3a 0a 09 09 70 72 69 6e 74 d at '):...print
01a0: 28 65 72 72 2e 72 65 73 70 6f 6e 73 65 29 0a 09 (err.response)..
01b0: 09 65 78 69 74 28 30 29 0a 09 65 6c 73 65 3a 0a .exit(0)..else:.
01c0: 09 09 72 61 69 73 65 28 65 72 72 29 0a 6d 73 65 ..raise(err).mse
01d0: 72 76 65 72 20 3d 20 69 6d 61 70 6c 69 62 2e 49 rver = imaplib.I
01e0: 4d 41 50 34 5f 53 53 4c 28 63 6f 6e 66 69 67 5b MAP4_SSL(config[
01f0: 27 63 6f 6e 6e 65 63 74 69 6f 6e 27 5d 5b 27 6d 'connection']['m
0200: 61 69 6c 73 65 72 76 65 72 27 5d 29 0a 72 65 4d ailserver']).reM
0210: 65 73 73 61 67 65 49 64 20 3d 20 72 65 2e 63 6f essageId = re.co
0220: 6d 70 69 6c 65 28 27 28 3c 5b 2d 5c 5d 5b 61 2d mpile('(<[-\][a-
0230: 7a 41 2d 5a 30 2d 39 40 2e 25 2f 3d 5f 5c 24 2b zA-Z0-9@.%/=_\$+
0240: 21 26 7e 23 5c 3f 7d 5d 2b 3e 29 22 3f 5c 29 5c !&~#\?}]+>)"?\)\
0250: 29 28 5c 64 2b 20 5c 28 46 4c 41 47 53 5c 28 5c )(\d+ \(FLAGS\(\
0260: 29 5c 29 29 3f 24 27 29 0a 6d 73 65 72 76 65 72 )\))?$').mserver
0270: 2e 6c 6f 67 69 6e 28 63 6f 6e 66 69 67 5b 27 63 .login(config['c
0280: 6f 6e 6e 65 63 74 69 6f 6e 27 5d 5b 27 6d 61 69 onnection']['mai
0290: 6c 5f 75 73 65 72 27 5d 2c 20 63 6f 6e 66 69 67 l_user'], config
02a0: 5b 27 63 6f 6e 6e 65 63 74 69 6f 6e 27 5d 5b 27 ['connection']['
02b0: 6d 61 69 6c 5f 70 61 73 73 77 6f 72 64 27 5d 29 mail_password'])
02c0: 0a 69 66 20 27 6d 61 69 6c 5f 6c 69 6d 69 74 27 .if 'mail_limit'
02d0: 20 69 6e 20 63 6f 6e 66 69 67 5b 27 63 6f 6e 6e in config['conn
02e0: 65 63 74 69 6f 6e 27 5d 3a 0a 09 6d 61 69 6c 4c ection']:..mailL
02f0: 69 6d 69 74 20 3d 20 69 6e 74 28 63 6f 6e 66 69 imit = int(confi
0300: 67 5b 27 63 6f 6e 6e 65 63 74 69 6f 6e 27 5d 5b g['connection'][
0310: 27 6d 61 69 6c 5f 6c 69 6d 69 74 27 5d 29 0a 65 'mail_limit']).e
0320: 6c 73 65 3a 0a 09 6d 61 69 6c 4c 69 6d 69 74 20 lse:..mailLimit
0330: 3d 20 31 30 30 0a 69 66 20 27 68 65 61 64 65 72 = 100.if 'header
0340: 5f 6c 69 6d 69 74 27 20 69 6e 20 63 6f 6e 66 69 _limit' in confi
0350: 67 5b 27 63 6f 6e 6e 65 63 74 69 6f 6e 27 5d 3a g['connection']:
0360: 0a 09 68 65 61 64 65 72 4c 69 6d 69 74 20 3d 20 ..headerLimit =
0370: 69 6e 74 28 63 6f 6e 66 69 67 5b 27 63 6f 6e 6e int(config['conn
0380: 65 63 74 69 6f 6e 27 5d 5b 27 68 65 61 64 65 72 ection']['header
0390: 5f 6c 69 6d 69 74 27 5d 29 0a 65 6c 73 65 3a 0a _limit']).else:.
03a0: 09 68 65 61 64 65 72 4c 69 6d 69 74 20 3d 20 31 .headerLimit = 1
03b0: 30 30 30 0a 0a 74 61 62 6c 65 73 20 3d 20 7b 0a 000..tables = {.
03c0: 09 27 6c 69 73 74 27 3a 20 5b 22 63 72 65 61 74 .'list': ["creat
03d0: 65 20 74 61 62 6c 65 20 6c 69 73 74 20 28 69 64 e table list (id
03e0: 20 69 6e 74 65 67 65 72 20 70 72 69 6d 61 72 79 integer primary
03f0: 20 6b 65 79 2c 20 6e 61 6d 65 20 74 65 78 74 2c key, name text,
0400: 20 6c 61 73 74 20 69 6e 74 65 67 65 72 20 64 65 last integer de
0410: 66 61 75 6c 74 20 30 29 3b 22 5d 2c 0a 09 27 69 fault 0);"],..'i
0420: 64 73 27 3a 20 5b 22 63 72 65 61 74 65 20 74 61 ds': ["create ta
0430: 62 6c 65 20 69 64 73 20 28 69 64 20 69 6e 74 65 ble ids (id inte
0440: 67 65 72 2c 20 6e 61 6d 65 20 74 65 78 74 2c 20 ger, name text,
0450: 6d 61 73 6b 20 69 6e 74 65 67 65 72 2c 20 64 61 mask integer, da
0460: 74 65 20 69 6e 74 65 67 65 72 29 3b 22 2c 20 22 te integer);", "
0470: 63 72 65 61 74 65 20 75 6e 69 71 75 65 20 69 6e create unique in
0480: 64 65 78 20 69 64 73 5f 5f 69 64 5f 6e 61 6d 65 dex ids__id_name
0490: 20 6f 6e 20 69 64 73 28 69 64 2c 20 6e 61 6d 65 on ids(id, name
04a0: 29 3b 22 5d 2c 0a 7d 0a 0a 63 6c 61 73 73 20 46 );"],.}..class F
04b0: 6f 6c 64 65 72 3a 0a 09 64 65 66 20 5f 5f 69 6e older:..def __in
04c0: 69 74 5f 5f 28 74 68 69 73 2c 20 66 69 6c 65 6e it__(this, filen
04d0: 61 6d 65 29 3a 0a 09 09 74 68 69 73 2e 64 62 20 ame):...this.db
04e0: 3d 20 73 71 6c 69 74 65 33 2e 63 6f 6e 6e 65 63 = sqlite3.connec
04f0: 74 28 66 69 6c 65 6e 61 6d 65 29 0a 09 09 74 68 t(filename)...th
0500: 69 73 2e 69 64 20 3d 20 4e 6f 6e 65 0a 09 09 66 is.id = None...f
0510: 6f 75 6e 64 20 3d 20 73 65 74 28 29 0a 09 09 66 ound = set()...f
0520: 6f 72 20 72 6f 77 20 69 6e 20 74 68 69 73 2e 64 or row in this.d
0530: 62 2e 65 78 65 63 75 74 65 28 22 73 65 6c 65 63 b.execute("selec
0540: 74 20 6e 61 6d 65 20 66 72 6f 6d 20 73 71 6c 69 t name from sqli
0550: 74 65 5f 6d 61 73 74 65 72 20 77 68 65 72 65 20 te_master where
0560: 74 79 70 65 20 3d 20 27 74 61 62 6c 65 27 3b 22 type = 'table';"
0570: 29 3a 0a 09 09 09 66 6f 75 6e 64 2e 61 64 64 28 ):....found.add(
0580: 72 6f 77 5b 30 5d 29 0a 09 09 66 6f 72 20 61 62 row[0])...for ab
0590: 73 65 6e 74 20 69 6e 20 73 65 74 28 74 61 62 6c sent in set(tabl
05a0: 65 73 2e 6b 65 79 73 28 29 29 2e 64 69 66 66 65 es.keys()).diffe
05b0: 72 65 6e 63 65 28 66 6f 75 6e 64 29 3a 0a 09 09 rence(found):...
05c0: 09 66 6f 72 20 71 75 65 72 79 20 69 6e 20 74 61 .for query in ta
05d0: 62 6c 65 73 5b 61 62 73 65 6e 74 5d 3a 0a 09 09 bles[absent]:...
05e0: 09 09 74 68 69 73 2e 64 62 2e 65 78 65 63 75 74 ..this.db.execut
05f0: 65 28 71 75 65 72 79 29 0a 0a 09 64 65 66 20 73 e(query)...def s
0600: 65 6c 65 63 74 28 74 68 69 73 2c 20 66 6f 6c 64 elect(this, fold
0610: 65 72 4e 61 6d 65 29 3a 0a 09 09 74 68 69 73 2e erName):...this.
0620: 6e 61 6d 65 20 3d 20 66 6f 6c 64 65 72 4e 61 6d name = folderNam
0630: 65 0a 09 09 74 68 69 73 2e 69 64 20 3d 20 4e 6f e...this.id = No
0640: 6e 65 0a 09 09 77 68 69 6c 65 20 54 72 75 65 3a ne...while True:
0650: 0a 09 09 09 70 72 65 73 65 6e 74 20 3d 20 46 61 ....present = Fa
0660: 6c 73 65 0a 09 09 09 66 6f 72 20 72 6f 77 20 69 lse....for row i
0670: 6e 20 74 68 69 73 2e 64 62 2e 65 78 65 63 75 74 n this.db.execut
0680: 65 28 22 73 65 6c 65 63 74 20 69 64 2c 20 6c 61 e("select id, la
0690: 73 74 20 66 72 6f 6d 20 6c 69 73 74 20 77 68 65 st from list whe
06a0: 72 65 20 6e 61 6d 65 20 3d 20 3f 3b 22 2c 20 5b re name = ?;", [
06b0: 66 6f 6c 64 65 72 4e 61 6d 65 5d 29 3a 0a 09 09 folderName]):...
06c0: 09 09 70 72 65 73 65 6e 74 20 3d 20 54 72 75 65 ..present = True
06d0: 0a 09 09 09 09 74 68 69 73 2e 69 64 20 3d 20 72 .....this.id = r
06e0: 6f 77 5b 30 5d 0a 09 09 09 09 74 68 69 73 2e 6c ow[0].....this.l
06f0: 61 73 74 20 3d 20 72 6f 77 5b 31 5d 0a 09 09 09 ast = row[1]....
0700: 69 66 20 70 72 65 73 65 6e 74 3a 0a 09 09 09 09 if present:.....
0710: 62 72 65 61 6b 0a 09 09 09 74 68 69 73 2e 64 62 break....this.db
0720: 2e 65 78 65 63 75 74 65 28 22 69 6e 73 65 72 74 .execute("insert
0730: 20 69 6e 74 6f 20 6c 69 73 74 28 6e 61 6d 65 29 into list(name)
0740: 20 76 61 6c 75 65 73 20 28 3f 29 3b 22 2c 20 5b values (?);", [
0750: 66 6f 6c 64 65 72 4e 61 6d 65 5d 29 0a 09 09 69 folderName])...i
0760: 66 20 74 68 69 73 2e 69 64 20 3d 3d 20 4e 6f 6e f this.id == Non
0770: 65 3a 0a 09 09 09 70 72 69 6e 74 28 27 49 64 20 e:....print('Id
0780: 6e 6f 74 20 66 6f 75 6e 64 2e 27 29 0a 09 09 09 not found.')....
0790: 65 78 69 74 28 31 29 0a 09 09 74 68 69 73 2e 6d exit(1)...this.m
07a0: 61 73 6b 20 3d 20 7b 7d 0a 09 09 74 68 69 73 2e ask = {}...this.
07b0: 67 65 74 5f 63 6f 75 6e 74 28 29 0a 0a 09 64 65 get_count()...de
07c0: 66 20 67 65 74 5f 63 6f 75 6e 74 28 74 68 69 73 f get_count(this
07d0: 29 3a 0a 09 09 74 68 69 73 2e 63 6f 75 6e 74 20 ):...this.count
07e0: 3d 20 30 0a 09 09 66 6f 72 20 72 6f 77 20 69 6e = 0...for row in
07f0: 20 74 68 69 73 2e 64 62 2e 65 78 65 63 75 74 65 this.db.execute
0800: 28 22 73 65 6c 65 63 74 20 63 6f 75 6e 74 28 2a ("select count(*
0810: 29 20 66 72 6f 6d 20 69 64 73 20 77 68 65 72 65 ) from ids where
0820: 20 69 64 20 3d 20 3f 20 61 6e 64 20 6d 61 73 6b id = ? and mask
0830: 20 69 6e 20 28 33 2c 20 31 29 3b 22 2c 20 5b 74 in (3, 1);", [t
0840: 68 69 73 2e 69 64 5d 29 3a 0a 09 09 09 74 68 69 his.id]):....thi
0850: 73 2e 63 6f 75 6e 74 20 3d 20 72 6f 77 5b 30 5d s.count = row[0]
0860: 0a 0a 09 64 65 66 20 67 65 74 5f 72 65 63 6f 72 ...def get_recor
0870: 64 5f 63 6f 75 6e 74 28 74 68 69 73 2c 20 6d 61 d_count(this, ma
0880: 73 6b 29 3a 0a 09 09 66 6f 72 20 72 6f 77 20 69 sk):...for row i
0890: 6e 20 74 68 69 73 2e 64 62 2e 65 78 65 63 75 74 n this.db.execut
08a0: 65 28 22 73 65 6c 65 63 74 20 63 6f 75 6e 74 28 e("select count(
08b0: 2a 29 20 66 72 6f 6d 20 69 64 73 20 77 68 65 72 *) from ids wher
08c0: 65 20 69 64 20 3d 20 3f 20 61 6e 64 20 6d 61 73 e id = ? and mas
08d0: 6b 20 3d 20 3f 3b 22 2c 20 5b 74 68 69 73 2e 69 k = ?;", [this.i
08e0: 64 2c 20 6d 61 73 6b 5d 29 3a 0a 09 09 09 72 65 d, mask]):....re
08f0: 74 75 72 6e 28 72 6f 77 5b 30 5d 29 0a 0a 09 64 turn(row[0])...d
0900: 65 66 20 63 68 65 63 6b 28 74 68 69 73 2c 20 6e ef check(this, n
0910: 61 6d 65 29 3a 0a 09 09 69 66 20 6e 61 6d 65 20 ame):...if name
0920: 69 6e 20 74 68 69 73 2e 6d 61 73 6b 3a 0a 09 09 in this.mask:...
0930: 09 72 65 74 75 72 6e 28 74 68 69 73 2e 6d 61 73 .return(this.mas
0940: 6b 5b 6e 61 6d 65 5d 29 0a 09 09 66 6f 72 20 72 k[name])...for r
0950: 6f 77 20 69 6e 20 74 68 69 73 2e 64 62 2e 65 78 ow in this.db.ex
0960: 65 63 75 74 65 28 22 73 65 6c 65 63 74 20 6d 61 ecute("select ma
0970: 73 6b 20 66 72 6f 6d 20 69 64 73 20 77 68 65 72 sk from ids wher
0980: 65 20 69 64 20 3d 20 3f 20 61 6e 64 20 6e 61 6d e id = ? and nam
0990: 65 20 3d 20 3f 3b 22 2c 20 5b 74 68 69 73 2e 69 e = ?;", [this.i
09a0: 64 2c 20 6e 61 6d 65 5d 29 3a 0a 09 09 09 74 68 d, name]):....th
09b0: 69 73 2e 6d 61 73 6b 5b 6e 61 6d 65 5d 20 3d 20 is.mask[name] =
09c0: 72 6f 77 5b 30 5d 0a 09 09 09 72 65 74 75 72 6e row[0]....return
09d0: 28 72 6f 77 5b 30 5d 29 0a 0a 09 64 65 66 20 61 (row[0])...def a
09e0: 64 64 6c 61 73 74 28 74 68 69 73 2c 20 63 6f 75 ddlast(this, cou
09f0: 6e 74 29 3a 0a 09 09 74 68 69 73 2e 6c 61 73 74 nt):...this.last
0a00: 20 2b 3d 20 63 6f 75 6e 74 0a 09 09 74 68 69 73 += count...this
0a10: 2e 64 62 2e 65 78 65 63 75 74 65 28 22 75 70 64 .db.execute("upd
0a20: 61 74 65 20 6c 69 73 74 20 73 65 74 20 6c 61 73 ate list set las
0a30: 74 20 3d 20 3f 20 77 68 65 72 65 20 69 64 20 3d t = ? where id =
0a40: 20 3f 3b 22 2c 20 5b 74 68 69 73 2e 6c 61 73 74 ?;", [this.last
0a50: 2c 20 74 68 69 73 2e 69 64 5d 29 0a 0a 09 64 65 , this.id])...de
0a60: 66 20 64 72 6f 70 6c 61 73 74 28 74 68 69 73 29 f droplast(this)
0a70: 3a 0a 09 09 74 68 69 73 2e 6c 61 73 74 20 3d 20 :...this.last =
0a80: 30 0a 09 09 74 68 69 73 2e 64 62 2e 65 78 65 63 0...this.db.exec
0a90: 75 74 65 28 22 75 70 64 61 74 65 20 6c 69 73 74 ute("update list
0aa0: 20 73 65 74 20 6c 61 73 74 20 3d 20 3f 20 77 68 set last = ? wh
0ab0: 65 72 65 20 69 64 20 3d 20 3f 3b 22 2c 20 5b 74 ere id = ?;", [t
0ac0: 68 69 73 2e 6c 61 73 74 2c 20 74 68 69 73 2e 69 his.last, this.i
0ad0: 64 5d 29 0a 0a 09 64 65 66 20 61 64 64 6d 61 69 d])...def addmai
0ae0: 6c 28 74 68 69 73 2c 20 6d 69 64 29 3a 0a 09 09 l(this, mid):...
0af0: 6d 61 73 6b 20 3d 20 74 68 69 73 2e 63 68 65 63 mask = this.chec
0b00: 6b 28 6d 69 64 29 0a 09 09 69 66 20 6d 61 73 6b k(mid)...if mask
0b10: 20 69 6e 20 28 33 2c 20 32 29 3a 0a 09 09 09 74 in (3, 2):....t
0b20: 68 69 73 2e 64 62 2e 65 78 65 63 75 74 65 28 22 his.db.execute("
0b30: 75 70 64 61 74 65 20 69 64 73 20 73 65 74 20 6d update ids set m
0b40: 61 73 6b 20 3d 20 33 20 77 68 65 72 65 20 69 64 ask = 3 where id
0b50: 20 3d 20 3f 20 61 6e 64 20 6e 61 6d 65 20 3d 20 = ? and name =
0b60: 3f 3b 22 2c 20 5b 74 68 69 73 2e 69 64 2c 20 6d ?;", [this.id, m
0b70: 69 64 5d 29 0a 09 09 09 74 68 69 73 2e 6d 61 73 id])....this.mas
0b80: 6b 5b 6d 69 64 5d 20 3d 20 33 0a 09 09 65 6c 73 k[mid] = 3...els
0b90: 65 3a 0a 09 09 09 74 68 69 73 2e 64 62 2e 65 78 e:....this.db.ex
0ba0: 65 63 75 74 65 28 22 69 6e 73 65 72 74 20 69 6e ecute("insert in
0bb0: 74 6f 20 69 64 73 28 69 64 2c 20 6e 61 6d 65 2c to ids(id, name,
0bc0: 20 6d 61 73 6b 29 20 76 61 6c 75 65 73 28 3f 2c mask) values(?,
0bd0: 20 3f 2c 20 3f 29 3b 22 2c 20 5b 74 68 69 73 2e ?, ?);", [this.
0be0: 69 64 2c 20 6d 69 64 2c 20 31 5d 29 0a 09 09 09 id, mid, 1])....
0bf0: 74 68 69 73 2e 63 6f 75 6e 74 20 2b 3d 20 31 0a this.count += 1.
0c00: 09 09 09 74 68 69 73 2e 6d 61 73 6b 5b 6d 69 64 ...this.mask[mid
0c10: 5d 20 3d 20 31 0a 0a 09 64 65 66 20 61 64 64 6e ] = 1...def addn
0c20: 65 77 73 28 74 68 69 73 2c 20 6d 69 64 2c 20 64 ews(this, mid, d
0c30: 61 74 65 20 3d 20 4e 6f 6e 65 29 3a 0a 09 09 6d ate = None):...m
0c40: 61 73 6b 20 3d 20 74 68 69 73 2e 63 68 65 63 6b ask = this.check
0c50: 28 6d 69 64 29 0a 09 09 69 66 20 6d 61 73 6b 20 (mid)...if mask
0c60: 69 6e 20 28 31 2c 20 33 29 3a 0a 09 09 09 74 68 in (1, 3):....th
0c70: 69 73 2e 64 62 2e 65 78 65 63 75 74 65 28 22 75 is.db.execute("u
0c80: 70 64 61 74 65 20 69 64 73 20 73 65 74 20 6d 61 pdate ids set ma
0c90: 73 6b 20 3d 20 33 2c 20 64 61 74 65 20 3d 20 3f sk = 3, date = ?
0ca0: 20 77 68 65 72 65 20 69 64 20 3d 20 3f 20 61 6e where id = ? an
0cb0: 64 20 6e 61 6d 65 20 3d 20 3f 3b 22 2c 20 5b 64 d name = ?;", [d
0cc0: 61 74 65 2c 20 74 68 69 73 2e 69 64 2c 20 6d 69 ate, this.id, mi
0cd0: 64 5d 29 0a 09 09 09 74 68 69 73 2e 6d 61 73 6b d])....this.mask
0ce0: 5b 6d 69 64 5d 20 3d 20 33 0a 09 09 65 6c 73 65 [mid] = 3...else
0cf0: 3a 0a 09 09 09 74 68 69 73 2e 64 62 2e 65 78 65 :....this.db.exe
0d00: 63 75 74 65 28 22 69 6e 73 65 72 74 20 69 6e 74 cute("insert int
0d10: 6f 20 69 64 73 28 69 64 2c 20 6e 61 6d 65 2c 20 o ids(id, name,
0d20: 6d 61 73 6b 2c 20 64 61 74 65 29 20 76 61 6c 75 mask, date) valu
0d30: 65 73 28 3f 2c 20 3f 2c 20 3f 2c 20 3f 29 3b 22 es(?, ?, ?, ?);"
0d40: 2c 20 5b 74 68 69 73 2e 69 64 2c 20 6d 69 64 2c , [this.id, mid,
0d50: 20 32 2c 20 64 61 74 65 5d 29 0a 09 09 09 74 68 2, date])....th
0d60: 69 73 2e 63 6f 75 6e 74 20 2b 3d 20 31 0a 09 09 is.count += 1...
0d70: 09 74 68 69 73 2e 6d 61 73 6b 5b 6d 69 64 5d 20 .this.mask[mid]
0d80: 3d 20 32 0a 0a 09 64 65 66 20 7a 65 72 6f 6d 61 = 2...def zeroma
0d90: 69 6c 28 74 68 69 73 29 3a 0a 09 09 74 68 69 73 il(this):...this
0da0: 2e 6d 61 73 6b 20 3d 20 7b 7d 0a 09 09 74 68 69 .mask = {}...thi
0db0: 73 2e 64 62 2e 65 78 65 63 75 74 65 28 22 75 70 s.db.execute("up
0dc0: 64 61 74 65 20 69 64 73 20 73 65 74 20 6d 61 73 date ids set mas
0dd0: 6b 20 3d 20 32 20 77 68 65 72 65 20 69 64 20 3d k = 2 where id =
0de0: 20 3f 20 61 6e 64 20 6d 61 73 6b 20 3d 20 33 3b ? and mask = 3;
0df0: 22 2c 20 5b 74 68 69 73 2e 69 64 5d 29 0a 09 09 ", [this.id])...
0e00: 74 68 69 73 2e 64 62 2e 65 78 65 63 75 74 65 28 this.db.execute(
0e10: 22 64 65 6c 65 74 65 20 66 72 6f 6d 20 69 64 73 "delete from ids
0e20: 20 77 68 65 72 65 20 69 64 20 3d 20 3f 20 61 6e where id = ? an
0e30: 64 20 6d 61 73 6b 20 3d 20 31 3b 22 2c 20 5b 74 d mask = 1;", [t
0e40: 68 69 73 2e 69 64 5d 29 0a 09 09 74 68 69 73 2e his.id])...this.
0e50: 73 79 6e 63 28 29 0a 09 09 74 68 69 73 2e 67 65 sync()...this.ge
0e60: 74 5f 63 6f 75 6e 74 28 29 0a 0a 09 64 65 66 20 t_count()...def
0e70: 7a 65 72 6f 6e 65 77 73 28 74 68 69 73 29 3a 0a zeronews(this):.
0e80: 09 09 74 68 69 73 2e 6d 61 73 6b 20 3d 20 7b 7d ..this.mask = {}
0e90: 0a 09 09 74 68 69 73 2e 64 62 2e 65 78 65 63 75 ...this.db.execu
0ea0: 74 65 28 22 75 70 64 61 74 65 20 69 64 73 20 73 te("update ids s
0eb0: 65 74 20 6d 61 73 6b 20 3d 20 31 20 77 68 65 72 et mask = 1 wher
0ec0: 65 20 69 64 20 3d 20 3f 20 61 6e 64 20 6d 61 73 e id = ? and mas
0ed0: 6b 20 3d 20 33 3b 22 2c 20 5b 74 68 69 73 2e 69 k = 3;", [this.i
0ee0: 64 5d 29 0a 09 09 74 68 69 73 2e 64 62 2e 65 78 d])...this.db.ex
0ef0: 65 63 75 74 65 28 22 64 65 6c 65 74 65 20 66 72 ecute("delete fr
0f00: 6f 6d 20 69 64 73 20 77 68 65 72 65 20 69 64 20 om ids where id
0f10: 3d 20 3f 20 61 6e 64 20 6d 61 73 6b 20 3d 20 32 = ? and mask = 2
0f20: 3b 22 2c 20 5b 74 68 69 73 2e 69 64 5d 29 0a 09 ;", [this.id])..
0f30: 09 74 68 69 73 2e 64 72 6f 70 6c 61 73 74 28 29 .this.droplast()
0f40: 0a 09 09 74 68 69 73 2e 73 79 6e 63 28 29 0a 0a ...this.sync()..
0f50: 09 64 65 66 20 73 79 6e 63 28 74 68 69 73 29 3a .def sync(this):
0f60: 0a 09 09 74 68 69 73 2e 64 62 2e 63 6f 6d 6d 69 ...this.db.commi
0f70: 74 28 29 0a 0a 09 64 65 66 20 67 65 74 5f 75 6e t()...def get_un
0f80: 66 65 74 63 68 65 64 28 74 68 69 73 29 3a 0a 09 fetched(this):..
0f90: 09 72 65 74 75 72 6e 28 74 68 69 73 2e 64 62 2e .return(this.db.
0fa0: 65 78 65 63 75 74 65 28 22 73 65 6c 65 63 74 20 execute("select
0fb0: 6e 61 6d 65 2c 20 64 61 74 65 20 66 72 6f 6d 20 name, date from
0fc0: 69 64 73 20 77 68 65 72 65 20 69 64 20 3d 20 3f ids where id = ?
0fd0: 20 61 6e 64 20 6d 61 73 6b 20 3d 20 32 20 6f 72 and mask = 2 or
0fe0: 64 65 72 20 62 79 20 64 61 74 65 20 64 65 73 63 der by date desc
0ff0: 3b 22 2c 20 5b 74 68 69 73 2e 69 64 5d 29 29 0a ;", [this.id])).
1000: 0a 09 64 65 66 20 66 6f 72 67 65 74 28 74 68 69 ..def forget(thi
1010: 73 2c 20 6d 69 64 29 3a 0a 09 09 74 68 69 73 2e s, mid):...this.
1020: 64 62 2e 65 78 65 63 75 74 65 28 22 64 65 6c 65 db.execute("dele
1030: 74 65 20 66 72 6f 6d 20 69 64 73 20 77 68 65 72 te from ids wher
1040: 65 20 69 64 20 3d 20 3f 20 61 6e 64 20 6e 61 6d e id = ? and nam
1050: 65 20 3d 20 3f 3b 22 2c 20 5b 74 68 69 73 2e 69 e = ?;", [this.i
1060: 64 2c 20 6d 69 64 5d 29 0a 0a 64 65 66 20 63 68 d, mid])..def ch
1070: 65 63 6b 5f 66 6f 6c 64 65 72 28 6d 73 65 72 76 eck_folder(mserv
1080: 65 72 2c 20 66 6f 6c 64 65 72 2c 20 66 6f 6c 64 er, folder, fold
1090: 65 72 4e 61 6d 65 29 3a 0a 09 66 6f 6c 64 65 72 erName):..folder
10a0: 2e 7a 65 72 6f 6d 61 69 6c 28 29 0a 09 64 65 6c .zeromail()..del
10b0: 65 74 65 64 20 3d 20 30 0a 09 6d 73 65 72 76 65 eted = 0..mserve
10c0: 72 2e 73 65 6c 65 63 74 28 66 6f 6c 64 65 72 4e r.select(folderN
10d0: 61 6d 65 29 0a 09 74 79 70 2c 20 64 61 74 61 20 ame)..typ, data
10e0: 3d 20 6d 73 65 72 76 65 72 2e 73 65 61 72 63 68 = mserver.search
10f0: 28 4e 6f 6e 65 2c 20 27 4e 4f 54 20 44 45 4c 45 (None, 'NOT DELE
1100: 54 45 44 27 29 0a 09 63 6f 75 6e 74 20 3d 20 30 TED')..count = 0
1110: 0a 09 70 72 69 6e 74 28 27 20 2d 20 62 75 69 6c ..print(' - buil
1120: 64 69 6e 67 20 69 6d 61 70 20 69 6e 64 65 78 27 ding imap index'
1130: 2c 20 66 6f 6c 64 65 72 4e 61 6d 65 2c 20 27 5b , folderName, '[
1140: 27 2c 20 65 6e 64 3d 27 27 29 0a 09 66 6f 72 20 ', end='')..for
1150: 6e 75 6d 20 69 6e 20 64 61 74 61 5b 30 5d 2e 73 num in data[0].s
1160: 70 6c 69 74 28 29 3a 0a 09 09 66 6f 75 6e 64 20 plit():...found
1170: 3d 20 46 61 6c 73 65 0a 09 09 74 79 70 2c 20 64 = False...typ, d
1180: 61 74 61 20 3d 20 6d 73 65 72 76 65 72 2e 66 65 ata = mserver.fe
1190: 74 63 68 28 6e 75 6d 2c 20 27 28 45 4e 56 45 4c tch(num, '(ENVEL
11a0: 4f 50 45 29 27 29 0a 09 09 66 69 65 6c 64 20 3d OPE)')...field =
11b0: 20 30 0a 09 09 66 6f 72 20 72 65 63 20 69 6e 20 0...for rec in
11c0: 64 61 74 61 3a 0a 09 09 09 69 66 20 74 79 70 65 data:....if type
11d0: 28 72 65 63 29 20 3d 3d 20 74 75 70 6c 65 3a 0a (rec) == tuple:.
11e0: 09 09 09 09 64 61 74 61 5b 66 69 65 6c 64 5d 20 ....data[field]
11f0: 3d 20 27 27 2e 6a 6f 69 6e 28 69 2e 64 65 63 6f = ''.join(i.deco
1200: 64 65 28 27 75 74 66 2d 38 27 2c 20 27 69 67 6e de('utf-8', 'ign
1210: 6f 72 65 27 29 20 66 6f 72 20 69 20 69 6e 20 72 ore') for i in r
1220: 65 63 29 0a 09 09 09 65 6c 73 65 3a 0a 09 09 09 ec)....else:....
1230: 09 64 61 74 61 5b 66 69 65 6c 64 5d 20 3d 20 72 .data[field] = r
1240: 65 63 2e 64 65 63 6f 64 65 28 27 75 74 66 2d 38 ec.decode('utf-8
1250: 27 2c 20 27 69 67 6e 6f 72 65 27 29 0a 09 09 09 ', 'ignore')....
1260: 66 69 65 6c 64 20 2b 3d 20 31 0a 09 09 64 61 74 field += 1...dat
1270: 61 20 3d 20 27 27 2e 6a 6f 69 6e 28 64 61 74 61 a = ''.join(data
1280: 29 0a 09 09 69 73 4d 69 64 20 3d 20 72 65 4d 65 )...isMid = reMe
1290: 73 73 61 67 65 49 64 2e 73 65 61 72 63 68 28 64 ssageId.search(d
12a0: 61 74 61 29 0a 09 09 69 66 20 69 73 4d 69 64 3a ata)...if isMid:
12b0: 0a 09 09 09 6d 69 64 20 3d 20 69 73 4d 69 64 2e ....mid = isMid.
12c0: 67 72 6f 75 70 28 31 29 0a 09 09 09 6d 61 73 6b group(1)....mask
12d0: 20 3d 20 66 6f 6c 64 65 72 2e 63 68 65 63 6b 28 = folder.check(
12e0: 6d 69 64 29 0a 09 09 09 69 66 20 6e 6f 74 20 6d mid)....if not m
12f0: 61 73 6b 20 69 6e 20 28 31 2c 20 33 29 3a 0a 09 ask in (1, 3):..
1300: 09 09 09 66 6f 6c 64 65 72 2e 61 64 64 6d 61 69 ...folder.addmai
1310: 6c 28 6d 69 64 29 0a 09 09 09 09 63 6f 75 6e 74 l(mid).....count
1320: 20 2b 3d 20 31 0a 09 09 09 65 6c 73 65 3a 0a 09 += 1....else:..
1330: 09 09 09 6d 73 65 72 76 65 72 2e 73 74 6f 72 65 ...mserver.store
1340: 28 6e 75 6d 2c 20 27 2b 46 4c 41 47 53 27 2c 20 (num, '+FLAGS',
1350: 27 5c 5c 44 65 6c 65 74 65 64 27 29 0a 09 09 09 '\\Deleted')....
1360: 09 64 65 6c 65 74 65 64 20 2b 3d 20 31 0a 09 09 .deleted += 1...
1370: 09 09 73 79 73 2e 73 74 64 6f 75 74 2e 77 72 69 ..sys.stdout.wri
1380: 74 65 28 27 78 27 29 0a 09 09 09 09 73 79 73 2e te('x').....sys.
1390: 73 74 64 6f 75 74 2e 66 6c 75 73 68 28 29 0a 09 stdout.flush()..
13a0: 09 65 6c 73 65 3a 0a 09 09 09 70 72 69 6e 74 28 .else:....print(
13b0: 27 4d 65 73 73 61 67 65 20 69 64 20 6e 6f 74 20 'Message id not
13c0: 66 6f 75 6e 64 2e 27 29 0a 09 09 09 70 72 69 6e found.')....prin
13d0: 74 28 72 65 70 72 28 64 61 74 61 29 29 0a 09 09 t(repr(data))...
13e0: 09 65 78 69 74 28 31 29 0a 09 09 69 66 20 28 63 .exit(1)...if (c
13f0: 6f 75 6e 74 20 25 20 31 30 30 30 29 20 3d 3d 20 ount % 1000) ==
1400: 30 3a 0a 09 09 09 73 79 73 2e 73 74 64 6f 75 74 0:....sys.stdout
1410: 2e 77 72 69 74 65 28 27 2e 27 29 0a 09 09 09 73 .write('.')....s
1420: 79 73 2e 73 74 64 6f 75 74 2e 66 6c 75 73 68 28 ys.stdout.flush(
1430: 29 0a 09 70 72 69 6e 74 28 27 5d 2c 20 64 65 6c )..print('], del
1440: 65 74 65 64 3a 27 2c 20 64 65 6c 65 74 65 64 2c eted:', deleted,
1450: 20 65 6e 64 20 3d 20 27 27 29 0a 09 66 6f 6c 64 end = '')..fold
1460: 65 72 2e 73 79 6e 63 28 29 0a 09 6d 73 65 72 76 er.sync()..mserv
1470: 65 72 2e 65 78 70 75 6e 67 65 28 29 0a 0a 66 6f er.expunge()..fo
1480: 6c 64 65 72 20 3d 20 46 6f 6c 64 65 72 28 27 6e lder = Folder('n
1490: 6e 74 70 64 75 70 2e 73 71 6c 69 74 65 27 29 0a ntpdup.sqlite').
14a0: 0a 6c 69 6d 69 74 73 20 3d 20 5b 30 2c 20 30 5d .limits = [0, 0]
14b0: 0a 6c 69 6d 69 74 53 74 65 70 73 20 3d 20 5b 68 .limitSteps = [h
14c0: 65 61 64 65 72 4c 69 6d 69 74 20 2f 20 6c 65 6e eaderLimit / len
14d0: 28 63 6f 6e 66 69 67 5b 27 67 72 6f 75 70 73 27 (config['groups'
14e0: 5d 29 2c 20 6d 61 69 6c 4c 69 6d 69 74 20 2f 20 ]), mailLimit /
14f0: 6c 65 6e 28 63 6f 6e 66 69 67 5b 27 67 72 6f 75 len(config['grou
1500: 70 73 27 5d 29 5d 0a 0a 6d 61 78 6c 65 6e 67 74 ps'])]..maxlengt
1510: 68 20 3d 20 30 0a 66 6f 72 20 66 6f 6c 64 65 72 h = 0.for folder
1520: 4e 61 6d 65 20 69 6e 20 28 63 6f 6e 66 69 67 5b Name in (config[
1530: 27 67 72 6f 75 70 73 27 5d 2e 6b 65 79 73 28 29 'groups'].keys()
1540: 29 3a 0a 09 6d 61 78 6c 65 6e 67 74 68 20 3d 20 ):..maxlength =
1550: 6d 61 78 28 6d 61 78 6c 65 6e 67 74 68 2c 20 6c max(maxlength, l
1560: 65 6e 28 66 6f 6c 64 65 72 4e 61 6d 65 29 29 0a en(folderName)).
1570: 0a 73 6b 65 77 20 3d 20 31 20 2b 20 69 6e 74 28 .skew = 1 + int(
1580: 6d 61 78 6c 65 6e 67 74 68 20 2f 20 38 29 0a 0a maxlength / 8)..
1590: 66 6f 72 20 66 6f 6c 64 65 72 4e 61 6d 65 20 69 for folderName i
15a0: 6e 20 28 73 65 74 28 63 6f 6e 66 69 67 5b 27 67 n (set(config['g
15b0: 72 6f 75 70 73 27 5d 2e 6b 65 79 73 28 29 29 29 roups'].keys()))
15c0: 3a 0a 09 73 74 61 74 73 20 3d 20 5b 30 2c 20 30 :..stats = [0, 0
15d0: 5d 0a 09 66 6f 6c 64 65 72 2e 73 65 6c 65 63 74 ]..folder.select
15e0: 28 66 6f 6c 64 65 72 4e 61 6d 65 29 0a 0a 09 72 (folderName)...r
15f0: 65 73 70 20 3d 20 6d 73 65 72 76 65 72 2e 73 65 esp = mserver.se
1600: 6c 65 63 74 28 66 6f 6c 64 65 72 4e 61 6d 65 29 lect(folderName)
1610: 0a 09 69 66 20 72 65 73 70 5b 30 5d 20 21 3d 20 ..if resp[0] !=
1620: 27 4f 4b 27 3a 0a 09 09 70 72 69 6e 74 28 22 43 'OK':...print("C
1630: 61 6e 27 74 20 6f 70 65 6e 20 66 6f 6c 64 65 72 an't open folder
1640: 2e 22 29 0a 09 09 65 78 69 74 28 31 29 0a 09 69 .")...exit(1)..i
1650: 66 20 69 6e 74 28 72 65 73 70 5b 31 5d 5b 30 5d f int(resp[1][0]
1660: 29 20 21 3d 20 66 6f 6c 64 65 72 2e 63 6f 75 6e ) != folder.coun
1670: 74 3a 0a 09 09 63 68 65 63 6b 5f 66 6f 6c 64 65 t:...check_folde
1680: 72 28 6d 73 65 72 76 65 72 2c 20 66 6f 6c 64 65 r(mserver, folde
1690: 72 2c 20 66 6f 6c 64 65 72 4e 61 6d 65 29 0a 0a r, folderName)..
16a0: 09 5f 2c 20 63 6f 75 6e 74 2c 20 66 69 72 73 74 ._, count, first
16b0: 2c 20 6c 61 73 74 2c 20 5f 20 3d 20 73 65 72 76 , last, _ = serv
16c0: 65 72 2e 67 72 6f 75 70 28 66 6f 6c 64 65 72 4e er.group(folderN
16d0: 61 6d 65 29 0a 09 6c 69 6d 69 74 73 5b 30 5d 20 ame)..limits[0]
16e0: 2b 3d 20 6c 69 6d 69 74 53 74 65 70 73 5b 30 5d += limitSteps[0]
16f0: 0a 09 69 66 20 6c 61 73 74 20 3e 20 66 6f 6c 64 ..if last > fold
1700: 65 72 2e 6c 61 73 74 3a 0a 09 09 63 6f 75 6e 74 er.last:...count
1710: 20 3d 20 30 0a 09 09 23 20 77 65 20 6e 65 65 64 = 0...# we need
1720: 20 74 6f 20 66 65 74 63 68 20 6e 65 77 20 69 64 to fetch new id
1730: 73 0a 09 09 72 65 71 75 65 73 74 20 3d 20 6d 69 s...request = mi
1740: 6e 28 6c 61 73 74 2c 20 66 6f 6c 64 65 72 2e 6c n(last, folder.l
1750: 61 73 74 20 2b 20 6c 69 6d 69 74 73 5b 30 5d 29 ast + limits[0])
1760: 0a 09 09 74 72 79 3a 0a 09 09 09 66 6f 72 20 72 ...try:....for r
1770: 65 63 6f 72 64 20 69 6e 20 73 65 72 76 65 72 2e ecord in server.
1780: 6f 76 65 72 28 28 69 6e 74 28 66 6f 6c 64 65 72 over((int(folder
1790: 2e 6c 61 73 74 29 20 2b 20 31 2c 20 69 6e 74 28 .last) + 1, int(
17a0: 72 65 71 75 65 73 74 29 29 29 5b 31 5d 3a 0a 09 request)))[1]:..
17b0: 09 09 09 6d 69 64 20 3d 20 72 65 63 6f 72 64 5b ...mid = record[
17c0: 31 5d 5b 27 6d 65 73 73 61 67 65 2d 69 64 27 5d 1]['message-id']
17d0: 0a 09 09 09 09 69 66 20 6c 65 6e 28 72 65 63 6f .....if len(reco
17e0: 72 64 5b 31 5d 5b 27 6d 65 73 73 61 67 65 2d 69 rd[1]['message-i
17f0: 64 27 5d 29 20 3e 20 30 3a 0a 09 09 09 09 09 74 d']) > 0:......t
1800: 72 79 3a 0a 09 09 09 09 09 09 66 6f 6c 64 65 72 ry:.......folder
1810: 2e 61 64 64 6e 65 77 73 28 72 65 63 6f 72 64 5b .addnews(record[
1820: 31 5d 5b 27 6d 65 73 73 61 67 65 2d 69 64 27 5d 1]['message-id']
1830: 2c 20 65 6d 61 69 6c 2e 75 74 69 6c 73 2e 70 61 , email.utils.pa
1840: 72 73 65 64 61 74 65 5f 74 6f 5f 64 61 74 65 74 rsedate_to_datet
1850: 69 6d 65 28 72 65 63 6f 72 64 5b 31 5d 5b 27 64 ime(record[1]['d
1860: 61 74 65 27 5d 29 2e 74 69 6d 65 73 74 61 6d 70 ate']).timestamp
1870: 28 29 29 0a 09 09 09 09 09 65 78 63 65 70 74 20 ())......except
1880: 4f 76 65 72 66 6c 6f 77 45 72 72 6f 72 20 61 73 OverflowError as
1890: 20 65 72 72 3a 0a 09 09 09 09 09 09 66 6f 6c 64 err:.......fold
18a0: 65 72 2e 61 64 64 6e 65 77 73 28 72 65 63 6f 72 er.addnews(recor
18b0: 64 5b 31 5d 5b 27 6d 65 73 73 61 67 65 2d 69 64 d[1]['message-id
18c0: 27 5d 29 0a 09 09 09 09 09 65 78 63 65 70 74 20 '])......except
18d0: 54 79 70 65 45 72 72 6f 72 20 61 73 20 65 72 72 TypeError as err
18e0: 3a 0a 09 09 09 09 09 09 66 6f 6c 64 65 72 2e 61 :.......folder.a
18f0: 64 64 6e 65 77 73 28 72 65 63 6f 72 64 5b 31 5d ddnews(record[1]
1900: 5b 27 6d 65 73 73 61 67 65 2d 69 64 27 5d 29 0a ['message-id']).
1910: 09 09 09 09 63 6f 75 6e 74 20 2b 3d 20 31 0a 09 ....count += 1..
1920: 09 65 78 63 65 70 74 20 6e 6e 74 70 6c 69 62 2e .except nntplib.
1930: 4e 4e 54 50 54 65 6d 70 6f 72 61 72 79 45 72 72 NNTPTemporaryErr
1940: 6f 72 20 61 73 20 65 72 72 3a 0a 09 09 09 69 66 or as err:....if
1950: 20 65 72 72 2e 72 65 73 70 6f 6e 73 65 2e 73 74 err.response.st
1960: 61 72 74 73 77 69 74 68 28 27 34 32 33 20 27 29 artswith('423 ')
1970: 3a 0a 09 09 09 09 70 61 73 73 0a 09 09 09 65 6c :.....pass....el
1980: 73 65 3a 0a 09 09 09 09 72 61 69 73 65 28 65 72 se:.....raise(er
1990: 72 29 0a 09 09 65 78 63 65 70 74 20 6e 6e 74 70 r)...except nntp
19a0: 6c 69 62 2e 4e 4e 54 50 50 65 72 6d 61 6e 65 6e lib.NNTPPermanen
19b0: 74 45 72 72 6f 72 20 61 73 20 65 72 72 3a 0a 09 tError as err:..
19c0: 09 09 70 72 69 6e 74 28 66 6f 6c 64 65 72 2e 6c ..print(folder.l
19d0: 61 73 74 2c 20 72 65 71 75 65 73 74 29 0a 09 09 ast, request)...
19e0: 09 72 61 69 73 65 28 65 72 72 29 0a 09 09 65 78 .raise(err)...ex
19f0: 63 65 70 74 20 73 71 6c 69 74 65 33 2e 49 6e 74 cept sqlite3.Int
1a00: 65 67 72 69 74 79 45 72 72 6f 72 20 61 73 20 65 egrityError as e
1a10: 72 72 3a 0a 09 09 09 70 72 69 6e 74 28 72 65 70 rr:....print(rep
1a20: 72 28 72 65 63 6f 72 64 29 29 0a 09 09 09 70 72 r(record))....pr
1a30: 69 6e 74 28 5b 78 20 66 6f 72 20 78 20 69 6e 20 int([x for x in
1a40: 6d 61 70 28 72 65 70 72 2c 20 66 6f 6c 64 65 72 map(repr, folder
1a50: 2e 64 62 2e 65 78 65 63 75 74 65 28 22 73 65 6c .db.execute("sel
1a60: 65 63 74 20 2a 20 66 72 6f 6d 20 69 64 73 20 77 ect * from ids w
1a70: 68 65 72 65 20 69 64 20 3d 20 3f 20 61 6e 64 20 here id = ? and
1a80: 6e 61 6d 65 20 3d 20 3f 3b 22 2c 20 5b 66 6f 6c name = ?;", [fol
1a90: 64 65 72 2e 69 64 2c 20 72 65 63 6f 72 64 5b 31 der.id, record[1
1aa0: 5d 5b 27 6d 65 73 73 61 67 65 2d 69 64 27 5d 5d ]['message-id']]
1ab0: 29 29 5d 29 0a 09 09 09 72 61 69 73 65 28 65 72 ))])....raise(er
1ac0: 72 29 0a 09 09 73 74 61 74 73 5b 30 5d 20 3d 20 r)...stats[0] =
1ad0: 63 6f 75 6e 74 0a 09 09 6c 69 6d 69 74 73 5b 30 count...limits[0
1ae0: 5d 20 2d 3d 20 63 6f 75 6e 74 0a 09 09 66 6f 6c ] -= count...fol
1af0: 64 65 72 2e 61 64 64 6c 61 73 74 28 72 65 71 75 der.addlast(requ
1b00: 65 73 74 20 2d 20 66 6f 6c 64 65 72 2e 6c 61 73 est - folder.las
1b10: 74 29 0a 09 09 66 6f 6c 64 65 72 2e 73 79 6e 63 t)...folder.sync
1b20: 28 29 0a 09 65 6c 69 66 20 66 6f 6c 64 65 72 2e ()..elif folder.
1b30: 67 65 74 5f 72 65 63 6f 72 64 5f 63 6f 75 6e 74 get_record_count
1b40: 28 31 29 20 3e 20 30 3a 0a 09 09 66 6f 6c 64 65 (1) > 0:...folde
1b50: 72 2e 64 72 6f 70 6c 61 73 74 28 29 0a 0a 09 6c r.droplast()...l
1b60: 69 6d 69 74 73 5b 31 5d 20 2b 3d 20 6c 69 6d 69 imits[1] += limi
1b70: 74 53 74 65 70 73 5b 31 5d 0a 09 69 66 20 66 6f tSteps[1]..if fo
1b80: 6c 64 65 72 2e 67 65 74 5f 72 65 63 6f 72 64 5f lder.get_record_
1b90: 63 6f 75 6e 74 28 32 29 20 3e 20 30 3a 0a 09 09 count(2) > 0:...
1ba0: 63 6f 75 6e 74 20 3d 20 30 0a 09 09 23 20 74 68 count = 0...# th
1bb0: 65 72 65 20 61 72 65 20 65 78 74 72 61 20 61 72 ere are extra ar
1bc0: 74 69 63 6c 65 73 0a 09 09 72 61 77 5f 64 61 74 ticles...raw_dat
1bd0: 65 20 3d 20 5b 5d 0a 09 09 75 6e 66 65 74 63 68 e = []...unfetch
1be0: 65 64 20 3d 20 5b 5d 0a 09 09 66 6f 72 20 69 74 ed = []...for it
1bf0: 65 6d 2c 20 65 6e 76 5f 64 61 74 65 20 69 6e 20 em, env_date in
1c00: 66 6f 6c 64 65 72 2e 67 65 74 5f 75 6e 66 65 74 folder.get_unfet
1c10: 63 68 65 64 28 29 3a 0a 09 09 09 6d 61 73 6b 20 ched():....mask
1c20: 3d 20 66 6f 6c 64 65 72 2e 63 68 65 63 6b 28 69 = folder.check(i
1c30: 74 65 6d 29 0a 09 09 09 69 66 20 6d 61 73 6b 20 tem)....if mask
1c40: 3d 3d 20 32 3a 0a 09 09 09 09 75 6e 66 65 74 63 == 2:.....unfetc
1c50: 68 65 64 20 2b 3d 20 28 69 74 65 6d 2c 20 65 6e hed += (item, en
1c60: 76 5f 64 61 74 65 29 2c 0a 09 09 66 6f 72 20 69 v_date),...for i
1c70: 74 65 6d 2c 20 65 6e 76 5f 64 61 74 65 20 69 6e tem, env_date in
1c80: 20 75 6e 66 65 74 63 68 65 64 3a 0a 09 09 09 74 unfetched:....t
1c90: 72 79 3a 0a 09 09 09 09 5f 2c 20 69 6e 66 6f 20 ry:....._, info
1ca0: 3d 20 73 65 72 76 65 72 2e 61 72 74 69 63 6c 65 = server.article
1cb0: 28 69 74 65 6d 29 0a 09 09 09 09 69 66 20 65 6e (item).....if en
1cc0: 76 5f 64 61 74 65 20 3d 3d 20 4e 6f 6e 65 20 6f v_date == None o
1cd0: 72 20 65 6e 76 5f 64 61 74 65 20 3c 20 30 3a 0a r env_date < 0:.
1ce0: 09 09 09 09 09 64 61 74 65 20 3d 20 4e 6f 6e 65 .....date = None
1cf0: 0a 09 09 09 09 09 62 61 63 6b 75 70 5f 64 61 74 ......backup_dat
1d00: 65 20 3d 20 4e 6f 6e 65 0a 09 09 09 09 09 6f 75 e = None......ou
1d10: 74 20 3d 20 5b 5d 0a 09 09 09 09 09 66 6f 72 20 t = []......for
1d20: 6c 69 6e 65 20 69 6e 20 69 6e 66 6f 2e 6c 69 6e line in info.lin
1d30: 65 73 3a 0a 09 09 09 09 09 09 69 66 20 6c 65 6e es:.......if len
1d40: 28 6c 69 6e 65 29 20 3d 3d 20 30 3a 0a 09 09 09 (line) == 0:....
1d50: 09 09 09 09 6d 65 73 67 20 3d 20 65 6d 61 69 6c ....mesg = email
1d60: 2e 6d 65 73 73 61 67 65 5f 66 72 6f 6d 5f 73 74 .message_from_st
1d70: 72 69 6e 67 28 27 5c 6e 27 2e 6a 6f 69 6e 28 6f ring('\n'.join(o
1d80: 75 74 29 29 0a 09 09 09 09 09 09 09 66 6f 72 20 ut))........for
1d90: 68 65 61 64 65 72 20 69 6e 20 6d 65 73 67 2e 5f header in mesg._
1da0: 68 65 61 64 65 72 73 3a 0a 09 09 09 09 09 09 09 headers:........
1db0: 09 69 66 20 68 65 61 64 65 72 5b 30 5d 20 3d 3d .if header[0] ==
1dc0: 20 27 44 61 74 65 27 3a 0a 09 09 09 09 09 09 09 'Date':........
1dd0: 09 09 72 61 77 5f 64 61 74 65 20 2b 3d 20 68 65 ..raw_date += he
1de0: 61 64 65 72 5b 31 5d 2c 0a 09 09 09 09 09 09 09 ader[1],........
1df0: 09 09 64 61 74 65 20 3d 20 65 6d 61 69 6c 2e 75 ..date = email.u
1e00: 74 69 6c 73 2e 70 61 72 73 65 64 61 74 65 28 68 tils.parsedate(h
1e10: 65 61 64 65 72 5b 31 5d 29 0a 09 09 09 09 09 09 eader[1]).......
1e20: 09 09 65 6c 69 66 20 68 65 61 64 65 72 5b 30 5d ..elif header[0]
1e30: 20 3d 3d 20 27 4f 72 69 67 69 6e 61 6c 2d 52 65 == 'Original-Re
1e40: 63 65 69 76 65 64 27 3a 0a 09 09 09 09 09 09 09 ceived':........
1e50: 09 09 72 61 77 5f 64 61 74 65 20 2b 3d 20 68 65 ..raw_date += he
1e60: 61 64 65 72 5b 31 5d 2c 0a 09 09 09 09 09 09 09 ader[1],........
1e70: 09 09 74 6d 70 5f 64 61 74 65 20 3d 20 65 6d 61 ..tmp_date = ema
1e80: 69 6c 2e 75 74 69 6c 73 2e 70 61 72 73 65 64 61 il.utils.parseda
1e90: 74 65 28 68 65 61 64 65 72 5b 31 5d 2e 73 70 6c te(header[1].spl
1ea0: 69 74 28 27 3b 27 29 5b 2d 31 5d 29 0a 09 09 09 it(';')[-1])....
1eb0: 09 09 09 09 09 09 69 66 20 74 6d 70 5f 64 61 74 ......if tmp_dat
1ec0: 65 20 21 3d 20 4e 6f 6e 65 20 61 6e 64 20 74 6d e != None and tm
1ed0: 70 5f 64 61 74 65 5b 30 5d 20 3e 3d 20 31 39 37 p_date[0] >= 197
1ee0: 30 3a 0a 09 09 09 09 09 09 09 09 09 09 62 61 63 0:...........bac
1ef0: 6b 75 70 5f 64 61 74 65 20 3d 20 74 6d 70 5f 64 kup_date = tmp_d
1f00: 61 74 65 0a 09 09 09 09 09 09 09 69 66 20 64 61 ate........if da
1f10: 74 65 20 3d 3d 20 4e 6f 6e 65 20 61 6e 64 20 62 te == None and b
1f20: 61 63 6b 75 70 5f 64 61 74 65 20 3d 3d 20 4e 6f ackup_date == No
1f30: 6e 65 3a 0a 09 09 09 09 09 09 09 09 70 72 69 6e ne:.........prin
1f40: 74 28 27 44 61 74 65 20 6d 69 73 73 65 64 2e 27 t('Date missed.'
1f50: 29 0a 09 09 09 09 09 09 09 09 70 72 69 6e 74 28 ).........print(
1f60: 72 65 70 72 28 6f 75 74 29 29 0a 09 09 09 09 09 repr(out))......
1f70: 09 09 09 65 78 69 74 28 31 29 0a 09 09 09 09 09 ...exit(1)......
1f80: 09 09 65 6c 69 66 20 64 61 74 65 20 3d 3d 20 4e ..elif date == N
1f90: 6f 6e 65 3a 0a 09 09 09 09 09 09 09 09 64 61 74 one:.........dat
1fa0: 65 20 3d 20 62 61 63 6b 75 70 5f 64 61 74 65 0a e = backup_date.
1fb0: 09 09 09 09 09 09 09 62 72 65 61 6b 0a 09 09 09 .......break....
1fc0: 09 09 09 74 72 79 3a 0a 09 09 09 09 09 09 09 6f ...try:........o
1fd0: 75 74 2e 61 70 70 65 6e 64 28 6c 69 6e 65 2e 64 ut.append(line.d
1fe0: 65 63 6f 64 65 28 27 61 73 63 69 69 27 2c 20 27 ecode('ascii', '
1ff0: 69 67 6e 6f 72 65 27 29 29 0a 09 09 09 09 09 09 ignore')).......
2000: 65 78 63 65 70 74 20 55 6e 69 63 6f 64 65 44 65 except UnicodeDe
2010: 63 6f 64 65 45 72 72 6f 72 3a 0a 09 09 09 09 09 codeError:......
2020: 09 09 70 72 69 6e 74 28 72 65 70 72 28 6c 69 6e ..print(repr(lin
2030: 65 29 29 0a 09 09 09 09 09 09 09 65 78 69 74 28 e))........exit(
2040: 31 29 0a 09 09 09 09 09 6f 75 74 2e 61 70 70 65 1)......out.appe
2050: 6e 64 28 27 5c 6e 27 29 0a 09 09 09 09 09 74 72 nd('\n')......tr
2060: 79 3a 0a 09 09 09 09 09 09 23 70 72 69 6e 74 28 y:.......#print(
2070: 27 2a 27 2c 20 69 74 65 6d 2c 20 64 61 74 65 2c '*', item, date,
2080: 20 74 79 70 65 28 64 61 74 65 29 29 0a 09 09 09 type(date))....
2090: 09 09 09 6d 73 65 72 76 65 72 2e 61 70 70 65 6e ...mserver.appen
20a0: 64 28 66 6f 6c 64 65 72 4e 61 6d 65 2c 20 4e 6f d(folderName, No
20b0: 6e 65 2c 20 64 61 74 65 2c 20 62 27 5c 6e 27 2e ne, date, b'\n'.
20c0: 6a 6f 69 6e 28 69 6e 66 6f 2e 6c 69 6e 65 73 29 join(info.lines)
20d0: 29 0a 09 09 09 09 09 65 78 63 65 70 74 20 41 74 )......except At
20e0: 74 72 69 62 75 74 65 45 72 72 6f 72 20 61 73 20 tributeError as
20f0: 65 72 72 3a 0a 09 09 09 09 09 09 23 70 72 69 6e err:.......#prin
2100: 74 28 27 2a 27 2c 20 69 74 65 6d 2c 20 72 61 77 t('*', item, raw
2110: 5f 64 61 74 65 2c 20 72 65 70 72 28 64 61 74 65 _date, repr(date
2120: 29 29 0a 09 09 09 09 09 09 23 72 61 69 73 65 28 )).......#raise(
2130: 65 72 72 29 0a 09 09 09 09 09 09 6d 73 65 72 76 err).......mserv
2140: 65 72 2e 61 70 70 65 6e 64 28 66 6f 6c 64 65 72 er.append(folder
2150: 4e 61 6d 65 2c 20 4e 6f 6e 65 2c 20 62 61 63 6b Name, None, back
2160: 75 70 5f 64 61 74 65 2c 20 62 27 5c 6e 27 2e 6a up_date, b'\n'.j
2170: 6f 69 6e 28 69 6e 66 6f 2e 6c 69 6e 65 73 29 29 oin(info.lines))
2180: 0a 09 09 09 09 09 65 78 63 65 70 74 20 4f 76 65 ......except Ove
2190: 72 66 6c 6f 77 45 72 72 6f 72 20 61 73 20 65 72 rflowError as er
21a0: 72 3a 0a 09 09 09 09 09 09 23 70 72 69 6e 74 28 r:.......#print(
21b0: 27 2a 27 2c 20 69 74 65 6d 2c 20 72 61 77 5f 64 '*', item, raw_d
21c0: 61 74 65 2c 20 72 65 70 72 28 64 61 74 65 29 29 ate, repr(date))
21d0: 0a 09 09 09 09 09 09 23 72 61 69 73 65 28 65 72 .......#raise(er
21e0: 72 29 0a 09 09 09 09 09 09 6d 73 65 72 76 65 72 r).......mserver
21f0: 2e 61 70 70 65 6e 64 28 66 6f 6c 64 65 72 4e 61 .append(folderNa
2200: 6d 65 2c 20 4e 6f 6e 65 2c 20 62 61 63 6b 75 70 me, None, backup
2210: 5f 64 61 74 65 2c 20 62 27 5c 6e 27 2e 6a 6f 69 _date, b'\n'.joi
2220: 6e 28 69 6e 66 6f 2e 6c 69 6e 65 73 29 29 0a 09 n(info.lines))..
2230: 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 23 70 ...else:......#p
2240: 72 69 6e 74 28 27 2a 27 2c 20 69 74 65 6d 2c 20 rint('*', item,
2250: 65 6e 76 5f 64 61 74 65 2c 20 74 79 70 65 28 65 env_date, type(e
2260: 6e 76 5f 64 61 74 65 29 29 0a 09 09 09 09 09 6d nv_date))......m
2270: 73 65 72 76 65 72 2e 61 70 70 65 6e 64 28 66 6f server.append(fo
2280: 6c 64 65 72 4e 61 6d 65 2c 20 4e 6f 6e 65 2c 20 lderName, None,
2290: 65 6e 76 5f 64 61 74 65 2c 20 62 27 5c 6e 27 2e env_date, b'\n'.
22a0: 6a 6f 69 6e 28 69 6e 66 6f 2e 6c 69 6e 65 73 29 join(info.lines)
22b0: 29 0a 09 09 09 09 66 6f 6c 64 65 72 2e 61 64 64 ).....folder.add
22c0: 6d 61 69 6c 28 69 74 65 6d 29 0a 09 09 09 09 66 mail(item).....f
22d0: 6f 6c 64 65 72 2e 73 79 6e 63 28 29 0a 09 09 09 older.sync()....
22e0: 09 63 6f 75 6e 74 20 2b 3d 20 31 0a 09 09 09 09 .count += 1.....
22f0: 69 66 20 63 6f 75 6e 74 20 3e 3d 20 6c 69 6d 69 if count >= limi
2300: 74 73 5b 31 5d 3a 0a 09 09 09 09 09 62 72 65 61 ts[1]:......brea
2310: 6b 0a 09 09 09 65 78 63 65 70 74 20 6e 6e 74 70 k....except nntp
2320: 6c 69 62 2e 4e 4e 54 50 54 65 6d 70 6f 72 61 72 lib.NNTPTemporar
2330: 79 45 72 72 6f 72 20 61 73 20 65 72 72 3a 0a 09 yError as err:..
2340: 09 09 09 69 66 20 65 72 72 2e 72 65 73 70 6f 6e ...if err.respon
2350: 73 65 2e 73 74 61 72 74 73 77 69 74 68 28 27 34 se.startswith('4
2360: 33 30 20 4e 6f 20 73 75 63 68 20 61 72 74 69 63 30 No such artic
2370: 6c 65 27 29 3a 0a 09 09 09 09 09 66 6f 6c 64 65 le'):......folde
2380: 72 2e 66 6f 72 67 65 74 28 69 74 65 6d 29 0a 09 r.forget(item)..
2390: 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 70 72 ...else:......pr
23a0: 69 6e 74 28 65 72 72 2e 72 65 73 70 6f 6e 73 65 int(err.response
23b0: 2c 20 69 74 65 6d 2c 20 65 6e 76 5f 64 61 74 65 , item, env_date
23c0: 29 0a 09 09 09 09 09 72 61 69 73 65 28 65 72 72 )......raise(err
23d0: 29 0a 09 09 73 74 61 74 73 5b 31 5d 20 3d 20 63 )...stats[1] = c
23e0: 6f 75 6e 74 0a 09 09 6c 69 6d 69 74 73 5b 31 5d ount...limits[1]
23f0: 20 2d 3d 20 63 6f 75 6e 74 0a 0a 09 69 66 20 73 -= count...if s
2400: 74 61 74 73 5b 30 5d 20 21 3d 20 30 20 6f 72 20 tats[0] != 0 or
2410: 73 74 61 74 73 5b 31 5d 20 21 3d 20 30 3a 0a 09 stats[1] != 0:..
2420: 09 70 72 69 6e 74 28 27 23 20 27 2c 20 66 6f 6c .print('# ', fol
2430: 64 65 72 4e 61 6d 65 2c 20 27 5c 74 27 2a 28 73 derName, '\t'*(s
2440: 6b 65 77 20 2d 20 69 6e 74 28 28 6c 65 6e 28 66 kew - int((len(f
2450: 6f 6c 64 65 72 4e 61 6d 65 29 20 2b 20 32 29 20 olderName) + 2)
2460: 2f 20 38 29 29 2c 20 27 5c 74 27 2e 6a 6f 69 6e / 8)), '\t'.join
2470: 28 6d 61 70 28 73 74 72 2c 20 73 74 61 74 73 29 (map(str, stats)
2480: 29 2c 20 73 65 70 20 3d 20 27 27 29 0a 09 66 6f ), sep = '')..fo
2490: 6c 64 65 72 2e 73 79 6e 63 28 29 0a lder.sync().