0000: 23 21 2f 75 73 72 2f 62 69 6e 2f 65 6e 76 20 70 #!/usr/bin/env p
0010: 79 74 68 6f 6e 33 2e 34 0a 0a 69 6d 70 6f 72 74 ython3.4..import
0020: 20 63 6f 6e 66 69 67 70 61 72 73 65 72 2c 20 65 configparser, e
0030: 6d 61 69 6c 2e 75 74 69 6c 73 2c 20 67 65 74 70 mail.utils, getp
0040: 61 73 73 2c 20 69 6d 61 70 6c 69 62 2c 20 6e 6e ass, imaplib, nn
0050: 74 70 6c 69 62 2c 20 72 65 2c 20 73 71 6c 69 74 tplib, re, sqlit
0060: 65 33 2c 20 73 79 73 0a 69 6d 61 70 6c 69 62 2e e3, sys.imaplib.
0070: 5f 4d 41 58 4c 49 4e 45 20 3d 20 31 30 32 34 20 _MAXLINE = 1024
0080: 2a 20 31 30 32 34 0a 6e 6e 74 70 6c 69 62 2e 5f * 1024.nntplib._
0090: 4d 41 58 4c 49 4e 45 20 3d 20 31 30 32 34 20 2a MAXLINE = 1024 *
00a0: 20 31 30 32 34 0a 0a 63 6f 6e 66 69 67 20 3d 20 1024..config =
00b0: 63 6f 6e 66 69 67 70 61 72 73 65 72 2e 43 6f 6e configparser.Con
00c0: 66 69 67 50 61 72 73 65 72 28 61 6c 6c 6f 77 5f figParser(allow_
00d0: 6e 6f 5f 76 61 6c 75 65 20 3d 20 54 72 75 65 29 no_value = True)
00e0: 0a 63 6f 6e 66 69 67 2e 72 65 61 64 28 27 6e 6e .config.read('nn
00f0: 74 70 64 75 70 2e 63 6f 6e 66 27 29 0a 0a 73 65 tpdup.conf')..se
0100: 72 76 65 72 20 3d 20 6e 6e 74 70 6c 69 62 2e 4e rver = nntplib.N
0110: 4e 54 50 5f 53 53 4c 28 63 6f 6e 66 69 67 5b 27 NTP_SSL(config['
0120: 63 6f 6e 6e 65 63 74 69 6f 6e 27 5d 5b 27 6e 65 connection']['ne
0130: 77 73 73 65 72 76 65 72 27 5d 29 0a 6d 73 65 72 wsserver']).mser
0140: 76 65 72 20 3d 20 69 6d 61 70 6c 69 62 2e 49 4d ver = imaplib.IM
0150: 41 50 34 5f 53 53 4c 28 63 6f 6e 66 69 67 5b 27 AP4_SSL(config['
0160: 63 6f 6e 6e 65 63 74 69 6f 6e 27 5d 5b 27 6d 61 connection']['ma
0170: 69 6c 73 65 72 76 65 72 27 5d 29 0a 72 65 4d 65 ilserver']).reMe
0180: 73 73 61 67 65 49 64 20 3d 20 72 65 2e 63 6f 6d ssageId = re.com
0190: 70 69 6c 65 28 27 28 3c 5b 2d 5c 5d 5b 61 2d 7a pile('(<[-\][a-z
01a0: 41 2d 5a 30 2d 39 40 2e 25 2f 3d 5f 5c 24 2b 21 A-Z0-9@.%/=_\$+!
01b0: 26 7e 23 5c 3f 7d 5d 2b 3e 29 22 3f 5c 29 5c 29 &~#\?}]+>)"?\)\)
01c0: 28 5c 64 2b 20 5c 28 46 4c 41 47 53 5c 28 5c 29 (\d+ \(FLAGS\(\)
01d0: 5c 29 29 3f 24 27 29 0a 6d 73 65 72 76 65 72 2e \))?$').mserver.
01e0: 6c 6f 67 69 6e 28 63 6f 6e 66 69 67 5b 27 63 6f login(config['co
01f0: 6e 6e 65 63 74 69 6f 6e 27 5d 5b 27 6d 61 69 6c nnection']['mail
0200: 5f 75 73 65 72 27 5d 2c 20 63 6f 6e 66 69 67 5b _user'], config[
0210: 27 63 6f 6e 6e 65 63 74 69 6f 6e 27 5d 5b 27 6d 'connection']['m
0220: 61 69 6c 5f 70 61 73 73 77 6f 72 64 27 5d 29 0a ail_password']).
0230: 69 66 20 27 6d 61 69 6c 5f 6c 69 6d 69 74 27 20 if 'mail_limit'
0240: 69 6e 20 63 6f 6e 66 69 67 5b 27 63 6f 6e 6e 65 in config['conne
0250: 63 74 69 6f 6e 27 5d 3a 0a 09 6d 61 69 6c 4c 69 ction']:..mailLi
0260: 6d 69 74 20 3d 20 69 6e 74 28 63 6f 6e 66 69 67 mit = int(config
0270: 5b 27 63 6f 6e 6e 65 63 74 69 6f 6e 27 5d 5b 27 ['connection']['
0280: 6d 61 69 6c 5f 6c 69 6d 69 74 27 5d 29 0a 65 6c mail_limit']).el
0290: 73 65 3a 0a 09 6d 61 69 6c 4c 69 6d 69 74 20 3d se:..mailLimit =
02a0: 20 31 30 30 0a 69 66 20 27 68 65 61 64 65 72 5f 100.if 'header_
02b0: 6c 69 6d 69 74 27 20 69 6e 20 63 6f 6e 66 69 67 limit' in config
02c0: 5b 27 63 6f 6e 6e 65 63 74 69 6f 6e 27 5d 3a 0a ['connection']:.
02d0: 09 68 65 61 64 65 72 4c 69 6d 69 74 20 3d 20 69 .headerLimit = i
02e0: 6e 74 28 63 6f 6e 66 69 67 5b 27 63 6f 6e 6e 65 nt(config['conne
02f0: 63 74 69 6f 6e 27 5d 5b 27 68 65 61 64 65 72 5f ction']['header_
0300: 6c 69 6d 69 74 27 5d 29 0a 65 6c 73 65 3a 0a 09 limit']).else:..
0310: 68 65 61 64 65 72 4c 69 6d 69 74 20 3d 20 31 30 headerLimit = 10
0320: 30 30 0a 0a 74 61 62 6c 65 73 20 3d 20 7b 0a 09 00..tables = {..
0330: 27 6c 69 73 74 27 3a 20 5b 22 63 72 65 61 74 65 'list': ["create
0340: 20 74 61 62 6c 65 20 6c 69 73 74 20 28 69 64 20 table list (id
0350: 69 6e 74 65 67 65 72 20 70 72 69 6d 61 72 79 20 integer primary
0360: 6b 65 79 2c 20 6e 61 6d 65 20 74 65 78 74 2c 20 key, name text,
0370: 6c 61 73 74 20 69 6e 74 65 67 65 72 20 64 65 66 last integer def
0380: 61 75 6c 74 20 30 29 3b 22 5d 2c 0a 09 27 69 64 ault 0);"],..'id
0390: 73 27 3a 20 5b 22 63 72 65 61 74 65 20 74 61 62 s': ["create tab
03a0: 6c 65 20 69 64 73 20 28 69 64 20 69 6e 74 65 67 le ids (id integ
03b0: 65 72 2c 20 6e 61 6d 65 20 74 65 78 74 2c 20 6d er, name text, m
03c0: 61 73 6b 20 69 6e 74 65 67 65 72 2c 20 64 61 74 ask integer, dat
03d0: 65 20 69 6e 74 65 67 65 72 29 3b 22 2c 20 22 63 e integer);", "c
03e0: 72 65 61 74 65 20 75 6e 69 71 75 65 20 69 6e 64 reate unique ind
03f0: 65 78 20 69 64 73 5f 5f 69 64 5f 6e 61 6d 65 20 ex ids__id_name
0400: 6f 6e 20 69 64 73 28 69 64 2c 20 6e 61 6d 65 29 on ids(id, name)
0410: 3b 22 5d 2c 0a 7d 0a 0a 63 6c 61 73 73 20 46 6f ;"],.}..class Fo
0420: 6c 64 65 72 3a 0a 09 64 65 66 20 5f 5f 69 6e 69 lder:..def __ini
0430: 74 5f 5f 28 74 68 69 73 2c 20 66 69 6c 65 6e 61 t__(this, filena
0440: 6d 65 29 3a 0a 09 09 74 68 69 73 2e 64 62 20 3d me):...this.db =
0450: 20 73 71 6c 69 74 65 33 2e 63 6f 6e 6e 65 63 74 sqlite3.connect
0460: 28 66 69 6c 65 6e 61 6d 65 29 0a 09 09 74 68 69 (filename)...thi
0470: 73 2e 69 64 20 3d 20 4e 6f 6e 65 0a 09 09 66 6f s.id = None...fo
0480: 75 6e 64 20 3d 20 73 65 74 28 29 0a 09 09 66 6f und = set()...fo
0490: 72 20 72 6f 77 20 69 6e 20 74 68 69 73 2e 64 62 r row in this.db
04a0: 2e 65 78 65 63 75 74 65 28 22 73 65 6c 65 63 74 .execute("select
04b0: 20 6e 61 6d 65 20 66 72 6f 6d 20 73 71 6c 69 74 name from sqlit
04c0: 65 5f 6d 61 73 74 65 72 20 77 68 65 72 65 20 74 e_master where t
04d0: 79 70 65 20 3d 20 27 74 61 62 6c 65 27 3b 22 29 ype = 'table';")
04e0: 3a 0a 09 09 09 66 6f 75 6e 64 2e 61 64 64 28 72 :....found.add(r
04f0: 6f 77 5b 30 5d 29 0a 09 09 66 6f 72 20 61 62 73 ow[0])...for abs
0500: 65 6e 74 20 69 6e 20 73 65 74 28 74 61 62 6c 65 ent in set(table
0510: 73 2e 6b 65 79 73 28 29 29 2e 64 69 66 66 65 72 s.keys()).differ
0520: 65 6e 63 65 28 66 6f 75 6e 64 29 3a 0a 09 09 09 ence(found):....
0530: 66 6f 72 20 71 75 65 72 79 20 69 6e 20 74 61 62 for query in tab
0540: 6c 65 73 5b 61 62 73 65 6e 74 5d 3a 0a 09 09 09 les[absent]:....
0550: 09 74 68 69 73 2e 64 62 2e 65 78 65 63 75 74 65 .this.db.execute
0560: 28 71 75 65 72 79 29 0a 0a 09 64 65 66 20 73 65 (query)...def se
0570: 6c 65 63 74 28 74 68 69 73 2c 20 66 6f 6c 64 65 lect(this, folde
0580: 72 4e 61 6d 65 29 3a 0a 09 09 74 68 69 73 2e 6e rName):...this.n
0590: 61 6d 65 20 3d 20 66 6f 6c 64 65 72 4e 61 6d 65 ame = folderName
05a0: 0a 09 09 74 68 69 73 2e 69 64 20 3d 20 4e 6f 6e ...this.id = Non
05b0: 65 0a 09 09 77 68 69 6c 65 20 54 72 75 65 3a 0a e...while True:.
05c0: 09 09 09 70 72 65 73 65 6e 74 20 3d 20 46 61 6c ...present = Fal
05d0: 73 65 0a 09 09 09 66 6f 72 20 72 6f 77 20 69 6e se....for row in
05e0: 20 74 68 69 73 2e 64 62 2e 65 78 65 63 75 74 65 this.db.execute
05f0: 28 22 73 65 6c 65 63 74 20 69 64 2c 20 6c 61 73 ("select id, las
0600: 74 20 66 72 6f 6d 20 6c 69 73 74 20 77 68 65 72 t from list wher
0610: 65 20 6e 61 6d 65 20 3d 20 3f 3b 22 2c 20 5b 66 e name = ?;", [f
0620: 6f 6c 64 65 72 4e 61 6d 65 5d 29 3a 0a 09 09 09 olderName]):....
0630: 09 70 72 65 73 65 6e 74 20 3d 20 54 72 75 65 0a .present = True.
0640: 09 09 09 09 74 68 69 73 2e 69 64 20 3d 20 72 6f ....this.id = ro
0650: 77 5b 30 5d 0a 09 09 09 09 74 68 69 73 2e 6c 61 w[0].....this.la
0660: 73 74 20 3d 20 72 6f 77 5b 31 5d 0a 09 09 09 69 st = row[1]....i
0670: 66 20 70 72 65 73 65 6e 74 3a 0a 09 09 09 09 62 f present:.....b
0680: 72 65 61 6b 0a 09 09 09 74 68 69 73 2e 64 62 2e reak....this.db.
0690: 65 78 65 63 75 74 65 28 22 69 6e 73 65 72 74 20 execute("insert
06a0: 69 6e 74 6f 20 6c 69 73 74 28 6e 61 6d 65 29 20 into list(name)
06b0: 76 61 6c 75 65 73 20 28 3f 29 3b 22 2c 20 5b 66 values (?);", [f
06c0: 6f 6c 64 65 72 4e 61 6d 65 5d 29 0a 09 09 69 66 olderName])...if
06d0: 20 74 68 69 73 2e 69 64 20 3d 3d 20 4e 6f 6e 65 this.id == None
06e0: 3a 0a 09 09 09 70 72 69 6e 74 28 27 49 64 20 6e :....print('Id n
06f0: 6f 74 20 66 6f 75 6e 64 2e 27 29 0a 09 09 09 65 ot found.')....e
0700: 78 69 74 28 31 29 0a 09 09 74 68 69 73 2e 6d 61 xit(1)...this.ma
0710: 73 6b 20 3d 20 7b 7d 0a 09 09 74 68 69 73 2e 67 sk = {}...this.g
0720: 65 74 5f 63 6f 75 6e 74 28 29 0a 0a 09 64 65 66 et_count()...def
0730: 20 67 65 74 5f 63 6f 75 6e 74 28 74 68 69 73 29 get_count(this)
0740: 3a 0a 09 09 74 68 69 73 2e 63 6f 75 6e 74 20 3d :...this.count =
0750: 20 30 0a 09 09 66 6f 72 20 72 6f 77 20 69 6e 20 0...for row in
0760: 74 68 69 73 2e 64 62 2e 65 78 65 63 75 74 65 28 this.db.execute(
0770: 22 73 65 6c 65 63 74 20 63 6f 75 6e 74 28 2a 29 "select count(*)
0780: 20 66 72 6f 6d 20 69 64 73 20 77 68 65 72 65 20 from ids where
0790: 69 64 20 3d 20 3f 20 61 6e 64 20 6d 61 73 6b 20 id = ? and mask
07a0: 69 6e 20 28 33 2c 20 31 29 3b 22 2c 20 5b 74 68 in (3, 1);", [th
07b0: 69 73 2e 69 64 5d 29 3a 0a 09 09 09 74 68 69 73 is.id]):....this
07c0: 2e 63 6f 75 6e 74 20 3d 20 72 6f 77 5b 30 5d 0a .count = row[0].
07d0: 0a 09 64 65 66 20 67 65 74 5f 72 65 63 6f 72 64 ..def get_record
07e0: 5f 63 6f 75 6e 74 28 74 68 69 73 2c 20 6d 61 73 _count(this, mas
07f0: 6b 29 3a 0a 09 09 66 6f 72 20 72 6f 77 20 69 6e k):...for row in
0800: 20 74 68 69 73 2e 64 62 2e 65 78 65 63 75 74 65 this.db.execute
0810: 28 22 73 65 6c 65 63 74 20 63 6f 75 6e 74 28 2a ("select count(*
0820: 29 20 66 72 6f 6d 20 69 64 73 20 77 68 65 72 65 ) from ids where
0830: 20 69 64 20 3d 20 3f 20 61 6e 64 20 6d 61 73 6b id = ? and mask
0840: 20 3d 20 3f 3b 22 2c 20 5b 74 68 69 73 2e 69 64 = ?;", [this.id
0850: 2c 20 6d 61 73 6b 5d 29 3a 0a 09 09 09 72 65 74 , mask]):....ret
0860: 75 72 6e 28 72 6f 77 5b 30 5d 29 0a 0a 09 64 65 urn(row[0])...de
0870: 66 20 63 68 65 63 6b 28 74 68 69 73 2c 20 6e 61 f check(this, na
0880: 6d 65 29 3a 0a 09 09 69 66 20 6e 61 6d 65 20 69 me):...if name i
0890: 6e 20 74 68 69 73 2e 6d 61 73 6b 3a 0a 09 09 09 n this.mask:....
08a0: 72 65 74 75 72 6e 28 74 68 69 73 2e 6d 61 73 6b return(this.mask
08b0: 5b 6e 61 6d 65 5d 29 0a 09 09 66 6f 72 20 72 6f [name])...for ro
08c0: 77 20 69 6e 20 74 68 69 73 2e 64 62 2e 65 78 65 w in this.db.exe
08d0: 63 75 74 65 28 22 73 65 6c 65 63 74 20 6d 61 73 cute("select mas
08e0: 6b 20 66 72 6f 6d 20 69 64 73 20 77 68 65 72 65 k from ids where
08f0: 20 69 64 20 3d 20 3f 20 61 6e 64 20 6e 61 6d 65 id = ? and name
0900: 20 3d 20 3f 3b 22 2c 20 5b 74 68 69 73 2e 69 64 = ?;", [this.id
0910: 2c 20 6e 61 6d 65 5d 29 3a 0a 09 09 09 74 68 69 , name]):....thi
0920: 73 2e 6d 61 73 6b 5b 6e 61 6d 65 5d 20 3d 20 72 s.mask[name] = r
0930: 6f 77 5b 30 5d 0a 09 09 09 72 65 74 75 72 6e 28 ow[0]....return(
0940: 72 6f 77 5b 30 5d 29 0a 0a 09 64 65 66 20 61 64 row[0])...def ad
0950: 64 6c 61 73 74 28 74 68 69 73 2c 20 63 6f 75 6e dlast(this, coun
0960: 74 29 3a 0a 09 09 74 68 69 73 2e 6c 61 73 74 20 t):...this.last
0970: 2b 3d 20 63 6f 75 6e 74 0a 09 09 74 68 69 73 2e += count...this.
0980: 64 62 2e 65 78 65 63 75 74 65 28 22 75 70 64 61 db.execute("upda
0990: 74 65 20 6c 69 73 74 20 73 65 74 20 6c 61 73 74 te list set last
09a0: 20 3d 20 3f 20 77 68 65 72 65 20 69 64 20 3d 20 = ? where id =
09b0: 3f 3b 22 2c 20 5b 74 68 69 73 2e 6c 61 73 74 2c ?;", [this.last,
09c0: 20 74 68 69 73 2e 69 64 5d 29 0a 0a 09 64 65 66 this.id])...def
09d0: 20 64 72 6f 70 6c 61 73 74 28 74 68 69 73 29 3a droplast(this):
09e0: 0a 09 09 74 68 69 73 2e 6c 61 73 74 20 3d 20 30 ...this.last = 0
09f0: 0a 09 09 74 68 69 73 2e 64 62 2e 65 78 65 63 75 ...this.db.execu
0a00: 74 65 28 22 75 70 64 61 74 65 20 6c 69 73 74 20 te("update list
0a10: 73 65 74 20 6c 61 73 74 20 3d 20 3f 20 77 68 65 set last = ? whe
0a20: 72 65 20 69 64 20 3d 20 3f 3b 22 2c 20 5b 74 68 re id = ?;", [th
0a30: 69 73 2e 6c 61 73 74 2c 20 74 68 69 73 2e 69 64 is.last, this.id
0a40: 5d 29 0a 0a 09 64 65 66 20 61 64 64 6d 61 69 6c ])...def addmail
0a50: 28 74 68 69 73 2c 20 6d 69 64 29 3a 0a 09 09 6d (this, mid):...m
0a60: 61 73 6b 20 3d 20 74 68 69 73 2e 63 68 65 63 6b ask = this.check
0a70: 28 6d 69 64 29 0a 09 09 69 66 20 6d 61 73 6b 20 (mid)...if mask
0a80: 69 6e 20 28 33 2c 20 32 29 3a 0a 09 09 09 74 68 in (3, 2):....th
0a90: 69 73 2e 64 62 2e 65 78 65 63 75 74 65 28 22 75 is.db.execute("u
0aa0: 70 64 61 74 65 20 69 64 73 20 73 65 74 20 6d 61 pdate ids set ma
0ab0: 73 6b 20 3d 20 33 20 77 68 65 72 65 20 69 64 20 sk = 3 where id
0ac0: 3d 20 3f 20 61 6e 64 20 6e 61 6d 65 20 3d 20 3f = ? and name = ?
0ad0: 3b 22 2c 20 5b 74 68 69 73 2e 69 64 2c 20 6d 69 ;", [this.id, mi
0ae0: 64 5d 29 0a 09 09 09 74 68 69 73 2e 6d 61 73 6b d])....this.mask
0af0: 5b 6d 69 64 5d 20 3d 20 33 0a 09 09 65 6c 73 65 [mid] = 3...else
0b00: 3a 0a 09 09 09 74 68 69 73 2e 64 62 2e 65 78 65 :....this.db.exe
0b10: 63 75 74 65 28 22 69 6e 73 65 72 74 20 69 6e 74 cute("insert int
0b20: 6f 20 69 64 73 28 69 64 2c 20 6e 61 6d 65 2c 20 o ids(id, name,
0b30: 6d 61 73 6b 29 20 76 61 6c 75 65 73 28 3f 2c 20 mask) values(?,
0b40: 3f 2c 20 3f 29 3b 22 2c 20 5b 74 68 69 73 2e 69 ?, ?);", [this.i
0b50: 64 2c 20 6d 69 64 2c 20 31 5d 29 0a 09 09 09 74 d, mid, 1])....t
0b60: 68 69 73 2e 63 6f 75 6e 74 20 2b 3d 20 31 0a 09 his.count += 1..
0b70: 09 09 74 68 69 73 2e 6d 61 73 6b 5b 6d 69 64 5d ..this.mask[mid]
0b80: 20 3d 20 31 0a 0a 09 64 65 66 20 61 64 64 6e 65 = 1...def addne
0b90: 77 73 28 74 68 69 73 2c 20 6d 69 64 2c 20 64 61 ws(this, mid, da
0ba0: 74 65 20 3d 20 4e 6f 6e 65 29 3a 0a 09 09 6d 61 te = None):...ma
0bb0: 73 6b 20 3d 20 74 68 69 73 2e 63 68 65 63 6b 28 sk = this.check(
0bc0: 6d 69 64 29 0a 09 09 69 66 20 6d 61 73 6b 20 69 mid)...if mask i
0bd0: 6e 20 28 31 2c 20 33 29 3a 0a 09 09 09 74 68 69 n (1, 3):....thi
0be0: 73 2e 64 62 2e 65 78 65 63 75 74 65 28 22 75 70 s.db.execute("up
0bf0: 64 61 74 65 20 69 64 73 20 73 65 74 20 6d 61 73 date ids set mas
0c00: 6b 20 3d 20 33 2c 20 64 61 74 65 20 3d 20 3f 20 k = 3, date = ?
0c10: 77 68 65 72 65 20 69 64 20 3d 20 3f 20 61 6e 64 where id = ? and
0c20: 20 6e 61 6d 65 20 3d 20 3f 3b 22 2c 20 5b 64 61 name = ?;", [da
0c30: 74 65 2c 20 74 68 69 73 2e 69 64 2c 20 6d 69 64 te, this.id, mid
0c40: 5d 29 0a 09 09 09 74 68 69 73 2e 6d 61 73 6b 5b ])....this.mask[
0c50: 6d 69 64 5d 20 3d 20 33 0a 09 09 65 6c 73 65 3a mid] = 3...else:
0c60: 0a 09 09 09 74 68 69 73 2e 64 62 2e 65 78 65 63 ....this.db.exec
0c70: 75 74 65 28 22 69 6e 73 65 72 74 20 69 6e 74 6f ute("insert into
0c80: 20 69 64 73 28 69 64 2c 20 6e 61 6d 65 2c 20 6d ids(id, name, m
0c90: 61 73 6b 2c 20 64 61 74 65 29 20 76 61 6c 75 65 ask, date) value
0ca0: 73 28 3f 2c 20 3f 2c 20 3f 2c 20 3f 29 3b 22 2c s(?, ?, ?, ?);",
0cb0: 20 5b 74 68 69 73 2e 69 64 2c 20 6d 69 64 2c 20 [this.id, mid,
0cc0: 32 2c 20 64 61 74 65 5d 29 0a 09 09 09 74 68 69 2, date])....thi
0cd0: 73 2e 63 6f 75 6e 74 20 2b 3d 20 31 0a 09 09 09 s.count += 1....
0ce0: 74 68 69 73 2e 6d 61 73 6b 5b 6d 69 64 5d 20 3d this.mask[mid] =
0cf0: 20 32 0a 0a 09 64 65 66 20 7a 65 72 6f 6d 61 69 2...def zeromai
0d00: 6c 28 74 68 69 73 29 3a 0a 09 09 74 68 69 73 2e l(this):...this.
0d10: 6d 61 73 6b 20 3d 20 7b 7d 0a 09 09 74 68 69 73 mask = {}...this
0d20: 2e 64 62 2e 65 78 65 63 75 74 65 28 22 75 70 64 .db.execute("upd
0d30: 61 74 65 20 69 64 73 20 73 65 74 20 6d 61 73 6b ate ids set mask
0d40: 20 3d 20 32 20 77 68 65 72 65 20 69 64 20 3d 20 = 2 where id =
0d50: 3f 20 61 6e 64 20 6d 61 73 6b 20 3d 20 33 3b 22 ? and mask = 3;"
0d60: 2c 20 5b 74 68 69 73 2e 69 64 5d 29 0a 09 09 74 , [this.id])...t
0d70: 68 69 73 2e 64 62 2e 65 78 65 63 75 74 65 28 22 his.db.execute("
0d80: 64 65 6c 65 74 65 20 66 72 6f 6d 20 69 64 73 20 delete from ids
0d90: 77 68 65 72 65 20 69 64 20 3d 20 3f 20 61 6e 64 where id = ? and
0da0: 20 6d 61 73 6b 20 3d 20 31 3b 22 2c 20 5b 74 68 mask = 1;", [th
0db0: 69 73 2e 69 64 5d 29 0a 09 09 74 68 69 73 2e 73 is.id])...this.s
0dc0: 79 6e 63 28 29 0a 09 09 74 68 69 73 2e 67 65 74 ync()...this.get
0dd0: 5f 63 6f 75 6e 74 28 29 0a 0a 09 64 65 66 20 7a _count()...def z
0de0: 65 72 6f 6e 65 77 73 28 74 68 69 73 29 3a 0a 09 eronews(this):..
0df0: 09 74 68 69 73 2e 6d 61 73 6b 20 3d 20 7b 7d 0a .this.mask = {}.
0e00: 09 09 74 68 69 73 2e 64 62 2e 65 78 65 63 75 74 ..this.db.execut
0e10: 65 28 22 75 70 64 61 74 65 20 69 64 73 20 73 65 e("update ids se
0e20: 74 20 6d 61 73 6b 20 3d 20 31 20 77 68 65 72 65 t mask = 1 where
0e30: 20 69 64 20 3d 20 3f 20 61 6e 64 20 6d 61 73 6b id = ? and mask
0e40: 20 3d 20 33 3b 22 2c 20 5b 74 68 69 73 2e 69 64 = 3;", [this.id
0e50: 5d 29 0a 09 09 74 68 69 73 2e 64 62 2e 65 78 65 ])...this.db.exe
0e60: 63 75 74 65 28 22 64 65 6c 65 74 65 20 66 72 6f cute("delete fro
0e70: 6d 20 69 64 73 20 77 68 65 72 65 20 69 64 20 3d m ids where id =
0e80: 20 3f 20 61 6e 64 20 6d 61 73 6b 20 3d 20 32 3b ? and mask = 2;
0e90: 22 2c 20 5b 74 68 69 73 2e 69 64 5d 29 0a 09 09 ", [this.id])...
0ea0: 74 68 69 73 2e 64 72 6f 70 6c 61 73 74 28 29 0a this.droplast().
0eb0: 09 09 74 68 69 73 2e 73 79 6e 63 28 29 0a 0a 09 ..this.sync()...
0ec0: 64 65 66 20 73 79 6e 63 28 74 68 69 73 29 3a 0a def sync(this):.
0ed0: 09 09 74 68 69 73 2e 64 62 2e 63 6f 6d 6d 69 74 ..this.db.commit
0ee0: 28 29 0a 0a 09 64 65 66 20 67 65 74 5f 75 6e 66 ()...def get_unf
0ef0: 65 74 63 68 65 64 28 74 68 69 73 29 3a 0a 09 09 etched(this):...
0f00: 72 65 74 75 72 6e 28 74 68 69 73 2e 64 62 2e 65 return(this.db.e
0f10: 78 65 63 75 74 65 28 22 73 65 6c 65 63 74 20 6e xecute("select n
0f20: 61 6d 65 2c 20 64 61 74 65 20 66 72 6f 6d 20 69 ame, date from i
0f30: 64 73 20 77 68 65 72 65 20 69 64 20 3d 20 3f 20 ds where id = ?
0f40: 61 6e 64 20 6d 61 73 6b 20 3d 20 32 20 6f 72 64 and mask = 2 ord
0f50: 65 72 20 62 79 20 64 61 74 65 20 64 65 73 63 3b er by date desc;
0f60: 22 2c 20 5b 74 68 69 73 2e 69 64 5d 29 29 0a 0a ", [this.id]))..
0f70: 09 64 65 66 20 66 6f 72 67 65 74 28 74 68 69 73 .def forget(this
0f80: 2c 20 6d 69 64 29 3a 0a 09 09 74 68 69 73 2e 64 , mid):...this.d
0f90: 62 2e 65 78 65 63 75 74 65 28 22 64 65 6c 65 74 b.execute("delet
0fa0: 65 20 66 72 6f 6d 20 69 64 73 20 77 68 65 72 65 e from ids where
0fb0: 20 69 64 20 3d 20 3f 20 61 6e 64 20 6e 61 6d 65 id = ? and name
0fc0: 20 3d 20 3f 3b 22 2c 20 5b 74 68 69 73 2e 69 64 = ?;", [this.id
0fd0: 2c 20 6d 69 64 5d 29 0a 0a 64 65 66 20 63 68 65 , mid])..def che
0fe0: 63 6b 5f 66 6f 6c 64 65 72 28 6d 73 65 72 76 65 ck_folder(mserve
0ff0: 72 2c 20 66 6f 6c 64 65 72 2c 20 66 6f 6c 64 65 r, folder, folde
1000: 72 4e 61 6d 65 29 3a 0a 09 66 6f 6c 64 65 72 2e rName):..folder.
1010: 7a 65 72 6f 6d 61 69 6c 28 29 0a 09 64 65 6c 65 zeromail()..dele
1020: 74 65 64 20 3d 20 30 0a 09 6d 73 65 72 76 65 72 ted = 0..mserver
1030: 2e 73 65 6c 65 63 74 28 66 6f 6c 64 65 72 4e 61 .select(folderNa
1040: 6d 65 29 0a 09 74 79 70 2c 20 64 61 74 61 20 3d me)..typ, data =
1050: 20 6d 73 65 72 76 65 72 2e 73 65 61 72 63 68 28 mserver.search(
1060: 4e 6f 6e 65 2c 20 27 4e 4f 54 20 44 45 4c 45 54 None, 'NOT DELET
1070: 45 44 27 29 0a 09 63 6f 75 6e 74 20 3d 20 30 0a ED')..count = 0.
1080: 09 70 72 69 6e 74 28 27 20 2d 20 62 75 69 6c 64 .print(' - build
1090: 69 6e 67 20 69 6d 61 70 20 69 6e 64 65 78 27 2c ing imap index',
10a0: 20 66 6f 6c 64 65 72 4e 61 6d 65 2c 20 27 5b 27 folderName, '['
10b0: 2c 20 65 6e 64 3d 27 27 29 0a 09 66 6f 72 20 6e , end='')..for n
10c0: 75 6d 20 69 6e 20 64 61 74 61 5b 30 5d 2e 73 70 um in data[0].sp
10d0: 6c 69 74 28 29 3a 0a 09 09 66 6f 75 6e 64 20 3d lit():...found =
10e0: 20 46 61 6c 73 65 0a 09 09 74 79 70 2c 20 64 61 False...typ, da
10f0: 74 61 20 3d 20 6d 73 65 72 76 65 72 2e 66 65 74 ta = mserver.fet
1100: 63 68 28 6e 75 6d 2c 20 27 28 45 4e 56 45 4c 4f ch(num, '(ENVELO
1110: 50 45 29 27 29 0a 09 09 66 69 65 6c 64 20 3d 20 PE)')...field =
1120: 30 0a 09 09 66 6f 72 20 72 65 63 20 69 6e 20 64 0...for rec in d
1130: 61 74 61 3a 0a 09 09 09 69 66 20 74 79 70 65 28 ata:....if type(
1140: 72 65 63 29 20 3d 3d 20 74 75 70 6c 65 3a 0a 09 rec) == tuple:..
1150: 09 09 09 64 61 74 61 5b 66 69 65 6c 64 5d 20 3d ...data[field] =
1160: 20 27 27 2e 6a 6f 69 6e 28 69 2e 64 65 63 6f 64 ''.join(i.decod
1170: 65 28 27 75 74 66 2d 38 27 2c 20 27 69 67 6e 6f e('utf-8', 'igno
1180: 72 65 27 29 20 66 6f 72 20 69 20 69 6e 20 72 65 re') for i in re
1190: 63 29 0a 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 c)....else:.....
11a0: 64 61 74 61 5b 66 69 65 6c 64 5d 20 3d 20 72 65 data[field] = re
11b0: 63 2e 64 65 63 6f 64 65 28 27 75 74 66 2d 38 27 c.decode('utf-8'
11c0: 2c 20 27 69 67 6e 6f 72 65 27 29 0a 09 09 09 66 , 'ignore')....f
11d0: 69 65 6c 64 20 2b 3d 20 31 0a 09 09 64 61 74 61 ield += 1...data
11e0: 20 3d 20 27 27 2e 6a 6f 69 6e 28 64 61 74 61 29 = ''.join(data)
11f0: 0a 09 09 69 73 4d 69 64 20 3d 20 72 65 4d 65 73 ...isMid = reMes
1200: 73 61 67 65 49 64 2e 73 65 61 72 63 68 28 64 61 sageId.search(da
1210: 74 61 29 0a 09 09 69 66 20 69 73 4d 69 64 3a 0a ta)...if isMid:.
1220: 09 09 09 6d 69 64 20 3d 20 69 73 4d 69 64 2e 67 ...mid = isMid.g
1230: 72 6f 75 70 28 31 29 0a 09 09 09 6d 61 73 6b 20 roup(1)....mask
1240: 3d 20 66 6f 6c 64 65 72 2e 63 68 65 63 6b 28 6d = folder.check(m
1250: 69 64 29 0a 09 09 09 69 66 20 6e 6f 74 20 6d 61 id)....if not ma
1260: 73 6b 20 69 6e 20 28 31 2c 20 33 29 3a 0a 09 09 sk in (1, 3):...
1270: 09 09 66 6f 6c 64 65 72 2e 61 64 64 6d 61 69 6c ..folder.addmail
1280: 28 6d 69 64 29 0a 09 09 09 09 63 6f 75 6e 74 20 (mid).....count
1290: 2b 3d 20 31 0a 09 09 09 65 6c 73 65 3a 0a 09 09 += 1....else:...
12a0: 09 09 6d 73 65 72 76 65 72 2e 73 74 6f 72 65 28 ..mserver.store(
12b0: 6e 75 6d 2c 20 27 2b 46 4c 41 47 53 27 2c 20 27 num, '+FLAGS', '
12c0: 5c 5c 44 65 6c 65 74 65 64 27 29 0a 09 09 09 09 \\Deleted').....
12d0: 64 65 6c 65 74 65 64 20 2b 3d 20 31 0a 09 09 09 deleted += 1....
12e0: 09 73 79 73 2e 73 74 64 6f 75 74 2e 77 72 69 74 .sys.stdout.writ
12f0: 65 28 27 78 27 29 0a 09 09 09 09 73 79 73 2e 73 e('x').....sys.s
1300: 74 64 6f 75 74 2e 66 6c 75 73 68 28 29 0a 09 09 tdout.flush()...
1310: 65 6c 73 65 3a 0a 09 09 09 70 72 69 6e 74 28 27 else:....print('
1320: 4d 65 73 73 61 67 65 20 69 64 20 6e 6f 74 20 66 Message id not f
1330: 6f 75 6e 64 2e 27 29 0a 09 09 09 70 72 69 6e 74 ound.')....print
1340: 28 72 65 70 72 28 64 61 74 61 29 29 0a 09 09 09 (repr(data))....
1350: 65 78 69 74 28 31 29 0a 09 09 69 66 20 28 63 6f exit(1)...if (co
1360: 75 6e 74 20 25 20 31 30 30 30 29 20 3d 3d 20 30 unt % 1000) == 0
1370: 3a 0a 09 09 09 73 79 73 2e 73 74 64 6f 75 74 2e :....sys.stdout.
1380: 77 72 69 74 65 28 27 2e 27 29 0a 09 09 09 73 79 write('.')....sy
1390: 73 2e 73 74 64 6f 75 74 2e 66 6c 75 73 68 28 29 s.stdout.flush()
13a0: 0a 09 70 72 69 6e 74 28 27 5d 2c 20 64 65 6c 65 ..print('], dele
13b0: 74 65 64 3a 27 2c 20 64 65 6c 65 74 65 64 2c 20 ted:', deleted,
13c0: 65 6e 64 20 3d 20 27 27 29 0a 09 66 6f 6c 64 65 end = '')..folde
13d0: 72 2e 73 79 6e 63 28 29 0a 09 6d 73 65 72 76 65 r.sync()..mserve
13e0: 72 2e 65 78 70 75 6e 67 65 28 29 0a 0a 66 6f 6c r.expunge()..fol
13f0: 64 65 72 20 3d 20 46 6f 6c 64 65 72 28 27 6e 6e der = Folder('nn
1400: 74 70 64 75 70 2e 73 71 6c 69 74 65 27 29 0a 0a tpdup.sqlite')..
1410: 6c 69 6d 69 74 73 20 3d 20 5b 30 2c 20 30 5d 0a limits = [0, 0].
1420: 6c 69 6d 69 74 53 74 65 70 73 20 3d 20 5b 68 65 limitSteps = [he
1430: 61 64 65 72 4c 69 6d 69 74 20 2f 20 6c 65 6e 28 aderLimit / len(
1440: 63 6f 6e 66 69 67 5b 27 67 72 6f 75 70 73 27 5d config['groups']
1450: 29 2c 20 6d 61 69 6c 4c 69 6d 69 74 20 2f 20 6c ), mailLimit / l
1460: 65 6e 28 63 6f 6e 66 69 67 5b 27 67 72 6f 75 70 en(config['group
1470: 73 27 5d 29 5d 0a 0a 6d 61 78 6c 65 6e 67 74 68 s'])]..maxlength
1480: 20 3d 20 30 0a 66 6f 72 20 66 6f 6c 64 65 72 4e = 0.for folderN
1490: 61 6d 65 20 69 6e 20 28 63 6f 6e 66 69 67 5b 27 ame in (config['
14a0: 67 72 6f 75 70 73 27 5d 2e 6b 65 79 73 28 29 29 groups'].keys())
14b0: 3a 0a 09 6d 61 78 6c 65 6e 67 74 68 20 3d 20 6d :..maxlength = m
14c0: 61 78 28 6d 61 78 6c 65 6e 67 74 68 2c 20 6c 65 ax(maxlength, le
14d0: 6e 28 66 6f 6c 64 65 72 4e 61 6d 65 29 29 0a 0a n(folderName))..
14e0: 73 6b 65 77 20 3d 20 31 20 2b 20 69 6e 74 28 6d skew = 1 + int(m
14f0: 61 78 6c 65 6e 67 74 68 20 2f 20 38 29 0a 0a 66 axlength / 8)..f
1500: 6f 72 20 66 6f 6c 64 65 72 4e 61 6d 65 20 69 6e or folderName in
1510: 20 28 73 65 74 28 63 6f 6e 66 69 67 5b 27 67 72 (set(config['gr
1520: 6f 75 70 73 27 5d 2e 6b 65 79 73 28 29 29 29 3a oups'].keys())):
1530: 0a 09 73 74 61 74 73 20 3d 20 5b 30 2c 20 30 5d ..stats = [0, 0]
1540: 0a 09 66 6f 6c 64 65 72 2e 73 65 6c 65 63 74 28 ..folder.select(
1550: 66 6f 6c 64 65 72 4e 61 6d 65 29 0a 0a 09 72 65 folderName)...re
1560: 73 70 20 3d 20 6d 73 65 72 76 65 72 2e 73 65 6c sp = mserver.sel
1570: 65 63 74 28 66 6f 6c 64 65 72 4e 61 6d 65 29 0a ect(folderName).
1580: 09 69 66 20 72 65 73 70 5b 30 5d 20 21 3d 20 27 .if resp[0] != '
1590: 4f 4b 27 3a 0a 09 09 70 72 69 6e 74 28 22 43 61 OK':...print("Ca
15a0: 6e 27 74 20 6f 70 65 6e 20 66 6f 6c 64 65 72 2e n't open folder.
15b0: 22 29 0a 09 09 65 78 69 74 28 31 29 0a 09 69 66 ")...exit(1)..if
15c0: 20 69 6e 74 28 72 65 73 70 5b 31 5d 5b 30 5d 29 int(resp[1][0])
15d0: 20 21 3d 20 66 6f 6c 64 65 72 2e 63 6f 75 6e 74 != folder.count
15e0: 3a 0a 09 09 63 68 65 63 6b 5f 66 6f 6c 64 65 72 :...check_folder
15f0: 28 6d 73 65 72 76 65 72 2c 20 66 6f 6c 64 65 72 (mserver, folder
1600: 2c 20 66 6f 6c 64 65 72 4e 61 6d 65 29 0a 0a 09 , folderName)...
1610: 5f 2c 20 63 6f 75 6e 74 2c 20 66 69 72 73 74 2c _, count, first,
1620: 20 6c 61 73 74 2c 20 5f 20 3d 20 73 65 72 76 65 last, _ = serve
1630: 72 2e 67 72 6f 75 70 28 66 6f 6c 64 65 72 4e 61 r.group(folderNa
1640: 6d 65 29 0a 09 6c 69 6d 69 74 73 5b 30 5d 20 2b me)..limits[0] +
1650: 3d 20 6c 69 6d 69 74 53 74 65 70 73 5b 30 5d 0a = limitSteps[0].
1660: 09 69 66 20 6c 61 73 74 20 3e 20 66 6f 6c 64 65 .if last > folde
1670: 72 2e 6c 61 73 74 3a 0a 09 09 63 6f 75 6e 74 20 r.last:...count
1680: 3d 20 30 0a 09 09 23 20 77 65 20 6e 65 65 64 20 = 0...# we need
1690: 74 6f 20 66 65 74 63 68 20 6e 65 77 20 69 64 73 to fetch new ids
16a0: 0a 09 09 72 65 71 75 65 73 74 20 3d 20 6d 69 6e ...request = min
16b0: 28 6c 61 73 74 2c 20 66 6f 6c 64 65 72 2e 6c 61 (last, folder.la
16c0: 73 74 20 2b 20 6c 69 6d 69 74 73 5b 30 5d 29 0a st + limits[0]).
16d0: 09 09 74 72 79 3a 0a 09 09 09 66 6f 72 20 72 65 ..try:....for re
16e0: 63 6f 72 64 20 69 6e 20 73 65 72 76 65 72 2e 6f cord in server.o
16f0: 76 65 72 28 28 69 6e 74 28 66 6f 6c 64 65 72 2e ver((int(folder.
1700: 6c 61 73 74 29 20 2b 20 31 2c 20 69 6e 74 28 72 last) + 1, int(r
1710: 65 71 75 65 73 74 29 29 29 5b 31 5d 3a 0a 09 09 equest)))[1]:...
1720: 09 09 6d 69 64 20 3d 20 72 65 63 6f 72 64 5b 31 ..mid = record[1
1730: 5d 5b 27 6d 65 73 73 61 67 65 2d 69 64 27 5d 0a ]['message-id'].
1740: 09 09 09 09 69 66 20 6c 65 6e 28 72 65 63 6f 72 ....if len(recor
1750: 64 5b 31 5d 5b 27 6d 65 73 73 61 67 65 2d 69 64 d[1]['message-id
1760: 27 5d 29 20 3e 20 30 3a 0a 09 09 09 09 09 74 72 ']) > 0:......tr
1770: 79 3a 0a 09 09 09 09 09 09 66 6f 6c 64 65 72 2e y:.......folder.
1780: 61 64 64 6e 65 77 73 28 72 65 63 6f 72 64 5b 31 addnews(record[1
1790: 5d 5b 27 6d 65 73 73 61 67 65 2d 69 64 27 5d 2c ]['message-id'],
17a0: 20 65 6d 61 69 6c 2e 75 74 69 6c 73 2e 70 61 72 email.utils.par
17b0: 73 65 64 61 74 65 5f 74 6f 5f 64 61 74 65 74 69 sedate_to_dateti
17c0: 6d 65 28 72 65 63 6f 72 64 5b 31 5d 5b 27 64 61 me(record[1]['da
17d0: 74 65 27 5d 29 2e 74 69 6d 65 73 74 61 6d 70 28 te']).timestamp(
17e0: 29 29 0a 09 09 09 09 09 65 78 63 65 70 74 20 4f ))......except O
17f0: 76 65 72 66 6c 6f 77 45 72 72 6f 72 20 61 73 20 verflowError as
1800: 65 72 72 3a 0a 09 09 09 09 09 09 66 6f 6c 64 65 err:.......folde
1810: 72 2e 61 64 64 6e 65 77 73 28 72 65 63 6f 72 64 r.addnews(record
1820: 5b 31 5d 5b 27 6d 65 73 73 61 67 65 2d 69 64 27 [1]['message-id'
1830: 5d 29 0a 09 09 09 09 09 65 78 63 65 70 74 20 54 ])......except T
1840: 79 70 65 45 72 72 6f 72 20 61 73 20 65 72 72 3a ypeError as err:
1850: 0a 09 09 09 09 09 09 66 6f 6c 64 65 72 2e 61 64 .......folder.ad
1860: 64 6e 65 77 73 28 72 65 63 6f 72 64 5b 31 5d 5b dnews(record[1][
1870: 27 6d 65 73 73 61 67 65 2d 69 64 27 5d 29 0a 09 'message-id'])..
1880: 09 09 09 63 6f 75 6e 74 20 2b 3d 20 31 0a 09 09 ...count += 1...
1890: 65 78 63 65 70 74 20 6e 6e 74 70 6c 69 62 2e 4e except nntplib.N
18a0: 4e 54 50 54 65 6d 70 6f 72 61 72 79 45 72 72 6f NTPTemporaryErro
18b0: 72 20 61 73 20 65 72 72 3a 0a 09 09 09 69 66 20 r as err:....if
18c0: 65 72 72 2e 72 65 73 70 6f 6e 73 65 2e 73 74 61 err.response.sta
18d0: 72 74 73 77 69 74 68 28 27 34 32 33 20 27 29 3a rtswith('423 '):
18e0: 0a 09 09 09 09 70 61 73 73 0a 09 09 09 65 6c 73 .....pass....els
18f0: 65 3a 0a 09 09 09 09 72 61 69 73 65 28 65 72 72 e:.....raise(err
1900: 29 0a 09 09 65 78 63 65 70 74 20 6e 6e 74 70 6c )...except nntpl
1910: 69 62 2e 4e 4e 54 50 50 65 72 6d 61 6e 65 6e 74 ib.NNTPPermanent
1920: 45 72 72 6f 72 20 61 73 20 65 72 72 3a 0a 09 09 Error as err:...
1930: 09 70 72 69 6e 74 28 66 6f 6c 64 65 72 2e 6c 61 .print(folder.la
1940: 73 74 2c 20 72 65 71 75 65 73 74 29 0a 09 09 09 st, request)....
1950: 72 61 69 73 65 28 65 72 72 29 0a 09 09 65 78 63 raise(err)...exc
1960: 65 70 74 20 73 71 6c 69 74 65 33 2e 49 6e 74 65 ept sqlite3.Inte
1970: 67 72 69 74 79 45 72 72 6f 72 20 61 73 20 65 72 grityError as er
1980: 72 3a 0a 09 09 09 70 72 69 6e 74 28 72 65 70 72 r:....print(repr
1990: 28 72 65 63 6f 72 64 29 29 0a 09 09 09 70 72 69 (record))....pri
19a0: 6e 74 28 5b 78 20 66 6f 72 20 78 20 69 6e 20 6d nt([x for x in m
19b0: 61 70 28 72 65 70 72 2c 20 66 6f 6c 64 65 72 2e ap(repr, folder.
19c0: 64 62 2e 65 78 65 63 75 74 65 28 22 73 65 6c 65 db.execute("sele
19d0: 63 74 20 2a 20 66 72 6f 6d 20 69 64 73 20 77 68 ct * from ids wh
19e0: 65 72 65 20 69 64 20 3d 20 3f 20 61 6e 64 20 6e ere id = ? and n
19f0: 61 6d 65 20 3d 20 3f 3b 22 2c 20 5b 66 6f 6c 64 ame = ?;", [fold
1a00: 65 72 2e 69 64 2c 20 72 65 63 6f 72 64 5b 31 5d er.id, record[1]
1a10: 5b 27 6d 65 73 73 61 67 65 2d 69 64 27 5d 5d 29 ['message-id']])
1a20: 29 5d 29 0a 09 09 09 72 61 69 73 65 28 65 72 72 )])....raise(err
1a30: 29 0a 09 09 73 74 61 74 73 5b 30 5d 20 3d 20 63 )...stats[0] = c
1a40: 6f 75 6e 74 0a 09 09 6c 69 6d 69 74 73 5b 30 5d ount...limits[0]
1a50: 20 2d 3d 20 63 6f 75 6e 74 0a 09 09 66 6f 6c 64 -= count...fold
1a60: 65 72 2e 61 64 64 6c 61 73 74 28 72 65 71 75 65 er.addlast(reque
1a70: 73 74 20 2d 20 66 6f 6c 64 65 72 2e 6c 61 73 74 st - folder.last
1a80: 29 0a 09 09 66 6f 6c 64 65 72 2e 73 79 6e 63 28 )...folder.sync(
1a90: 29 0a 09 65 6c 69 66 20 66 6f 6c 64 65 72 2e 67 )..elif folder.g
1aa0: 65 74 5f 72 65 63 6f 72 64 5f 63 6f 75 6e 74 28 et_record_count(
1ab0: 31 29 20 3e 20 30 3a 0a 09 09 66 6f 6c 64 65 72 1) > 0:...folder
1ac0: 2e 64 72 6f 70 6c 61 73 74 28 29 0a 0a 09 6c 69 .droplast()...li
1ad0: 6d 69 74 73 5b 31 5d 20 2b 3d 20 6c 69 6d 69 74 mits[1] += limit
1ae0: 53 74 65 70 73 5b 31 5d 0a 09 69 66 20 66 6f 6c Steps[1]..if fol
1af0: 64 65 72 2e 67 65 74 5f 72 65 63 6f 72 64 5f 63 der.get_record_c
1b00: 6f 75 6e 74 28 32 29 20 3e 20 30 3a 0a 09 09 63 ount(2) > 0:...c
1b10: 6f 75 6e 74 20 3d 20 30 0a 09 09 23 20 74 68 65 ount = 0...# the
1b20: 72 65 20 61 72 65 20 65 78 74 72 61 20 61 72 74 re are extra art
1b30: 69 63 6c 65 73 0a 09 09 72 61 77 5f 64 61 74 65 icles...raw_date
1b40: 20 3d 20 5b 5d 0a 09 09 75 6e 66 65 74 63 68 65 = []...unfetche
1b50: 64 20 3d 20 5b 5d 0a 09 09 66 6f 72 20 69 74 65 d = []...for ite
1b60: 6d 2c 20 65 6e 76 5f 64 61 74 65 20 69 6e 20 66 m, env_date in f
1b70: 6f 6c 64 65 72 2e 67 65 74 5f 75 6e 66 65 74 63 older.get_unfetc
1b80: 68 65 64 28 29 3a 0a 09 09 09 6d 61 73 6b 20 3d hed():....mask =
1b90: 20 66 6f 6c 64 65 72 2e 63 68 65 63 6b 28 69 74 folder.check(it
1ba0: 65 6d 29 0a 09 09 09 69 66 20 6d 61 73 6b 20 3d em)....if mask =
1bb0: 3d 20 32 3a 0a 09 09 09 09 75 6e 66 65 74 63 68 = 2:.....unfetch
1bc0: 65 64 20 2b 3d 20 28 69 74 65 6d 2c 20 65 6e 76 ed += (item, env
1bd0: 5f 64 61 74 65 29 2c 0a 09 09 66 6f 72 20 69 74 _date),...for it
1be0: 65 6d 2c 20 65 6e 76 5f 64 61 74 65 20 69 6e 20 em, env_date in
1bf0: 75 6e 66 65 74 63 68 65 64 3a 0a 09 09 09 74 72 unfetched:....tr
1c00: 79 3a 0a 09 09 09 09 5f 2c 20 69 6e 66 6f 20 3d y:....._, info =
1c10: 20 73 65 72 76 65 72 2e 61 72 74 69 63 6c 65 28 server.article(
1c20: 69 74 65 6d 29 0a 09 09 09 09 69 66 20 65 6e 76 item).....if env
1c30: 5f 64 61 74 65 20 3d 3d 20 4e 6f 6e 65 20 6f 72 _date == None or
1c40: 20 65 6e 76 5f 64 61 74 65 20 3c 20 30 3a 0a 09 env_date < 0:..
1c50: 09 09 09 09 64 61 74 65 20 3d 20 4e 6f 6e 65 0a ....date = None.
1c60: 09 09 09 09 09 62 61 63 6b 75 70 5f 64 61 74 65 .....backup_date
1c70: 20 3d 20 4e 6f 6e 65 0a 09 09 09 09 09 6f 75 74 = None......out
1c80: 20 3d 20 5b 5d 0a 09 09 09 09 09 66 6f 72 20 6c = []......for l
1c90: 69 6e 65 20 69 6e 20 69 6e 66 6f 2e 6c 69 6e 65 ine in info.line
1ca0: 73 3a 0a 09 09 09 09 09 09 69 66 20 6c 65 6e 28 s:.......if len(
1cb0: 6c 69 6e 65 29 20 3d 3d 20 30 3a 0a 09 09 09 09 line) == 0:.....
1cc0: 09 09 09 6d 65 73 67 20 3d 20 65 6d 61 69 6c 2e ...mesg = email.
1cd0: 6d 65 73 73 61 67 65 5f 66 72 6f 6d 5f 73 74 72 message_from_str
1ce0: 69 6e 67 28 27 5c 6e 27 2e 6a 6f 69 6e 28 6f 75 ing('\n'.join(ou
1cf0: 74 29 29 0a 09 09 09 09 09 09 09 66 6f 72 20 68 t))........for h
1d00: 65 61 64 65 72 20 69 6e 20 6d 65 73 67 2e 5f 68 eader in mesg._h
1d10: 65 61 64 65 72 73 3a 0a 09 09 09 09 09 09 09 09 eaders:.........
1d20: 69 66 20 68 65 61 64 65 72 5b 30 5d 20 3d 3d 20 if header[0] ==
1d30: 27 44 61 74 65 27 3a 0a 09 09 09 09 09 09 09 09 'Date':.........
1d40: 09 72 61 77 5f 64 61 74 65 20 2b 3d 20 68 65 61 .raw_date += hea
1d50: 64 65 72 5b 31 5d 2c 0a 09 09 09 09 09 09 09 09 der[1],.........
1d60: 09 64 61 74 65 20 3d 20 65 6d 61 69 6c 2e 75 74 .date = email.ut
1d70: 69 6c 73 2e 70 61 72 73 65 64 61 74 65 28 68 65 ils.parsedate(he
1d80: 61 64 65 72 5b 31 5d 29 0a 09 09 09 09 09 09 09 ader[1])........
1d90: 09 65 6c 69 66 20 68 65 61 64 65 72 5b 30 5d 20 .elif header[0]
1da0: 3d 3d 20 27 4f 72 69 67 69 6e 61 6c 2d 52 65 63 == 'Original-Rec
1db0: 65 69 76 65 64 27 3a 0a 09 09 09 09 09 09 09 09 eived':.........
1dc0: 09 72 61 77 5f 64 61 74 65 20 2b 3d 20 68 65 61 .raw_date += hea
1dd0: 64 65 72 5b 31 5d 2c 0a 09 09 09 09 09 09 09 09 der[1],.........
1de0: 09 74 6d 70 5f 64 61 74 65 20 3d 20 65 6d 61 69 .tmp_date = emai
1df0: 6c 2e 75 74 69 6c 73 2e 70 61 72 73 65 64 61 74 l.utils.parsedat
1e00: 65 28 68 65 61 64 65 72 5b 31 5d 2e 73 70 6c 69 e(header[1].spli
1e10: 74 28 27 3b 27 29 5b 2d 31 5d 29 0a 09 09 09 09 t(';')[-1]).....
1e20: 09 09 09 09 09 69 66 20 74 6d 70 5f 64 61 74 65 .....if tmp_date
1e30: 20 21 3d 20 4e 6f 6e 65 20 61 6e 64 20 74 6d 70 != None and tmp
1e40: 5f 64 61 74 65 5b 30 5d 20 3e 3d 20 31 39 37 30 _date[0] >= 1970
1e50: 3a 0a 09 09 09 09 09 09 09 09 09 09 62 61 63 6b :...........back
1e60: 75 70 5f 64 61 74 65 20 3d 20 74 6d 70 5f 64 61 up_date = tmp_da
1e70: 74 65 0a 09 09 09 09 09 09 09 69 66 20 64 61 74 te........if dat
1e80: 65 20 3d 3d 20 4e 6f 6e 65 20 61 6e 64 20 62 61 e == None and ba
1e90: 63 6b 75 70 5f 64 61 74 65 20 3d 3d 20 4e 6f 6e ckup_date == Non
1ea0: 65 3a 0a 09 09 09 09 09 09 09 09 70 72 69 6e 74 e:.........print
1eb0: 28 27 44 61 74 65 20 6d 69 73 73 65 64 2e 27 29 ('Date missed.')
1ec0: 0a 09 09 09 09 09 09 09 09 70 72 69 6e 74 28 72 .........print(r
1ed0: 65 70 72 28 6f 75 74 29 29 0a 09 09 09 09 09 09 epr(out)).......
1ee0: 09 09 65 78 69 74 28 31 29 0a 09 09 09 09 09 09 ..exit(1).......
1ef0: 09 65 6c 69 66 20 64 61 74 65 20 3d 3d 20 4e 6f .elif date == No
1f00: 6e 65 3a 0a 09 09 09 09 09 09 09 09 64 61 74 65 ne:.........date
1f10: 20 3d 20 62 61 63 6b 75 70 5f 64 61 74 65 0a 09 = backup_date..
1f20: 09 09 09 09 09 09 62 72 65 61 6b 0a 09 09 09 09 ......break.....
1f30: 09 09 74 72 79 3a 0a 09 09 09 09 09 09 09 6f 75 ..try:........ou
1f40: 74 2e 61 70 70 65 6e 64 28 6c 69 6e 65 2e 64 65 t.append(line.de
1f50: 63 6f 64 65 28 27 61 73 63 69 69 27 2c 20 27 69 code('ascii', 'i
1f60: 67 6e 6f 72 65 27 29 29 0a 09 09 09 09 09 09 65 gnore')).......e
1f70: 78 63 65 70 74 20 55 6e 69 63 6f 64 65 44 65 63 xcept UnicodeDec
1f80: 6f 64 65 45 72 72 6f 72 3a 0a 09 09 09 09 09 09 odeError:.......
1f90: 09 70 72 69 6e 74 28 72 65 70 72 28 6c 69 6e 65 .print(repr(line
1fa0: 29 29 0a 09 09 09 09 09 09 09 65 78 69 74 28 31 ))........exit(1
1fb0: 29 0a 09 09 09 09 09 6f 75 74 2e 61 70 70 65 6e )......out.appen
1fc0: 64 28 27 5c 6e 27 29 0a 09 09 09 09 09 74 72 79 d('\n')......try
1fd0: 3a 0a 09 09 09 09 09 09 23 70 72 69 6e 74 28 27 :.......#print('
1fe0: 2a 27 2c 20 69 74 65 6d 2c 20 64 61 74 65 2c 20 *', item, date,
1ff0: 74 79 70 65 28 64 61 74 65 29 29 0a 09 09 09 09 type(date)).....
2000: 09 09 6d 73 65 72 76 65 72 2e 61 70 70 65 6e 64 ..mserver.append
2010: 28 66 6f 6c 64 65 72 4e 61 6d 65 2c 20 4e 6f 6e (folderName, Non
2020: 65 2c 20 64 61 74 65 2c 20 62 27 5c 6e 27 2e 6a e, date, b'\n'.j
2030: 6f 69 6e 28 69 6e 66 6f 2e 6c 69 6e 65 73 29 29 oin(info.lines))
2040: 0a 09 09 09 09 09 65 78 63 65 70 74 20 41 74 74 ......except Att
2050: 72 69 62 75 74 65 45 72 72 6f 72 20 61 73 20 65 ributeError as e
2060: 72 72 3a 0a 09 09 09 09 09 09 23 70 72 69 6e 74 rr:.......#print
2070: 28 27 2a 27 2c 20 69 74 65 6d 2c 20 72 61 77 5f ('*', item, raw_
2080: 64 61 74 65 2c 20 72 65 70 72 28 64 61 74 65 29 date, repr(date)
2090: 29 0a 09 09 09 09 09 09 23 72 61 69 73 65 28 65 ).......#raise(e
20a0: 72 72 29 0a 09 09 09 09 09 09 6d 73 65 72 76 65 rr).......mserve
20b0: 72 2e 61 70 70 65 6e 64 28 66 6f 6c 64 65 72 4e r.append(folderN
20c0: 61 6d 65 2c 20 4e 6f 6e 65 2c 20 62 61 63 6b 75 ame, None, backu
20d0: 70 5f 64 61 74 65 2c 20 62 27 5c 6e 27 2e 6a 6f p_date, b'\n'.jo
20e0: 69 6e 28 69 6e 66 6f 2e 6c 69 6e 65 73 29 29 0a in(info.lines)).
20f0: 09 09 09 09 09 65 78 63 65 70 74 20 4f 76 65 72 .....except Over
2100: 66 6c 6f 77 45 72 72 6f 72 20 61 73 20 65 72 72 flowError as err
2110: 3a 0a 09 09 09 09 09 09 23 70 72 69 6e 74 28 27 :.......#print('
2120: 2a 27 2c 20 69 74 65 6d 2c 20 72 61 77 5f 64 61 *', item, raw_da
2130: 74 65 2c 20 72 65 70 72 28 64 61 74 65 29 29 0a te, repr(date)).
2140: 09 09 09 09 09 09 23 72 61 69 73 65 28 65 72 72 ......#raise(err
2150: 29 0a 09 09 09 09 09 09 6d 73 65 72 76 65 72 2e ).......mserver.
2160: 61 70 70 65 6e 64 28 66 6f 6c 64 65 72 4e 61 6d append(folderNam
2170: 65 2c 20 4e 6f 6e 65 2c 20 62 61 63 6b 75 70 5f e, None, backup_
2180: 64 61 74 65 2c 20 62 27 5c 6e 27 2e 6a 6f 69 6e date, b'\n'.join
2190: 28 69 6e 66 6f 2e 6c 69 6e 65 73 29 29 0a 09 09 (info.lines))...
21a0: 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 23 70 72 ..else:......#pr
21b0: 69 6e 74 28 27 2a 27 2c 20 69 74 65 6d 2c 20 65 int('*', item, e
21c0: 6e 76 5f 64 61 74 65 2c 20 74 79 70 65 28 65 6e nv_date, type(en
21d0: 76 5f 64 61 74 65 29 29 0a 09 09 09 09 09 6d 73 v_date))......ms
21e0: 65 72 76 65 72 2e 61 70 70 65 6e 64 28 66 6f 6c erver.append(fol
21f0: 64 65 72 4e 61 6d 65 2c 20 4e 6f 6e 65 2c 20 65 derName, None, e
2200: 6e 76 5f 64 61 74 65 2c 20 62 27 5c 6e 27 2e 6a nv_date, b'\n'.j
2210: 6f 69 6e 28 69 6e 66 6f 2e 6c 69 6e 65 73 29 29 oin(info.lines))
2220: 0a 09 09 09 09 66 6f 6c 64 65 72 2e 61 64 64 6d .....folder.addm
2230: 61 69 6c 28 69 74 65 6d 29 0a 09 09 09 09 66 6f ail(item).....fo
2240: 6c 64 65 72 2e 73 79 6e 63 28 29 0a 09 09 09 09 lder.sync().....
2250: 63 6f 75 6e 74 20 2b 3d 20 31 0a 09 09 09 09 69 count += 1.....i
2260: 66 20 63 6f 75 6e 74 20 3e 3d 20 6c 69 6d 69 74 f count >= limit
2270: 73 5b 31 5d 3a 0a 09 09 09 09 09 62 72 65 61 6b s[1]:......break
2280: 0a 09 09 09 65 78 63 65 70 74 20 6e 6e 74 70 6c ....except nntpl
2290: 69 62 2e 4e 4e 54 50 54 65 6d 70 6f 72 61 72 79 ib.NNTPTemporary
22a0: 45 72 72 6f 72 20 61 73 20 65 72 72 3a 0a 09 09 Error as err:...
22b0: 09 09 69 66 20 65 72 72 2e 72 65 73 70 6f 6e 73 ..if err.respons
22c0: 65 2e 73 74 61 72 74 73 77 69 74 68 28 27 34 33 e.startswith('43
22d0: 30 20 4e 6f 20 73 75 63 68 20 61 72 74 69 63 6c 0 No such articl
22e0: 65 27 29 3a 0a 09 09 09 09 09 66 6f 6c 64 65 72 e'):......folder
22f0: 2e 66 6f 72 67 65 74 28 69 74 65 6d 29 0a 09 09 .forget(item)...
2300: 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 70 72 69 ..else:......pri
2310: 6e 74 28 65 72 72 2e 72 65 73 70 6f 6e 73 65 2c nt(err.response,
2320: 20 69 74 65 6d 2c 20 65 6e 76 5f 64 61 74 65 29 item, env_date)
2330: 0a 09 09 09 09 09 72 61 69 73 65 28 65 72 72 29 ......raise(err)
2340: 0a 09 09 73 74 61 74 73 5b 31 5d 20 3d 20 63 6f ...stats[1] = co
2350: 75 6e 74 0a 09 09 6c 69 6d 69 74 73 5b 31 5d 20 unt...limits[1]
2360: 2d 3d 20 63 6f 75 6e 74 0a 0a 09 69 66 20 73 74 -= count...if st
2370: 61 74 73 5b 30 5d 20 21 3d 20 30 20 6f 72 20 73 ats[0] != 0 or s
2380: 74 61 74 73 5b 31 5d 20 21 3d 20 30 3a 0a 09 09 tats[1] != 0:...
2390: 70 72 69 6e 74 28 27 23 20 27 2c 20 66 6f 6c 64 print('# ', fold
23a0: 65 72 4e 61 6d 65 2c 20 27 5c 74 27 2a 28 73 6b erName, '\t'*(sk
23b0: 65 77 20 2d 20 69 6e 74 28 28 6c 65 6e 28 66 6f ew - int((len(fo
23c0: 6c 64 65 72 4e 61 6d 65 29 20 2b 20 32 29 20 2f lderName) + 2) /
23d0: 20 38 29 29 2c 20 27 5c 74 27 2e 6a 6f 69 6e 28 8)), '\t'.join(
23e0: 6d 61 70 28 73 74 72 2c 20 73 74 61 74 73 29 29 map(str, stats))
23f0: 2c 20 73 65 70 20 3d 20 27 27 29 0a 09 66 6f 6c , sep = '')..fol
2400: 64 65 72 2e 73 79 6e 63 28 29 0a der.sync().