0000: 23 21 2f 75 73 72 2f 62 69 6e 2f 65 6e 76 20 70 #!/usr/bin/env p
0010: 79 74 68 6f 6e 33 2e 31 0a 0a 69 6d 70 6f 72 74 ython3.1..import
0020: 20 64 61 74 65 74 69 6d 65 2c 20 68 74 74 70 2e datetime, http.
0030: 63 6f 6f 6b 69 65 6a 61 72 2c 20 6f 70 74 70 61 cookiejar, optpa
0040: 72 73 65 2c 20 6f 73 2c 20 73 79 73 2c 20 73 68 rse, os, sys, sh
0050: 65 6c 76 65 2c 20 72 65 2c 20 75 72 6c 6c 69 62 elve, re, urllib
0060: 2e 72 65 71 75 65 73 74 0a 0a 66 72 6f 6d 20 73 .request..from s
0070: 70 61 63 65 6d 61 70 20 69 6d 70 6f 72 74 20 53 pacemap import S
0080: 70 61 63 65 4d 61 70 0a 0a 70 61 72 73 65 72 20 paceMap..parser
0090: 3d 20 6f 70 74 70 61 72 73 65 2e 4f 70 74 69 6f = optparse.Optio
00a0: 6e 50 61 72 73 65 72 28 29 0a 70 61 72 73 65 72 nParser().parser
00b0: 2e 61 64 64 5f 6f 70 74 69 6f 6e 28 27 2d 76 27 .add_option('-v'
00c0: 2c 20 27 2d 2d 76 65 72 62 6f 73 65 27 2c 20 61 , '--verbose', a
00d0: 63 74 69 6f 6e 20 3d 20 27 73 74 6f 72 65 5f 74 ction = 'store_t
00e0: 72 75 65 27 2c 20 64 65 73 74 20 3d 20 27 76 65 rue', dest = 've
00f0: 72 62 6f 73 65 27 2c 20 68 65 6c 70 20 3d 20 27 rbose', help = '
0100: 74 75 72 6e 73 20 6f 6e 20 76 65 72 62 6f 73 65 turns on verbose
0110: 20 73 74 61 74 75 73 20 6e 6f 74 69 66 69 63 61 status notifica
0120: 74 69 6f 6e 73 27 2c 20 6d 65 74 61 76 61 72 20 tions', metavar
0130: 3d 20 27 62 6f 6f 6c 27 2c 20 64 65 66 61 75 6c = 'bool', defaul
0140: 74 20 3d 20 46 61 6c 73 65 29 0a 70 61 72 73 65 t = False).parse
0150: 72 2e 61 64 64 5f 6f 70 74 69 6f 6e 28 27 2d 64 r.add_option('-d
0160: 27 2c 20 27 2d 2d 64 69 72 27 2c 20 61 63 74 69 ', '--dir', acti
0170: 6f 6e 20 3d 20 27 73 74 6f 72 65 27 2c 20 64 65 on = 'store', de
0180: 73 74 20 3d 20 27 64 69 72 27 2c 20 68 65 6c 70 st = 'dir', help
0190: 20 3d 20 27 73 70 65 63 69 66 79 20 64 69 72 65 = 'specify dire
01a0: 63 74 6f 72 79 20 77 68 65 72 65 20 74 68 65 20 ctory where the
01b0: 66 69 6c 65 73 20 73 68 6f 75 6c 64 20 62 65 20 files should be
01c0: 73 74 6f 72 65 64 27 2c 20 6d 65 74 61 76 61 72 stored', metavar
01d0: 20 3d 20 27 73 74 72 69 6e 67 27 2c 20 64 65 66 = 'string', def
01e0: 61 75 6c 74 20 3d 20 4e 6f 6e 65 29 0a 70 61 72 ault = None).par
01f0: 73 65 72 2e 61 64 64 5f 6f 70 74 69 6f 6e 28 27 ser.add_option('
0200: 2d 72 27 2c 20 27 2d 2d 72 6f 6f 74 27 2c 20 61 -r', '--root', a
0210: 63 74 69 6f 6e 20 3d 20 27 73 74 6f 72 65 27 2c ction = 'store',
0220: 20 64 65 73 74 20 3d 20 27 72 6f 6f 74 27 2c 20 dest = 'root',
0230: 68 65 6c 70 20 3d 20 27 73 70 65 63 69 66 79 20 help = 'specify
0240: 61 20 73 69 74 65 20 66 72 6f 6d 20 77 68 69 63 a site from whic
0250: 68 20 64 61 74 61 20 73 68 6f 75 6c 64 20 62 65 h data should be
0260: 20 6d 69 72 72 6f 72 65 64 27 2c 20 6d 65 74 61 mirrored', meta
0270: 76 61 72 20 3d 20 27 73 74 72 69 6e 67 27 2c 20 var = 'string',
0280: 64 65 66 61 75 6c 74 20 3d 20 4e 6f 6e 65 29 0a default = None).
0290: 70 61 72 73 65 72 2e 61 64 64 5f 6f 70 74 69 6f parser.add_optio
02a0: 6e 28 27 2d 6c 27 2c 20 27 2d 2d 6c 6f 67 27 2c n('-l', '--log',
02b0: 20 61 63 74 69 6f 6e 20 3d 20 27 73 74 6f 72 65 action = 'store
02c0: 27 2c 20 64 65 73 74 20 3d 20 27 6c 6f 67 27 2c ', dest = 'log',
02d0: 20 68 65 6c 70 20 3d 20 27 73 70 65 63 69 66 79 help = 'specify
02e0: 20 61 20 6c 6f 67 20 66 69 6c 65 20 74 6f 20 70 a log file to p
02f0: 72 6f 63 65 73 73 27 2c 20 6d 65 74 61 76 61 72 rocess', metavar
0300: 20 3d 20 27 73 74 72 69 6e 67 27 2c 20 64 65 66 = 'string', def
0310: 61 75 6c 74 20 3d 20 4e 6f 6e 65 29 0a 70 61 72 ault = None).par
0320: 73 65 72 2e 61 64 64 5f 6f 70 74 69 6f 6e 28 27 ser.add_option('
0330: 2d 65 27 2c 20 27 2d 2d 73 6b 69 70 2d 65 74 61 -e', '--skip-eta
0340: 67 27 2c 20 61 63 74 69 6f 6e 20 3d 20 27 73 74 g', action = 'st
0350: 6f 72 65 5f 74 72 75 65 27 2c 20 64 65 73 74 20 ore_true', dest
0360: 3d 20 27 6e 6f 65 74 61 67 27 2c 20 68 65 6c 70 = 'noetag', help
0370: 20 3d 20 27 64 6f 20 6e 6f 74 20 70 72 6f 63 65 = 'do not proce
0380: 73 73 20 65 74 61 67 73 27 2c 20 6d 65 74 61 76 ss etags', metav
0390: 61 72 20 3d 20 27 62 6f 6f 6c 27 2c 20 64 65 66 ar = 'bool', def
03a0: 61 75 6c 74 20 3d 20 46 61 6c 73 65 29 0a 70 61 ault = False).pa
03b0: 72 73 65 72 2e 61 64 64 5f 6f 70 74 69 6f 6e 28 rser.add_option(
03c0: 27 2d 70 27 2c 20 27 2d 2d 70 6f 72 74 27 2c 20 '-p', '--port',
03d0: 61 63 74 69 6f 6e 20 3d 20 27 73 74 6f 72 65 27 action = 'store'
03e0: 2c 20 64 65 73 74 20 3d 20 27 70 6f 72 74 27 2c , dest = 'port',
03f0: 20 68 65 6c 70 20 3d 20 27 6c 69 73 74 65 6e 20 help = 'listen
0400: 6f 6e 20 74 68 69 73 20 70 6f 72 74 20 66 6f 72 on this port for
0410: 20 69 6e 63 6f 6d 69 6e 67 20 63 6f 6e 6e 65 63 incoming connec
0420: 74 69 6f 6e 73 27 2c 20 6d 65 74 61 76 61 72 20 tions', metavar
0430: 3d 20 27 69 6e 74 65 67 65 72 27 2c 20 64 65 66 = 'integer', def
0440: 61 75 6c 74 20 3d 20 4e 6f 6e 65 29 0a 70 61 72 ault = None).par
0450: 73 65 72 2e 61 64 64 5f 6f 70 74 69 6f 6e 28 27 ser.add_option('
0460: 2d 6e 27 2c 20 27 2d 2d 6e 6f 2d 75 70 64 61 74 -n', '--no-updat
0470: 65 27 2c 20 61 63 74 69 6f 6e 20 3d 20 27 73 74 e', action = 'st
0480: 6f 72 65 5f 74 72 75 65 27 2c 20 64 65 73 74 20 ore_true', dest
0490: 3d 20 27 6e 6f 75 70 64 61 74 65 27 2c 20 68 65 = 'noupdate', he
04a0: 6c 70 20 3d 20 27 64 6f 20 6e 6f 74 20 75 70 64 lp = 'do not upd
04b0: 61 74 65 20 61 6c 72 65 61 64 79 20 64 6f 77 6e ate already down
04c0: 6c 6f 61 64 65 64 20 66 69 6c 65 73 27 2c 20 6d loaded files', m
04d0: 65 74 61 76 61 72 20 3d 20 27 62 6f 6f 6c 27 2c etavar = 'bool',
04e0: 20 64 65 66 61 75 6c 74 20 3d 20 27 46 61 6c 73 default = 'Fals
04f0: 65 27 29 0a 28 6f 70 74 69 6f 6e 73 2c 20 61 72 e').(options, ar
0500: 67 73 29 20 3d 20 70 61 72 73 65 72 2e 70 61 72 gs) = parser.par
0510: 73 65 5f 61 72 67 73 28 29 0a 0a 61 73 73 65 72 se_args()..asser
0520: 74 20 6f 70 74 69 6f 6e 73 2e 64 69 72 2c 20 27 t options.dir, '
0530: 44 69 72 65 63 74 6f 72 79 20 6e 6f 74 20 73 70 Directory not sp
0540: 65 63 69 66 69 65 64 27 0a 61 73 73 65 72 74 20 ecified'.assert
0550: 6f 70 74 69 6f 6e 73 2e 72 6f 6f 74 2c 20 27 53 options.root, 'S
0560: 65 72 76 65 72 20 6e 6f 74 20 73 70 65 63 69 66 erver not specif
0570: 69 65 64 27 0a 61 73 73 65 72 74 20 6f 70 74 69 ied'.assert opti
0580: 6f 6e 73 2e 6c 6f 67 20 6f 72 20 6f 70 74 69 6f ons.log or optio
0590: 6e 73 2e 70 6f 72 74 2c 20 27 4c 6f 67 20 66 69 ns.port, 'Log fi
05a0: 6c 65 20 6f 72 20 70 6f 72 74 20 6e 6f 74 20 73 le or port not s
05b0: 70 65 63 69 66 69 65 64 27 0a 61 73 73 65 72 74 pecified'.assert
05c0: 20 6f 70 74 69 6f 6e 73 2e 70 6f 72 74 20 6f 72 options.port or
05d0: 20 6f 73 2e 61 63 63 65 73 73 28 6f 70 74 69 6f os.access(optio
05e0: 6e 73 2e 6c 6f 67 2c 20 6f 73 2e 52 5f 4f 4b 29 ns.log, os.R_OK)
05f0: 2c 20 27 4c 6f 67 20 66 69 6c 65 20 75 6e 72 65 , 'Log file unre
0600: 61 64 61 62 6c 65 27 0a 0a 6f 70 74 69 6f 6e 73 adable'..options
0610: 44 69 72 57 69 74 68 53 65 70 20 3d 20 72 65 2e DirWithSep = re.
0620: 63 6f 6d 70 69 6c 65 28 27 5e 28 2e 2a 3f 29 2f compile('^(.*?)/
0630: 3f 24 27 29 2e 6d 61 74 63 68 28 6f 70 74 69 6f ?$').match(optio
0640: 6e 73 2e 64 69 72 29 0a 69 66 20 6f 70 74 69 6f ns.dir).if optio
0650: 6e 73 44 69 72 57 69 74 68 53 65 70 3a 0a 09 6f nsDirWithSep:..o
0660: 70 74 69 6f 6e 73 2e 64 69 72 20 3d 20 6f 70 74 ptions.dir = opt
0670: 69 6f 6e 73 44 69 72 57 69 74 68 53 65 70 2e 67 ionsDirWithSep.g
0680: 72 6f 75 70 28 31 29 0a 0a 23 20 74 68 69 73 20 roup(1)..# this
0690: 69 73 20 66 69 6c 65 20 69 6e 64 65 78 20 2d 20 is file index -
06a0: 65 76 65 72 79 74 68 69 6e 67 20 69 73 20 73 74 everything is st
06b0: 6f 72 65 64 20 69 6e 20 74 68 69 73 20 66 69 6c ored in this fil
06c0: 65 0a 23 20 5f 70 61 72 74 73 20 2d 20 6c 69 73 e.# _parts - lis
06d0: 74 20 6f 66 20 73 74 6f 72 65 64 20 70 61 72 74 t of stored part
06e0: 73 20 6f 66 20 66 69 6c 65 0a 23 20 5f 74 69 6d s of file.# _tim
06f0: 65 20 2d 20 6c 61 73 74 20 74 69 6d 65 20 74 68 e - last time th
0700: 65 20 66 69 6c 65 20 77 61 73 20 63 68 65 63 6b e file was check
0710: 65 64 0a 23 20 65 76 65 72 79 74 68 69 6e 67 20 ed.# everything
0720: 65 6c 73 65 20 69 73 20 6a 75 73 74 20 74 68 65 else is just the
0730: 20 68 65 61 64 65 72 73 0a 69 6e 64 65 78 20 3d headers.index =
0740: 20 73 68 65 6c 76 65 2e 6f 70 65 6e 28 6f 70 74 shelve.open(opt
0750: 69 6f 6e 73 2e 64 69 72 20 2b 20 6f 73 2e 73 65 ions.dir + os.se
0760: 70 20 2b 20 27 2e 69 6e 64 65 78 27 29 0a 64 65 p + '.index').de
0770: 73 63 5f 66 69 65 6c 64 73 20 3d 20 28 27 43 6f sc_fields = ('Co
0780: 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 2c 20 27 ntent-Length', '
0790: 50 72 61 67 6d 61 27 2c 20 27 4c 61 73 74 2d 4d Pragma', 'Last-M
07a0: 6f 64 69 66 69 65 64 27 29 0a 69 67 6e 6f 72 65 odified').ignore
07b0: 5f 66 69 65 6c 64 73 20 3d 20 28 27 41 63 63 65 _fields = ('Acce
07c0: 70 74 2d 52 61 6e 67 65 73 27 2c 20 27 41 67 65 pt-Ranges', 'Age
07d0: 27 2c 20 27 43 61 63 68 65 2d 43 6f 6e 74 72 6f ', 'Cache-Contro
07e0: 6c 27 2c 20 27 43 6f 6e 6e 65 63 74 69 6f 6e 27 l', 'Connection'
07f0: 2c 20 27 43 6f 6e 74 65 6e 74 2d 54 79 70 65 27 , 'Content-Type'
0800: 2c 20 27 44 61 74 65 27 2c 20 27 45 78 70 69 72 , 'Date', 'Expir
0810: 65 73 27 2c 20 27 53 65 72 76 65 72 27 2c 20 27 es', 'Server', '
0820: 56 69 61 27 2c 20 27 58 2d 43 61 63 68 65 27 2c Via', 'X-Cache',
0830: 20 27 58 2d 43 61 63 68 65 2d 4c 6f 6f 6b 75 70 'X-Cache-Lookup
0840: 27 2c 20 27 58 2d 50 6f 77 65 72 65 64 2d 42 79 ', 'X-Powered-By
0850: 27 29 0a 0a 69 66 20 6e 6f 74 20 6f 70 74 69 6f ')..if not optio
0860: 6e 73 2e 6e 6f 65 74 61 67 3a 0a 09 64 65 73 63 ns.noetag:..desc
0870: 5f 66 69 65 6c 64 73 20 2b 3d 20 27 45 54 61 67 _fields += 'ETag
0880: 27 2c 0a 65 6c 73 65 3a 0a 09 69 67 6e 6f 72 65 ',.else:..ignore
0890: 5f 66 69 65 6c 64 73 20 2b 3d 20 27 45 54 61 67 _fields += 'ETag
08a0: 27 2c 0a 0a 62 6c 6f 63 6b 5f 73 69 7a 65 20 3d ',..block_size =
08b0: 20 34 30 39 36 0a 0a 74 65 6d 70 5f 66 69 6c 65 4096..temp_file
08c0: 5f 6e 61 6d 65 20 3d 20 6f 70 74 69 6f 6e 73 2e _name = options.
08d0: 64 69 72 20 2b 20 6f 73 2e 73 65 70 20 2b 20 27 dir + os.sep + '
08e0: 2e 74 6d 70 27 0a 0a 27 27 27 0a 23 20 6c 61 74 .tmp'..'''.# lat
08f0: 65 72 2c 20 6b 71 75 65 75 65 20 77 6f 75 6c 64 er, kqueue would
0900: 20 62 65 20 67 6f 6f 64 20 62 75 74 20 6c 61 74 be good but lat
0910: 65 72 0a 63 6c 61 73 73 20 43 6f 6e 6e 65 63 74 er.class Connect
0920: 69 6f 6e 3a 0a 09 5f 5f 73 6c 6f 74 73 5f 5f 20 ion:..__slots__
0930: 3d 20 66 72 6f 7a 65 6e 73 65 74 28 28 27 5f 5f = frozenset(('__
0940: 61 64 64 72 65 73 73 27 2c 20 27 5f 5f 69 6e 70 address', '__inp
0950: 75 74 27 2c 20 27 5f 5f 73 6f 63 6b 65 74 27 2c ut', '__socket',
0960: 20 27 5f 5f 73 74 61 74 75 73 27 2c 20 27 65 72 '__status', 'er
0970: 72 6f 72 27 2c 20 27 6d 65 74 68 6f 64 27 2c 20 ror', 'method',
0980: 27 75 72 6c 27 2c 20 27 68 74 74 70 5f 76 65 72 'url', 'http_ver
0990: 73 69 6f 6e 27 29 29 0a 0a 09 64 65 66 20 5f 5f sion'))...def __
09a0: 69 6e 69 74 5f 5f 28 73 65 6c 66 2c 20 73 6f 63 init__(self, soc
09b0: 6b 65 74 2c 20 61 64 64 72 65 73 73 29 3a 0a 09 ket, address):..
09c0: 09 73 65 6c 66 2e 5f 5f 61 64 64 72 65 73 73 20 .self.__address
09d0: 3d 20 61 64 64 72 65 73 73 0a 09 09 73 65 6c 66 = address...self
09e0: 2e 5f 5f 69 6e 70 75 74 20 3d 20 62 27 27 0a 09 .__input = b''..
09f0: 09 73 65 6c 66 2e 5f 5f 73 6f 63 6b 65 74 20 3d .self.__socket =
0a00: 20 73 6f 63 6b 65 74 0a 09 09 73 65 6c 66 2e 5f socket...self._
0a10: 5f 73 74 61 74 75 73 20 3d 20 30 0a 0a 09 64 65 _status = 0...de
0a20: 66 20 72 65 61 64 28 73 65 6c 66 2c 20 6b 65 76 f read(self, kev
0a30: 29 3a 0a 09 09 62 75 66 66 65 72 20 3d 20 73 65 ):...buffer = se
0a40: 6c 66 2e 5f 5f 73 6f 63 6b 65 74 2e 72 65 63 76 lf.__socket.recv
0a50: 28 6b 65 76 2e 64 61 74 61 29 0a 09 09 65 78 68 (kev.data)...exh
0a60: 61 75 73 74 65 64 20 3d 20 46 61 6c 73 65 0a 09 austed = False..
0a70: 09 69 66 20 6c 65 6e 28 62 75 66 66 65 72 29 20 .if len(buffer)
0a80: 3d 3d 20 30 3a 0a 09 09 09 65 6f 66 20 3d 20 54 == 0:....eof = T
0a90: 72 75 65 0a 09 09 65 6c 73 65 3a 0a 09 09 09 73 rue...else:....s
0aa0: 65 6c 66 2e 5f 5f 69 6e 70 75 74 20 2b 3d 20 62 elf.__input += b
0ab0: 75 66 66 65 72 0a 09 09 09 77 68 69 6c 65 20 6e uffer....while n
0ac0: 6f 74 20 65 78 68 61 75 73 74 65 64 3a 0a 09 09 ot exhausted:...
0ad0: 09 09 69 66 20 73 65 6c 66 2e 5f 5f 73 74 61 74 ..if self.__stat
0ae0: 75 73 20 3d 3d 20 2d 31 3a 0a 09 09 09 09 09 65 us == -1:......e
0af0: 78 68 61 75 73 74 65 64 20 3d 20 54 72 75 65 0a xhausted = True.
0b00: 09 09 09 09 65 6c 69 66 20 73 65 6c 66 2e 5f 5f ....elif self.__
0b10: 73 74 61 74 75 73 20 3d 3d 20 30 3a 0a 09 09 09 status == 0:....
0b20: 09 09 65 6e 64 73 74 72 69 6e 67 20 3d 20 73 65 ..endstring = se
0b30: 6c 66 2e 5f 5f 69 6e 70 75 74 2e 66 69 6e 64 28 lf.__input.find(
0b40: 62 27 5c 6e 27 29 0a 09 09 09 09 09 69 66 20 65 b'\n')......if e
0b50: 6e 64 73 74 72 69 6e 67 20 3e 20 30 3a 0a 09 09 ndstring > 0:...
0b60: 09 09 09 09 70 72 69 6e 74 28 27 50 72 6f 63 65 ....print('Proce
0b70: 73 73 69 6e 67 20 72 65 71 75 65 73 74 20 6c 69 ssing request li
0b80: 6e 65 2e 27 29 0a 09 09 09 09 09 09 6c 69 6e 65 ne.').......line
0b90: 20 3d 20 73 65 6c 66 2e 5f 5f 69 6e 70 75 74 5b = self.__input[
0ba0: 3a 65 6e 64 73 74 72 69 6e 67 5d 2e 64 65 63 6f :endstring].deco
0bb0: 64 65 28 27 61 73 63 69 69 27 29 0a 09 09 09 09 de('ascii').....
0bc0: 09 09 73 65 6c 66 2e 5f 5f 69 6e 70 75 74 20 3d ..self.__input =
0bd0: 20 73 65 6c 66 2e 5f 5f 69 6e 70 75 74 5b 65 6e self.__input[en
0be0: 64 73 74 72 69 6e 67 20 2b 20 31 3a 5d 0a 09 09 dstring + 1:]...
0bf0: 09 09 09 09 69 73 52 65 71 75 65 73 74 20 3d 20 ....isRequest =
0c00: 72 65 2e 63 6f 6d 70 69 6c 65 28 27 28 47 45 54 re.compile('(GET
0c10: 29 20 28 5b 5e 20 5d 2b 29 20 48 54 54 50 2f 28 ) ([^ ]+) HTTP/(
0c20: 31 5c 2e 30 29 27 29 2e 6d 61 74 63 68 28 6c 69 1\.0)').match(li
0c30: 6e 65 29 0a 09 09 09 09 09 09 69 66 20 6e 6f 74 ne).......if not
0c40: 20 69 73 52 65 71 75 65 73 74 3a 0a 09 09 09 09 isRequest:.....
0c50: 09 09 09 73 65 6c 66 2e 65 72 72 6f 72 20 3d 20 ...self.error =
0c60: 27 4e 6f 74 20 61 20 48 54 54 50 20 63 6f 6e 6e 'Not a HTTP conn
0c70: 65 63 74 69 6f 6e 2e 27 0a 09 09 09 09 09 09 09 ection.'........
0c80: 73 65 6c 66 2e 5f 5f 73 74 61 74 75 73 20 3d 20 self.__status =
0c90: 2d 31 0a 09 09 09 09 09 09 65 6c 73 65 3a 0a 09 -1.......else:..
0ca0: 09 09 09 09 09 09 73 65 6c 66 2e 6d 65 74 68 6f ......self.metho
0cb0: 64 20 3d 20 69 73 52 65 71 75 65 73 74 2e 67 72 d = isRequest.gr
0cc0: 6f 75 70 28 31 29 0a 09 09 09 09 09 09 09 73 65 oup(1)........se
0cd0: 6c 66 2e 75 72 6c 20 3d 20 69 73 52 65 71 75 65 lf.url = isReque
0ce0: 73 74 2e 67 72 6f 75 70 28 32 29 0a 09 09 09 09 st.group(2).....
0cf0: 09 09 09 73 65 6c 66 2e 68 74 74 70 5f 76 65 72 ...self.http_ver
0d00: 73 69 6f 6e 20 3d 20 69 73 52 65 71 75 65 73 74 sion = isRequest
0d10: 2e 67 72 6f 75 70 28 33 29 0a 09 09 09 09 09 09 .group(3).......
0d20: 09 73 65 6c 66 2e 5f 5f 73 74 61 74 75 73 20 3d .self.__status =
0d30: 20 31 0a 09 09 09 09 09 65 6c 73 65 3a 0a 09 09 1......else:...
0d40: 09 09 09 09 65 78 68 61 75 73 74 65 64 20 3d 20 ....exhausted =
0d50: 54 72 75 65 0a 09 09 09 09 65 6c 69 66 20 73 65 True.....elif se
0d60: 6c 66 2e 5f 5f 73 74 61 74 75 73 20 3d 3d 20 31 lf.__status == 1
0d70: 3a 0a 09 09 09 09 09 65 6e 64 73 74 72 69 6e 67 :......endstring
0d80: 20 3d 20 73 65 6c 66 2e 5f 5f 69 6e 70 75 74 2e = self.__input.
0d90: 66 69 6e 64 28 62 27 5c 6e 27 29 0a 09 09 09 09 find(b'\n').....
0da0: 09 69 66 20 65 6e 64 73 74 72 69 6e 67 20 3e 20 .if endstring >
0db0: 30 3a 0a 09 09 09 09 09 09 70 72 69 6e 74 28 27 0:.......print('
0dc0: 50 72 6f 63 65 73 73 69 6e 67 20 68 65 61 64 65 Processing heade
0dd0: 72 20 6c 69 6e 65 2e 27 20 2b 20 72 65 70 72 28 r line.' + repr(
0de0: 73 65 6c 66 2e 5f 5f 69 6e 70 75 74 29 29 0a 09 self.__input))..
0df0: 09 09 09 09 09 6c 69 6e 65 20 3d 20 73 65 6c 66 .....line = self
0e00: 2e 5f 5f 69 6e 70 75 74 5b 3a 65 6e 64 73 74 72 .__input[:endstr
0e10: 69 6e 67 5d 2e 64 65 63 6f 64 65 28 27 61 73 63 ing].decode('asc
0e20: 69 69 27 29 0a 09 09 09 09 09 09 73 65 6c 66 2e ii').......self.
0e30: 5f 5f 69 6e 70 75 74 20 3d 20 73 65 6c 66 2e 5f __input = self._
0e40: 5f 69 6e 70 75 74 5b 65 6e 64 73 74 72 69 6e 67 _input[endstring
0e50: 20 2b 20 31 3a 5d 0a 09 09 09 09 09 09 69 73 48 + 1:].......isH
0e60: 65 61 64 65 72 20 3d 20 72 65 2e 63 6f 6d 70 69 eader = re.compi
0e70: 6c 65 28 27 28 5b 5e 3a 5d 2a 29 3a 20 2b 28 2e le('([^:]*): +(.
0e80: 2a 29 27 29 2e 6d 61 74 63 68 28 6c 69 6e 65 29 *)').match(line)
0e90: 0a 09 09 09 09 09 09 69 66 20 6e 6f 74 20 69 73 .......if not is
0ea0: 48 65 61 64 65 72 3a 0a 09 09 09 09 09 09 09 73 Header:........s
0eb0: 65 6c 66 2e 65 72 72 6f 72 20 3d 20 27 42 61 64 elf.error = 'Bad
0ec0: 20 68 65 61 64 65 72 2e 27 0a 09 09 09 09 09 09 header.'.......
0ed0: 09 72 65 74 75 72 6e 28 46 61 6c 73 65 29 0a 09 .return(False)..
0ee0: 09 09 09 09 09 23 20 70 72 6f 63 65 73 73 20 68 .....# process h
0ef0: 65 61 64 65 72 20 68 65 72 65 0a 09 09 09 09 09 eader here......
0f00: 65 6c 69 66 20 65 6e 64 73 74 72 69 6e 67 20 3d elif endstring =
0f10: 3d 20 30 3a 0a 09 09 09 09 09 09 73 65 6c 66 2e = 0:.......self.
0f20: 5f 5f 73 74 61 74 75 73 20 3d 20 32 0a 09 09 09 __status = 2....
0f30: 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 65 78 ..else:.......ex
0f40: 68 61 75 73 74 65 64 20 3d 20 54 72 75 65 0a 0a hausted = True..
0f50: 09 64 65 66 20 77 72 69 74 65 28 73 65 6c 66 2c .def write(self,
0f60: 20 6b 65 76 29 3a 0a 09 09 70 61 73 73 0a 0a 69 kev):...pass..i
0f70: 66 20 6f 70 74 69 6f 6e 73 2e 70 6f 72 74 3a 0a f options.port:.
0f80: 09 69 6d 70 6f 72 74 20 73 65 6c 65 63 74 2c 20 .import select,
0f90: 73 6f 63 6b 65 74 0a 0a 09 73 6f 63 6b 20 3d 20 socket...sock =
0fa0: 73 6f 63 6b 65 74 2e 73 6f 63 6b 65 74 28 73 6f socket.socket(so
0fb0: 63 6b 65 74 2e 41 46 5f 49 4e 45 54 2c 20 73 6f cket.AF_INET, so
0fc0: 63 6b 65 74 2e 53 4f 43 4b 5f 53 54 52 45 41 4d cket.SOCK_STREAM
0fd0: 29 0a 09 74 72 79 3a 0a 09 09 73 6f 63 6b 2e 62 )..try:...sock.b
0fe0: 69 6e 64 28 28 27 31 32 37 2e 30 2e 30 2e 31 27 ind(('127.0.0.1'
0ff0: 2c 20 69 6e 74 28 6f 70 74 69 6f 6e 73 2e 70 6f , int(options.po
1000: 72 74 29 29 29 0a 09 09 73 6f 63 6b 2e 6c 69 73 rt)))...sock.lis
1010: 74 65 6e 28 2d 31 29 0a 0a 09 09 6b 71 20 3d 20 ten(-1)....kq =
1020: 73 65 6c 65 63 74 2e 6b 71 75 65 75 65 28 29 0a select.kqueue().
1030: 09 09 61 73 73 65 72 74 20 6b 71 2e 66 69 6c 65 ..assert kq.file
1040: 6e 6f 28 29 20 21 3d 20 2d 31 2c 20 22 46 61 74 no() != -1, "Fat
1050: 61 6c 20 65 72 72 6f 72 3a 20 63 61 6e 27 74 20 al error: can't
1060: 69 6e 69 74 69 61 6c 69 73 65 20 6b 71 75 65 75 initialise kqueu
1070: 65 2e 22 0a 0a 09 09 6b 71 2e 63 6f 6e 74 72 6f e."....kq.contro
1080: 6c 28 5b 73 65 6c 65 63 74 2e 6b 65 76 65 6e 74 l([select.kevent
1090: 28 73 6f 63 6b 2c 20 73 65 6c 65 63 74 2e 4b 51 (sock, select.KQ
10a0: 5f 46 49 4c 54 45 52 5f 52 45 41 44 2c 20 73 65 _FILTER_READ, se
10b0: 6c 65 63 74 2e 4b 51 5f 45 56 5f 41 44 44 29 5d lect.KQ_EV_ADD)]
10c0: 2c 20 30 29 0a 09 09 74 69 6d 65 6f 75 74 20 3d , 0)...timeout =
10d0: 20 4e 6f 6e 65 0a 0a 09 09 63 6f 6e 6e 65 63 74 None....connect
10e0: 69 6f 6e 73 20 3d 20 7b 73 6f 63 6b 2e 66 69 6c ions = {sock.fil
10f0: 65 6e 6f 28 29 3a 20 4e 6f 6e 65 7d 0a 0a 09 09 eno(): None}....
1100: 77 68 69 6c 65 20 54 72 75 65 3a 0a 09 09 09 6b while True:....k
1110: 65 76 73 20 3d 20 6b 71 2e 63 6f 6e 74 72 6f 6c evs = kq.control
1120: 28 4e 6f 6e 65 2c 20 31 2c 20 74 69 6d 65 6f 75 (None, 1, timeou
1130: 74 29 0a 0a 09 09 09 66 6f 72 20 6b 65 76 20 69 t).....for kev i
1140: 6e 20 6b 65 76 73 3a 0a 09 09 09 09 69 66 20 74 n kevs:.....if t
1150: 79 70 65 28 63 6f 6e 6e 65 63 74 69 6f 6e 73 5b ype(connections[
1160: 6b 65 76 2e 69 64 65 6e 74 5d 29 20 3d 3d 20 43 kev.ident]) == C
1170: 6f 6e 6e 65 63 74 69 6f 6e 3a 0a 09 09 09 09 09 onnection:......
1180: 70 72 69 6e 74 28 6b 65 76 2e 69 64 65 6e 74 2c print(kev.ident,
1190: 20 6b 65 76 2e 64 61 74 61 2c 20 6b 65 76 2e 66 kev.data, kev.f
11a0: 69 6c 74 65 72 2c 20 6b 65 76 2e 66 6c 61 67 73 ilter, kev.flags
11b0: 29 0a 09 09 09 09 09 61 73 73 65 72 74 20 6b 65 )......assert ke
11c0: 76 2e 64 61 74 61 20 21 3d 20 30 2c 20 27 4e 6f v.data != 0, 'No
11d0: 20 64 61 74 61 20 61 76 61 69 6c 61 62 6c 65 2e data available.
11e0: 27 0a 09 09 09 09 09 69 66 20 6b 65 76 2e 66 69 '......if kev.fi
11f0: 6c 74 65 72 20 3d 3d 20 73 65 6c 65 63 74 2e 4b lter == select.K
1200: 51 5f 46 49 4c 54 45 52 5f 52 45 41 44 3a 0a 09 Q_FILTER_READ:..
1210: 09 09 09 09 09 63 6f 6e 6e 65 63 74 69 6f 6e 73 .....connections
1220: 5b 6b 65 76 2e 69 64 65 6e 74 5d 2e 72 65 61 64 [kev.ident].read
1230: 28 6b 65 76 29 0a 09 09 09 09 09 65 6c 69 66 20 (kev)......elif
1240: 6b 65 76 2e 66 69 6c 74 65 72 20 3d 3d 20 73 65 kev.filter == se
1250: 6c 65 63 74 2e 4b 51 5f 46 49 4c 54 45 52 5f 57 lect.KQ_FILTER_W
1260: 52 49 54 45 3a 0a 09 09 09 09 09 09 63 6f 6e 6e RITE:.......conn
1270: 65 63 74 69 6f 6e 73 5b 6b 65 76 2e 69 64 65 6e ections[kev.iden
1280: 74 5d 2e 77 72 69 74 65 28 6b 65 76 29 0a 09 09 t].write(kev)...
1290: 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 61 ...else:.......a
12a0: 73 73 65 72 74 20 6b 65 76 2e 66 69 6c 74 65 72 ssert kev.filter
12b0: 20 69 6e 20 28 73 65 6c 65 63 74 2e 4b 51 5f 46 in (select.KQ_F
12c0: 49 4c 54 45 52 5f 52 45 41 44 2c 20 73 65 6c 65 ILTER_READ, sele
12d0: 63 74 2e 4b 51 5f 46 49 4c 54 45 52 5f 57 52 49 ct.KQ_FILTER_WRI
12e0: 54 45 29 2c 20 27 44 6f 20 77 65 20 73 75 70 70 TE), 'Do we supp
12f0: 6f 72 74 20 6f 74 68 65 72 20 66 69 6c 74 65 72 ort other filter
1300: 73 3f 27 0a 09 09 09 09 65 6c 73 65 3a 0a 09 09 s?'.....else:...
1310: 09 09 09 28 63 6f 6e 6e 2c 20 61 64 64 72 29 20 ...(conn, addr)
1320: 3d 20 73 6f 63 6b 2e 61 63 63 65 70 74 28 29 0a = sock.accept().
1330: 09 09 09 09 09 70 72 69 6e 74 28 27 43 6f 6e 6e .....print('Conn
1340: 65 63 74 69 6f 6e 20 66 72 6f 6d 20 27 20 2b 20 ection from ' +
1350: 72 65 70 72 28 61 64 64 72 29 29 0a 09 09 09 09 repr(addr)).....
1360: 09 6b 71 2e 63 6f 6e 74 72 6f 6c 28 5b 73 65 6c .kq.control([sel
1370: 65 63 74 2e 6b 65 76 65 6e 74 28 63 6f 6e 6e 2c ect.kevent(conn,
1380: 20 73 65 6c 65 63 74 2e 4b 51 5f 46 49 4c 54 45 select.KQ_FILTE
1390: 52 5f 52 45 41 44 2c 20 73 65 6c 65 63 74 2e 4b R_READ, select.K
13a0: 51 5f 45 56 5f 41 44 44 29 5d 2c 20 30 29 0a 09 Q_EV_ADD)], 0)..
13b0: 09 09 09 09 63 6f 6e 6e 65 63 74 69 6f 6e 73 5b ....connections[
13c0: 63 6f 6e 6e 2e 66 69 6c 65 6e 6f 28 29 5d 20 3d conn.fileno()] =
13d0: 20 43 6f 6e 6e 65 63 74 69 6f 6e 28 63 6f 6e 6e Connection(conn
13e0: 2c 20 61 64 64 72 29 0a 0a 09 09 09 09 69 66 20 , addr)......if
13f0: 6b 65 76 2e 66 6c 61 67 73 20 3e 3e 20 31 35 20 kev.flags >> 15
1400: 3d 3d 20 31 3a 0a 09 09 09 09 09 6b 71 2e 63 6f == 1:......kq.co
1410: 6e 74 72 6f 6c 28 5b 73 65 6c 65 63 74 2e 6b 65 ntrol([select.ke
1420: 76 65 6e 74 28 6b 65 76 2e 69 64 65 6e 74 2c 20 vent(kev.ident,
1430: 73 65 6c 65 63 74 2e 4b 51 5f 46 49 4c 54 45 52 select.KQ_FILTER
1440: 5f 52 45 41 44 2c 20 73 65 6c 65 63 74 2e 4b 51 _READ, select.KQ
1450: 5f 45 56 5f 44 45 4c 45 54 45 29 5d 2c 20 30 29 _EV_DELETE)], 0)
1460: 0a 09 09 09 09 09 6b 71 2e 63 6f 6e 74 72 6f 6c ......kq.control
1470: 28 5b 73 65 6c 65 63 74 2e 6b 65 76 65 6e 74 28 ([select.kevent(
1480: 6b 65 76 2e 69 64 65 6e 74 2c 20 73 65 6c 65 63 kev.ident, selec
1490: 74 2e 4b 51 5f 46 49 4c 54 45 52 5f 57 52 49 54 t.KQ_FILTER_WRIT
14a0: 45 2c 20 73 65 6c 65 63 74 2e 4b 51 5f 45 56 5f E, select.KQ_EV_
14b0: 44 45 4c 45 54 45 29 5d 2c 20 30 29 0a 09 09 09 DELETE)], 0)....
14c0: 09 09 64 65 6c 28 63 6f 6e 6e 65 63 74 69 6f 6e ..del(connection
14d0: 73 5b 6b 65 76 2e 69 64 65 6e 74 5d 29 0a 09 66 s[kev.ident])..f
14e0: 69 6e 61 6c 6c 79 3a 0a 09 09 73 6f 63 6b 2e 63 inally:...sock.c
14f0: 6c 6f 73 65 28 29 0a 27 27 27 0a 0a 69 66 20 6f lose().'''..if o
1500: 70 74 69 6f 6e 73 2e 70 6f 72 74 3a 0a 09 69 6d ptions.port:..im
1510: 70 6f 72 74 20 68 74 74 70 2e 73 65 72 76 65 72 port http.server
1520: 0a 0a 09 63 6c 61 73 73 20 4d 79 52 65 71 75 65 ...class MyReque
1530: 73 74 48 61 6e 64 6c 65 72 28 68 74 74 70 2e 73 stHandler(http.s
1540: 65 72 76 65 72 2e 42 61 73 65 48 54 54 50 52 65 erver.BaseHTTPRe
1550: 71 75 65 73 74 48 61 6e 64 6c 65 72 29 3a 0a 09 questHandler):..
1560: 09 64 65 66 20 5f 5f 70 72 6f 63 65 73 73 28 73 .def __process(s
1570: 65 6c 66 29 3a 0a 09 09 09 23 20 72 65 6c 6f 61 elf):....# reloa
1580: 64 20 6d 65 61 6e 73 20 66 69 6c 65 20 6e 65 65 d means file nee
1590: 64 73 20 74 6f 20 62 65 20 72 65 6c 6f 61 64 65 ds to be reloade
15a0: 64 20 74 6f 20 73 65 72 76 65 20 72 65 71 75 65 d to serve reque
15b0: 73 74 0a 09 09 09 72 65 6c 6f 61 64 20 3d 20 46 st....reload = F
15c0: 61 6c 73 65 0a 09 09 09 23 20 72 65 63 68 65 63 alse....# rechec
15d0: 6b 20 6d 65 61 6e 73 20 66 69 6c 65 20 6e 65 65 k means file nee
15e0: 64 73 20 74 6f 20 62 65 20 63 68 65 63 6b 65 64 ds to be checked
15f0: 2c 20 74 68 69 73 20 61 6c 73 6f 20 6d 65 61 6e , this also mean
1600: 73 20 74 68 61 74 20 69 66 20 66 69 6c 65 20 68 s that if file h
1610: 61 76 20 62 65 65 6e 20 6d 6f 64 69 66 69 65 64 av been modified
1620: 20 77 65 20 63 61 6e 20 73 65 72 76 65 20 6f 6c we can serve ol
1630: 64 65 72 20 63 6f 70 79 0a 09 09 09 72 65 63 68 der copy....rech
1640: 65 63 6b 20 3d 20 46 61 6c 73 65 0a 09 09 09 23 eck = False....#
1650: 20 66 69 6c 65 5f 73 74 61 74 20 6d 65 61 6e 73 file_stat means
1660: 20 66 69 6c 65 20 64 65 66 69 6e 69 74 65 6c 79 file definitely
1670: 20 65 78 69 73 74 73 0a 09 09 09 66 69 6c 65 5f exists....file_
1680: 73 74 61 74 20 3d 20 4e 6f 6e 65 0a 09 09 09 23 stat = None....#
1690: 20 72 65 71 75 65 73 74 65 64 5f 72 61 6e 67 65 requested_range
16a0: 73 20 68 6f 6c 64 73 20 64 61 74 61 20 61 62 6f s holds data abo
16b0: 75 74 20 61 6e 79 20 72 61 6e 67 65 20 72 65 71 ut any range req
16c0: 75 65 73 74 65 64 0a 09 09 09 72 65 71 75 65 73 uested....reques
16d0: 74 65 64 5f 72 61 6e 67 65 73 20 3d 20 4e 6f 6e ted_ranges = Non
16e0: 65 0a 09 09 09 23 20 72 65 63 6f 72 64 73 20 68 e....# records h
16f0: 6f 6c 64 73 20 64 61 74 61 20 66 72 6f 6d 20 69 olds data from i
1700: 6e 64 65 78 20 6c 6f 63 61 6c 6c 79 2c 20 73 68 ndex locally, sh
1710: 6f 75 6c 64 20 62 65 20 77 72 69 74 74 65 6e 20 ould be written
1720: 62 61 63 6b 20 75 70 6f 6e 20 73 75 63 63 65 73 back upon succes
1730: 73 66 75 6c 6c 20 63 6f 6d 70 6c 65 74 69 6f 6e sfull completion
1740: 0a 09 09 09 72 65 63 6f 72 64 20 3d 20 4e 6f 6e ....record = Non
1750: 65 0a 09 09 09 69 6e 66 6f 20 3d 20 27 43 68 65 e....info = 'Che
1760: 63 6b 69 6e 67 20 66 69 6c 65 3a 20 27 20 2b 20 cking file: ' +
1770: 73 65 6c 66 2e 70 61 74 68 0a 0a 09 09 09 70 72 self.path.....pr
1780: 6f 78 79 5f 69 67 6e 6f 72 65 64 20 3d 20 28 27 oxy_ignored = ('
1790: 41 63 63 65 70 74 27 2c 20 27 41 63 63 65 70 74 Accept', 'Accept
17a0: 2d 45 6e 63 6f 64 69 6e 67 27 2c 0a 09 09 09 09 -Encoding',.....
17b0: 27 43 61 63 68 65 2d 43 6f 6e 74 72 6f 6c 27 2c 'Cache-Control',
17c0: 20 27 43 6f 6e 6e 65 63 74 69 6f 6e 27 2c 0a 09 'Connection',..
17d0: 09 09 09 27 48 6f 73 74 27 2c 0a 09 09 09 09 27 ...'Host',.....'
17e0: 55 73 65 72 2d 41 67 65 6e 74 27 2c 0a 09 09 09 User-Agent',....
17f0: 09 27 56 69 61 27 2c 0a 09 09 09 09 27 58 2d 46 .'Via',.....'X-F
1800: 6f 72 77 61 72 64 65 64 2d 46 6f 72 27 2c 0a 09 orwarded-For',..
1810: 09 09 29 0a 0a 09 09 09 70 72 69 6e 74 28 27 43 ..).....print('C
1820: 6f 6d 6d 61 6e 64 3a 27 2c 20 73 65 6c 66 2e 63 ommand:', self.c
1830: 6f 6d 6d 61 6e 64 29 0a 0a 09 09 09 66 6f 72 20 ommand).....for
1840: 68 65 61 64 65 72 20 69 6e 20 73 65 6c 66 2e 68 header in self.h
1850: 65 61 64 65 72 73 3a 0a 09 09 09 09 69 66 20 68 eaders:.....if h
1860: 65 61 64 65 72 20 69 6e 20 70 72 6f 78 79 5f 69 eader in proxy_i
1870: 67 6e 6f 72 65 64 3a 0a 09 09 09 09 09 70 61 73 gnored:......pas
1880: 73 0a 09 09 09 09 65 6c 69 66 20 68 65 61 64 65 s.....elif heade
1890: 72 20 69 6e 20 28 27 52 61 6e 67 65 27 29 3a 0a r in ('Range'):.
18a0: 09 09 09 09 09 69 73 52 61 6e 67 65 20 3d 20 72 .....isRange = r
18b0: 65 2e 63 6f 6d 70 69 6c 65 28 27 62 79 74 65 73 e.compile('bytes
18c0: 3d 28 5c 64 2b 29 2d 28 5c 64 2b 29 27 29 2e 6d =(\d+)-(\d+)').m
18d0: 61 74 63 68 28 73 65 6c 66 2e 68 65 61 64 65 72 atch(self.header
18e0: 73 5b 68 65 61 64 65 72 5d 29 0a 09 09 09 09 09 s[header])......
18f0: 69 66 20 69 73 52 61 6e 67 65 3a 0a 09 09 09 09 if isRange:.....
1900: 09 09 72 65 71 75 65 73 74 65 64 5f 72 61 6e 67 ..requested_rang
1910: 65 73 20 3d 20 53 70 61 63 65 4d 61 70 28 7b 69 es = SpaceMap({i
1920: 6e 74 28 69 73 52 61 6e 67 65 2e 67 72 6f 75 70 nt(isRange.group
1930: 28 31 29 29 3a 20 69 6e 74 28 69 73 52 61 6e 67 (1)): int(isRang
1940: 65 2e 67 72 6f 75 70 28 32 29 29 20 2b 20 31 7d e.group(2)) + 1}
1950: 29 0a 09 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 )......else:....
1960: 09 09 09 72 65 74 75 72 6e 28 29 0a 09 09 09 09 ...return().....
1970: 65 6c 73 65 3a 0a 09 09 09 09 09 70 72 69 6e 74 else:......print
1980: 28 27 55 6e 6b 6e 6f 77 6e 20 68 65 61 64 65 72 ('Unknown header
1990: 20 2d 20 27 2c 20 68 65 61 64 65 72 2c 20 27 3a - ', header, ':
19a0: 20 27 2c 20 73 65 6c 66 2e 68 65 61 64 65 72 73 ', self.headers
19b0: 5b 68 65 61 64 65 72 5d 2c 20 73 65 70 3d 27 27 [header], sep=''
19c0: 29 0a 09 09 09 09 09 72 65 74 75 72 6e 28 29 0a )......return().
19d0: 09 09 09 09 70 72 69 6e 74 28 68 65 61 64 65 72 ....print(header
19e0: 2c 20 73 65 6c 66 2e 68 65 61 64 65 72 73 5b 68 , self.headers[h
19f0: 65 61 64 65 72 5d 29 0a 09 09 09 70 72 69 6e 74 eader])....print
1a00: 28 73 65 6c 66 2e 70 61 74 68 29 0a 0a 09 09 09 (self.path).....
1a10: 23 20 63 72 65 61 74 69 6e 67 20 65 6d 70 74 79 # creating empty
1a20: 20 70 6c 61 63 65 68 6f 6c 64 65 72 20 69 6e 20 placeholder in
1a30: 69 6e 64 65 78 0a 09 09 09 23 20 69 66 20 74 68 index....# if th
1a40: 65 72 65 27 73 20 6e 6f 20 73 70 61 63 65 20 6d ere's no space m
1a50: 61 70 20 61 6e 64 20 74 68 65 72 65 27 73 20 6e ap and there's n
1a60: 6f 20 66 69 6c 65 20 69 6e 20 72 65 61 6c 20 64 o file in real d
1a70: 69 72 65 63 74 6f 72 79 20 2d 20 77 65 20 68 61 irectory - we ha
1a80: 76 65 20 6e 6f 20 66 69 6c 65 0a 09 09 09 23 20 ve no file....#
1a90: 69 66 20 74 68 65 72 65 27 73 20 61 6e 20 65 6d if there's an em
1aa0: 70 74 79 20 73 70 61 63 65 20 6d 61 70 20 2d 20 pty space map -
1ab0: 66 69 6c 65 20 69 73 20 66 75 6c 6c 0a 09 09 09 file is full....
1ac0: 23 20 73 70 61 63 65 20 6d 61 70 20 67 65 6e 65 # space map gene
1ad0: 72 61 6c 6c 79 20 63 6f 76 65 72 73 20 65 76 65 rally covers eve
1ae0: 72 79 20 62 69 74 20 6f 66 20 66 69 6c 65 20 77 ry bit of file w
1af0: 65 20 64 6f 6e 27 74 20 70 6f 73 65 73 73 20 63 e don't posess c
1b00: 75 72 72 65 6e 74 6c 79 0a 09 09 09 69 66 20 6e urrently....if n
1b10: 6f 74 20 73 65 6c 66 2e 70 61 74 68 20 69 6e 20 ot self.path in
1b20: 69 6e 64 65 78 3a 0a 09 09 09 09 69 6e 66 6f 20 index:.....info
1b30: 2b 3d 20 27 5c 6e 54 68 69 73 20 6f 6e 65 20 69 += '\nThis one i
1b40: 73 20 6e 65 77 2e 27 0a 09 09 09 09 72 65 6c 6f s new.'.....relo
1b50: 61 64 20 3d 20 54 72 75 65 0a 09 09 09 09 72 65 ad = True.....re
1b60: 63 6f 72 64 20 3d 20 7b 27 5f 70 61 72 74 73 27 cord = {'_parts'
1b70: 3a 20 4e 6f 6e 65 7d 0a 09 09 09 65 6c 73 65 3a : None}....else:
1b80: 0a 09 09 09 09 72 65 63 6f 72 64 20 3d 20 69 6e .....record = in
1b90: 64 65 78 5b 73 65 6c 66 2e 70 61 74 68 5d 0a 09 dex[self.path]..
1ba0: 09 09 09 69 66 20 27 5f 70 61 72 74 73 27 20 69 ...if '_parts' i
1bb0: 6e 20 69 6e 64 65 78 5b 73 65 6c 66 2e 70 61 74 n index[self.pat
1bc0: 68 5d 3a 0a 09 09 09 09 09 70 72 69 6e 74 28 72 h]:......print(r
1bd0: 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d 29 ecord['_parts'])
1be0: 0a 09 09 09 09 09 69 66 20 69 6e 64 65 78 5b 73 ......if index[s
1bf0: 65 6c 66 2e 70 61 74 68 5d 5b 27 5f 70 61 72 74 elf.path]['_part
1c00: 73 27 5d 20 3d 3d 20 7b 30 3a 20 2d 31 7d 3a 0a s'] == {0: -1}:.
1c10: 09 09 09 09 09 09 69 6e 64 65 78 5b 73 65 6c 66 ......index[self
1c20: 2e 70 61 74 68 5d 5b 27 5f 70 61 72 74 73 27 5d .path]['_parts']
1c30: 20 3d 20 4e 6f 6e 65 0a 0a 09 09 09 23 20 63 72 = None.....# cr
1c40: 65 61 74 69 6e 67 20 66 69 6c 65 20 6e 61 6d 65 eating file name
1c50: 20 66 72 6f 6d 20 73 65 6c 66 2e 70 61 74 68 0a from self.path.
1c60: 09 09 09 66 69 6c 65 5f 6e 61 6d 65 20 3d 20 6f ...file_name = o
1c70: 70 74 69 6f 6e 73 2e 64 69 72 20 2b 20 6f 73 2e ptions.dir + os.
1c80: 73 65 70 20 2b 20 72 65 2e 63 6f 6d 70 69 6c 65 sep + re.compile
1c90: 28 27 25 32 30 27 29 2e 73 75 62 28 27 20 27 2c ('%20').sub(' ',
1ca0: 20 73 65 6c 66 2e 70 61 74 68 29 0a 09 09 09 23 self.path)....#
1cb0: 20 70 61 72 74 69 61 6c 20 66 69 6c 65 20 6f 72 partial file or
1cc0: 20 75 6e 66 69 6e 69 73 68 65 64 20 64 6f 77 6e unfinished down
1cd0: 6c 6f 61 64 0a 09 09 09 74 65 6d 70 5f 6e 61 6d load....temp_nam
1ce0: 65 20 3d 20 6f 70 74 69 6f 6e 73 2e 64 69 72 20 e = options.dir
1cf0: 2b 20 6f 73 2e 73 65 70 20 2b 20 27 2e 70 61 72 + os.sep + '.par
1d00: 74 73 27 20 2b 20 72 65 2e 63 6f 6d 70 69 6c 65 ts' + re.compile
1d10: 28 27 25 32 30 27 29 2e 73 75 62 28 27 20 27 2c ('%20').sub(' ',
1d20: 20 73 65 6c 66 2e 70 61 74 68 29 0a 0a 09 09 09 self.path).....
1d30: 23 20 66 6f 72 63 69 62 6c 79 20 63 68 65 63 6b # forcibly check
1d40: 69 6e 67 20 66 69 6c 65 20 69 66 20 6e 6f 20 66 ing file if no f
1d50: 69 6c 65 20 70 72 65 73 65 6e 74 0a 09 09 09 69 ile present....i
1d60: 66 20 6f 73 2e 61 63 63 65 73 73 28 66 69 6c 65 f os.access(file
1d70: 5f 6e 61 6d 65 2c 20 6f 73 2e 52 5f 4f 4b 29 3a _name, os.R_OK):
1d80: 0a 09 09 09 09 66 69 6c 65 5f 73 74 61 74 20 3d .....file_stat =
1d90: 20 6f 73 2e 73 74 61 74 28 66 69 6c 65 5f 6e 61 os.stat(file_na
1da0: 6d 65 29 0a 09 09 09 65 6c 69 66 20 27 5f 70 61 me)....elif '_pa
1db0: 72 74 73 27 20 69 6e 20 72 65 63 6f 72 64 20 61 rts' in record a
1dc0: 6e 64 20 6f 73 2e 61 63 63 65 73 73 28 74 65 6d nd os.access(tem
1dd0: 70 5f 6e 61 6d 65 2c 20 6f 73 2e 52 5f 4f 4b 29 p_name, os.R_OK)
1de0: 3a 0a 09 09 09 09 66 69 6c 65 5f 73 74 61 74 20 :.....file_stat
1df0: 3d 20 6f 73 2e 73 74 61 74 28 74 65 6d 70 5f 6e = os.stat(temp_n
1e00: 61 6d 65 29 0a 09 09 09 65 6c 69 66 20 6e 6f 74 ame)....elif not
1e10: 20 72 65 6c 6f 61 64 3a 0a 09 09 09 09 69 6e 66 reload:.....inf
1e20: 6f 20 2b 3d 20 27 5c 6e 46 69 6c 65 20 6e 6f 74 o += '\nFile not
1e30: 20 66 6f 75 6e 64 20 6f 72 20 69 6e 61 63 63 65 found or inacce
1e40: 73 73 69 62 6c 65 2e 27 0a 09 09 09 09 72 65 6c ssible.'.....rel
1e50: 6f 61 64 20 3d 20 54 72 75 65 0a 0a 09 09 09 23 oad = True.....#
1e60: 20 66 6f 72 63 69 62 6c 79 20 63 68 65 63 6b 69 forcibly checki
1e70: 6e 67 20 66 69 6c 65 20 69 66 20 66 69 6c 65 20 ng file if file
1e80: 73 69 7a 65 20 64 6f 65 73 6e 27 74 20 6d 61 74 size doesn't mat
1e90: 63 68 20 77 69 74 68 20 69 6e 64 65 78 20 64 61 ch with index da
1ea0: 74 61 0a 09 09 09 69 66 20 6e 6f 74 20 72 65 6c ta....if not rel
1eb0: 6f 61 64 3a 0a 09 09 09 09 69 66 20 27 5f 70 61 oad:.....if '_pa
1ec0: 72 74 73 27 20 69 6e 20 72 65 63 6f 72 64 20 61 rts' in record a
1ed0: 6e 64 20 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 nd record['_part
1ee0: 73 27 5d 20 3d 3d 20 53 70 61 63 65 4d 61 70 28 s'] == SpaceMap(
1ef0: 29 3a 0a 09 09 09 09 09 69 66 20 27 43 6f 6e 74 ):......if 'Cont
1f00: 65 6e 74 2d 4c 65 6e 67 74 68 27 20 69 6e 20 72 ent-Length' in r
1f10: 65 63 6f 72 64 20 61 6e 64 20 66 69 6c 65 5f 73 ecord and file_s
1f20: 74 61 74 20 61 6e 64 20 66 69 6c 65 5f 73 74 61 tat and file_sta
1f30: 74 2e 73 74 5f 73 69 7a 65 20 21 3d 20 69 6e 74 t.st_size != int
1f40: 28 72 65 63 6f 72 64 5b 27 43 6f 6e 74 65 6e 74 (record['Content
1f50: 2d 4c 65 6e 67 74 68 27 5d 29 3a 0a 09 09 09 09 -Length']):.....
1f60: 09 09 69 6e 66 6f 20 2b 3d 20 27 5c 6e 46 69 6c ..info += '\nFil
1f70: 65 20 73 69 7a 65 20 69 73 20 7b 7d 20 61 6e 64 e size is {} and
1f80: 20 73 74 6f 72 65 64 20 66 69 6c 65 20 73 69 7a stored file siz
1f90: 65 20 69 73 20 7b 7d 2e 27 2e 66 6f 72 6d 61 74 e is {}.'.format
1fa0: 28 66 69 6c 65 5f 73 74 61 74 2e 73 74 5f 73 69 (file_stat.st_si
1fb0: 7a 65 2c 20 72 65 63 6f 72 64 5b 27 43 6f 6e 74 ze, record['Cont
1fc0: 65 6e 74 2d 4c 65 6e 67 74 68 27 5d 29 0a 09 09 ent-Length'])...
1fd0: 09 09 09 09 72 65 6c 6f 61 64 20 3d 20 54 72 75 ....reload = Tru
1fe0: 65 0a 0a 09 09 09 23 20 66 6f 72 63 69 62 6c 79 e.....# forcibly
1ff0: 20 63 68 65 63 6b 69 6e 67 20 66 69 6c 65 20 69 checking file i
2000: 66 20 69 6e 64 65 78 20 68 6f 6c 64 73 20 50 72 f index holds Pr
2010: 61 67 6d 61 20 68 65 61 64 65 72 0a 09 09 09 69 agma header....i
2020: 66 20 6e 6f 74 20 72 65 6c 6f 61 64 20 61 6e 64 f not reload and
2030: 20 27 50 72 61 67 6d 61 27 20 69 6e 20 72 65 63 'Pragma' in rec
2040: 6f 72 64 20 61 6e 64 20 72 65 63 6f 72 64 5b 27 ord and record['
2050: 50 72 61 67 6d 61 27 5d 20 3d 3d 20 27 6e 6f 2d Pragma'] == 'no-
2060: 63 61 63 68 65 27 3a 0a 09 09 09 09 69 6e 66 6f cache':.....info
2070: 20 2b 3d 27 5c 6e 50 72 61 67 6d 61 20 6f 6e 3a +='\nPragma on:
2080: 20 72 65 63 68 65 63 6b 20 69 6d 6d 69 6e 65 6e recheck imminen
2090: 74 2e 27 0a 09 09 09 09 72 65 63 68 65 63 6b 20 t.'.....recheck
20a0: 3d 20 54 72 75 65 0a 0a 09 09 09 23 20 73 6b 69 = True.....# ski
20b0: 70 70 69 6e 67 20 66 69 6c 65 20 70 72 6f 63 65 pping file proce
20c0: 73 73 69 6e 67 20 69 66 20 74 68 65 72 65 27 73 ssing if there's
20d0: 20 6e 6f 20 6e 65 65 64 20 74 6f 20 72 65 63 68 no need to rech
20e0: 65 63 6b 20 69 74 20 61 6e 64 20 77 65 20 68 61 eck it and we ha
20f0: 76 65 20 63 68 65 63 6b 65 64 20 69 74 20 61 74 ve checked it at
2100: 20 6c 65 61 73 74 20 34 20 68 6f 75 72 73 20 61 least 4 hours a
2110: 67 6f 0a 09 09 09 69 66 20 6e 6f 74 20 72 65 63 go....if not rec
2120: 68 65 63 6b 20 61 6e 64 20 6e 6f 74 20 72 65 6c heck and not rel
2130: 6f 61 64 20 61 6e 64 20 27 5f 74 69 6d 65 27 20 oad and '_time'
2140: 69 6e 20 72 65 63 6f 72 64 20 61 6e 64 20 28 64 in record and (d
2150: 61 74 65 74 69 6d 65 2e 64 61 74 65 74 69 6d 65 atetime.datetime
2160: 2e 6e 6f 77 28 29 20 2d 20 64 61 74 65 74 69 6d .now() - datetim
2170: 65 2e 74 69 6d 65 64 65 6c 74 61 28 68 6f 75 72 e.timedelta(hour
2180: 73 20 3d 20 34 29 20 2d 20 72 65 63 6f 72 64 5b s = 4) - record[
2190: 27 5f 74 69 6d 65 27 5d 29 2e 64 61 79 73 20 3c '_time']).days <
21a0: 20 30 3a 0a 09 09 09 09 72 65 63 68 65 63 6b 20 0:.....recheck
21b0: 3d 20 54 72 75 65 0a 0a 09 09 09 70 72 69 6e 74 = True.....print
21c0: 28 69 6e 66 6f 29 0a 09 09 09 69 66 20 72 65 6c (info)....if rel
21d0: 6f 61 64 20 6f 72 20 72 65 63 68 65 63 6b 3a 0a oad or recheck:.
21e0: 0a 09 09 09 09 74 72 79 3a 0a 09 09 09 09 09 72 .....try:......r
21f0: 65 71 75 65 73 74 20 3d 20 6f 70 74 69 6f 6e 73 equest = options
2200: 2e 72 6f 6f 74 20 2b 20 73 65 6c 66 2e 70 61 74 .root + self.pat
2210: 68 0a 09 09 09 09 09 69 66 20 72 65 71 75 65 73 h......if reques
2220: 74 65 64 5f 72 61 6e 67 65 73 20 21 3d 20 4e 6f ted_ranges != No
2230: 6e 65 3a 0a 09 09 09 09 09 09 69 66 20 27 5f 70 ne:.......if '_p
2240: 61 72 74 73 27 20 69 6e 20 72 65 63 6f 72 64 20 arts' in record
2250: 61 6e 64 20 72 65 63 6f 72 64 5b 27 5f 70 61 72 and record['_par
2260: 74 73 27 5d 20 21 3d 20 4e 6f 6e 65 3a 0a 09 09 ts'] != None:...
2270: 09 09 09 09 09 6e 65 65 64 65 64 20 3d 20 72 65 .....needed = re
2280: 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d 20 26 cord['_parts'] &
2290: 20 72 65 71 75 65 73 74 65 64 5f 72 61 6e 67 65 requested_range
22a0: 73 0a 09 09 09 09 09 09 65 6c 73 65 3a 0a 09 09 s.......else:...
22b0: 09 09 09 09 09 6e 65 65 64 65 64 20 3d 20 72 65 .....needed = re
22c0: 71 75 65 73 74 65 64 5f 72 61 6e 67 65 73 0a 09 quested_ranges..
22d0: 09 09 09 09 09 72 61 6e 67 65 73 20 3d 20 28 29 .....ranges = ()
22e0: 0a 09 09 09 09 09 09 70 72 69 6e 74 28 27 52 65 .......print('Re
22f0: 71 75 65 73 74 69 6e 67 20 72 61 6e 67 65 73 3a questing ranges:
2300: 27 2c 20 72 61 6e 67 65 73 29 0a 09 09 09 09 09 ', ranges)......
2310: 09 70 72 69 6e 74 28 27 4e 6f 74 20 73 74 6f 72 .print('Not stor
2320: 65 64 20 72 61 6e 67 65 73 3a 27 2c 20 72 65 63 ed ranges:', rec
2330: 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d 29 0a 09 ord['_parts'])..
2340: 09 09 09 09 09 70 72 69 6e 74 28 27 52 65 71 75 .....print('Requ
2350: 65 73 74 65 64 20 72 61 6e 67 65 73 3a 27 2c 20 ested ranges:',
2360: 72 65 71 75 65 73 74 65 64 5f 72 61 6e 67 65 73 requested_ranges
2370: 29 0a 09 09 09 09 09 09 70 72 69 6e 74 28 27 4e ).......print('N
2380: 65 65 64 65 64 20 72 61 6e 67 65 73 3a 27 2c 20 eeded ranges:',
2390: 6e 65 65 64 65 64 29 0a 09 09 09 09 09 09 6e 65 needed).......ne
23a0: 65 64 65 64 2e 72 65 77 69 6e 64 28 29 0a 09 09 eded.rewind()...
23b0: 09 09 09 09 77 68 69 6c 65 20 54 72 75 65 3a 0a ....while True:.
23c0: 09 09 09 09 09 09 09 72 61 6e 67 65 20 3d 20 6e .......range = n
23d0: 65 65 64 65 64 2e 70 6f 70 28 29 0a 09 09 09 09 eeded.pop().....
23e0: 09 09 09 69 66 20 72 61 6e 67 65 5b 30 5d 20 3d ...if range[0] =
23f0: 3d 20 4e 6f 6e 65 3a 0a 09 09 09 09 09 09 09 09 = None:.........
2400: 62 72 65 61 6b 0a 09 09 09 09 09 09 09 72 61 6e break........ran
2410: 67 65 73 20 2b 3d 20 27 7b 7d 2d 7b 7d 27 2e 66 ges += '{}-{}'.f
2420: 6f 72 6d 61 74 28 72 61 6e 67 65 5b 30 5d 2c 20 ormat(range[0],
2430: 72 61 6e 67 65 5b 31 5d 20 2d 20 31 29 2c 0a 09 range[1] - 1),..
2440: 09 09 09 09 09 72 65 71 75 65 73 74 20 3d 20 75 .....request = u
2450: 72 6c 6c 69 62 2e 72 65 71 75 65 73 74 2e 52 65 rllib.request.Re
2460: 71 75 65 73 74 28 72 65 71 75 65 73 74 2c 20 68 quest(request, h
2470: 65 61 64 65 72 73 20 3d 20 7b 27 52 61 6e 67 65 eaders = {'Range
2480: 27 3a 20 27 62 79 74 65 73 3d 27 20 2b 20 27 2c ': 'bytes=' + ',
2490: 27 2e 6a 6f 69 6e 28 72 61 6e 67 65 73 29 7d 29 '.join(ranges)})
24a0: 0a 0a 09 09 09 09 09 77 69 74 68 20 75 72 6c 6c .......with urll
24b0: 69 62 2e 72 65 71 75 65 73 74 2e 75 72 6c 6f 70 ib.request.urlop
24c0: 65 6e 28 72 65 71 75 65 73 74 29 20 61 73 20 73 en(request) as s
24d0: 6f 75 72 63 65 3a 0a 09 09 09 09 09 09 6e 65 77 ource:.......new
24e0: 5f 72 65 63 6f 72 64 20 3d 20 7b 7d 0a 09 09 09 _record = {}....
24f0: 09 09 09 6e 65 77 5f 72 65 63 6f 72 64 5b 27 5f ...new_record['_
2500: 70 61 72 74 73 27 5d 20 3d 20 72 65 63 6f 72 64 parts'] = record
2510: 5b 27 5f 70 61 72 74 73 27 5d 0a 09 09 09 09 09 ['_parts']......
2520: 09 68 65 61 64 65 72 73 20 3d 20 73 6f 75 72 63 .headers = sourc
2530: 65 2e 69 6e 66 6f 28 29 0a 0a 09 09 09 09 09 09 e.info()........
2540: 23 20 73 74 72 69 70 70 69 6e 67 20 75 6e 6e 65 # stripping unne
2550: 65 64 65 64 20 68 65 61 64 65 72 73 20 28 58 58 eded headers (XX
2560: 58 20 6d 61 6b 65 20 74 68 69 73 20 69 6e 70 6c X make this inpl
2570: 61 63 65 3f 29 0a 09 09 09 09 09 09 66 6f 72 20 ace?).......for
2580: 68 65 61 64 65 72 20 69 6e 20 68 65 61 64 65 72 header in header
2590: 73 3a 0a 09 09 09 09 09 09 09 69 66 20 68 65 61 s:........if hea
25a0: 64 65 72 20 69 6e 20 64 65 73 63 5f 66 69 65 6c der in desc_fiel
25b0: 64 73 3a 0a 09 09 09 09 09 09 09 09 23 69 66 20 ds:.........#if
25c0: 68 65 61 64 65 72 20 3d 3d 20 27 50 72 61 67 6d header == 'Pragm
25d0: 61 27 20 61 6e 64 20 68 65 61 64 65 72 73 5b 68 a' and headers[h
25e0: 65 61 64 65 72 5d 20 21 3d 20 27 6e 6f 2d 63 61 eader] != 'no-ca
25f0: 63 68 65 27 3a 0a 09 09 09 09 09 09 09 09 70 72 che':.........pr
2600: 69 6e 74 28 68 65 61 64 65 72 2c 20 68 65 61 64 int(header, head
2610: 65 72 73 5b 68 65 61 64 65 72 5d 29 0a 09 09 09 ers[header])....
2620: 09 09 09 09 09 69 66 20 68 65 61 64 65 72 20 3d .....if header =
2630: 3d 20 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 = 'Content-Lengt
2640: 68 27 3a 0a 09 09 09 09 09 09 09 09 09 69 66 20 h':..........if
2650: 27 43 6f 6e 74 65 6e 74 2d 52 61 6e 67 65 27 20 'Content-Range'
2660: 6e 6f 74 20 69 6e 20 68 65 61 64 65 72 73 3a 0a not in headers:.
2670: 09 09 09 09 09 09 09 09 09 09 6e 65 77 5f 72 65 ..........new_re
2680: 63 6f 72 64 5b 68 65 61 64 65 72 5d 20 3d 20 68 cord[header] = h
2690: 65 61 64 65 72 73 5b 68 65 61 64 65 72 5d 0a 09 eaders[header]..
26a0: 09 09 09 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 .......else:....
26b0: 09 09 09 09 09 09 6e 65 77 5f 72 65 63 6f 72 64 ......new_record
26c0: 5b 68 65 61 64 65 72 5d 20 3d 20 68 65 61 64 65 [header] = heade
26d0: 72 73 5b 68 65 61 64 65 72 5d 0a 09 09 09 09 09 rs[header]......
26e0: 09 09 65 6c 69 66 20 68 65 61 64 65 72 20 3d 3d ..elif header ==
26f0: 20 27 43 6f 6e 74 65 6e 74 2d 52 61 6e 67 65 27 'Content-Range'
2700: 3a 0a 09 09 09 09 09 09 09 09 72 61 6e 67 65 20 :.........range
2710: 3d 20 72 65 2e 63 6f 6d 70 69 6c 65 28 27 5e 62 = re.compile('^b
2720: 79 74 65 73 20 28 5c 64 2b 29 2d 28 5c 64 2b 29 ytes (\d+)-(\d+)
2730: 2f 28 5c 64 2b 29 24 27 29 2e 6d 61 74 63 68 28 /(\d+)$').match(
2740: 68 65 61 64 65 72 73 5b 68 65 61 64 65 72 5d 29 headers[header])
2750: 0a 09 09 09 09 09 09 09 09 69 66 20 72 61 6e 67 .........if rang
2760: 65 3a 0a 09 09 09 09 09 09 09 09 09 6e 65 77 5f e:..........new_
2770: 72 65 63 6f 72 64 5b 27 43 6f 6e 74 65 6e 74 2d record['Content-
2780: 4c 65 6e 67 74 68 27 5d 20 3d 20 72 61 6e 67 65 Length'] = range
2790: 2e 67 72 6f 75 70 28 33 29 0a 09 09 09 09 09 09 .group(3).......
27a0: 09 09 65 6c 73 65 3a 09 0a 09 09 09 09 09 09 09 ..else:.........
27b0: 09 09 61 73 73 65 72 74 20 46 61 6c 73 65 2c 20 ..assert False,
27c0: 27 43 6f 6e 74 65 6e 74 2d 52 61 6e 67 65 20 75 'Content-Range u
27d0: 6e 72 65 63 6f 67 6e 69 7a 65 64 2e 27 0a 09 09 nrecognized.'...
27e0: 09 09 09 09 09 65 6c 69 66 20 6e 6f 74 20 68 65 .....elif not he
27f0: 61 64 65 72 20 69 6e 20 69 67 6e 6f 72 65 5f 66 ader in ignore_f
2800: 69 65 6c 64 73 3a 0a 09 09 09 09 09 09 09 09 70 ields:.........p
2810: 72 69 6e 74 28 27 55 6e 64 65 66 69 6e 65 64 20 rint('Undefined
2820: 68 65 61 64 65 72 20 22 27 2c 20 68 65 61 64 65 header "', heade
2830: 72 2c 20 27 22 3a 20 27 2c 20 68 65 61 64 65 72 r, '": ', header
2840: 73 5b 68 65 61 64 65 72 5d 2c 20 73 65 70 3d 27 s[header], sep='
2850: 27 29 0a 0a 09 09 09 09 09 09 69 66 20 6e 65 77 ')........if new
2860: 5f 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 _record['_parts'
2870: 5d 20 3d 3d 20 4e 6f 6e 65 3a 0a 09 09 09 09 09 ] == None:......
2880: 09 09 6e 65 77 5f 72 65 63 6f 72 64 5b 27 5f 70 ..new_record['_p
2890: 61 72 74 73 27 5d 20 3d 20 53 70 61 63 65 4d 61 arts'] = SpaceMa
28a0: 70 28 7b 30 3a 20 69 6e 74 28 6e 65 77 5f 72 65 p({0: int(new_re
28b0: 63 6f 72 64 5b 27 43 6f 6e 74 65 6e 74 2d 4c 65 cord['Content-Le
28c0: 6e 67 74 68 27 5d 29 7d 29 0a 09 09 09 09 09 09 ngth'])}).......
28d0: 70 72 69 6e 74 28 6e 65 77 5f 72 65 63 6f 72 64 print(new_record
28e0: 29 0a 0a 09 09 09 09 09 09 23 20 63 6f 6d 70 61 )........# compa
28f0: 72 69 6e 67 20 68 65 61 64 65 72 73 20 77 69 74 ring headers wit
2900: 68 20 64 61 74 61 20 66 6f 75 6e 64 20 69 6e 20 h data found in
2910: 69 6e 64 65 78 0a 09 09 09 09 09 09 23 20 69 66 index.......# if
2920: 20 61 6e 79 20 68 65 61 64 65 72 20 68 61 73 20 any header has
2930: 63 68 61 6e 67 65 64 20 28 65 78 63 65 70 74 20 changed (except
2940: 50 72 61 67 6d 61 29 20 66 69 6c 65 20 69 73 20 Pragma) file is
2950: 66 75 6c 6c 79 20 64 6f 77 6e 6c 6f 61 64 65 64 fully downloaded
2960: 0a 09 09 09 09 09 09 23 20 73 61 6d 65 20 69 66 .......# same if
2970: 20 77 65 20 67 65 74 20 6d 6f 72 65 20 6f 72 20 we get more or
2980: 6c 65 73 73 20 68 65 61 64 65 72 73 0a 09 09 09 less headers....
2990: 09 09 09 6f 6c 64 5f 6b 65 79 73 20 3d 20 73 65 ...old_keys = se
29a0: 74 28 72 65 63 6f 72 64 2e 6b 65 79 73 28 29 29 t(record.keys())
29b0: 0a 09 09 09 09 09 09 6f 6c 64 5f 6b 65 79 73 2e .......old_keys.
29c0: 64 69 73 63 61 72 64 28 27 5f 74 69 6d 65 27 29 discard('_time')
29d0: 0a 09 09 09 09 09 09 6f 6c 64 5f 6b 65 79 73 2e .......old_keys.
29e0: 64 69 73 63 61 72 64 28 27 50 72 61 67 6d 61 27 discard('Pragma'
29f0: 29 0a 09 09 09 09 09 09 6d 6f 72 65 5f 6b 65 79 ).......more_key
2a00: 73 20 3d 20 73 65 74 28 6e 65 77 5f 72 65 63 6f s = set(new_reco
2a10: 72 64 2e 6b 65 79 73 28 29 29 20 2d 20 6f 6c 64 rd.keys()) - old
2a20: 5f 6b 65 79 73 0a 09 09 09 09 09 09 6d 6f 72 65 _keys.......more
2a30: 5f 6b 65 79 73 2e 64 69 73 63 61 72 64 28 27 50 _keys.discard('P
2a40: 72 61 67 6d 61 27 29 0a 09 09 09 09 09 09 6c 65 ragma').......le
2a50: 73 73 5f 6b 65 79 73 20 3d 20 6f 6c 64 5f 6b 65 ss_keys = old_ke
2a60: 79 73 20 2d 20 73 65 74 28 6e 65 77 5f 72 65 63 ys - set(new_rec
2a70: 6f 72 64 2e 6b 65 79 73 28 29 29 0a 09 09 09 09 ord.keys()).....
2a80: 09 09 69 66 20 6c 65 6e 28 6d 6f 72 65 5f 6b 65 ..if len(more_ke
2a90: 79 73 29 20 3e 20 30 3a 0a 09 09 09 09 09 09 09 ys) > 0:........
2aa0: 69 66 20 6e 6f 74 20 6c 65 6e 28 6f 6c 64 5f 6b if not len(old_k
2ab0: 65 79 73 29 20 3d 3d 20 30 3a 0a 09 09 09 09 09 eys) == 0:......
2ac0: 09 09 09 70 72 69 6e 74 28 27 4d 6f 72 65 20 68 ...print('More h
2ad0: 65 61 64 65 72 73 20 61 70 70 65 61 72 3a 27 2c eaders appear:',
2ae0: 20 6d 6f 72 65 5f 6b 65 79 73 29 0a 09 09 09 09 more_keys).....
2af0: 09 09 09 72 65 6c 6f 61 64 20 3d 20 54 72 75 65 ...reload = True
2b00: 0a 09 09 09 09 09 09 65 6c 69 66 20 6c 65 6e 28 .......elif len(
2b10: 6c 65 73 73 5f 6b 65 79 73 29 20 3e 20 30 3a 0a less_keys) > 0:.
2b20: 09 09 09 09 09 09 09 70 72 69 6e 74 28 27 4c 65 .......print('Le
2b30: 73 73 20 68 65 61 64 65 72 73 20 61 70 70 65 61 ss headers appea
2b40: 72 3a 27 2c 20 6c 65 73 73 5f 6b 65 79 73 29 0a r:', less_keys).
2b50: 09 09 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 ......else:.....
2b60: 09 09 09 66 6f 72 20 6b 65 79 20 69 6e 20 72 65 ...for key in re
2b70: 63 6f 72 64 2e 6b 65 79 73 28 29 3a 0a 09 09 09 cord.keys():....
2b80: 09 09 09 09 09 69 66 20 6b 65 79 5b 30 5d 20 21 .....if key[0] !
2b90: 3d 20 27 5f 27 20 61 6e 64 20 6b 65 79 20 21 3d = '_' and key !=
2ba0: 20 27 50 72 61 67 6d 61 27 20 61 6e 64 20 6e 6f 'Pragma' and no
2bb0: 74 20 72 65 63 6f 72 64 5b 6b 65 79 5d 20 3d 3d t record[key] ==
2bc0: 20 6e 65 77 5f 72 65 63 6f 72 64 5b 6b 65 79 5d new_record[key]
2bd0: 3a 0a 09 09 09 09 09 09 09 09 09 70 72 69 6e 74 :..........print
2be0: 28 27 48 65 61 64 65 72 20 22 27 2c 20 6b 65 79 ('Header "', key
2bf0: 2c 20 27 22 20 63 68 61 6e 67 65 64 20 66 72 6f , '" changed fro
2c00: 6d 20 5b 27 2c 20 72 65 63 6f 72 64 5b 6b 65 79 m [', record[key
2c10: 5d 2c 20 27 5d 20 74 6f 20 5b 27 2c 20 6e 65 77 ], '] to [', new
2c20: 5f 72 65 63 6f 72 64 5b 6b 65 79 5d 2c 20 27 5d _record[key], ']
2c30: 27 2c 20 73 65 70 3d 27 27 29 0a 09 09 09 09 09 ', sep='')......
2c40: 09 09 09 09 72 65 6c 6f 61 64 20 3d 20 54 72 75 ....reload = Tru
2c50: 65 0a 0a 09 09 09 09 09 09 69 66 20 72 65 6c 6f e........if relo
2c60: 61 64 3a 0a 09 09 09 09 09 09 09 70 72 69 6e 74 ad:........print
2c70: 28 27 52 65 6c 6f 61 64 69 6e 67 2e 27 29 0a 09 ('Reloading.')..
2c80: 09 09 09 09 09 09 69 66 20 6f 73 2e 61 63 63 65 ......if os.acce
2c90: 73 73 28 74 65 6d 70 5f 6e 61 6d 65 2c 20 6f 73 ss(temp_name, os
2ca0: 2e 52 5f 4f 4b 29 3a 0a 09 09 09 09 09 09 09 09 .R_OK):.........
2cb0: 6f 73 2e 75 6e 6c 69 6e 6b 28 74 65 6d 70 5f 6e os.unlink(temp_n
2cc0: 61 6d 65 29 0a 09 09 09 09 09 09 09 69 66 20 6f ame)........if o
2cd0: 73 2e 61 63 63 65 73 73 28 66 69 6c 65 5f 6e 61 s.access(file_na
2ce0: 6d 65 2c 20 6f 73 2e 52 5f 4f 4b 29 3a 0a 09 09 me, os.R_OK):...
2cf0: 09 09 09 09 09 09 6f 73 2e 75 6e 6c 69 6e 6b 28 ......os.unlink(
2d00: 66 69 6c 65 5f 6e 61 6d 65 29 0a 0a 09 09 09 09 file_name)......
2d10: 09 09 23 20 64 6f 77 6e 6c 6f 61 64 69 6e 67 20 ..# downloading
2d20: 66 69 6c 65 20 6f 72 20 73 65 67 6d 65 6e 74 0a file or segment.
2d30: 09 09 09 09 09 09 69 66 20 27 43 6f 6e 74 65 6e ......if 'Conten
2d40: 74 2d 4c 65 6e 67 74 68 27 20 69 6e 20 6e 65 77 t-Length' in new
2d50: 5f 72 65 63 6f 72 64 3a 0a 09 09 09 09 09 09 09 _record:........
2d60: 69 66 20 72 65 71 75 65 73 74 65 64 5f 72 61 6e if requested_ran
2d70: 67 65 73 20 3d 3d 20 4e 6f 6e 65 3a 0a 09 09 09 ges == None:....
2d80: 09 09 09 09 09 72 65 71 75 65 73 74 65 64 5f 72 .....requested_r
2d90: 61 6e 67 65 73 20 3d 20 6e 65 77 5f 72 65 63 6f anges = new_reco
2da0: 72 64 5b 27 5f 70 61 72 74 73 27 5d 0a 09 09 09 rd['_parts']....
2db0: 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 ....else:.......
2dc0: 09 09 69 66 20 6c 65 6e 28 72 65 71 75 65 73 74 ..if len(request
2dd0: 65 64 5f 72 61 6e 67 65 73 29 20 3e 20 31 3a 0a ed_ranges) > 1:.
2de0: 09 09 09 09 09 09 09 09 09 70 72 69 6e 74 28 22 .........print("
2df0: 4d 75 6c 74 69 70 61 72 74 20 72 65 71 75 65 73 Multipart reques
2e00: 74 73 20 63 75 72 72 65 6e 74 6c 79 20 6e 6f 74 ts currently not
2e10: 20 73 75 70 70 6f 72 74 65 64 2e 22 29 0a 09 09 supported.")...
2e20: 09 09 09 09 09 09 09 61 73 73 65 72 74 20 46 61 .......assert Fa
2e30: 6c 73 65 2c 20 27 53 6b 69 70 20 74 68 69 73 20 lse, 'Skip this
2e40: 6f 6e 65 20 66 6f 72 20 6e 6f 77 2e 27 0a 09 09 one for now.'...
2e50: 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 ....else:.......
2e60: 09 61 73 73 65 72 74 20 46 61 6c 73 65 2c 20 27 .assert False, '
2e70: 4e 6f 20 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 No Content-Lengt
2e80: 68 20 6f 72 20 43 6f 6e 74 65 6e 74 2d 52 61 6e h or Content-Ran
2e90: 67 65 20 68 65 61 64 65 72 2e 27 0a 0a 09 09 09 ge header.'.....
2ea0: 09 09 09 69 66 20 72 65 6c 6f 61 64 3a 0a 09 09 ...if reload:...
2eb0: 09 09 09 09 09 6e 65 77 5f 72 65 63 6f 72 64 5b .....new_record[
2ec0: 27 5f 74 69 6d 65 27 5d 20 3d 20 64 61 74 65 74 '_time'] = datet
2ed0: 69 6d 65 2e 64 61 74 65 74 69 6d 65 2e 6e 6f 77 ime.datetime.now
2ee0: 28 29 0a 09 09 09 09 09 09 09 69 66 20 73 65 6c ()........if sel
2ef0: 66 2e 63 6f 6d 6d 61 6e 64 20 6e 6f 74 20 69 6e f.command not in
2f00: 20 28 27 48 45 41 44 27 29 3a 0a 09 09 09 09 09 ('HEAD'):......
2f10: 09 09 09 23 20 66 69 6c 65 20 69 73 20 63 72 65 ...# file is cre
2f20: 61 74 65 64 20 61 74 20 74 65 6d 70 6f 72 61 72 ated at temporar
2f30: 79 20 6c 6f 63 61 74 69 6f 6e 20 61 6e 64 20 6d y location and m
2f40: 6f 76 65 64 20 69 6e 20 70 6c 61 63 65 20 6f 6e oved in place on
2f50: 6c 79 20 77 68 65 6e 20 64 6f 77 6e 6c 6f 61 64 ly when download
2f60: 20 63 6f 6d 70 6c 65 74 65 73 0a 09 09 09 09 09 completes......
2f70: 09 09 09 69 66 20 6e 6f 74 20 6f 73 2e 61 63 63 ...if not os.acc
2f80: 65 73 73 28 74 65 6d 70 5f 6e 61 6d 65 2c 20 6f ess(temp_name, o
2f90: 73 2e 52 5f 4f 4b 29 3a 0a 09 09 09 09 09 09 09 s.R_OK):........
2fa0: 09 09 65 6d 70 74 79 5f 6e 61 6d 65 20 3d 20 6f ..empty_name = o
2fb0: 70 74 69 6f 6e 73 2e 64 69 72 20 2b 20 6f 73 2e ptions.dir + os.
2fc0: 73 65 70 20 2b 20 27 2e 74 6d 70 27 0a 09 09 09 sep + '.tmp'....
2fd0: 09 09 09 09 09 09 77 69 74 68 20 6f 70 65 6e 28 ......with open(
2fe0: 65 6d 70 74 79 5f 6e 61 6d 65 2c 20 27 77 2b 62 empty_name, 'w+b
2ff0: 27 29 20 61 73 20 73 6f 6d 65 5f 66 69 6c 65 3a ') as some_file:
3000: 0a 09 09 09 09 09 09 09 09 09 09 70 61 73 73 0a ...........pass.
3010: 09 09 09 09 09 09 09 09 09 6f 73 2e 72 65 6e 61 .........os.rena
3020: 6d 65 73 28 65 6d 70 74 79 5f 6e 61 6d 65 2c 20 mes(empty_name,
3030: 74 65 6d 70 5f 6e 61 6d 65 29 0a 09 09 09 09 09 temp_name)......
3040: 09 09 09 74 65 6d 70 5f 66 69 6c 65 20 3d 20 6f ...temp_file = o
3050: 70 65 6e 28 74 65 6d 70 5f 6e 61 6d 65 2c 20 27 pen(temp_name, '
3060: 72 2b 62 27 29 0a 09 09 09 09 09 09 09 09 72 65 r+b').........re
3070: 71 75 65 73 74 65 64 5f 72 61 6e 67 65 73 2e 72 quested_ranges.r
3080: 65 77 69 6e 64 28 29 0a 09 09 09 09 09 09 09 09 ewind().........
3090: 77 68 69 6c 65 20 54 72 75 65 3a 0a 09 09 09 09 while True:.....
30a0: 09 09 09 09 09 28 73 74 61 72 74 2c 20 65 6e 64 .....(start, end
30b0: 29 20 3d 20 72 65 71 75 65 73 74 65 64 5f 72 61 ) = requested_ra
30c0: 6e 67 65 73 2e 70 6f 70 28 29 0a 09 09 09 09 09 nges.pop()......
30d0: 09 09 09 09 69 66 20 73 74 61 72 74 20 3d 3d 20 ....if start ==
30e0: 4e 6f 6e 65 3a 0a 09 09 09 09 09 09 09 09 09 09 None:...........
30f0: 62 72 65 61 6b 0a 09 09 09 09 09 09 09 09 09 73 break..........s
3100: 74 72 65 61 6d 5f 6c 61 73 74 20 3d 20 73 74 61 tream_last = sta
3110: 72 74 0a 09 09 09 09 09 09 09 09 09 6f 6c 64 5f rt..........old_
3120: 72 65 63 6f 72 64 20 3d 20 6e 65 77 5f 72 65 63 record = new_rec
3130: 6f 72 64 0a 09 09 09 09 09 09 09 09 09 69 66 20 ord..........if
3140: 65 6e 64 20 2d 20 73 74 61 72 74 20 3c 20 62 6c end - start < bl
3150: 6f 63 6b 5f 73 69 7a 65 3a 0a 09 09 09 09 09 09 ock_size:.......
3160: 09 09 09 09 72 65 71 5f 62 6c 6f 63 6b 5f 73 69 ....req_block_si
3170: 7a 65 20 3d 20 65 6e 64 20 2d 20 73 74 61 72 74 ze = end - start
3180: 0a 09 09 09 09 09 09 09 09 09 65 6c 73 65 3a 0a ..........else:.
3190: 09 09 09 09 09 09 09 09 09 09 72 65 71 5f 62 6c ..........req_bl
31a0: 6f 63 6b 5f 73 69 7a 65 20 3d 20 62 6c 6f 63 6b ock_size = block
31b0: 5f 73 69 7a 65 0a 09 09 09 09 09 09 09 09 09 62 _size..........b
31c0: 75 66 66 65 72 20 3d 20 73 6f 75 72 63 65 2e 72 uffer = source.r
31d0: 65 61 64 28 72 65 71 5f 62 6c 6f 63 6b 5f 73 69 ead(req_block_si
31e0: 7a 65 29 0a 09 09 09 09 09 09 09 09 09 70 72 69 ze)..........pri
31f0: 6e 74 28 62 75 66 66 65 72 29 0a 09 09 09 09 09 nt(buffer)......
3200: 09 09 09 09 6c 65 6e 67 74 68 20 3d 20 6c 65 6e ....length = len
3210: 28 62 75 66 66 65 72 29 0a 09 09 09 09 09 09 09 (buffer)........
3220: 09 09 77 68 69 6c 65 20 6c 65 6e 67 74 68 20 3e ..while length >
3230: 20 30 20 61 6e 64 20 73 74 72 65 61 6d 5f 6c 61 0 and stream_la
3240: 73 74 20 3c 20 65 6e 64 3a 0a 09 09 09 09 09 09 st < end:.......
3250: 09 09 09 09 73 74 72 65 61 6d 5f 70 6f 73 20 3d ....stream_pos =
3260: 20 73 74 72 65 61 6d 5f 6c 61 73 74 20 2b 20 6c stream_last + l
3270: 65 6e 67 74 68 0a 09 09 09 09 09 09 09 09 09 09 ength...........
3280: 61 73 73 65 72 74 20 6e 6f 74 20 73 74 72 65 61 assert not strea
3290: 6d 5f 70 6f 73 20 3e 20 65 6e 64 2c 20 27 52 65 m_pos > end, 'Re
32a0: 63 65 69 76 65 64 20 6d 6f 72 65 20 64 61 74 61 ceived more data
32b0: 20 74 68 65 6e 20 72 65 71 75 65 73 74 65 64 3a then requested:
32c0: 20 70 6f 73 3a 7b 7d 20 73 74 61 72 74 3a 7b 7d pos:{} start:{}
32d0: 20 65 6e 64 3a 7b 7d 2e 27 2e 66 6f 72 6d 61 74 end:{}.'.format
32e0: 28 73 74 72 65 61 6d 5f 70 6f 73 2c 20 73 74 61 (stream_pos, sta
32f0: 72 74 2c 20 65 6e 64 29 0a 09 09 09 09 09 09 09 rt, end)........
3300: 09 09 09 70 72 69 6e 74 28 27 57 72 69 74 69 6e ...print('Writin
3310: 67 27 2c 20 6c 65 6e 67 74 68 2c 20 27 62 79 74 g', length, 'byt
3320: 65 73 20 74 6f 20 74 65 6d 70 20 66 69 6c 65 20 es to temp file
3330: 61 74 20 70 6f 73 69 74 69 6f 6e 27 2c 20 73 74 at position', st
3340: 72 65 61 6d 5f 6c 61 73 74 29 0a 09 09 09 09 09 ream_last)......
3350: 09 09 09 09 09 74 65 6d 70 5f 66 69 6c 65 2e 73 .....temp_file.s
3360: 65 65 6b 28 73 74 72 65 61 6d 5f 6c 61 73 74 29 eek(stream_last)
3370: 0a 09 09 09 09 09 09 09 09 09 09 74 65 6d 70 5f ...........temp_
3380: 66 69 6c 65 2e 77 72 69 74 65 28 62 75 66 66 65 file.write(buffe
3390: 72 29 0a 09 09 09 09 09 09 09 09 09 09 6e 65 77 r)...........new
33a0: 5f 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 _record['_parts'
33b0: 5d 20 3d 20 6e 65 77 5f 72 65 63 6f 72 64 5b 27 ] = new_record['
33c0: 5f 70 61 72 74 73 27 5d 20 2d 20 53 70 61 63 65 _parts'] - Space
33d0: 4d 61 70 28 7b 73 74 72 65 61 6d 5f 6c 61 73 74 Map({stream_last
33e0: 3a 20 73 74 72 65 61 6d 5f 70 6f 73 7d 29 0a 09 : stream_pos})..
33f0: 09 09 09 09 09 09 09 09 09 70 72 69 6e 74 28 6e .........print(n
3400: 65 77 5f 72 65 63 6f 72 64 29 0a 09 09 09 09 09 ew_record)......
3410: 09 09 09 09 09 69 6e 64 65 78 5b 73 65 6c 66 2e .....index[self.
3420: 70 61 74 68 5d 20 3d 20 6f 6c 64 5f 72 65 63 6f path] = old_reco
3430: 72 64 0a 09 09 09 09 09 09 09 09 09 09 69 6e 64 rd...........ind
3440: 65 78 2e 73 79 6e 63 28 29 0a 09 09 09 09 09 09 ex.sync().......
3450: 09 09 09 09 6f 6c 64 5f 72 65 63 6f 72 64 20 3d ....old_record =
3460: 20 6e 65 77 5f 72 65 63 6f 72 64 0a 09 09 09 09 new_record.....
3470: 09 09 09 09 09 09 73 74 72 65 61 6d 5f 6c 61 73 ......stream_las
3480: 74 20 3d 20 73 74 72 65 61 6d 5f 70 6f 73 0a 09 t = stream_pos..
3490: 09 09 09 09 09 09 09 09 09 69 66 20 65 6e 64 20 .........if end
34a0: 2d 20 73 74 72 65 61 6d 5f 6c 61 73 74 20 3c 20 - stream_last <
34b0: 62 6c 6f 63 6b 5f 73 69 7a 65 3a 0a 09 09 09 09 block_size:.....
34c0: 09 09 09 09 09 09 09 72 65 71 5f 62 6c 6f 63 6b .......req_block
34d0: 5f 73 69 7a 65 20 3d 20 65 6e 64 20 2d 20 73 74 _size = end - st
34e0: 72 65 61 6d 5f 6c 61 73 74 0a 09 09 09 09 09 09 ream_last.......
34f0: 09 09 09 09 62 75 66 66 65 72 20 3d 20 73 6f 75 ....buffer = sou
3500: 72 63 65 2e 72 65 61 64 28 72 65 71 5f 62 6c 6f rce.read(req_blo
3510: 63 6b 5f 73 69 7a 65 29 0a 09 09 09 09 09 09 09 ck_size)........
3520: 09 09 09 70 72 69 6e 74 28 62 75 66 66 65 72 29 ...print(buffer)
3530: 0a 09 09 09 09 09 09 09 09 09 09 6c 65 6e 67 74 ...........lengt
3540: 68 20 3d 20 6c 65 6e 28 62 75 66 66 65 72 29 0a h = len(buffer).
3550: 09 09 09 09 09 09 09 09 70 72 69 6e 74 28 6e 65 ........print(ne
3560: 77 5f 72 65 63 6f 72 64 29 0a 09 09 09 09 09 09 w_record).......
3570: 09 09 69 6e 64 65 78 5b 73 65 6c 66 2e 70 61 74 ..index[self.pat
3580: 68 5d 20 3d 20 6e 65 77 5f 72 65 63 6f 72 64 0a h] = new_record.
3590: 09 09 09 09 09 09 09 09 69 6e 64 65 78 2e 73 79 ........index.sy
35a0: 6e 63 28 29 0a 09 09 09 09 09 09 09 09 74 65 6d nc().........tem
35b0: 70 5f 66 69 6c 65 2e 63 6c 6f 73 65 28 29 0a 0a p_file.close()..
35c0: 09 09 09 09 09 09 09 09 23 20 6d 6f 76 69 6e 67 ........# moving
35d0: 20 64 6f 77 6e 6c 6f 61 64 65 64 20 64 61 74 61 downloaded data
35e0: 20 74 6f 20 72 65 61 6c 20 66 69 6c 65 0a 09 09 to real file...
35f0: 09 09 09 09 09 09 69 66 20 6e 65 77 5f 72 65 63 ......if new_rec
3600: 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d 20 3d 3d ord['_parts'] ==
3610: 20 53 70 61 63 65 4d 61 70 28 29 3a 0a 09 09 09 SpaceMap():....
3620: 09 09 09 09 09 09 69 66 20 74 79 70 65 28 72 65 ......if type(re
3630: 71 75 65 73 74 29 20 21 3d 20 73 74 72 3a 0a 09 quest) != str:..
3640: 09 09 09 09 09 09 09 09 09 23 20 6a 75 73 74 20 .........# just
3650: 6d 6f 76 69 6e 67 0a 09 09 09 09 09 09 09 09 09 moving..........
3660: 09 23 20 64 72 6f 70 20 6f 6c 64 20 64 69 72 73 .# drop old dirs
3670: 20 58 58 58 0a 09 09 09 09 09 09 09 09 09 09 70 XXX...........p
3680: 72 69 6e 74 28 27 4d 6f 76 69 6e 67 20 74 65 6d rint('Moving tem
3690: 70 6f 72 61 72 79 20 66 69 6c 65 20 74 6f 20 6e porary file to n
36a0: 65 77 20 64 65 73 74 69 6e 61 74 69 6f 6e 2e 27 ew destination.'
36b0: 29 0a 09 09 09 09 09 09 09 09 09 09 6f 73 2e 72 )...........os.r
36c0: 65 6e 61 6d 65 73 28 74 65 6d 70 5f 6e 61 6d 65 enames(temp_name
36d0: 2c 20 66 69 6c 65 5f 6e 61 6d 65 29 0a 0a 09 09 , file_name)....
36e0: 09 09 65 78 63 65 70 74 20 75 72 6c 6c 69 62 2e ..except urllib.
36f0: 65 72 72 6f 72 2e 48 54 54 50 45 72 72 6f 72 20 error.HTTPError
3700: 61 73 20 65 72 72 6f 72 3a 0a 09 09 09 09 09 23 as error:......#
3710: 20 69 6e 20 63 61 73 65 20 6f 66 20 65 72 72 6f in case of erro
3720: 72 20 77 65 20 64 6f 6e 27 74 20 6e 65 65 64 20 r we don't need
3730: 74 6f 20 64 6f 20 61 6e 79 74 68 69 6e 67 20 61 to do anything a
3740: 63 74 75 61 6c 6c 79 2c 0a 09 09 09 09 09 23 20 ctually,......#
3750: 69 66 20 66 69 6c 65 20 64 6f 77 6e 6c 6f 61 64 if file download
3760: 20 73 74 61 6c 6c 73 20 6f 72 20 66 61 69 6c 73 stalls or fails
3770: 20 74 68 65 20 66 69 6c 65 20 77 6f 75 6c 64 20 the file would
3780: 6e 6f 74 20 62 65 20 6d 6f 76 65 64 20 74 6f 20 not be moved to
3790: 69 74 27 73 20 6c 6f 63 61 74 69 6f 6e 0a 09 09 it's location...
37a0: 09 09 09 70 72 69 6e 74 28 65 72 72 6f 72 29 0a ...print(error).
37b0: 0a 09 09 09 69 66 20 73 65 6c 66 2e 63 6f 6d 6d ....if self.comm
37c0: 61 6e 64 20 3d 3d 20 27 48 45 41 44 27 3a 0a 09 and == 'HEAD':..
37d0: 09 09 09 73 65 6c 66 2e 73 65 6e 64 5f 72 65 73 ...self.send_res
37e0: 70 6f 6e 73 65 28 32 30 30 29 0a 09 09 09 09 69 ponse(200).....i
37f0: 66 20 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 f 'Content-Lengt
3800: 68 27 20 69 6e 20 69 6e 64 65 78 5b 73 65 6c 66 h' in index[self
3810: 2e 70 61 74 68 5d 3a 0a 09 09 09 09 09 73 65 6c .path]:......sel
3820: 66 2e 73 65 6e 64 5f 68 65 61 64 65 72 28 27 43 f.send_header('C
3830: 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 2c 20 ontent-Length',
3840: 69 6e 64 65 78 5b 73 65 6c 66 2e 70 61 74 68 5d index[self.path]
3850: 5b 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 ['Content-Length
3860: 27 5d 29 0a 09 09 09 09 73 65 6c 66 2e 73 65 6e ']).....self.sen
3870: 64 5f 68 65 61 64 65 72 28 27 41 63 63 65 70 74 d_header('Accept
3880: 2d 52 61 6e 67 65 73 27 2c 20 27 62 79 74 65 73 -Ranges', 'bytes
3890: 27 29 0a 09 09 09 09 73 65 6c 66 2e 73 65 6e 64 ').....self.send
38a0: 5f 68 65 61 64 65 72 28 27 43 6f 6e 74 65 6e 74 _header('Content
38b0: 2d 54 79 70 65 27 2c 20 27 61 70 70 6c 69 63 61 -Type', 'applica
38c0: 74 69 6f 6e 2f 6f 63 74 65 74 2d 73 74 72 65 61 tion/octet-strea
38d0: 6d 27 29 0a 09 09 09 09 69 66 20 27 4c 61 73 74 m').....if 'Last
38e0: 2d 4d 6f 64 69 66 69 65 64 27 20 69 6e 20 69 6e -Modified' in in
38f0: 64 65 78 5b 73 65 6c 66 2e 70 61 74 68 5d 3a 0a dex[self.path]:.
3900: 09 09 09 09 09 73 65 6c 66 2e 73 65 6e 64 5f 68 .....self.send_h
3910: 65 61 64 65 72 28 27 4c 61 73 74 2d 4d 6f 64 69 eader('Last-Modi
3920: 66 69 65 64 27 2c 20 69 6e 64 65 78 5b 73 65 6c fied', index[sel
3930: 66 2e 70 61 74 68 5d 5b 27 4c 61 73 74 2d 4d 6f f.path]['Last-Mo
3940: 64 69 66 69 65 64 27 5d 29 0a 09 09 09 09 73 65 dified']).....se
3950: 6c 66 2e 65 6e 64 5f 68 65 61 64 65 72 73 28 29 lf.end_headers()
3960: 0a 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 69 66 ....else:.....if
3970: 20 69 6e 64 65 78 5b 73 65 6c 66 2e 70 61 74 68 index[self.path
3980: 5d 5b 27 5f 70 61 72 74 73 27 5d 20 21 3d 20 53 ]['_parts'] != S
3990: 70 61 63 65 4d 61 70 28 29 3a 0a 09 09 09 09 09 paceMap():......
39a0: 66 69 6c 65 5f 6e 61 6d 65 20 3d 20 74 65 6d 70 file_name = temp
39b0: 5f 6e 61 6d 65 0a 0a 09 09 09 09 77 69 74 68 20 _name......with
39c0: 6f 70 65 6e 28 66 69 6c 65 5f 6e 61 6d 65 2c 20 open(file_name,
39d0: 27 72 62 27 29 20 61 73 20 72 65 61 6c 5f 66 69 'rb') as real_fi
39e0: 6c 65 3a 0a 09 09 09 09 09 66 69 6c 65 5f 73 74 le:......file_st
39f0: 61 74 20 3d 20 6f 73 2e 73 74 61 74 28 66 69 6c at = os.stat(fil
3a00: 65 5f 6e 61 6d 65 29 0a 09 09 09 09 09 73 65 6c e_name)......sel
3a10: 66 2e 73 65 6e 64 5f 72 65 73 70 6f 6e 73 65 28 f.send_response(
3a20: 32 30 30 29 0a 09 09 09 09 09 73 65 6c 66 2e 73 200)......self.s
3a30: 65 6e 64 5f 68 65 61 64 65 72 28 27 4c 61 73 74 end_header('Last
3a40: 2d 4d 6f 64 69 66 69 65 64 27 2c 20 69 6e 64 65 -Modified', inde
3a50: 78 5b 73 65 6c 66 2e 70 61 74 68 5d 5b 27 4c 61 x[self.path]['La
3a60: 73 74 2d 4d 6f 64 69 66 69 65 64 27 5d 29 0a 09 st-Modified'])..
3a70: 09 09 09 09 69 66 20 72 65 71 75 65 73 74 65 64 ....if requested
3a80: 5f 72 61 6e 67 65 73 20 21 3d 20 4e 6f 6e 65 3a _ranges != None:
3a90: 0a 09 09 09 09 09 09 72 61 6e 67 65 73 20 3d 20 .......ranges =
3aa0: 28 29 0a 09 09 09 09 09 09 72 65 71 75 65 73 74 ().......request
3ab0: 65 64 5f 72 61 6e 67 65 73 2e 72 65 77 69 6e 64 ed_ranges.rewind
3ac0: 28 29 0a 09 09 09 09 09 09 77 68 69 6c 65 20 54 ().......while T
3ad0: 72 75 65 3a 0a 09 09 09 09 09 09 09 70 61 69 72 rue:........pair
3ae0: 20 3d 20 72 65 71 75 65 73 74 65 64 5f 72 61 6e = requested_ran
3af0: 67 65 73 2e 70 6f 70 28 29 0a 09 09 09 09 09 09 ges.pop().......
3b00: 09 69 66 20 70 61 69 72 5b 30 5d 20 3d 3d 20 4e .if pair[0] == N
3b10: 6f 6e 65 3a 0a 09 09 09 09 09 09 09 09 62 72 65 one:.........bre
3b20: 61 6b 0a 09 09 09 09 09 09 09 72 61 6e 67 65 73 ak........ranges
3b30: 20 2b 3d 20 27 7b 7d 2d 7b 7d 27 2e 66 6f 72 6d += '{}-{}'.form
3b40: 61 74 28 70 61 69 72 5b 30 5d 2c 20 73 74 72 28 at(pair[0], str(
3b50: 70 61 69 72 5b 31 5d 20 2d 20 31 29 29 2c 0a 09 pair[1] - 1)),..
3b60: 09 09 09 09 09 73 65 6c 66 2e 73 65 6e 64 5f 68 .....self.send_h
3b70: 65 61 64 65 72 28 27 43 6f 6e 74 65 6e 74 2d 52 eader('Content-R
3b80: 61 6e 67 65 27 2c 20 27 62 79 74 65 73 20 27 20 ange', 'bytes '
3b90: 2b 20 27 2c 27 2e 6a 6f 69 6e 28 72 61 6e 67 65 + ','.join(range
3ba0: 73 29 20 2b 20 27 2f 27 20 2b 20 69 6e 64 65 78 s) + '/' + index
3bb0: 5b 73 65 6c 66 2e 70 61 74 68 5d 5b 27 43 6f 6e [self.path]['Con
3bc0: 74 65 6e 74 2d 4c 65 6e 67 74 68 27 5d 29 0a 09 tent-Length'])..
3bd0: 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 ....else:.......
3be0: 73 65 6c 66 2e 73 65 6e 64 5f 68 65 61 64 65 72 self.send_header
3bf0: 28 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 ('Content-Length
3c00: 27 2c 20 73 74 72 28 66 69 6c 65 5f 73 74 61 74 ', str(file_stat
3c10: 2e 73 74 5f 73 69 7a 65 29 29 0a 09 09 09 09 09 .st_size))......
3c20: 09 72 65 71 75 65 73 74 65 64 5f 72 61 6e 67 65 .requested_range
3c30: 73 20 3d 20 53 70 61 63 65 4d 61 70 28 7b 30 3a s = SpaceMap({0:
3c40: 20 66 69 6c 65 5f 73 74 61 74 2e 73 74 5f 73 69 file_stat.st_si
3c50: 7a 65 7d 29 0a 09 09 09 09 09 73 65 6c 66 2e 73 ze})......self.s
3c60: 65 6e 64 5f 68 65 61 64 65 72 28 27 43 6f 6e 74 end_header('Cont
3c70: 65 6e 74 2d 54 79 70 65 27 2c 20 27 61 70 70 6c ent-Type', 'appl
3c80: 69 63 61 74 69 6f 6e 2f 6f 63 74 65 74 2d 73 74 ication/octet-st
3c90: 72 65 61 6d 27 29 0a 09 09 09 09 09 73 65 6c 66 ream')......self
3ca0: 2e 65 6e 64 5f 68 65 61 64 65 72 73 28 29 0a 09 .end_headers()..
3cb0: 09 09 09 09 69 66 20 73 65 6c 66 2e 63 6f 6d 6d ....if self.comm
3cc0: 61 6e 64 20 69 6e 20 28 27 47 45 54 27 29 3a 0a and in ('GET'):.
3cd0: 09 09 09 09 09 09 72 65 71 75 65 73 74 65 64 5f ......requested_
3ce0: 72 61 6e 67 65 73 2e 72 65 77 69 6e 64 28 29 0a ranges.rewind().
3cf0: 09 09 09 09 09 09 28 73 74 61 72 74 2c 20 65 6e ......(start, en
3d00: 64 29 20 3d 20 72 65 71 75 65 73 74 65 64 5f 72 d) = requested_r
3d10: 61 6e 67 65 73 2e 70 6f 70 28 29 0a 09 09 09 09 anges.pop().....
3d20: 09 09 70 72 69 6e 74 28 27 53 65 65 6b 69 6e 67 ..print('Seeking
3d30: 20 66 69 6c 65 20 74 6f 20 70 6f 73 69 74 69 6f file to positio
3d40: 6e 27 2c 20 73 74 61 72 74 29 0a 09 09 09 09 09 n', start)......
3d50: 09 72 65 61 6c 5f 66 69 6c 65 2e 73 65 65 6b 28 .real_file.seek(
3d60: 73 74 61 72 74 29 0a 09 09 09 09 09 09 69 66 20 start).......if
3d70: 62 6c 6f 63 6b 5f 73 69 7a 65 20 3e 20 65 6e 64 block_size > end
3d80: 20 2d 20 73 74 61 72 74 3a 0a 09 09 09 09 09 09 - start:.......
3d90: 09 72 65 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 20 .req_block_size
3da0: 3d 20 65 6e 64 20 2d 20 73 74 61 72 74 0a 09 09 = end - start...
3db0: 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 ....else:.......
3dc0: 09 72 65 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 20 .req_block_size
3dd0: 3d 20 62 6c 6f 63 6b 5f 73 69 7a 65 0a 09 09 09 = block_size....
3de0: 09 09 09 70 72 69 6e 74 28 27 62 6c 6f 63 6b 5f ...print('block_
3df0: 73 69 7a 65 20 69 73 27 2c 20 72 65 71 5f 62 6c size is', req_bl
3e00: 6f 63 6b 5f 73 69 7a 65 29 0a 09 09 09 09 09 09 ock_size).......
3e10: 62 75 66 66 65 72 20 3d 20 72 65 61 6c 5f 66 69 buffer = real_fi
3e20: 6c 65 2e 72 65 61 64 28 72 65 71 5f 62 6c 6f 63 le.read(req_bloc
3e30: 6b 5f 73 69 7a 65 29 0a 09 09 09 09 09 09 6c 65 k_size).......le
3e40: 6e 67 74 68 20 3d 20 6c 65 6e 28 62 75 66 66 65 ngth = len(buffe
3e50: 72 29 0a 09 09 09 09 09 09 77 68 69 6c 65 20 6c r).......while l
3e60: 65 6e 67 74 68 20 3e 20 30 3a 0a 09 09 09 09 09 ength > 0:......
3e70: 09 09 73 65 6c 66 2e 77 66 69 6c 65 2e 77 72 69 ..self.wfile.wri
3e80: 74 65 28 62 75 66 66 65 72 29 0a 09 09 09 09 09 te(buffer)......
3e90: 09 09 73 74 61 72 74 20 2b 3d 20 6c 65 6e 28 62 ..start += len(b
3ea0: 75 66 66 65 72 29 0a 09 09 09 09 09 09 09 69 66 uffer)........if
3eb0: 20 72 65 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 20 req_block_size
3ec0: 3e 20 65 6e 64 20 2d 20 73 74 61 72 74 3a 0a 09 > end - start:..
3ed0: 09 09 09 09 09 09 09 72 65 71 5f 62 6c 6f 63 6b .......req_block
3ee0: 5f 73 69 7a 65 20 3d 20 65 6e 64 20 2d 20 73 74 _size = end - st
3ef0: 61 72 74 0a 09 09 09 09 09 09 09 69 66 20 72 65 art........if re
3f00: 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 20 3d 3d 20 q_block_size ==
3f10: 30 3a 0a 09 09 09 09 09 09 09 09 62 72 65 61 6b 0:.........break
3f20: 0a 09 09 09 09 09 09 09 70 72 69 6e 74 28 27 62 ........print('b
3f30: 6c 6f 63 6b 5f 73 69 7a 65 20 69 73 27 2c 20 72 lock_size is', r
3f40: 65 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 29 0a 09 eq_block_size)..
3f50: 09 09 09 09 09 09 62 75 66 66 65 72 20 3d 20 72 ......buffer = r
3f60: 65 61 6c 5f 66 69 6c 65 2e 72 65 61 64 28 72 65 eal_file.read(re
3f70: 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 29 0a 09 09 q_block_size)...
3f80: 09 09 09 09 09 6c 65 6e 67 74 68 20 3d 20 6c 65 .....length = le
3f90: 6e 28 62 75 66 66 65 72 29 0a 09 09 09 09 09 0a n(buffer).......
3fa0: 09 09 64 65 66 20 64 6f 5f 48 45 41 44 28 73 65 ..def do_HEAD(se
3fb0: 6c 66 29 3a 0a 09 09 09 72 65 74 75 72 6e 20 73 lf):....return s
3fc0: 65 6c 66 2e 5f 5f 70 72 6f 63 65 73 73 28 29 0a elf.__process().
3fd0: 09 09 64 65 66 20 64 6f 5f 47 45 54 28 73 65 6c ..def do_GET(sel
3fe0: 66 29 3a 0a 09 09 09 72 65 74 75 72 6e 20 73 65 f):....return se
3ff0: 6c 66 2e 5f 5f 70 72 6f 63 65 73 73 28 29 0a 0a lf.__process()..
4000: 09 73 65 72 76 65 72 20 3d 20 68 74 74 70 2e 73 .server = http.s
4010: 65 72 76 65 72 2e 48 54 54 50 53 65 72 76 65 72 erver.HTTPServer
4020: 28 28 27 31 32 37 2e 30 2e 30 2e 31 27 2c 20 69 (('127.0.0.1', i
4030: 6e 74 28 6f 70 74 69 6f 6e 73 2e 70 6f 72 74 29 nt(options.port)
4040: 29 2c 20 4d 79 52 65 71 75 65 73 74 48 61 6e 64 ), MyRequestHand
4050: 6c 65 72 29 0a 09 73 65 72 76 65 72 2e 73 65 72 ler)..server.ser
4060: 76 65 5f 66 6f 72 65 76 65 72 28 29 0a 0a 65 6c ve_forever()..el
4070: 73 65 3a 0a 09 77 68 69 6c 65 20 54 72 75 65 3a se:..while True:
4080: 0a 09 09 75 6e 63 68 65 63 6b 65 64 5f 66 69 6c ...unchecked_fil
4090: 65 73 20 3d 20 73 65 74 28 29 0a 09 09 63 68 65 es = set()...che
40a0: 63 6b 65 64 5f 66 69 6c 65 73 20 3d 20 30 0a 0a cked_files = 0..
40b0: 09 09 23 20 72 65 61 64 69 6e 67 20 6c 6f 67 20 ..# reading log
40c0: 61 6e 64 20 73 74 6f 72 69 6e 67 20 66 6f 75 6e and storing foun
40d0: 64 20 75 72 6c 73 20 66 6f 72 20 70 72 6f 63 65 d urls for proce
40e0: 73 73 69 6e 67 0a 09 09 23 20 63 68 65 63 6b 20 ssing...# check
40f0: 66 69 6c 65 20 6d 74 69 6d 65 20 58 58 58 0a 09 file mtime XXX..
4100: 09 77 69 74 68 20 6f 70 65 6e 28 6f 70 74 69 6f .with open(optio
4110: 6e 73 2e 6c 6f 67 2c 20 27 72 27 29 20 61 73 20 ns.log, 'r') as
4120: 6c 6f 67 5f 66 69 6c 65 3a 0a 09 09 09 6c 6f 67 log_file:....log
4130: 5f 6c 69 6e 65 20 3d 20 72 65 2e 63 6f 6d 70 69 _line = re.compi
4140: 6c 65 28 27 5e 5b 5e 20 5d 2b 20 2d 20 2d 20 5c le('^[^ ]+ - - \
4150: 5b 2e 2a 5d 20 22 28 47 45 54 7c 48 45 41 44 29 [.*] "(GET|HEAD)
4160: 20 28 2e 2a 3f 29 28 5c 3f 2e 2a 29 3f 20 48 54 (.*?)(\?.*)? HT
4170: 54 50 2f 31 2e 31 22 20 28 5c 64 2b 29 20 5c 64 TP/1.1" (\d+) \d
4180: 2b 20 22 28 2e 2a 29 22 20 22 28 2e 2a 29 22 24 + "(.*)" "(.*)"$
4190: 27 29 0a 09 09 09 66 6f 72 20 6c 69 6e 65 20 69 ')....for line i
41a0: 6e 20 6c 6f 67 5f 66 69 6c 65 3a 0a 09 09 09 09 n log_file:.....
41b0: 74 68 69 73 5f 6c 69 6e 65 20 3d 20 6c 6f 67 5f this_line = log_
41c0: 6c 69 6e 65 2e 6d 61 74 63 68 28 6c 69 6e 65 2e line.match(line.
41d0: 73 74 72 69 70 28 29 29 0a 09 09 09 09 69 66 20 strip()).....if
41e0: 74 68 69 73 5f 6c 69 6e 65 3a 0a 09 09 09 09 09 this_line:......
41f0: 75 6e 63 68 65 63 6b 65 64 5f 66 69 6c 65 73 2e unchecked_files.
4200: 61 64 64 28 74 68 69 73 5f 6c 69 6e 65 2e 67 72 add(this_line.gr
4210: 6f 75 70 28 32 29 29 0a 0a 09 09 66 6f 72 20 75 oup(2))....for u
4220: 72 6c 20 69 6e 20 75 6e 63 68 65 63 6b 65 64 5f rl in unchecked_
4230: 66 69 6c 65 73 3a 0a 09 09 09 72 65 6c 6f 61 64 files:....reload
4240: 20 3d 20 46 61 6c 73 65 0a 09 09 09 72 65 63 68 = False....rech
4250: 65 63 6b 20 3d 20 46 61 6c 73 65 0a 09 09 09 69 eck = False....i
4260: 6e 66 6f 20 3d 20 27 43 68 65 63 6b 69 6e 67 20 nfo = 'Checking
4270: 66 69 6c 65 3a 20 27 20 2b 20 75 72 6c 0a 0a 09 file: ' + url...
4280: 09 09 23 20 63 72 65 61 74 69 6e 67 20 65 6d 70 ..# creating emp
4290: 74 79 20 70 6c 61 63 65 68 6f 6c 64 65 72 20 69 ty placeholder i
42a0: 6e 20 69 6e 64 65 78 0a 09 09 09 69 66 20 6e 6f n index....if no
42b0: 74 20 75 72 6c 20 69 6e 20 69 6e 64 65 78 3a 0a t url in index:.
42c0: 09 09 09 09 69 6e 66 6f 20 2b 3d 20 27 5c 6e 54 ....info += '\nT
42d0: 68 69 73 20 6f 6e 65 20 69 73 20 6e 65 77 2e 27 his one is new.'
42e0: 0a 09 09 09 09 69 6e 64 65 78 5b 75 72 6c 5d 20 .....index[url]
42f0: 3d 20 7b 7d 0a 09 09 09 09 72 65 6c 6f 61 64 20 = {}.....reload
4300: 3d 20 54 72 75 65 0a 0a 09 09 09 23 20 63 72 65 = True.....# cre
4310: 61 74 69 6e 67 20 66 69 6c 65 20 6e 61 6d 65 20 ating file name
4320: 66 72 6f 6d 20 75 72 6c 0a 09 09 09 66 69 6c 65 from url....file
4330: 5f 6e 61 6d 65 20 3d 20 6f 70 74 69 6f 6e 73 2e _name = options.
4340: 64 69 72 20 2b 20 72 65 2e 63 6f 6d 70 69 6c 65 dir + re.compile
4350: 28 27 25 32 30 27 29 2e 73 75 62 28 27 20 27 2c ('%20').sub(' ',
4360: 20 75 72 6c 29 0a 0a 09 09 09 23 20 66 6f 72 63 url).....# forc
4370: 69 62 6c 79 20 63 68 65 63 6b 69 6e 67 20 66 69 ibly checking fi
4380: 6c 65 20 69 66 20 6e 6f 20 66 69 6c 65 20 70 72 le if no file pr
4390: 65 73 65 6e 74 0a 09 09 09 69 66 20 6e 6f 74 20 esent....if not
43a0: 72 65 6c 6f 61 64 20 61 6e 64 20 6e 6f 74 20 6f reload and not o
43b0: 73 2e 61 63 63 65 73 73 28 66 69 6c 65 5f 6e 61 s.access(file_na
43c0: 6d 65 2c 20 6f 73 2e 52 5f 4f 4b 29 3a 0a 09 09 me, os.R_OK):...
43d0: 09 09 69 6e 66 6f 20 2b 3d 20 27 5c 6e 46 69 6c ..info += '\nFil
43e0: 65 20 6e 6f 74 20 66 6f 75 6e 64 20 6f 72 20 69 e not found or i
43f0: 6e 61 63 63 65 73 73 69 62 6c 65 2e 27 0a 09 09 naccessible.'...
4400: 09 09 72 65 6c 6f 61 64 20 3d 20 54 72 75 65 0a ..reload = True.
4410: 0a 09 09 09 23 20 66 6f 72 63 69 62 6c 79 20 63 ....# forcibly c
4420: 68 65 63 6b 69 6e 67 20 66 69 6c 65 20 69 66 20 hecking file if
4430: 66 69 6c 65 20 73 69 7a 65 20 64 6f 65 73 6e 27 file size doesn'
4440: 74 20 6d 61 74 63 68 20 77 69 74 68 20 69 6e 64 t match with ind
4450: 65 78 20 64 61 74 61 0a 09 09 09 65 6c 69 66 20 ex data....elif
4460: 6e 6f 74 20 72 65 6c 6f 61 64 20 61 6e 64 20 27 not reload and '
4470: 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 20 Content-Length'
4480: 69 6e 20 69 6e 64 65 78 5b 75 72 6c 5d 20 61 6e in index[url] an
4490: 64 20 6f 73 2e 73 74 61 74 28 66 69 6c 65 5f 6e d os.stat(file_n
44a0: 61 6d 65 29 2e 73 74 5f 73 69 7a 65 20 21 3d 20 ame).st_size !=
44b0: 69 6e 74 28 69 6e 64 65 78 5b 75 72 6c 5d 5b 27 int(index[url]['
44c0: 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 5d Content-Length']
44d0: 29 3a 0a 09 09 09 09 69 6e 66 6f 20 2b 3d 20 27 ):.....info += '
44e0: 5c 6e 46 69 6c 65 20 73 69 7a 65 20 69 73 20 27 \nFile size is '
44f0: 20 2b 20 6f 73 2e 73 74 61 74 28 66 69 6c 65 5f + os.stat(file_
4500: 6e 61 6d 65 29 2e 73 74 5f 73 69 7a 65 20 2b 20 name).st_size +
4510: 27 20 61 6e 64 20 73 74 6f 72 65 64 20 66 69 6c ' and stored fil
4520: 65 20 73 69 7a 65 20 69 73 20 27 20 2b 20 69 6e e size is ' + in
4530: 64 65 78 5b 75 72 6c 5d 5b 27 43 6f 6e 74 65 6e dex[url]['Conten
4540: 74 2d 4c 65 6e 67 74 68 27 5d 20 2b 20 27 2e 27 t-Length'] + '.'
4550: 0a 09 09 09 09 72 65 6c 6f 61 64 20 3d 20 54 72 .....reload = Tr
4560: 75 65 0a 0a 09 09 09 23 20 66 6f 72 63 69 62 6c ue.....# forcibl
4570: 79 20 63 68 65 63 6b 69 6e 67 20 66 69 6c 65 20 y checking file
4580: 69 66 20 69 6e 64 65 78 20 68 6f 64 73 20 50 72 if index hods Pr
4590: 61 67 6d 61 20 68 65 61 64 65 72 0a 09 09 09 69 agma header....i
45a0: 66 20 6e 6f 74 20 72 65 6c 6f 61 64 20 61 6e 64 f not reload and
45b0: 20 27 50 72 61 67 6d 61 27 20 69 6e 20 69 6e 64 'Pragma' in ind
45c0: 65 78 5b 75 72 6c 5d 20 61 6e 64 20 69 6e 64 65 ex[url] and inde
45d0: 78 5b 75 72 6c 5d 5b 27 50 72 61 67 6d 61 27 5d x[url]['Pragma']
45e0: 20 3d 3d 20 27 6e 6f 2d 63 61 63 68 65 27 3a 0a == 'no-cache':.
45f0: 09 09 09 09 69 6e 66 6f 20 2b 3d 27 5c 6e 50 72 ....info +='\nPr
4600: 61 67 6d 61 20 6f 6e 3a 20 72 65 63 68 65 63 6b agma on: recheck
4610: 20 69 6d 6d 69 6e 65 6e 74 2e 27 0a 09 09 09 09 imminent.'.....
4620: 72 65 63 68 65 63 6b 20 3d 20 54 72 75 65 0a 0a recheck = True..
4630: 09 09 09 23 20 73 6b 69 70 70 69 6e 67 20 66 69 ...# skipping fi
4640: 6c 65 20 70 72 6f 63 65 73 73 69 6e 67 20 69 66 le processing if
4650: 20 74 68 65 72 65 27 73 20 6e 6f 20 6e 65 65 64 there's no need
4660: 20 74 6f 20 72 65 63 68 65 63 6b 20 69 74 20 61 to recheck it a
4670: 6e 64 20 77 65 20 68 61 76 65 20 63 68 65 63 6b nd we have check
4680: 65 64 20 69 74 20 61 74 20 6c 65 61 73 74 20 34 ed it at least 4
4690: 20 68 6f 75 72 73 20 61 67 6f 0a 09 09 09 69 66 hours ago....if
46a0: 20 6e 6f 74 20 72 65 63 68 65 63 6b 20 61 6e 64 not recheck and
46b0: 20 6e 6f 74 20 72 65 6c 6f 61 64 20 61 6e 64 20 not reload and
46c0: 28 6f 70 74 69 6f 6e 73 2e 6e 6f 75 70 64 61 74 (options.noupdat
46d0: 65 20 6f 72 20 28 27 5f 74 69 6d 65 27 20 69 6e e or ('_time' in
46e0: 20 69 6e 64 65 78 5b 75 72 6c 5d 20 61 6e 64 20 index[url] and
46f0: 28 64 61 74 65 74 69 6d 65 2e 64 61 74 65 74 69 (datetime.dateti
4700: 6d 65 2e 6e 6f 77 28 29 20 2d 20 64 61 74 65 74 me.now() - datet
4710: 69 6d 65 2e 74 69 6d 65 64 65 6c 74 61 28 68 6f ime.timedelta(ho
4720: 75 72 73 20 3d 20 34 29 20 2d 20 69 6e 64 65 78 urs = 4) - index
4730: 5b 75 72 6c 5d 5b 27 5f 74 69 6d 65 27 5d 29 2e [url]['_time']).
4740: 64 61 79 73 20 3c 20 30 29 29 3a 0a 09 09 09 09 days < 0)):.....
4750: 69 66 20 6f 70 74 69 6f 6e 73 2e 76 65 72 62 6f if options.verbo
4760: 73 65 3a 0a 09 09 09 09 09 70 72 69 6e 74 28 69 se:......print(i
4770: 6e 66 6f 29 0a 09 09 09 09 63 6f 6e 74 69 6e 75 nfo).....continu
4780: 65 0a 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 70 e....else:.....p
4790: 72 69 6e 74 28 69 6e 66 6f 29 0a 0a 09 09 09 74 rint(info).....t
47a0: 72 79 3a 0a 09 09 09 09 77 69 74 68 20 75 72 6c ry:.....with url
47b0: 6c 69 62 2e 72 65 71 75 65 73 74 2e 75 72 6c 6f lib.request.urlo
47c0: 70 65 6e 28 6f 70 74 69 6f 6e 73 2e 72 6f 6f 74 pen(options.root
47d0: 20 2b 20 75 72 6c 29 20 61 73 20 73 6f 75 72 63 + url) as sourc
47e0: 65 3a 0a 09 09 09 09 09 6e 65 77 5f 68 65 61 64 e:......new_head
47f0: 65 72 73 20 3d 20 7b 7d 0a 09 09 09 09 09 68 65 ers = {}......he
4800: 61 64 65 72 73 20 3d 20 73 6f 75 72 63 65 2e 69 aders = source.i
4810: 6e 66 6f 28 29 0a 0a 09 09 09 09 09 23 20 73 74 nfo().......# st
4820: 72 69 70 70 69 6e 67 20 75 6e 6e 65 65 64 65 64 ripping unneeded
4830: 20 68 65 61 64 65 72 73 20 28 58 58 58 20 6d 61 headers (XXX ma
4840: 6b 65 20 74 68 69 73 20 69 6e 70 6c 61 63 65 3f ke this inplace?
4850: 29 0a 09 09 09 09 09 66 6f 72 20 68 65 61 64 65 )......for heade
4860: 72 20 69 6e 20 68 65 61 64 65 72 73 3a 0a 09 09 r in headers:...
4870: 09 09 09 09 69 66 20 68 65 61 64 65 72 20 69 6e ....if header in
4880: 20 64 65 73 63 5f 66 69 65 6c 64 73 3a 0a 09 09 desc_fields:...
4890: 09 09 09 09 09 69 66 20 68 65 61 64 65 72 20 3d .....if header =
48a0: 3d 20 27 50 72 61 67 6d 61 27 20 61 6e 64 20 68 = 'Pragma' and h
48b0: 65 61 64 65 72 73 5b 68 65 61 64 65 72 5d 20 21 eaders[header] !
48c0: 3d 20 27 6e 6f 2d 63 61 63 68 65 27 3a 0a 09 09 = 'no-cache':...
48d0: 09 09 09 09 09 09 70 72 69 6e 74 28 27 50 72 61 ......print('Pra
48e0: 67 6d 61 3a 27 2c 20 68 65 61 64 65 72 73 5b 68 gma:', headers[h
48f0: 65 61 64 65 72 5d 29 0a 09 09 09 09 09 09 09 6e eader])........n
4900: 65 77 5f 68 65 61 64 65 72 73 5b 68 65 61 64 65 ew_headers[heade
4910: 72 5d 20 3d 20 68 65 61 64 65 72 73 5b 68 65 61 r] = headers[hea
4920: 64 65 72 5d 0a 09 09 09 09 09 09 65 6c 69 66 20 der].......elif
4930: 6e 6f 74 20 68 65 61 64 65 72 20 69 6e 20 69 67 not header in ig
4940: 6e 6f 72 65 5f 66 69 65 6c 64 73 3a 0a 09 09 09 nore_fields:....
4950: 09 09 09 09 70 72 69 6e 74 28 27 55 6e 64 65 66 ....print('Undef
4960: 69 6e 65 64 20 68 65 61 64 65 72 20 22 27 2c 20 ined header "',
4970: 68 65 61 64 65 72 2c 20 27 22 3a 20 27 2c 20 68 header, '": ', h
4980: 65 61 64 65 72 73 5b 68 65 61 64 65 72 5d 2c 20 eaders[header],
4990: 73 65 70 3d 27 27 29 0a 0a 09 09 09 09 09 23 20 sep='').......#
49a0: 63 6f 6d 70 61 72 69 6e 67 20 68 65 61 64 65 72 comparing header
49b0: 73 20 77 69 74 68 20 64 61 74 61 20 66 6f 75 6e s with data foun
49c0: 64 20 69 6e 20 69 6e 64 65 78 0a 09 09 09 09 09 d in index......
49d0: 23 20 69 66 20 61 6e 79 20 68 65 61 64 65 72 20 # if any header
49e0: 68 61 73 20 63 68 61 6e 67 65 64 20 28 65 78 63 has changed (exc
49f0: 65 70 74 20 50 72 61 67 6d 61 29 20 66 69 6c 65 ept Pragma) file
4a00: 20 69 73 20 66 75 6c 6c 79 20 64 6f 77 6e 6c 6f is fully downlo
4a10: 61 64 65 64 0a 09 09 09 09 09 23 20 73 61 6d 65 aded......# same
4a20: 20 69 66 20 77 65 20 67 65 74 20 6d 6f 72 65 20 if we get more
4a30: 6f 72 20 6c 65 73 73 20 68 65 61 64 65 72 73 0a or less headers.
4a40: 09 09 09 09 09 6f 6c 64 5f 6b 65 79 73 20 3d 20 .....old_keys =
4a50: 73 65 74 28 69 6e 64 65 78 5b 75 72 6c 5d 2e 6b set(index[url].k
4a60: 65 79 73 28 29 29 0a 09 09 09 09 09 6f 6c 64 5f eys())......old_
4a70: 6b 65 79 73 2e 64 69 73 63 61 72 64 28 27 5f 74 keys.discard('_t
4a80: 69 6d 65 27 29 0a 09 09 09 09 09 6f 6c 64 5f 6b ime')......old_k
4a90: 65 79 73 2e 64 69 73 63 61 72 64 28 27 50 72 61 eys.discard('Pra
4aa0: 67 6d 61 27 29 0a 09 09 09 09 09 6d 6f 72 65 5f gma')......more_
4ab0: 6b 65 79 73 20 3d 20 73 65 74 28 6e 65 77 5f 68 keys = set(new_h
4ac0: 65 61 64 65 72 73 2e 6b 65 79 73 28 29 29 20 2d eaders.keys()) -
4ad0: 20 6f 6c 64 5f 6b 65 79 73 0a 09 09 09 09 09 6d old_keys......m
4ae0: 6f 72 65 5f 6b 65 79 73 2e 64 69 73 63 61 72 64 ore_keys.discard
4af0: 28 27 50 72 61 67 6d 61 27 29 0a 09 09 09 09 09 ('Pragma')......
4b00: 6c 65 73 73 5f 6b 65 79 73 20 3d 20 6f 6c 64 5f less_keys = old_
4b10: 6b 65 79 73 20 2d 20 73 65 74 28 6e 65 77 5f 68 keys - set(new_h
4b20: 65 61 64 65 72 73 2e 6b 65 79 73 28 29 29 0a 09 eaders.keys())..
4b30: 09 09 09 09 69 66 20 6c 65 6e 28 6d 6f 72 65 5f ....if len(more_
4b40: 6b 65 79 73 29 20 3e 20 30 3a 0a 09 09 09 09 09 keys) > 0:......
4b50: 09 69 66 20 6e 6f 74 20 6c 65 6e 28 6f 6c 64 5f .if not len(old_
4b60: 6b 65 79 73 29 20 3d 3d 20 30 3a 0a 09 09 09 09 keys) == 0:.....
4b70: 09 09 09 70 72 69 6e 74 28 27 4d 6f 72 65 20 68 ...print('More h
4b80: 65 61 64 65 72 73 20 61 70 70 65 61 72 3a 27 2c eaders appear:',
4b90: 20 6d 6f 72 65 5f 6b 65 79 73 29 0a 09 09 09 09 more_keys).....
4ba0: 09 09 72 65 6c 6f 61 64 20 3d 20 54 72 75 65 0a ..reload = True.
4bb0: 09 09 09 09 09 65 6c 69 66 20 6c 65 6e 28 6c 65 .....elif len(le
4bc0: 73 73 5f 6b 65 79 73 29 20 3e 20 30 3a 0a 09 09 ss_keys) > 0:...
4bd0: 09 09 09 09 70 72 69 6e 74 28 27 4c 65 73 73 20 ....print('Less
4be0: 68 65 61 64 65 72 73 20 61 70 70 65 61 72 3a 27 headers appear:'
4bf0: 2c 20 6c 65 73 73 5f 6b 65 79 73 29 0a 09 09 09 , less_keys)....
4c00: 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 66 6f ..else:.......fo
4c10: 72 20 6b 65 79 20 69 6e 20 69 6e 64 65 78 5b 75 r key in index[u
4c20: 72 6c 5d 2e 6b 65 79 73 28 29 3a 0a 09 09 09 09 rl].keys():.....
4c30: 09 09 09 69 66 20 6b 65 79 5b 30 5d 20 21 3d 20 ...if key[0] !=
4c40: 27 5f 27 20 61 6e 64 20 6b 65 79 20 21 3d 20 27 '_' and key != '
4c50: 50 72 61 67 6d 61 27 20 61 6e 64 20 6e 6f 74 20 Pragma' and not
4c60: 69 6e 64 65 78 5b 75 72 6c 5d 5b 6b 65 79 5d 20 index[url][key]
4c70: 3d 3d 20 6e 65 77 5f 68 65 61 64 65 72 73 5b 6b == new_headers[k
4c80: 65 79 5d 3a 0a 09 09 09 09 09 09 09 09 70 72 69 ey]:.........pri
4c90: 6e 74 28 27 48 65 61 64 65 72 20 22 27 2c 20 6b nt('Header "', k
4ca0: 65 79 2c 20 27 22 20 63 68 61 6e 67 65 64 20 66 ey, '" changed f
4cb0: 72 6f 6d 20 5b 27 2c 20 69 6e 64 65 78 5b 75 72 rom [', index[ur
4cc0: 6c 5d 5b 6b 65 79 5d 2c 20 27 5d 20 74 6f 20 5b l][key], '] to [
4cd0: 27 2c 20 6e 65 77 5f 68 65 61 64 65 72 73 5b 6b ', new_headers[k
4ce0: 65 79 5d 2c 20 27 5d 27 2c 20 73 65 70 3d 27 27 ey], ']', sep=''
4cf0: 29 0a 09 09 09 09 09 09 09 09 72 65 6c 6f 61 64 ).........reload
4d00: 20 3d 20 54 72 75 65 0a 0a 09 09 09 09 09 23 20 = True.......#
4d10: 64 6f 77 6e 6c 6f 61 64 69 6e 67 20 66 69 6c 65 downloading file
4d20: 0a 09 09 09 09 09 69 66 20 72 65 6c 6f 61 64 3a ......if reload:
4d30: 0a 09 09 09 09 09 09 69 66 20 27 43 6f 6e 74 65 .......if 'Conte
4d40: 6e 74 2d 4c 65 6e 67 74 68 27 20 69 6e 20 68 65 nt-Length' in he
4d50: 61 64 65 72 73 3a 0a 09 09 09 09 09 09 09 70 72 aders:........pr
4d60: 69 6e 74 28 27 44 6f 77 6e 6c 6f 61 64 69 6e 67 int('Downloading
4d70: 27 2c 20 68 65 61 64 65 72 73 5b 27 43 6f 6e 74 ', headers['Cont
4d80: 65 6e 74 2d 4c 65 6e 67 74 68 27 5d 2c 20 27 62 ent-Length'], 'b
4d90: 79 74 65 73 20 5b 27 2c 20 65 6e 64 3d 27 27 29 ytes [', end='')
4da0: 0a 09 09 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 .......else:....
4db0: 09 09 09 09 70 72 69 6e 74 28 27 44 6f 77 6e 6c ....print('Downl
4dc0: 6f 61 64 69 6e 67 20 5b 27 2c 20 65 6e 64 3d 27 oading [', end='
4dd0: 27 29 0a 09 09 09 09 09 09 73 79 73 2e 73 74 64 ').......sys.std
4de0: 6f 75 74 2e 66 6c 75 73 68 28 29 0a 0a 09 09 09 out.flush().....
4df0: 09 09 09 23 20 66 69 6c 65 20 69 73 20 63 72 65 ...# file is cre
4e00: 61 74 65 64 20 61 74 20 74 65 6d 70 6f 72 61 72 ated at temporar
4e10: 79 20 6c 6f 63 61 74 69 6f 6e 20 61 6e 64 20 6d y location and m
4e20: 6f 76 65 64 20 69 6e 20 70 6c 61 63 65 20 6f 6e oved in place on
4e30: 6c 79 20 77 68 65 6e 20 64 6f 77 6e 6c 6f 61 64 ly when download
4e40: 20 63 6f 6d 70 6c 65 74 65 73 0a 09 09 09 09 09 completes......
4e50: 09 74 65 6d 70 5f 66 69 6c 65 20 3d 20 6f 70 65 .temp_file = ope
4e60: 6e 28 6f 70 74 69 6f 6e 73 2e 64 69 72 20 2b 20 n(options.dir +
4e70: 6f 73 2e 73 65 70 20 2b 20 27 2e 74 6d 70 27 2c os.sep + '.tmp',
4e80: 20 27 77 62 27 29 0a 09 09 09 09 09 09 62 75 66 'wb').......buf
4e90: 66 65 72 20 3d 20 73 6f 75 72 63 65 2e 72 65 61 fer = source.rea
4ea0: 64 28 62 6c 6f 63 6b 5f 73 69 7a 65 29 0a 09 09 d(block_size)...
4eb0: 09 09 09 09 6d 65 67 61 62 6c 6f 63 6b 73 20 3d ....megablocks =
4ec0: 20 30 0a 09 09 09 09 09 09 62 6c 6f 63 6b 73 20 0.......blocks
4ed0: 3d 20 30 0a 09 09 09 09 09 09 6d 65 67 73 20 3d = 0.......megs =
4ee0: 20 30 0a 09 09 09 09 09 09 77 68 69 6c 65 20 6c 0.......while l
4ef0: 65 6e 28 62 75 66 66 65 72 29 20 3e 20 30 3a 0a en(buffer) > 0:.
4f00: 09 09 09 09 09 09 09 74 65 6d 70 5f 66 69 6c 65 .......temp_file
4f10: 2e 77 72 69 74 65 28 62 75 66 66 65 72 29 0a 09 .write(buffer)..
4f20: 09 09 09 09 09 09 62 75 66 66 65 72 20 3d 20 73 ......buffer = s
4f30: 6f 75 72 63 65 2e 72 65 61 64 28 62 6c 6f 63 6b ource.read(block
4f40: 5f 73 69 7a 65 29 0a 09 09 09 09 09 09 09 62 6c _size)........bl
4f50: 6f 63 6b 73 20 2b 3d 20 31 0a 09 09 09 09 09 09 ocks += 1.......
4f60: 09 69 66 20 62 6c 6f 63 6b 73 20 3e 20 31 30 32 .if blocks > 102
4f70: 34 30 30 2f 62 6c 6f 63 6b 5f 73 69 7a 65 3a 0a 400/block_size:.
4f80: 09 09 09 09 09 09 09 09 6d 65 67 61 62 6c 6f 63 ........megabloc
4f90: 6b 73 20 2b 3d 20 31 0a 09 09 09 09 09 09 09 09 ks += 1.........
4fa0: 69 66 20 6d 65 67 61 62 6c 6f 63 6b 73 20 3e 20 if megablocks >
4fb0: 31 30 3a 0a 09 09 09 09 09 09 09 09 09 6d 65 67 10:..........meg
4fc0: 61 62 6c 6f 63 6b 73 20 3d 20 6d 65 67 61 62 6c ablocks = megabl
4fd0: 6f 63 6b 73 20 2d 20 31 30 0a 09 09 09 09 09 09 ocks - 10.......
4fe0: 09 09 09 6d 65 67 73 20 2b 3d 20 31 0a 09 09 09 ...megs += 1....
4ff0: 09 09 09 09 09 09 70 72 69 6e 74 28 27 7b 7d 4d ......print('{}M
5000: 62 27 2e 66 6f 72 6d 61 74 28 6d 65 67 73 29 2c b'.format(megs),
5010: 20 65 6e 64 3d 27 27 29 0a 09 09 09 09 09 09 09 end='')........
5020: 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 09 09 09 .else:..........
5030: 70 72 69 6e 74 28 27 2e 27 2c 20 65 6e 64 3d 27 print('.', end='
5040: 27 29 0a 09 09 09 09 09 09 09 09 62 6c 6f 63 6b ').........block
5050: 73 20 3d 20 62 6c 6f 63 6b 73 20 2d 20 31 30 32 s = blocks - 102
5060: 34 30 30 2f 62 6c 6f 63 6b 5f 73 69 7a 65 0a 09 400/block_size..
5070: 09 09 09 09 09 09 73 79 73 2e 73 74 64 6f 75 74 ......sys.stdout
5080: 2e 66 6c 75 73 68 28 29 0a 09 09 09 09 09 09 74 .flush().......t
5090: 65 6d 70 5f 66 69 6c 65 2e 63 6c 6f 73 65 28 29 emp_file.close()
50a0: 0a 09 09 09 09 09 09 70 72 69 6e 74 28 27 5d 27 .......print(']'
50b0: 29 0a 09 09 09 09 09 09 6f 73 2e 72 65 6e 61 6d ).......os.renam
50c0: 65 73 28 6f 70 74 69 6f 6e 73 2e 64 69 72 20 2b es(options.dir +
50d0: 20 6f 73 2e 73 65 70 20 2b 20 27 2e 74 6d 70 27 os.sep + '.tmp'
50e0: 2c 20 66 69 6c 65 5f 6e 61 6d 65 29 0a 0a 09 09 , file_name)....
50f0: 09 09 09 09 63 68 65 63 6b 65 64 5f 66 69 6c 65 ....checked_file
5100: 73 20 2b 3d 20 31 0a 0a 09 09 09 09 09 23 20 73 s += 1.......# s
5110: 74 6f 72 69 6e 67 20 6e 65 77 20 74 69 6d 65 20 toring new time
5120: 6d 61 72 6b 20 61 6e 64 20 73 74 6f 72 69 6e 67 mark and storing
5130: 20 6e 65 77 20 68 65 61 64 65 72 73 0a 09 09 09 new headers....
5140: 09 09 6e 65 77 5f 68 65 61 64 65 72 73 5b 27 5f ..new_headers['_
5150: 74 69 6d 65 27 5d 20 3d 20 64 61 74 65 74 69 6d time'] = datetim
5160: 65 2e 64 61 74 65 74 69 6d 65 2e 6e 6f 77 28 29 e.datetime.now()
5170: 0a 09 09 09 09 09 69 6e 64 65 78 5b 75 72 6c 5d ......index[url]
5180: 20 3d 20 6e 65 77 5f 68 65 61 64 65 72 73 0a 09 = new_headers..
5190: 09 09 09 09 69 6e 64 65 78 2e 73 79 6e 63 28 29 ....index.sync()
51a0: 0a 0a 09 09 09 65 78 63 65 70 74 20 75 72 6c 6c .....except urll
51b0: 69 62 2e 65 72 72 6f 72 2e 48 54 54 50 45 72 72 ib.error.HTTPErr
51c0: 6f 72 20 61 73 20 65 72 72 6f 72 3a 0a 09 09 09 or as error:....
51d0: 09 23 20 69 6e 20 63 61 73 65 20 6f 66 20 65 72 .# in case of er
51e0: 72 6f 72 20 77 65 20 64 6f 6e 27 74 20 6e 65 65 ror we don't nee
51f0: 64 20 74 6f 20 64 6f 20 61 6e 79 74 68 69 6e 67 d to do anything
5200: 20 61 63 74 75 61 6c 6c 79 2c 0a 09 09 09 09 23 actually,.....#
5210: 20 69 66 20 66 69 6c 65 20 64 6f 77 6e 6c 6f 61 if file downloa
5220: 64 20 73 74 61 6c 6c 73 20 6f 72 20 66 61 69 6c d stalls or fail
5230: 73 20 74 68 65 20 66 69 6c 65 20 77 6f 75 6c 64 s the file would
5240: 20 6e 6f 74 20 62 65 20 6d 6f 76 65 64 20 74 6f not be moved to
5250: 20 69 74 27 73 20 6c 6f 63 61 74 69 6f 6e 0a 09 it's location..
5260: 09 09 09 70 72 69 6e 74 28 65 72 72 6f 72 29 0a ...print(error).
5270: 0a 09 09 69 66 20 6f 70 74 69 6f 6e 73 2e 76 65 ...if options.ve
5280: 72 62 6f 73 65 3a 0a 09 09 09 70 72 69 6e 74 28 rbose:....print(
5290: 27 5b 27 2c 20 6c 65 6e 28 75 6e 63 68 65 63 6b '[', len(uncheck
52a0: 65 64 5f 66 69 6c 65 73 29 2c 20 27 2f 27 2c 20 ed_files), '/',
52b0: 63 68 65 63 6b 65 64 5f 66 69 6c 65 73 2c 20 27 checked_files, '
52c0: 5d 27 29 0a 0a 09 09 23 20 63 68 65 63 6b 69 6e ]')....# checkin
52d0: 67 20 69 66 20 74 68 65 72 65 20 77 65 72 65 20 g if there were
52e0: 61 6e 79 20 66 69 6c 65 73 20 64 6f 77 6e 6c 6f any files downlo
52f0: 61 64 65 64 2c 20 69 66 20 79 65 73 20 2d 20 72 aded, if yes - r
5300: 65 73 74 61 72 74 69 6e 67 20 73 65 71 75 65 6e estarting sequen
5310: 63 65 0a 09 09 69 66 20 63 68 65 63 6b 65 64 5f ce...if checked_
5320: 66 69 6c 65 73 20 3d 3d 20 30 3a 0a 09 09 09 62 files == 0:....b
5330: 72 65 61 6b 0a reak.