0000: 23 21 2f 75 73 72 2f 62 69 6e 2f 65 6e 76 20 70 #!/usr/bin/env p
0010: 79 74 68 6f 6e 33 2e 31 0a 0a 69 6d 70 6f 72 74 ython3.1..import
0020: 20 64 61 74 65 74 69 6d 65 2c 20 68 74 74 70 2e datetime, http.
0030: 63 6f 6f 6b 69 65 6a 61 72 2c 20 6f 70 74 70 61 cookiejar, optpa
0040: 72 73 65 2c 20 6f 73 2c 20 73 79 73 2c 20 73 68 rse, os, sys, sh
0050: 65 6c 76 65 2c 20 72 65 2c 20 75 72 6c 6c 69 62 elve, re, urllib
0060: 2e 72 65 71 75 65 73 74 0a 0a 66 72 6f 6d 20 73 .request..from s
0070: 70 61 63 65 6d 61 70 20 69 6d 70 6f 72 74 20 53 pacemap import S
0080: 70 61 63 65 4d 61 70 0a 0a 70 61 72 73 65 72 20 paceMap..parser
0090: 3d 20 6f 70 74 70 61 72 73 65 2e 4f 70 74 69 6f = optparse.Optio
00a0: 6e 50 61 72 73 65 72 28 29 0a 70 61 72 73 65 72 nParser().parser
00b0: 2e 61 64 64 5f 6f 70 74 69 6f 6e 28 27 2d 76 27 .add_option('-v'
00c0: 2c 20 27 2d 2d 76 65 72 62 6f 73 65 27 2c 20 61 , '--verbose', a
00d0: 63 74 69 6f 6e 20 3d 20 27 73 74 6f 72 65 5f 74 ction = 'store_t
00e0: 72 75 65 27 2c 20 64 65 73 74 20 3d 20 27 76 65 rue', dest = 've
00f0: 72 62 6f 73 65 27 2c 20 68 65 6c 70 20 3d 20 27 rbose', help = '
0100: 74 75 72 6e 73 20 6f 6e 20 76 65 72 62 6f 73 65 turns on verbose
0110: 20 73 74 61 74 75 73 20 6e 6f 74 69 66 69 63 61 status notifica
0120: 74 69 6f 6e 73 27 2c 20 6d 65 74 61 76 61 72 20 tions', metavar
0130: 3d 20 27 62 6f 6f 6c 27 2c 20 64 65 66 61 75 6c = 'bool', defaul
0140: 74 20 3d 20 46 61 6c 73 65 29 0a 70 61 72 73 65 t = False).parse
0150: 72 2e 61 64 64 5f 6f 70 74 69 6f 6e 28 27 2d 64 r.add_option('-d
0160: 27 2c 20 27 2d 2d 64 69 72 27 2c 20 61 63 74 69 ', '--dir', acti
0170: 6f 6e 20 3d 20 27 73 74 6f 72 65 27 2c 20 64 65 on = 'store', de
0180: 73 74 20 3d 20 27 64 69 72 27 2c 20 68 65 6c 70 st = 'dir', help
0190: 20 3d 20 27 73 70 65 63 69 66 79 20 64 69 72 65 = 'specify dire
01a0: 63 74 6f 72 79 20 77 68 65 72 65 20 74 68 65 20 ctory where the
01b0: 66 69 6c 65 73 20 73 68 6f 75 6c 64 20 62 65 20 files should be
01c0: 73 74 6f 72 65 64 27 2c 20 6d 65 74 61 76 61 72 stored', metavar
01d0: 20 3d 20 27 73 74 72 69 6e 67 27 2c 20 64 65 66 = 'string', def
01e0: 61 75 6c 74 20 3d 20 4e 6f 6e 65 29 0a 70 61 72 ault = None).par
01f0: 73 65 72 2e 61 64 64 5f 6f 70 74 69 6f 6e 28 27 ser.add_option('
0200: 2d 72 27 2c 20 27 2d 2d 72 6f 6f 74 27 2c 20 61 -r', '--root', a
0210: 63 74 69 6f 6e 20 3d 20 27 73 74 6f 72 65 27 2c ction = 'store',
0220: 20 64 65 73 74 20 3d 20 27 72 6f 6f 74 27 2c 20 dest = 'root',
0230: 68 65 6c 70 20 3d 20 27 73 70 65 63 69 66 79 20 help = 'specify
0240: 61 20 73 69 74 65 20 66 72 6f 6d 20 77 68 69 63 a site from whic
0250: 68 20 64 61 74 61 20 73 68 6f 75 6c 64 20 62 65 h data should be
0260: 20 6d 69 72 72 6f 72 65 64 27 2c 20 6d 65 74 61 mirrored', meta
0270: 76 61 72 20 3d 20 27 73 74 72 69 6e 67 27 2c 20 var = 'string',
0280: 64 65 66 61 75 6c 74 20 3d 20 4e 6f 6e 65 29 0a default = None).
0290: 70 61 72 73 65 72 2e 61 64 64 5f 6f 70 74 69 6f parser.add_optio
02a0: 6e 28 27 2d 6c 27 2c 20 27 2d 2d 6c 6f 67 27 2c n('-l', '--log',
02b0: 20 61 63 74 69 6f 6e 20 3d 20 27 73 74 6f 72 65 action = 'store
02c0: 27 2c 20 64 65 73 74 20 3d 20 27 6c 6f 67 27 2c ', dest = 'log',
02d0: 20 68 65 6c 70 20 3d 20 27 73 70 65 63 69 66 79 help = 'specify
02e0: 20 61 20 6c 6f 67 20 66 69 6c 65 20 74 6f 20 70 a log file to p
02f0: 72 6f 63 65 73 73 27 2c 20 6d 65 74 61 76 61 72 rocess', metavar
0300: 20 3d 20 27 73 74 72 69 6e 67 27 2c 20 64 65 66 = 'string', def
0310: 61 75 6c 74 20 3d 20 4e 6f 6e 65 29 0a 70 61 72 ault = None).par
0320: 73 65 72 2e 61 64 64 5f 6f 70 74 69 6f 6e 28 27 ser.add_option('
0330: 2d 65 27 2c 20 27 2d 2d 73 6b 69 70 2d 65 74 61 -e', '--skip-eta
0340: 67 27 2c 20 61 63 74 69 6f 6e 20 3d 20 27 73 74 g', action = 'st
0350: 6f 72 65 5f 74 72 75 65 27 2c 20 64 65 73 74 20 ore_true', dest
0360: 3d 20 27 6e 6f 65 74 61 67 27 2c 20 68 65 6c 70 = 'noetag', help
0370: 20 3d 20 27 64 6f 20 6e 6f 74 20 70 72 6f 63 65 = 'do not proce
0380: 73 73 20 65 74 61 67 73 27 2c 20 6d 65 74 61 76 ss etags', metav
0390: 61 72 20 3d 20 27 62 6f 6f 6c 27 2c 20 64 65 66 ar = 'bool', def
03a0: 61 75 6c 74 20 3d 20 46 61 6c 73 65 29 0a 70 61 ault = False).pa
03b0: 72 73 65 72 2e 61 64 64 5f 6f 70 74 69 6f 6e 28 rser.add_option(
03c0: 27 2d 70 27 2c 20 27 2d 2d 70 6f 72 74 27 2c 20 '-p', '--port',
03d0: 61 63 74 69 6f 6e 20 3d 20 27 73 74 6f 72 65 27 action = 'store'
03e0: 2c 20 64 65 73 74 20 3d 20 27 70 6f 72 74 27 2c , dest = 'port',
03f0: 20 68 65 6c 70 20 3d 20 27 6c 69 73 74 65 6e 20 help = 'listen
0400: 6f 6e 20 74 68 69 73 20 70 6f 72 74 20 66 6f 72 on this port for
0410: 20 69 6e 63 6f 6d 69 6e 67 20 63 6f 6e 6e 65 63 incoming connec
0420: 74 69 6f 6e 73 27 2c 20 6d 65 74 61 76 61 72 20 tions', metavar
0430: 3d 20 27 69 6e 74 65 67 65 72 27 2c 20 64 65 66 = 'integer', def
0440: 61 75 6c 74 20 3d 20 4e 6f 6e 65 29 0a 70 61 72 ault = None).par
0450: 73 65 72 2e 61 64 64 5f 6f 70 74 69 6f 6e 28 27 ser.add_option('
0460: 2d 6e 27 2c 20 27 2d 2d 6e 6f 2d 75 70 64 61 74 -n', '--no-updat
0470: 65 27 2c 20 61 63 74 69 6f 6e 20 3d 20 27 73 74 e', action = 'st
0480: 6f 72 65 5f 74 72 75 65 27 2c 20 64 65 73 74 20 ore_true', dest
0490: 3d 20 27 6e 6f 75 70 64 61 74 65 27 2c 20 68 65 = 'noupdate', he
04a0: 6c 70 20 3d 20 27 64 6f 20 6e 6f 74 20 75 70 64 lp = 'do not upd
04b0: 61 74 65 20 61 6c 72 65 61 64 79 20 64 6f 77 6e ate already down
04c0: 6c 6f 61 64 65 64 20 66 69 6c 65 73 27 2c 20 6d loaded files', m
04d0: 65 74 61 76 61 72 20 3d 20 27 62 6f 6f 6c 27 2c etavar = 'bool',
04e0: 20 64 65 66 61 75 6c 74 20 3d 20 27 46 61 6c 73 default = 'Fals
04f0: 65 27 29 0a 28 6f 70 74 69 6f 6e 73 2c 20 61 72 e').(options, ar
0500: 67 73 29 20 3d 20 70 61 72 73 65 72 2e 70 61 72 gs) = parser.par
0510: 73 65 5f 61 72 67 73 28 29 0a 0a 61 73 73 65 72 se_args()..asser
0520: 74 20 6f 70 74 69 6f 6e 73 2e 64 69 72 2c 20 27 t options.dir, '
0530: 44 69 72 65 63 74 6f 72 79 20 6e 6f 74 20 73 70 Directory not sp
0540: 65 63 69 66 69 65 64 27 0a 61 73 73 65 72 74 20 ecified'.assert
0550: 6f 70 74 69 6f 6e 73 2e 72 6f 6f 74 2c 20 27 53 options.root, 'S
0560: 65 72 76 65 72 20 6e 6f 74 20 73 70 65 63 69 66 erver not specif
0570: 69 65 64 27 0a 61 73 73 65 72 74 20 6f 70 74 69 ied'.assert opti
0580: 6f 6e 73 2e 6c 6f 67 20 6f 72 20 6f 70 74 69 6f ons.log or optio
0590: 6e 73 2e 70 6f 72 74 2c 20 27 4c 6f 67 20 66 69 ns.port, 'Log fi
05a0: 6c 65 20 6f 72 20 70 6f 72 74 20 6e 6f 74 20 73 le or port not s
05b0: 70 65 63 69 66 69 65 64 27 0a 61 73 73 65 72 74 pecified'.assert
05c0: 20 6f 70 74 69 6f 6e 73 2e 70 6f 72 74 20 6f 72 options.port or
05d0: 20 6f 73 2e 61 63 63 65 73 73 28 6f 70 74 69 6f os.access(optio
05e0: 6e 73 2e 6c 6f 67 2c 20 6f 73 2e 52 5f 4f 4b 29 ns.log, os.R_OK)
05f0: 2c 20 27 4c 6f 67 20 66 69 6c 65 20 75 6e 72 65 , 'Log file unre
0600: 61 64 61 62 6c 65 27 0a 0a 6f 70 74 69 6f 6e 73 adable'..options
0610: 44 69 72 57 69 74 68 53 65 70 20 3d 20 72 65 2e DirWithSep = re.
0620: 63 6f 6d 70 69 6c 65 28 27 5e 28 2e 2a 3f 29 2f compile('^(.*?)/
0630: 3f 24 27 29 2e 6d 61 74 63 68 28 6f 70 74 69 6f ?$').match(optio
0640: 6e 73 2e 64 69 72 29 0a 69 66 20 6f 70 74 69 6f ns.dir).if optio
0650: 6e 73 44 69 72 57 69 74 68 53 65 70 3a 0a 09 6f nsDirWithSep:..o
0660: 70 74 69 6f 6e 73 2e 64 69 72 20 3d 20 6f 70 74 ptions.dir = opt
0670: 69 6f 6e 73 44 69 72 57 69 74 68 53 65 70 2e 67 ionsDirWithSep.g
0680: 72 6f 75 70 28 31 29 0a 0a 23 20 74 68 69 73 20 roup(1)..# this
0690: 69 73 20 66 69 6c 65 20 69 6e 64 65 78 20 2d 20 is file index -
06a0: 65 76 65 72 79 74 68 69 6e 67 20 69 73 20 73 74 everything is st
06b0: 6f 72 65 64 20 69 6e 20 74 68 69 73 20 66 69 6c ored in this fil
06c0: 65 0a 23 20 5f 70 61 72 74 73 20 2d 20 6c 69 73 e.# _parts - lis
06d0: 74 20 6f 66 20 73 74 6f 72 65 64 20 70 61 72 74 t of stored part
06e0: 73 20 6f 66 20 66 69 6c 65 0a 23 20 5f 74 69 6d s of file.# _tim
06f0: 65 20 2d 20 6c 61 73 74 20 74 69 6d 65 20 74 68 e - last time th
0700: 65 20 66 69 6c 65 20 77 61 73 20 63 68 65 63 6b e file was check
0710: 65 64 0a 23 20 65 76 65 72 79 74 68 69 6e 67 20 ed.# everything
0720: 65 6c 73 65 20 69 73 20 6a 75 73 74 20 74 68 65 else is just the
0730: 20 68 65 61 64 65 72 73 0a 69 6e 64 65 78 20 3d headers.index =
0740: 20 73 68 65 6c 76 65 2e 6f 70 65 6e 28 6f 70 74 shelve.open(opt
0750: 69 6f 6e 73 2e 64 69 72 20 2b 20 6f 73 2e 73 65 ions.dir + os.se
0760: 70 20 2b 20 27 2e 69 6e 64 65 78 27 29 0a 64 65 p + '.index').de
0770: 73 63 5f 66 69 65 6c 64 73 20 3d 20 28 27 43 6f sc_fields = ('Co
0780: 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 2c 20 27 ntent-Length', '
0790: 50 72 61 67 6d 61 27 2c 20 27 4c 61 73 74 2d 4d Pragma', 'Last-M
07a0: 6f 64 69 66 69 65 64 27 29 0a 69 67 6e 6f 72 65 odified').ignore
07b0: 5f 66 69 65 6c 64 73 20 3d 20 28 27 41 63 63 65 _fields = ('Acce
07c0: 70 74 2d 52 61 6e 67 65 73 27 2c 20 27 41 67 65 pt-Ranges', 'Age
07d0: 27 2c 20 27 43 61 63 68 65 2d 43 6f 6e 74 72 6f ', 'Cache-Contro
07e0: 6c 27 2c 20 27 43 6f 6e 6e 65 63 74 69 6f 6e 27 l', 'Connection'
07f0: 2c 20 27 43 6f 6e 74 65 6e 74 2d 54 79 70 65 27 , 'Content-Type'
0800: 2c 20 27 44 61 74 65 27 2c 20 27 45 78 70 69 72 , 'Date', 'Expir
0810: 65 73 27 2c 20 27 53 65 72 76 65 72 27 2c 20 27 es', 'Server', '
0820: 56 69 61 27 2c 20 27 58 2d 43 61 63 68 65 27 2c Via', 'X-Cache',
0830: 20 27 58 2d 43 61 63 68 65 2d 4c 6f 6f 6b 75 70 'X-Cache-Lookup
0840: 27 2c 20 27 58 2d 50 6f 77 65 72 65 64 2d 42 79 ', 'X-Powered-By
0850: 27 29 0a 0a 69 66 20 6e 6f 74 20 6f 70 74 69 6f ')..if not optio
0860: 6e 73 2e 6e 6f 65 74 61 67 3a 0a 09 64 65 73 63 ns.noetag:..desc
0870: 5f 66 69 65 6c 64 73 20 2b 3d 20 27 45 54 61 67 _fields += 'ETag
0880: 27 2c 0a 65 6c 73 65 3a 0a 09 69 67 6e 6f 72 65 ',.else:..ignore
0890: 5f 66 69 65 6c 64 73 20 2b 3d 20 27 45 54 61 67 _fields += 'ETag
08a0: 27 2c 0a 0a 62 6c 6f 63 6b 5f 73 69 7a 65 20 3d ',..block_size =
08b0: 20 34 30 39 36 0a 0a 74 65 6d 70 5f 66 69 6c 65 4096..temp_file
08c0: 5f 6e 61 6d 65 20 3d 20 6f 70 74 69 6f 6e 73 2e _name = options.
08d0: 64 69 72 20 2b 20 6f 73 2e 73 65 70 20 2b 20 27 dir + os.sep + '
08e0: 2e 74 6d 70 27 0a 0a 27 27 27 0a 23 20 6c 61 74 .tmp'..'''.# lat
08f0: 65 72 2c 20 6b 71 75 65 75 65 20 77 6f 75 6c 64 er, kqueue would
0900: 20 62 65 20 67 6f 6f 64 20 62 75 74 20 6c 61 74 be good but lat
0910: 65 72 0a 63 6c 61 73 73 20 43 6f 6e 6e 65 63 74 er.class Connect
0920: 69 6f 6e 3a 0a 09 5f 5f 73 6c 6f 74 73 5f 5f 20 ion:..__slots__
0930: 3d 20 66 72 6f 7a 65 6e 73 65 74 28 28 27 5f 5f = frozenset(('__
0940: 61 64 64 72 65 73 73 27 2c 20 27 5f 5f 69 6e 70 address', '__inp
0950: 75 74 27 2c 20 27 5f 5f 73 6f 63 6b 65 74 27 2c ut', '__socket',
0960: 20 27 5f 5f 73 74 61 74 75 73 27 2c 20 27 65 72 '__status', 'er
0970: 72 6f 72 27 2c 20 27 6d 65 74 68 6f 64 27 2c 20 ror', 'method',
0980: 27 75 72 6c 27 2c 20 27 68 74 74 70 5f 76 65 72 'url', 'http_ver
0990: 73 69 6f 6e 27 29 29 0a 0a 09 64 65 66 20 5f 5f sion'))...def __
09a0: 69 6e 69 74 5f 5f 28 73 65 6c 66 2c 20 73 6f 63 init__(self, soc
09b0: 6b 65 74 2c 20 61 64 64 72 65 73 73 29 3a 0a 09 ket, address):..
09c0: 09 73 65 6c 66 2e 5f 5f 61 64 64 72 65 73 73 20 .self.__address
09d0: 3d 20 61 64 64 72 65 73 73 0a 09 09 73 65 6c 66 = address...self
09e0: 2e 5f 5f 69 6e 70 75 74 20 3d 20 62 27 27 0a 09 .__input = b''..
09f0: 09 73 65 6c 66 2e 5f 5f 73 6f 63 6b 65 74 20 3d .self.__socket =
0a00: 20 73 6f 63 6b 65 74 0a 09 09 73 65 6c 66 2e 5f socket...self._
0a10: 5f 73 74 61 74 75 73 20 3d 20 30 0a 0a 09 64 65 _status = 0...de
0a20: 66 20 72 65 61 64 28 73 65 6c 66 2c 20 6b 65 76 f read(self, kev
0a30: 29 3a 0a 09 09 62 75 66 66 65 72 20 3d 20 73 65 ):...buffer = se
0a40: 6c 66 2e 5f 5f 73 6f 63 6b 65 74 2e 72 65 63 76 lf.__socket.recv
0a50: 28 6b 65 76 2e 64 61 74 61 29 0a 09 09 65 78 68 (kev.data)...exh
0a60: 61 75 73 74 65 64 20 3d 20 46 61 6c 73 65 0a 09 austed = False..
0a70: 09 69 66 20 6c 65 6e 28 62 75 66 66 65 72 29 20 .if len(buffer)
0a80: 3d 3d 20 30 3a 0a 09 09 09 65 6f 66 20 3d 20 54 == 0:....eof = T
0a90: 72 75 65 0a 09 09 65 6c 73 65 3a 0a 09 09 09 73 rue...else:....s
0aa0: 65 6c 66 2e 5f 5f 69 6e 70 75 74 20 2b 3d 20 62 elf.__input += b
0ab0: 75 66 66 65 72 0a 09 09 09 77 68 69 6c 65 20 6e uffer....while n
0ac0: 6f 74 20 65 78 68 61 75 73 74 65 64 3a 0a 09 09 ot exhausted:...
0ad0: 09 09 69 66 20 73 65 6c 66 2e 5f 5f 73 74 61 74 ..if self.__stat
0ae0: 75 73 20 3d 3d 20 2d 31 3a 0a 09 09 09 09 09 65 us == -1:......e
0af0: 78 68 61 75 73 74 65 64 20 3d 20 54 72 75 65 0a xhausted = True.
0b00: 09 09 09 09 65 6c 69 66 20 73 65 6c 66 2e 5f 5f ....elif self.__
0b10: 73 74 61 74 75 73 20 3d 3d 20 30 3a 0a 09 09 09 status == 0:....
0b20: 09 09 65 6e 64 73 74 72 69 6e 67 20 3d 20 73 65 ..endstring = se
0b30: 6c 66 2e 5f 5f 69 6e 70 75 74 2e 66 69 6e 64 28 lf.__input.find(
0b40: 62 27 5c 6e 27 29 0a 09 09 09 09 09 69 66 20 65 b'\n')......if e
0b50: 6e 64 73 74 72 69 6e 67 20 3e 20 30 3a 0a 09 09 ndstring > 0:...
0b60: 09 09 09 09 70 72 69 6e 74 28 27 50 72 6f 63 65 ....print('Proce
0b70: 73 73 69 6e 67 20 72 65 71 75 65 73 74 20 6c 69 ssing request li
0b80: 6e 65 2e 27 29 0a 09 09 09 09 09 09 6c 69 6e 65 ne.').......line
0b90: 20 3d 20 73 65 6c 66 2e 5f 5f 69 6e 70 75 74 5b = self.__input[
0ba0: 3a 65 6e 64 73 74 72 69 6e 67 5d 2e 64 65 63 6f :endstring].deco
0bb0: 64 65 28 27 61 73 63 69 69 27 29 0a 09 09 09 09 de('ascii').....
0bc0: 09 09 73 65 6c 66 2e 5f 5f 69 6e 70 75 74 20 3d ..self.__input =
0bd0: 20 73 65 6c 66 2e 5f 5f 69 6e 70 75 74 5b 65 6e self.__input[en
0be0: 64 73 74 72 69 6e 67 20 2b 20 31 3a 5d 0a 09 09 dstring + 1:]...
0bf0: 09 09 09 09 69 73 52 65 71 75 65 73 74 20 3d 20 ....isRequest =
0c00: 72 65 2e 63 6f 6d 70 69 6c 65 28 27 28 47 45 54 re.compile('(GET
0c10: 29 20 28 5b 5e 20 5d 2b 29 20 48 54 54 50 2f 28 ) ([^ ]+) HTTP/(
0c20: 31 5c 2e 30 29 27 29 2e 6d 61 74 63 68 28 6c 69 1\.0)').match(li
0c30: 6e 65 29 0a 09 09 09 09 09 09 69 66 20 6e 6f 74 ne).......if not
0c40: 20 69 73 52 65 71 75 65 73 74 3a 0a 09 09 09 09 isRequest:.....
0c50: 09 09 09 73 65 6c 66 2e 65 72 72 6f 72 20 3d 20 ...self.error =
0c60: 27 4e 6f 74 20 61 20 48 54 54 50 20 63 6f 6e 6e 'Not a HTTP conn
0c70: 65 63 74 69 6f 6e 2e 27 0a 09 09 09 09 09 09 09 ection.'........
0c80: 73 65 6c 66 2e 5f 5f 73 74 61 74 75 73 20 3d 20 self.__status =
0c90: 2d 31 0a 09 09 09 09 09 09 65 6c 73 65 3a 0a 09 -1.......else:..
0ca0: 09 09 09 09 09 09 73 65 6c 66 2e 6d 65 74 68 6f ......self.metho
0cb0: 64 20 3d 20 69 73 52 65 71 75 65 73 74 2e 67 72 d = isRequest.gr
0cc0: 6f 75 70 28 31 29 0a 09 09 09 09 09 09 09 73 65 oup(1)........se
0cd0: 6c 66 2e 75 72 6c 20 3d 20 69 73 52 65 71 75 65 lf.url = isReque
0ce0: 73 74 2e 67 72 6f 75 70 28 32 29 0a 09 09 09 09 st.group(2).....
0cf0: 09 09 09 73 65 6c 66 2e 68 74 74 70 5f 76 65 72 ...self.http_ver
0d00: 73 69 6f 6e 20 3d 20 69 73 52 65 71 75 65 73 74 sion = isRequest
0d10: 2e 67 72 6f 75 70 28 33 29 0a 09 09 09 09 09 09 .group(3).......
0d20: 09 73 65 6c 66 2e 5f 5f 73 74 61 74 75 73 20 3d .self.__status =
0d30: 20 31 0a 09 09 09 09 09 65 6c 73 65 3a 0a 09 09 1......else:...
0d40: 09 09 09 09 65 78 68 61 75 73 74 65 64 20 3d 20 ....exhausted =
0d50: 54 72 75 65 0a 09 09 09 09 65 6c 69 66 20 73 65 True.....elif se
0d60: 6c 66 2e 5f 5f 73 74 61 74 75 73 20 3d 3d 20 31 lf.__status == 1
0d70: 3a 0a 09 09 09 09 09 65 6e 64 73 74 72 69 6e 67 :......endstring
0d80: 20 3d 20 73 65 6c 66 2e 5f 5f 69 6e 70 75 74 2e = self.__input.
0d90: 66 69 6e 64 28 62 27 5c 6e 27 29 0a 09 09 09 09 find(b'\n').....
0da0: 09 69 66 20 65 6e 64 73 74 72 69 6e 67 20 3e 20 .if endstring >
0db0: 30 3a 0a 09 09 09 09 09 09 70 72 69 6e 74 28 27 0:.......print('
0dc0: 50 72 6f 63 65 73 73 69 6e 67 20 68 65 61 64 65 Processing heade
0dd0: 72 20 6c 69 6e 65 2e 27 20 2b 20 72 65 70 72 28 r line.' + repr(
0de0: 73 65 6c 66 2e 5f 5f 69 6e 70 75 74 29 29 0a 09 self.__input))..
0df0: 09 09 09 09 09 6c 69 6e 65 20 3d 20 73 65 6c 66 .....line = self
0e00: 2e 5f 5f 69 6e 70 75 74 5b 3a 65 6e 64 73 74 72 .__input[:endstr
0e10: 69 6e 67 5d 2e 64 65 63 6f 64 65 28 27 61 73 63 ing].decode('asc
0e20: 69 69 27 29 0a 09 09 09 09 09 09 73 65 6c 66 2e ii').......self.
0e30: 5f 5f 69 6e 70 75 74 20 3d 20 73 65 6c 66 2e 5f __input = self._
0e40: 5f 69 6e 70 75 74 5b 65 6e 64 73 74 72 69 6e 67 _input[endstring
0e50: 20 2b 20 31 3a 5d 0a 09 09 09 09 09 09 69 73 48 + 1:].......isH
0e60: 65 61 64 65 72 20 3d 20 72 65 2e 63 6f 6d 70 69 eader = re.compi
0e70: 6c 65 28 27 28 5b 5e 3a 5d 2a 29 3a 20 2b 28 2e le('([^:]*): +(.
0e80: 2a 29 27 29 2e 6d 61 74 63 68 28 6c 69 6e 65 29 *)').match(line)
0e90: 0a 09 09 09 09 09 09 69 66 20 6e 6f 74 20 69 73 .......if not is
0ea0: 48 65 61 64 65 72 3a 0a 09 09 09 09 09 09 09 73 Header:........s
0eb0: 65 6c 66 2e 65 72 72 6f 72 20 3d 20 27 42 61 64 elf.error = 'Bad
0ec0: 20 68 65 61 64 65 72 2e 27 0a 09 09 09 09 09 09 header.'.......
0ed0: 09 72 65 74 75 72 6e 28 46 61 6c 73 65 29 0a 09 .return(False)..
0ee0: 09 09 09 09 09 23 20 70 72 6f 63 65 73 73 20 68 .....# process h
0ef0: 65 61 64 65 72 20 68 65 72 65 0a 09 09 09 09 09 eader here......
0f00: 65 6c 69 66 20 65 6e 64 73 74 72 69 6e 67 20 3d elif endstring =
0f10: 3d 20 30 3a 0a 09 09 09 09 09 09 73 65 6c 66 2e = 0:.......self.
0f20: 5f 5f 73 74 61 74 75 73 20 3d 20 32 0a 09 09 09 __status = 2....
0f30: 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 65 78 ..else:.......ex
0f40: 68 61 75 73 74 65 64 20 3d 20 54 72 75 65 0a 0a hausted = True..
0f50: 09 64 65 66 20 77 72 69 74 65 28 73 65 6c 66 2c .def write(self,
0f60: 20 6b 65 76 29 3a 0a 09 09 70 61 73 73 0a 0a 69 kev):...pass..i
0f70: 66 20 6f 70 74 69 6f 6e 73 2e 70 6f 72 74 3a 0a f options.port:.
0f80: 09 69 6d 70 6f 72 74 20 73 65 6c 65 63 74 2c 20 .import select,
0f90: 73 6f 63 6b 65 74 0a 0a 09 73 6f 63 6b 20 3d 20 socket...sock =
0fa0: 73 6f 63 6b 65 74 2e 73 6f 63 6b 65 74 28 73 6f socket.socket(so
0fb0: 63 6b 65 74 2e 41 46 5f 49 4e 45 54 2c 20 73 6f cket.AF_INET, so
0fc0: 63 6b 65 74 2e 53 4f 43 4b 5f 53 54 52 45 41 4d cket.SOCK_STREAM
0fd0: 29 0a 09 74 72 79 3a 0a 09 09 73 6f 63 6b 2e 62 )..try:...sock.b
0fe0: 69 6e 64 28 28 27 31 32 37 2e 30 2e 30 2e 31 27 ind(('127.0.0.1'
0ff0: 2c 20 69 6e 74 28 6f 70 74 69 6f 6e 73 2e 70 6f , int(options.po
1000: 72 74 29 29 29 0a 09 09 73 6f 63 6b 2e 6c 69 73 rt)))...sock.lis
1010: 74 65 6e 28 2d 31 29 0a 0a 09 09 6b 71 20 3d 20 ten(-1)....kq =
1020: 73 65 6c 65 63 74 2e 6b 71 75 65 75 65 28 29 0a select.kqueue().
1030: 09 09 61 73 73 65 72 74 20 6b 71 2e 66 69 6c 65 ..assert kq.file
1040: 6e 6f 28 29 20 21 3d 20 2d 31 2c 20 22 46 61 74 no() != -1, "Fat
1050: 61 6c 20 65 72 72 6f 72 3a 20 63 61 6e 27 74 20 al error: can't
1060: 69 6e 69 74 69 61 6c 69 73 65 20 6b 71 75 65 75 initialise kqueu
1070: 65 2e 22 0a 0a 09 09 6b 71 2e 63 6f 6e 74 72 6f e."....kq.contro
1080: 6c 28 5b 73 65 6c 65 63 74 2e 6b 65 76 65 6e 74 l([select.kevent
1090: 28 73 6f 63 6b 2c 20 73 65 6c 65 63 74 2e 4b 51 (sock, select.KQ
10a0: 5f 46 49 4c 54 45 52 5f 52 45 41 44 2c 20 73 65 _FILTER_READ, se
10b0: 6c 65 63 74 2e 4b 51 5f 45 56 5f 41 44 44 29 5d lect.KQ_EV_ADD)]
10c0: 2c 20 30 29 0a 09 09 74 69 6d 65 6f 75 74 20 3d , 0)...timeout =
10d0: 20 4e 6f 6e 65 0a 0a 09 09 63 6f 6e 6e 65 63 74 None....connect
10e0: 69 6f 6e 73 20 3d 20 7b 73 6f 63 6b 2e 66 69 6c ions = {sock.fil
10f0: 65 6e 6f 28 29 3a 20 4e 6f 6e 65 7d 0a 0a 09 09 eno(): None}....
1100: 77 68 69 6c 65 20 54 72 75 65 3a 0a 09 09 09 6b while True:....k
1110: 65 76 73 20 3d 20 6b 71 2e 63 6f 6e 74 72 6f 6c evs = kq.control
1120: 28 4e 6f 6e 65 2c 20 31 2c 20 74 69 6d 65 6f 75 (None, 1, timeou
1130: 74 29 0a 0a 09 09 09 66 6f 72 20 6b 65 76 20 69 t).....for kev i
1140: 6e 20 6b 65 76 73 3a 0a 09 09 09 09 69 66 20 74 n kevs:.....if t
1150: 79 70 65 28 63 6f 6e 6e 65 63 74 69 6f 6e 73 5b ype(connections[
1160: 6b 65 76 2e 69 64 65 6e 74 5d 29 20 3d 3d 20 43 kev.ident]) == C
1170: 6f 6e 6e 65 63 74 69 6f 6e 3a 0a 09 09 09 09 09 onnection:......
1180: 70 72 69 6e 74 28 6b 65 76 2e 69 64 65 6e 74 2c print(kev.ident,
1190: 20 6b 65 76 2e 64 61 74 61 2c 20 6b 65 76 2e 66 kev.data, kev.f
11a0: 69 6c 74 65 72 2c 20 6b 65 76 2e 66 6c 61 67 73 ilter, kev.flags
11b0: 29 0a 09 09 09 09 09 61 73 73 65 72 74 20 6b 65 )......assert ke
11c0: 76 2e 64 61 74 61 20 21 3d 20 30 2c 20 27 4e 6f v.data != 0, 'No
11d0: 20 64 61 74 61 20 61 76 61 69 6c 61 62 6c 65 2e data available.
11e0: 27 0a 09 09 09 09 09 69 66 20 6b 65 76 2e 66 69 '......if kev.fi
11f0: 6c 74 65 72 20 3d 3d 20 73 65 6c 65 63 74 2e 4b lter == select.K
1200: 51 5f 46 49 4c 54 45 52 5f 52 45 41 44 3a 0a 09 Q_FILTER_READ:..
1210: 09 09 09 09 09 63 6f 6e 6e 65 63 74 69 6f 6e 73 .....connections
1220: 5b 6b 65 76 2e 69 64 65 6e 74 5d 2e 72 65 61 64 [kev.ident].read
1230: 28 6b 65 76 29 0a 09 09 09 09 09 65 6c 69 66 20 (kev)......elif
1240: 6b 65 76 2e 66 69 6c 74 65 72 20 3d 3d 20 73 65 kev.filter == se
1250: 6c 65 63 74 2e 4b 51 5f 46 49 4c 54 45 52 5f 57 lect.KQ_FILTER_W
1260: 52 49 54 45 3a 0a 09 09 09 09 09 09 63 6f 6e 6e RITE:.......conn
1270: 65 63 74 69 6f 6e 73 5b 6b 65 76 2e 69 64 65 6e ections[kev.iden
1280: 74 5d 2e 77 72 69 74 65 28 6b 65 76 29 0a 09 09 t].write(kev)...
1290: 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 61 ...else:.......a
12a0: 73 73 65 72 74 20 6b 65 76 2e 66 69 6c 74 65 72 ssert kev.filter
12b0: 20 69 6e 20 28 73 65 6c 65 63 74 2e 4b 51 5f 46 in (select.KQ_F
12c0: 49 4c 54 45 52 5f 52 45 41 44 2c 20 73 65 6c 65 ILTER_READ, sele
12d0: 63 74 2e 4b 51 5f 46 49 4c 54 45 52 5f 57 52 49 ct.KQ_FILTER_WRI
12e0: 54 45 29 2c 20 27 44 6f 20 77 65 20 73 75 70 70 TE), 'Do we supp
12f0: 6f 72 74 20 6f 74 68 65 72 20 66 69 6c 74 65 72 ort other filter
1300: 73 3f 27 0a 09 09 09 09 65 6c 73 65 3a 0a 09 09 s?'.....else:...
1310: 09 09 09 28 63 6f 6e 6e 2c 20 61 64 64 72 29 20 ...(conn, addr)
1320: 3d 20 73 6f 63 6b 2e 61 63 63 65 70 74 28 29 0a = sock.accept().
1330: 09 09 09 09 09 70 72 69 6e 74 28 27 43 6f 6e 6e .....print('Conn
1340: 65 63 74 69 6f 6e 20 66 72 6f 6d 20 27 20 2b 20 ection from ' +
1350: 72 65 70 72 28 61 64 64 72 29 29 0a 09 09 09 09 repr(addr)).....
1360: 09 6b 71 2e 63 6f 6e 74 72 6f 6c 28 5b 73 65 6c .kq.control([sel
1370: 65 63 74 2e 6b 65 76 65 6e 74 28 63 6f 6e 6e 2c ect.kevent(conn,
1380: 20 73 65 6c 65 63 74 2e 4b 51 5f 46 49 4c 54 45 select.KQ_FILTE
1390: 52 5f 52 45 41 44 2c 20 73 65 6c 65 63 74 2e 4b R_READ, select.K
13a0: 51 5f 45 56 5f 41 44 44 29 5d 2c 20 30 29 0a 09 Q_EV_ADD)], 0)..
13b0: 09 09 09 09 63 6f 6e 6e 65 63 74 69 6f 6e 73 5b ....connections[
13c0: 63 6f 6e 6e 2e 66 69 6c 65 6e 6f 28 29 5d 20 3d conn.fileno()] =
13d0: 20 43 6f 6e 6e 65 63 74 69 6f 6e 28 63 6f 6e 6e Connection(conn
13e0: 2c 20 61 64 64 72 29 0a 0a 09 09 09 09 69 66 20 , addr)......if
13f0: 6b 65 76 2e 66 6c 61 67 73 20 3e 3e 20 31 35 20 kev.flags >> 15
1400: 3d 3d 20 31 3a 0a 09 09 09 09 09 6b 71 2e 63 6f == 1:......kq.co
1410: 6e 74 72 6f 6c 28 5b 73 65 6c 65 63 74 2e 6b 65 ntrol([select.ke
1420: 76 65 6e 74 28 6b 65 76 2e 69 64 65 6e 74 2c 20 vent(kev.ident,
1430: 73 65 6c 65 63 74 2e 4b 51 5f 46 49 4c 54 45 52 select.KQ_FILTER
1440: 5f 52 45 41 44 2c 20 73 65 6c 65 63 74 2e 4b 51 _READ, select.KQ
1450: 5f 45 56 5f 44 45 4c 45 54 45 29 5d 2c 20 30 29 _EV_DELETE)], 0)
1460: 0a 09 09 09 09 09 6b 71 2e 63 6f 6e 74 72 6f 6c ......kq.control
1470: 28 5b 73 65 6c 65 63 74 2e 6b 65 76 65 6e 74 28 ([select.kevent(
1480: 6b 65 76 2e 69 64 65 6e 74 2c 20 73 65 6c 65 63 kev.ident, selec
1490: 74 2e 4b 51 5f 46 49 4c 54 45 52 5f 57 52 49 54 t.KQ_FILTER_WRIT
14a0: 45 2c 20 73 65 6c 65 63 74 2e 4b 51 5f 45 56 5f E, select.KQ_EV_
14b0: 44 45 4c 45 54 45 29 5d 2c 20 30 29 0a 09 09 09 DELETE)], 0)....
14c0: 09 09 64 65 6c 28 63 6f 6e 6e 65 63 74 69 6f 6e ..del(connection
14d0: 73 5b 6b 65 76 2e 69 64 65 6e 74 5d 29 0a 09 66 s[kev.ident])..f
14e0: 69 6e 61 6c 6c 79 3a 0a 09 09 73 6f 63 6b 2e 63 inally:...sock.c
14f0: 6c 6f 73 65 28 29 0a 27 27 27 0a 0a 69 66 20 6f lose().'''..if o
1500: 70 74 69 6f 6e 73 2e 70 6f 72 74 3a 0a 09 69 6d ptions.port:..im
1510: 70 6f 72 74 20 68 74 74 70 2e 73 65 72 76 65 72 port http.server
1520: 0a 0a 09 63 6c 61 73 73 20 4d 79 52 65 71 75 65 ...class MyReque
1530: 73 74 48 61 6e 64 6c 65 72 28 68 74 74 70 2e 73 stHandler(http.s
1540: 65 72 76 65 72 2e 42 61 73 65 48 54 54 50 52 65 erver.BaseHTTPRe
1550: 71 75 65 73 74 48 61 6e 64 6c 65 72 29 3a 0a 09 questHandler):..
1560: 09 64 65 66 20 5f 5f 70 72 6f 63 65 73 73 28 73 .def __process(s
1570: 65 6c 66 29 3a 0a 09 09 09 23 20 72 65 6c 6f 61 elf):....# reloa
1580: 64 20 6d 65 61 6e 73 20 66 69 6c 65 20 6e 65 65 d means file nee
1590: 64 73 20 74 6f 20 62 65 20 72 65 6c 6f 61 64 65 ds to be reloade
15a0: 64 20 74 6f 20 73 65 72 76 65 20 72 65 71 75 65 d to serve reque
15b0: 73 74 0a 09 09 09 72 65 6c 6f 61 64 20 3d 20 46 st....reload = F
15c0: 61 6c 73 65 0a 09 09 09 23 20 72 65 63 68 65 63 alse....# rechec
15d0: 6b 20 6d 65 61 6e 73 20 66 69 6c 65 20 6e 65 65 k means file nee
15e0: 64 73 20 74 6f 20 62 65 20 63 68 65 63 6b 65 64 ds to be checked
15f0: 2c 20 74 68 69 73 20 61 6c 73 6f 20 6d 65 61 6e , this also mean
1600: 73 20 74 68 61 74 20 69 66 20 66 69 6c 65 20 68 s that if file h
1610: 61 76 20 62 65 65 6e 20 6d 6f 64 69 66 69 65 64 av been modified
1620: 20 77 65 20 63 61 6e 20 73 65 72 76 65 20 6f 6c we can serve ol
1630: 64 65 72 20 63 6f 70 79 0a 09 09 09 72 65 63 68 der copy....rech
1640: 65 63 6b 20 3d 20 46 61 6c 73 65 0a 09 09 09 23 eck = False....#
1650: 20 66 69 6c 65 5f 73 74 61 74 20 6d 65 61 6e 73 file_stat means
1660: 20 66 69 6c 65 20 64 65 66 69 6e 69 74 65 6c 79 file definitely
1670: 20 65 78 69 73 74 73 0a 09 09 09 66 69 6c 65 5f exists....file_
1680: 73 74 61 74 20 3d 20 4e 6f 6e 65 0a 09 09 09 23 stat = None....#
1690: 20 72 65 71 75 65 73 74 65 64 5f 72 61 6e 67 65 requested_range
16a0: 73 20 68 6f 6c 64 73 20 64 61 74 61 20 61 62 6f s holds data abo
16b0: 75 74 20 61 6e 79 20 72 61 6e 67 65 20 72 65 71 ut any range req
16c0: 75 65 73 74 65 64 0a 09 09 09 72 65 71 75 65 73 uested....reques
16d0: 74 65 64 5f 72 61 6e 67 65 73 20 3d 20 4e 6f 6e ted_ranges = Non
16e0: 65 0a 09 09 09 23 20 72 65 63 6f 72 64 73 20 68 e....# records h
16f0: 6f 6c 64 73 20 64 61 74 61 20 66 72 6f 6d 20 69 olds data from i
1700: 6e 64 65 78 20 6c 6f 63 61 6c 6c 79 2c 20 73 68 ndex locally, sh
1710: 6f 75 6c 64 20 62 65 20 77 72 69 74 74 65 6e 20 ould be written
1720: 62 61 63 6b 20 75 70 6f 6e 20 73 75 63 63 65 73 back upon succes
1730: 73 66 75 6c 6c 20 63 6f 6d 70 6c 65 74 69 6f 6e sfull completion
1740: 0a 09 09 09 72 65 63 6f 72 64 20 3d 20 4e 6f 6e ....record = Non
1750: 65 0a 09 09 09 69 6e 66 6f 20 3d 20 27 43 68 65 e....info = 'Che
1760: 63 6b 69 6e 67 20 66 69 6c 65 3a 20 27 20 2b 20 cking file: ' +
1770: 73 65 6c 66 2e 70 61 74 68 0a 0a 09 09 09 6d 79 self.path.....my
1780: 50 61 74 68 20 3d 20 72 65 2e 63 6f 6d 70 69 6c Path = re.compil
1790: 65 28 27 5e 28 2e 2a 3f 29 28 5c 3f 2e 2a 29 24 e('^(.*?)(\?.*)$
17a0: 27 29 2e 6d 61 74 63 68 28 73 65 6c 66 2e 70 61 ').match(self.pa
17b0: 74 68 29 0a 09 09 09 69 66 20 6d 79 50 61 74 68 th)....if myPath
17c0: 3a 0a 09 09 09 09 6d 79 5f 70 61 74 68 20 3d 20 :.....my_path =
17d0: 6d 79 50 61 74 68 2e 67 72 6f 75 70 28 31 29 0a myPath.group(1).
17e0: 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 6d 79 5f ...else:.....my_
17f0: 70 61 74 68 20 3d 20 73 65 6c 66 2e 70 61 74 68 path = self.path
1800: 0a 0a 09 09 09 70 72 6f 78 79 5f 69 67 6e 6f 72 .....proxy_ignor
1810: 65 64 20 3d 20 28 27 41 63 63 65 70 74 27 2c 20 ed = ('Accept',
1820: 27 41 63 63 65 70 74 2d 45 6e 63 6f 64 69 6e 67 'Accept-Encoding
1830: 27 2c 0a 09 09 09 09 27 43 61 63 68 65 2d 43 6f ',.....'Cache-Co
1840: 6e 74 72 6f 6c 27 2c 20 27 43 6f 6e 6e 65 63 74 ntrol', 'Connect
1850: 69 6f 6e 27 2c 0a 09 09 09 09 27 48 6f 73 74 27 ion',.....'Host'
1860: 2c 0a 09 09 09 09 27 49 66 2d 4d 6f 64 69 66 69 ,.....'If-Modifi
1870: 65 64 2d 53 69 6e 63 65 27 2c 20 27 49 66 2d 55 ed-Since', 'If-U
1880: 6e 6d 6f 64 69 66 69 65 64 2d 53 69 6e 63 65 27 nmodified-Since'
1890: 2c 0a 09 09 09 09 27 55 73 65 72 2d 41 67 65 6e ,.....'User-Agen
18a0: 74 27 2c 0a 09 09 09 09 27 56 69 61 27 2c 0a 09 t',.....'Via',..
18b0: 09 09 09 27 58 2d 46 6f 72 77 61 72 64 65 64 2d ...'X-Forwarded-
18c0: 46 6f 72 27 2c 0a 09 09 09 29 0a 0a 09 09 09 70 For',....).....p
18d0: 72 69 6e 74 28 27 3d 3d 3d 3d 3d 3d 3d 3d 3d 3d rint('==========
18e0: 3d 3d 3d 3d 3d 5b 20 7b 7d 20 72 65 71 75 65 73 =====[ {} reques
18f0: 74 20 5d 3d 3d 3d 27 2e 66 6f 72 6d 61 74 28 73 t ]==='.format(s
1900: 65 6c 66 2e 63 6f 6d 6d 61 6e 64 29 29 0a 0a 09 elf.command))...
1910: 09 09 66 6f 72 20 68 65 61 64 65 72 20 69 6e 20 ..for header in
1920: 73 65 6c 66 2e 68 65 61 64 65 72 73 3a 0a 09 09 self.headers:...
1930: 09 09 69 66 20 68 65 61 64 65 72 20 69 6e 20 70 ..if header in p
1940: 72 6f 78 79 5f 69 67 6e 6f 72 65 64 3a 0a 09 09 roxy_ignored:...
1950: 09 09 09 70 61 73 73 0a 09 09 09 09 65 6c 69 66 ...pass.....elif
1960: 20 68 65 61 64 65 72 20 69 6e 20 28 27 52 61 6e header in ('Ran
1970: 67 65 27 29 3a 0a 09 09 09 09 09 69 73 52 61 6e ge'):......isRan
1980: 67 65 20 3d 20 72 65 2e 63 6f 6d 70 69 6c 65 28 ge = re.compile(
1990: 27 62 79 74 65 73 3d 28 5c 64 2b 29 2d 28 5c 64 'bytes=(\d+)-(\d
19a0: 2b 29 27 29 2e 6d 61 74 63 68 28 73 65 6c 66 2e +)').match(self.
19b0: 68 65 61 64 65 72 73 5b 68 65 61 64 65 72 5d 29 headers[header])
19c0: 0a 09 09 09 09 09 69 66 20 69 73 52 61 6e 67 65 ......if isRange
19d0: 3a 0a 09 09 09 09 09 09 72 65 71 75 65 73 74 65 :.......requeste
19e0: 64 5f 72 61 6e 67 65 73 20 3d 20 53 70 61 63 65 d_ranges = Space
19f0: 4d 61 70 28 7b 69 6e 74 28 69 73 52 61 6e 67 65 Map({int(isRange
1a00: 2e 67 72 6f 75 70 28 31 29 29 3a 20 69 6e 74 28 .group(1)): int(
1a10: 69 73 52 61 6e 67 65 2e 67 72 6f 75 70 28 32 29 isRange.group(2)
1a20: 29 20 2b 20 31 7d 29 0a 09 09 09 09 09 65 6c 73 ) + 1})......els
1a30: 65 3a 0a 09 09 09 09 09 09 72 65 74 75 72 6e 28 e:.......return(
1a40: 29 0a 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 ).....else:.....
1a50: 09 70 72 69 6e 74 28 27 55 6e 6b 6e 6f 77 6e 20 .print('Unknown
1a60: 68 65 61 64 65 72 20 2d 20 27 2c 20 68 65 61 64 header - ', head
1a70: 65 72 2c 20 27 3a 20 27 2c 20 73 65 6c 66 2e 68 er, ': ', self.h
1a80: 65 61 64 65 72 73 5b 68 65 61 64 65 72 5d 2c 20 eaders[header],
1a90: 73 65 70 3d 27 27 29 0a 09 09 09 09 09 72 65 74 sep='')......ret
1aa0: 75 72 6e 28 29 0a 09 09 09 09 70 72 69 6e 74 28 urn().....print(
1ab0: 68 65 61 64 65 72 2c 20 73 65 6c 66 2e 68 65 61 header, self.hea
1ac0: 64 65 72 73 5b 68 65 61 64 65 72 5d 29 0a 0a 09 ders[header])...
1ad0: 09 09 23 20 63 72 65 61 74 69 6e 67 20 65 6d 70 ..# creating emp
1ae0: 74 79 20 70 6c 61 63 65 68 6f 6c 64 65 72 20 69 ty placeholder i
1af0: 6e 20 69 6e 64 65 78 0a 09 09 09 23 20 69 66 20 n index....# if
1b00: 74 68 65 72 65 27 73 20 6e 6f 20 73 70 61 63 65 there's no space
1b10: 20 6d 61 70 20 61 6e 64 20 74 68 65 72 65 27 73 map and there's
1b20: 20 6e 6f 20 66 69 6c 65 20 69 6e 20 72 65 61 6c no file in real
1b30: 20 64 69 72 65 63 74 6f 72 79 20 2d 20 77 65 20 directory - we
1b40: 68 61 76 65 20 6e 6f 20 66 69 6c 65 0a 09 09 09 have no file....
1b50: 23 20 69 66 20 74 68 65 72 65 27 73 20 61 6e 20 # if there's an
1b60: 65 6d 70 74 79 20 73 70 61 63 65 20 6d 61 70 20 empty space map
1b70: 2d 20 66 69 6c 65 20 69 73 20 66 75 6c 6c 0a 09 - file is full..
1b80: 09 09 23 20 73 70 61 63 65 20 6d 61 70 20 67 65 ..# space map ge
1b90: 6e 65 72 61 6c 6c 79 20 63 6f 76 65 72 73 20 65 nerally covers e
1ba0: 76 65 72 79 20 62 69 74 20 6f 66 20 66 69 6c 65 very bit of file
1bb0: 20 77 65 20 64 6f 6e 27 74 20 70 6f 73 65 73 73 we don't posess
1bc0: 20 63 75 72 72 65 6e 74 6c 79 0a 09 09 09 69 66 currently....if
1bd0: 20 6e 6f 74 20 6d 79 5f 70 61 74 68 20 69 6e 20 not my_path in
1be0: 69 6e 64 65 78 3a 0a 09 09 09 09 69 6e 66 6f 20 index:.....info
1bf0: 2b 3d 20 27 5c 6e 54 68 69 73 20 6f 6e 65 20 69 += '\nThis one i
1c00: 73 20 6e 65 77 2e 27 0a 09 09 09 09 72 65 6c 6f s new.'.....relo
1c10: 61 64 20 3d 20 54 72 75 65 0a 09 09 09 09 72 65 ad = True.....re
1c20: 63 6f 72 64 20 3d 20 7b 27 5f 70 61 72 74 73 27 cord = {'_parts'
1c30: 3a 20 4e 6f 6e 65 7d 0a 09 09 09 65 6c 73 65 3a : None}....else:
1c40: 0a 09 09 09 09 72 65 63 6f 72 64 20 3d 20 69 6e .....record = in
1c50: 64 65 78 5b 6d 79 5f 70 61 74 68 5d 0a 09 09 09 dex[my_path]....
1c60: 09 69 66 20 27 5f 70 61 72 74 73 27 20 69 6e 20 .if '_parts' in
1c70: 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5d 3a 0a index[my_path]:.
1c80: 09 09 09 09 09 69 66 20 69 6e 64 65 78 5b 6d 79 .....if index[my
1c90: 5f 70 61 74 68 5d 5b 27 5f 70 61 72 74 73 27 5d _path]['_parts']
1ca0: 20 3d 3d 20 7b 30 3a 20 2d 31 7d 3a 0a 09 09 09 == {0: -1}:....
1cb0: 09 09 09 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 ...index[my_path
1cc0: 5d 5b 27 5f 70 61 72 74 73 27 5d 20 3d 20 4e 6f ]['_parts'] = No
1cd0: 6e 65 0a 0a 09 09 09 23 20 63 72 65 61 74 69 6e ne.....# creatin
1ce0: 67 20 66 69 6c 65 20 6e 61 6d 65 20 66 72 6f 6d g file name from
1cf0: 20 6d 79 5f 70 61 74 68 0a 09 09 09 66 69 6c 65 my_path....file
1d00: 5f 6e 61 6d 65 20 3d 20 6f 70 74 69 6f 6e 73 2e _name = options.
1d10: 64 69 72 20 2b 20 6f 73 2e 73 65 70 20 2b 20 72 dir + os.sep + r
1d20: 65 2e 63 6f 6d 70 69 6c 65 28 27 25 32 30 27 29 e.compile('%20')
1d30: 2e 73 75 62 28 27 20 27 2c 20 6d 79 5f 70 61 74 .sub(' ', my_pat
1d40: 68 29 0a 09 09 09 23 20 70 61 72 74 69 61 6c 20 h)....# partial
1d50: 66 69 6c 65 20 6f 72 20 75 6e 66 69 6e 69 73 68 file or unfinish
1d60: 65 64 20 64 6f 77 6e 6c 6f 61 64 0a 09 09 09 74 ed download....t
1d70: 65 6d 70 5f 6e 61 6d 65 20 3d 20 6f 70 74 69 6f emp_name = optio
1d80: 6e 73 2e 64 69 72 20 2b 20 6f 73 2e 73 65 70 20 ns.dir + os.sep
1d90: 2b 20 27 2e 70 61 72 74 73 27 20 2b 20 72 65 2e + '.parts' + re.
1da0: 63 6f 6d 70 69 6c 65 28 27 25 32 30 27 29 2e 73 compile('%20').s
1db0: 75 62 28 27 20 27 2c 20 6d 79 5f 70 61 74 68 29 ub(' ', my_path)
1dc0: 0a 0a 09 09 09 23 20 66 6f 72 63 69 62 6c 79 20 .....# forcibly
1dd0: 63 68 65 63 6b 69 6e 67 20 66 69 6c 65 20 69 66 checking file if
1de0: 20 6e 6f 20 66 69 6c 65 20 70 72 65 73 65 6e 74 no file present
1df0: 0a 09 09 09 69 66 20 6f 73 2e 61 63 63 65 73 73 ....if os.access
1e00: 28 66 69 6c 65 5f 6e 61 6d 65 2c 20 6f 73 2e 52 (file_name, os.R
1e10: 5f 4f 4b 29 3a 0a 09 09 09 09 66 69 6c 65 5f 73 _OK):.....file_s
1e20: 74 61 74 20 3d 20 6f 73 2e 73 74 61 74 28 66 69 tat = os.stat(fi
1e30: 6c 65 5f 6e 61 6d 65 29 0a 09 09 09 65 6c 69 66 le_name)....elif
1e40: 20 27 5f 70 61 72 74 73 27 20 69 6e 20 72 65 63 '_parts' in rec
1e50: 6f 72 64 20 61 6e 64 20 6f 73 2e 61 63 63 65 73 ord and os.acces
1e60: 73 28 74 65 6d 70 5f 6e 61 6d 65 2c 20 6f 73 2e s(temp_name, os.
1e70: 52 5f 4f 4b 29 3a 0a 09 09 09 09 66 69 6c 65 5f R_OK):.....file_
1e80: 73 74 61 74 20 3d 20 6f 73 2e 73 74 61 74 28 74 stat = os.stat(t
1e90: 65 6d 70 5f 6e 61 6d 65 29 0a 09 09 09 65 6c 69 emp_name)....eli
1ea0: 66 20 6e 6f 74 20 72 65 6c 6f 61 64 3a 0a 09 09 f not reload:...
1eb0: 09 09 69 6e 66 6f 20 2b 3d 20 27 5c 6e 46 69 6c ..info += '\nFil
1ec0: 65 20 6e 6f 74 20 66 6f 75 6e 64 20 6f 72 20 69 e not found or i
1ed0: 6e 61 63 63 65 73 73 69 62 6c 65 2e 27 0a 09 09 naccessible.'...
1ee0: 09 09 72 65 63 6f 72 64 20 3d 20 7b 27 5f 70 61 ..record = {'_pa
1ef0: 72 74 73 27 3a 20 4e 6f 6e 65 7d 0a 09 09 09 09 rts': None}.....
1f00: 72 65 6c 6f 61 64 20 3d 20 54 72 75 65 0a 0a 09 reload = True...
1f10: 09 09 23 20 66 6f 72 63 69 62 6c 79 20 63 68 65 ..# forcibly che
1f20: 63 6b 69 6e 67 20 66 69 6c 65 20 69 66 20 66 69 cking file if fi
1f30: 6c 65 20 73 69 7a 65 20 64 6f 65 73 6e 27 74 20 le size doesn't
1f40: 6d 61 74 63 68 20 77 69 74 68 20 69 6e 64 65 78 match with index
1f50: 20 64 61 74 61 0a 09 09 09 69 66 20 6e 6f 74 20 data....if not
1f60: 72 65 6c 6f 61 64 3a 0a 09 09 09 09 69 66 20 27 reload:.....if '
1f70: 5f 70 61 72 74 73 27 20 69 6e 20 72 65 63 6f 72 _parts' in recor
1f80: 64 20 61 6e 64 20 72 65 63 6f 72 64 5b 27 5f 70 d and record['_p
1f90: 61 72 74 73 27 5d 20 3d 3d 20 53 70 61 63 65 4d arts'] == SpaceM
1fa0: 61 70 28 29 3a 0a 09 09 09 09 09 69 66 20 27 43 ap():......if 'C
1fb0: 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 20 69 ontent-Length' i
1fc0: 6e 20 72 65 63 6f 72 64 20 61 6e 64 20 66 69 6c n record and fil
1fd0: 65 5f 73 74 61 74 20 61 6e 64 20 66 69 6c 65 5f e_stat and file_
1fe0: 73 74 61 74 2e 73 74 5f 73 69 7a 65 20 21 3d 20 stat.st_size !=
1ff0: 69 6e 74 28 72 65 63 6f 72 64 5b 27 43 6f 6e 74 int(record['Cont
2000: 65 6e 74 2d 4c 65 6e 67 74 68 27 5d 29 3a 0a 09 ent-Length']):..
2010: 09 09 09 09 09 69 6e 66 6f 20 2b 3d 20 27 5c 6e .....info += '\n
2020: 46 69 6c 65 20 73 69 7a 65 20 69 73 20 7b 7d 20 File size is {}
2030: 61 6e 64 20 73 74 6f 72 65 64 20 66 69 6c 65 20 and stored file
2040: 73 69 7a 65 20 69 73 20 7b 7d 2e 27 2e 66 6f 72 size is {}.'.for
2050: 6d 61 74 28 66 69 6c 65 5f 73 74 61 74 2e 73 74 mat(file_stat.st
2060: 5f 73 69 7a 65 2c 20 72 65 63 6f 72 64 5b 27 43 _size, record['C
2070: 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 5d 29 ontent-Length'])
2080: 0a 09 09 09 09 09 09 72 65 6c 6f 61 64 20 3d 20 .......reload =
2090: 54 72 75 65 0a 0a 09 09 09 23 20 66 6f 72 63 69 True.....# forci
20a0: 62 6c 79 20 63 68 65 63 6b 69 6e 67 20 66 69 6c bly checking fil
20b0: 65 20 69 66 20 69 6e 64 65 78 20 68 6f 6c 64 73 e if index holds
20c0: 20 50 72 61 67 6d 61 20 68 65 61 64 65 72 0a 09 Pragma header..
20d0: 09 09 69 66 20 6e 6f 74 20 72 65 6c 6f 61 64 20 ..if not reload
20e0: 61 6e 64 20 27 50 72 61 67 6d 61 27 20 69 6e 20 and 'Pragma' in
20f0: 72 65 63 6f 72 64 20 61 6e 64 20 72 65 63 6f 72 record and recor
2100: 64 5b 27 50 72 61 67 6d 61 27 5d 20 3d 3d 20 27 d['Pragma'] == '
2110: 6e 6f 2d 63 61 63 68 65 27 3a 0a 09 09 09 09 69 no-cache':.....i
2120: 6e 66 6f 20 2b 3d 27 5c 6e 50 72 61 67 6d 61 20 nfo +='\nPragma
2130: 6f 6e 3a 20 72 65 63 68 65 63 6b 20 69 6d 6d 69 on: recheck immi
2140: 6e 65 6e 74 2e 27 0a 09 09 09 09 72 65 63 68 65 nent.'.....reche
2150: 63 6b 20 3d 20 54 72 75 65 0a 0a 09 09 09 23 20 ck = True.....#
2160: 73 6b 69 70 70 69 6e 67 20 66 69 6c 65 20 70 72 skipping file pr
2170: 6f 63 65 73 73 69 6e 67 20 69 66 20 74 68 65 72 ocessing if ther
2180: 65 27 73 20 6e 6f 20 6e 65 65 64 20 74 6f 20 72 e's no need to r
2190: 65 63 68 65 63 6b 20 69 74 20 61 6e 64 20 77 65 echeck it and we
21a0: 20 68 61 76 65 20 63 68 65 63 6b 65 64 20 69 74 have checked it
21b0: 20 61 74 20 6c 65 61 73 74 20 34 20 68 6f 75 72 at least 4 hour
21c0: 73 20 61 67 6f 0a 09 09 09 69 66 20 6e 6f 74 20 s ago....if not
21d0: 72 65 63 68 65 63 6b 20 61 6e 64 20 6e 6f 74 20 recheck and not
21e0: 72 65 6c 6f 61 64 20 61 6e 64 20 27 5f 74 69 6d reload and '_tim
21f0: 65 27 20 69 6e 20 72 65 63 6f 72 64 20 61 6e 64 e' in record and
2200: 20 28 64 61 74 65 74 69 6d 65 2e 64 61 74 65 74 (datetime.datet
2210: 69 6d 65 2e 6e 6f 77 28 29 20 2d 20 64 61 74 65 ime.now() - date
2220: 74 69 6d 65 2e 74 69 6d 65 64 65 6c 74 61 28 68 time.timedelta(h
2230: 6f 75 72 73 20 3d 20 34 29 20 2d 20 72 65 63 6f ours = 4) - reco
2240: 72 64 5b 27 5f 74 69 6d 65 27 5d 29 2e 64 61 79 rd['_time']).day
2250: 73 20 3c 20 30 3a 0a 09 09 09 09 72 65 63 68 65 s < 0:.....reche
2260: 63 6b 20 3d 20 54 72 75 65 0a 0a 09 09 09 70 72 ck = True.....pr
2270: 69 6e 74 28 69 6e 66 6f 29 0a 09 09 09 69 66 20 int(info)....if
2280: 72 65 6c 6f 61 64 20 6f 72 20 72 65 63 68 65 63 reload or rechec
2290: 6b 3a 0a 0a 09 09 09 09 74 72 79 3a 0a 09 09 09 k:......try:....
22a0: 09 09 72 65 71 75 65 73 74 20 3d 20 6f 70 74 69 ..request = opti
22b0: 6f 6e 73 2e 72 6f 6f 74 20 2b 20 6d 79 5f 70 61 ons.root + my_pa
22c0: 74 68 0a 09 09 09 09 09 6e 65 65 64 65 64 20 3d th......needed =
22d0: 20 4e 6f 6e 65 0a 09 09 09 09 09 69 66 20 72 65 None......if re
22e0: 71 75 65 73 74 65 64 5f 72 61 6e 67 65 73 20 21 quested_ranges !
22f0: 3d 20 4e 6f 6e 65 3a 0a 09 09 09 09 09 09 69 66 = None:.......if
2300: 20 27 5f 70 61 72 74 73 27 20 69 6e 20 72 65 63 '_parts' in rec
2310: 6f 72 64 20 61 6e 64 20 72 65 63 6f 72 64 5b 27 ord and record['
2320: 5f 70 61 72 74 73 27 5d 20 21 3d 20 4e 6f 6e 65 _parts'] != None
2330: 3a 0a 09 09 09 09 09 09 09 6e 65 65 64 65 64 20 :........needed
2340: 3d 20 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 = record['_parts
2350: 27 5d 20 26 20 72 65 71 75 65 73 74 65 64 5f 72 '] & requested_r
2360: 61 6e 67 65 73 0a 09 09 09 09 09 09 65 6c 73 65 anges.......else
2370: 3a 0a 09 09 09 09 09 09 09 6e 65 65 64 65 64 20 :........needed
2380: 3d 20 72 65 71 75 65 73 74 65 64 5f 72 61 6e 67 = requested_rang
2390: 65 73 0a 09 09 09 09 09 09 72 61 6e 67 65 73 20 es.......ranges
23a0: 3d 20 28 29 0a 09 09 09 09 09 09 70 72 69 6e 74 = ().......print
23b0: 28 27 4d 69 73 73 69 6e 67 20 72 61 6e 67 65 73 ('Missing ranges
23c0: 3a 20 7b 7d 2c 20 72 65 71 75 65 73 74 65 64 20 : {}, requested
23d0: 72 61 6e 67 65 73 3a 20 7b 7d 2c 20 6e 65 65 64 ranges: {}, need
23e0: 65 64 20 72 61 6e 67 65 73 3a 20 7b 7d 2e 27 2e ed ranges: {}.'.
23f0: 66 6f 72 6d 61 74 28 72 65 63 6f 72 64 5b 27 5f format(record['_
2400: 70 61 72 74 73 27 5d 2c 20 72 65 71 75 65 73 74 parts'], request
2410: 65 64 5f 72 61 6e 67 65 73 2c 20 6e 65 65 64 65 ed_ranges, neede
2420: 64 29 29 0a 09 09 09 09 09 09 69 66 20 6c 65 6e d)).......if len
2430: 28 6e 65 65 64 65 64 29 20 3e 20 30 3a 0a 09 09 (needed) > 0:...
2440: 09 09 09 09 09 6e 65 65 64 65 64 2e 72 65 77 69 .....needed.rewi
2450: 6e 64 28 29 0a 09 09 09 09 09 09 09 77 68 69 6c nd()........whil
2460: 65 20 54 72 75 65 3a 0a 09 09 09 09 09 09 09 09 e True:.........
2470: 72 61 6e 67 65 20 3d 20 6e 65 65 64 65 64 2e 70 range = needed.p
2480: 6f 70 28 29 0a 09 09 09 09 09 09 09 09 69 66 20 op().........if
2490: 72 61 6e 67 65 5b 30 5d 20 3d 3d 20 4e 6f 6e 65 range[0] == None
24a0: 3a 0a 09 09 09 09 09 09 09 09 09 62 72 65 61 6b :..........break
24b0: 0a 09 09 09 09 09 09 09 09 72 61 6e 67 65 73 20 .........ranges
24c0: 2b 3d 20 27 7b 7d 2d 7b 7d 27 2e 66 6f 72 6d 61 += '{}-{}'.forma
24d0: 74 28 72 61 6e 67 65 5b 30 5d 2c 20 72 61 6e 67 t(range[0], rang
24e0: 65 5b 31 5d 20 2d 20 31 29 2c 0a 09 09 09 09 09 e[1] - 1),......
24f0: 09 09 72 65 71 75 65 73 74 20 3d 20 75 72 6c 6c ..request = urll
2500: 69 62 2e 72 65 71 75 65 73 74 2e 52 65 71 75 65 ib.request.Reque
2510: 73 74 28 72 65 71 75 65 73 74 2c 20 68 65 61 64 st(request, head
2520: 65 72 73 20 3d 20 7b 27 52 61 6e 67 65 27 3a 20 ers = {'Range':
2530: 27 62 79 74 65 73 3d 27 20 2b 20 27 2c 27 2e 6a 'bytes=' + ','.j
2540: 6f 69 6e 28 72 61 6e 67 65 73 29 7d 29 0a 0a 09 oin(ranges)})...
2550: 09 09 09 09 77 69 74 68 20 75 72 6c 6c 69 62 2e ....with urllib.
2560: 72 65 71 75 65 73 74 2e 75 72 6c 6f 70 65 6e 28 request.urlopen(
2570: 72 65 71 75 65 73 74 29 20 61 73 20 73 6f 75 72 request) as sour
2580: 63 65 3a 0a 09 09 09 09 09 09 6e 65 77 5f 72 65 ce:.......new_re
2590: 63 6f 72 64 20 3d 20 7b 7d 0a 09 09 09 09 09 09 cord = {}.......
25a0: 6e 65 77 5f 72 65 63 6f 72 64 5b 27 5f 70 61 72 new_record['_par
25b0: 74 73 27 5d 20 3d 20 72 65 63 6f 72 64 5b 27 5f ts'] = record['_
25c0: 70 61 72 74 73 27 5d 0a 09 09 09 09 09 09 68 65 parts'].......he
25d0: 61 64 65 72 73 20 3d 20 73 6f 75 72 63 65 2e 69 aders = source.i
25e0: 6e 66 6f 28 29 0a 0a 09 09 09 09 09 09 23 20 73 nfo()........# s
25f0: 74 72 69 70 70 69 6e 67 20 75 6e 6e 65 65 64 65 tripping unneede
2600: 64 20 68 65 61 64 65 72 73 20 28 58 58 58 20 6d d headers (XXX m
2610: 61 6b 65 20 74 68 69 73 20 69 6e 70 6c 61 63 65 ake this inplace
2620: 3f 29 0a 09 09 09 09 09 09 66 6f 72 20 68 65 61 ?).......for hea
2630: 64 65 72 20 69 6e 20 68 65 61 64 65 72 73 3a 0a der in headers:.
2640: 09 09 09 09 09 09 09 69 66 20 68 65 61 64 65 72 .......if header
2650: 20 69 6e 20 64 65 73 63 5f 66 69 65 6c 64 73 3a in desc_fields:
2660: 0a 09 09 09 09 09 09 09 09 23 69 66 20 68 65 61 .........#if hea
2670: 64 65 72 20 3d 3d 20 27 50 72 61 67 6d 61 27 20 der == 'Pragma'
2680: 61 6e 64 20 68 65 61 64 65 72 73 5b 68 65 61 64 and headers[head
2690: 65 72 5d 20 21 3d 20 27 6e 6f 2d 63 61 63 68 65 er] != 'no-cache
26a0: 27 3a 0a 09 09 09 09 09 09 09 09 69 66 20 68 65 ':.........if he
26b0: 61 64 65 72 20 3d 3d 20 27 43 6f 6e 74 65 6e 74 ader == 'Content
26c0: 2d 4c 65 6e 67 74 68 27 3a 0a 09 09 09 09 09 09 -Length':.......
26d0: 09 09 09 69 66 20 27 43 6f 6e 74 65 6e 74 2d 52 ...if 'Content-R
26e0: 61 6e 67 65 27 20 6e 6f 74 20 69 6e 20 68 65 61 ange' not in hea
26f0: 64 65 72 73 3a 0a 09 09 09 09 09 09 09 09 09 09 ders:...........
2700: 6e 65 77 5f 72 65 63 6f 72 64 5b 68 65 61 64 65 new_record[heade
2710: 72 5d 20 3d 20 69 6e 74 28 68 65 61 64 65 72 73 r] = int(headers
2720: 5b 68 65 61 64 65 72 5d 29 0a 09 09 09 09 09 09 [header]).......
2730: 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 09 09 ..else:.........
2740: 09 6e 65 77 5f 72 65 63 6f 72 64 5b 68 65 61 64 .new_record[head
2750: 65 72 5d 20 3d 20 68 65 61 64 65 72 73 5b 68 65 er] = headers[he
2760: 61 64 65 72 5d 0a 09 09 09 09 09 09 09 65 6c 69 ader]........eli
2770: 66 20 68 65 61 64 65 72 20 3d 3d 20 27 43 6f 6e f header == 'Con
2780: 74 65 6e 74 2d 52 61 6e 67 65 27 3a 0a 09 09 09 tent-Range':....
2790: 09 09 09 09 09 72 61 6e 67 65 20 3d 20 72 65 2e .....range = re.
27a0: 63 6f 6d 70 69 6c 65 28 27 5e 62 79 74 65 73 20 compile('^bytes
27b0: 28 5c 64 2b 29 2d 28 5c 64 2b 29 2f 28 5c 64 2b (\d+)-(\d+)/(\d+
27c0: 29 24 27 29 2e 6d 61 74 63 68 28 68 65 61 64 65 )$').match(heade
27d0: 72 73 5b 68 65 61 64 65 72 5d 29 0a 09 09 09 09 rs[header]).....
27e0: 09 09 09 09 69 66 20 72 61 6e 67 65 3a 0a 09 09 ....if range:...
27f0: 09 09 09 09 09 09 09 6e 65 77 5f 72 65 63 6f 72 .......new_recor
2800: 64 5b 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 d['Content-Lengt
2810: 68 27 5d 20 3d 20 69 6e 74 28 72 61 6e 67 65 2e h'] = int(range.
2820: 67 72 6f 75 70 28 33 29 29 0a 09 09 09 09 09 09 group(3)).......
2830: 09 09 65 6c 73 65 3a 09 0a 09 09 09 09 09 09 09 ..else:.........
2840: 09 09 61 73 73 65 72 74 20 46 61 6c 73 65 2c 20 ..assert False,
2850: 27 43 6f 6e 74 65 6e 74 2d 52 61 6e 67 65 20 75 'Content-Range u
2860: 6e 72 65 63 6f 67 6e 69 7a 65 64 2e 27 0a 09 09 nrecognized.'...
2870: 09 09 09 09 09 65 6c 69 66 20 6e 6f 74 20 68 65 .....elif not he
2880: 61 64 65 72 20 69 6e 20 69 67 6e 6f 72 65 5f 66 ader in ignore_f
2890: 69 65 6c 64 73 3a 0a 09 09 09 09 09 09 09 09 70 ields:.........p
28a0: 72 69 6e 74 28 27 55 6e 64 65 66 69 6e 65 64 20 rint('Undefined
28b0: 68 65 61 64 65 72 20 22 27 2c 20 68 65 61 64 65 header "', heade
28c0: 72 2c 20 27 22 3a 20 27 2c 20 68 65 61 64 65 72 r, '": ', header
28d0: 73 5b 68 65 61 64 65 72 5d 2c 20 73 65 70 3d 27 s[header], sep='
28e0: 27 29 0a 0a 09 09 09 09 09 09 23 20 63 6f 6d 70 ')........# comp
28f0: 61 72 69 6e 67 20 68 65 61 64 65 72 73 20 77 69 aring headers wi
2900: 74 68 20 64 61 74 61 20 66 6f 75 6e 64 20 69 6e th data found in
2910: 20 69 6e 64 65 78 0a 09 09 09 09 09 09 23 20 69 index.......# i
2920: 66 20 61 6e 79 20 68 65 61 64 65 72 20 68 61 73 f any header has
2930: 20 63 68 61 6e 67 65 64 20 28 65 78 63 65 70 74 changed (except
2940: 20 50 72 61 67 6d 61 29 20 66 69 6c 65 20 69 73 Pragma) file is
2950: 20 66 75 6c 6c 79 20 64 6f 77 6e 6c 6f 61 64 65 fully downloade
2960: 64 0a 09 09 09 09 09 09 23 20 73 61 6d 65 20 69 d.......# same i
2970: 66 20 77 65 20 67 65 74 20 6d 6f 72 65 20 6f 72 f we get more or
2980: 20 6c 65 73 73 20 68 65 61 64 65 72 73 0a 09 09 less headers...
2990: 09 09 09 09 6f 6c 64 5f 6b 65 79 73 20 3d 20 73 ....old_keys = s
29a0: 65 74 28 72 65 63 6f 72 64 2e 6b 65 79 73 28 29 et(record.keys()
29b0: 29 0a 09 09 09 09 09 09 6f 6c 64 5f 6b 65 79 73 ).......old_keys
29c0: 2e 64 69 73 63 61 72 64 28 27 5f 74 69 6d 65 27 .discard('_time'
29d0: 29 0a 09 09 09 09 09 09 6f 6c 64 5f 6b 65 79 73 ).......old_keys
29e0: 2e 64 69 73 63 61 72 64 28 27 50 72 61 67 6d 61 .discard('Pragma
29f0: 27 29 0a 09 09 09 09 09 09 6d 6f 72 65 5f 6b 65 ').......more_ke
2a00: 79 73 20 3d 20 73 65 74 28 6e 65 77 5f 72 65 63 ys = set(new_rec
2a10: 6f 72 64 2e 6b 65 79 73 28 29 29 20 2d 20 6f 6c ord.keys()) - ol
2a20: 64 5f 6b 65 79 73 0a 09 09 09 09 09 09 6d 6f 72 d_keys.......mor
2a30: 65 5f 6b 65 79 73 2e 64 69 73 63 61 72 64 28 27 e_keys.discard('
2a40: 50 72 61 67 6d 61 27 29 0a 09 09 09 09 09 09 6c Pragma').......l
2a50: 65 73 73 5f 6b 65 79 73 20 3d 20 6f 6c 64 5f 6b ess_keys = old_k
2a60: 65 79 73 20 2d 20 73 65 74 28 6e 65 77 5f 72 65 eys - set(new_re
2a70: 63 6f 72 64 2e 6b 65 79 73 28 29 29 0a 09 09 09 cord.keys())....
2a80: 09 09 09 69 66 20 6c 65 6e 28 6d 6f 72 65 5f 6b ...if len(more_k
2a90: 65 79 73 29 20 3e 20 30 3a 0a 09 09 09 09 09 09 eys) > 0:.......
2aa0: 09 69 66 20 6e 6f 74 20 6c 65 6e 28 6f 6c 64 5f .if not len(old_
2ab0: 6b 65 79 73 29 20 3d 3d 20 30 3a 0a 09 09 09 09 keys) == 0:.....
2ac0: 09 09 09 09 70 72 69 6e 74 28 27 4d 6f 72 65 20 ....print('More
2ad0: 68 65 61 64 65 72 73 20 61 70 70 65 61 72 3a 27 headers appear:'
2ae0: 2c 20 6d 6f 72 65 5f 6b 65 79 73 29 0a 09 09 09 , more_keys)....
2af0: 09 09 09 09 72 65 6c 6f 61 64 20 3d 20 54 72 75 ....reload = Tru
2b00: 65 0a 09 09 09 09 09 09 65 6c 69 66 20 6c 65 6e e.......elif len
2b10: 28 6c 65 73 73 5f 6b 65 79 73 29 20 3e 20 30 3a (less_keys) > 0:
2b20: 0a 09 09 09 09 09 09 09 70 72 69 6e 74 28 27 4c ........print('L
2b30: 65 73 73 20 68 65 61 64 65 72 73 20 61 70 70 65 ess headers appe
2b40: 61 72 3a 27 2c 20 6c 65 73 73 5f 6b 65 79 73 29 ar:', less_keys)
2b50: 0a 09 09 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 .......else:....
2b60: 09 09 09 09 66 6f 72 20 6b 65 79 20 69 6e 20 72 ....for key in r
2b70: 65 63 6f 72 64 2e 6b 65 79 73 28 29 3a 0a 09 09 ecord.keys():...
2b80: 09 09 09 09 09 09 69 66 20 6b 65 79 5b 30 5d 20 ......if key[0]
2b90: 21 3d 20 27 5f 27 20 61 6e 64 20 6b 65 79 20 21 != '_' and key !
2ba0: 3d 20 27 50 72 61 67 6d 61 27 20 61 6e 64 20 6e = 'Pragma' and n
2bb0: 6f 74 20 72 65 63 6f 72 64 5b 6b 65 79 5d 20 3d ot record[key] =
2bc0: 3d 20 6e 65 77 5f 72 65 63 6f 72 64 5b 6b 65 79 = new_record[key
2bd0: 5d 3a 0a 09 09 09 09 09 09 09 09 09 70 72 69 6e ]:..........prin
2be0: 74 28 27 48 65 61 64 65 72 20 22 27 2c 20 6b 65 t('Header "', ke
2bf0: 79 2c 20 27 22 20 63 68 61 6e 67 65 64 20 66 72 y, '" changed fr
2c00: 6f 6d 20 5b 27 2c 20 72 65 63 6f 72 64 5b 6b 65 om [', record[ke
2c10: 79 5d 2c 20 27 5d 20 74 6f 20 5b 27 2c 20 6e 65 y], '] to [', ne
2c20: 77 5f 72 65 63 6f 72 64 5b 6b 65 79 5d 2c 20 27 w_record[key], '
2c30: 5d 27 2c 20 73 65 70 3d 27 27 29 0a 09 09 09 09 ]', sep='').....
2c40: 09 09 09 09 09 70 72 69 6e 74 28 74 79 70 65 28 .....print(type(
2c50: 72 65 63 6f 72 64 5b 6b 65 79 5d 29 2c 20 74 79 record[key]), ty
2c60: 70 65 28 6e 65 77 5f 72 65 63 6f 72 64 5b 6b 65 pe(new_record[ke
2c70: 79 5d 29 29 0a 09 09 09 09 09 09 09 09 09 72 65 y]))..........re
2c80: 6c 6f 61 64 20 3d 20 54 72 75 65 0a 0a 09 09 09 load = True.....
2c90: 09 09 09 69 66 20 72 65 6c 6f 61 64 3a 0a 09 09 ...if reload:...
2ca0: 09 09 09 09 09 70 72 69 6e 74 28 27 52 65 6c 6f .....print('Relo
2cb0: 61 64 69 6e 67 2e 27 29 0a 09 09 09 09 09 09 09 ading.')........
2cc0: 69 66 20 6f 73 2e 61 63 63 65 73 73 28 74 65 6d if os.access(tem
2cd0: 70 5f 6e 61 6d 65 2c 20 6f 73 2e 52 5f 4f 4b 29 p_name, os.R_OK)
2ce0: 3a 0a 09 09 09 09 09 09 09 09 6f 73 2e 75 6e 6c :.........os.unl
2cf0: 69 6e 6b 28 74 65 6d 70 5f 6e 61 6d 65 29 0a 09 ink(temp_name)..
2d00: 09 09 09 09 09 09 69 66 20 6f 73 2e 61 63 63 65 ......if os.acce
2d10: 73 73 28 66 69 6c 65 5f 6e 61 6d 65 2c 20 6f 73 ss(file_name, os
2d20: 2e 52 5f 4f 4b 29 3a 0a 09 09 09 09 09 09 09 09 .R_OK):.........
2d30: 6f 73 2e 75 6e 6c 69 6e 6b 28 66 69 6c 65 5f 6e os.unlink(file_n
2d40: 61 6d 65 29 0a 09 09 09 09 09 09 69 66 20 6e 65 ame).......if ne
2d50: 77 5f 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 w_record['_parts
2d60: 27 5d 20 3d 3d 20 4e 6f 6e 65 20 6f 72 20 72 65 '] == None or re
2d70: 6c 6f 61 64 3a 0a 09 09 09 09 09 09 09 6e 65 77 load:........new
2d80: 5f 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 _record['_parts'
2d90: 5d 20 3d 20 53 70 61 63 65 4d 61 70 28 7b 30 3a ] = SpaceMap({0:
2da0: 20 69 6e 74 28 6e 65 77 5f 72 65 63 6f 72 64 5b int(new_record[
2db0: 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 'Content-Length'
2dc0: 5d 29 7d 29 0a 09 09 09 09 09 09 70 72 69 6e 74 ])}).......print
2dd0: 28 6e 65 77 5f 72 65 63 6f 72 64 29 0a 0a 09 09 (new_record)....
2de0: 09 09 09 09 23 20 64 6f 77 6e 6c 6f 61 64 69 6e ....# downloadin
2df0: 67 20 66 69 6c 65 20 6f 72 20 73 65 67 6d 65 6e g file or segmen
2e00: 74 0a 09 09 09 09 09 09 69 66 20 27 43 6f 6e 74 t.......if 'Cont
2e10: 65 6e 74 2d 4c 65 6e 67 74 68 27 20 69 6e 20 6e ent-Length' in n
2e20: 65 77 5f 72 65 63 6f 72 64 3a 0a 09 09 09 09 09 ew_record:......
2e30: 09 09 69 66 20 6e 65 65 64 65 64 20 3d 3d 20 4e ..if needed == N
2e40: 6f 6e 65 3a 0a 09 09 09 09 09 09 09 09 6e 65 65 one:.........nee
2e50: 64 65 64 20 3d 20 6e 65 77 5f 72 65 63 6f 72 64 ded = new_record
2e60: 5b 27 5f 70 61 72 74 73 27 5d 0a 09 09 09 09 09 ['_parts']......
2e70: 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 09 09 ..else:.........
2e80: 69 66 20 6c 65 6e 28 6e 65 65 64 65 64 29 20 3e if len(needed) >
2e90: 20 31 3a 0a 09 09 09 09 09 09 09 09 09 70 72 69 1:..........pri
2ea0: 6e 74 28 22 4d 75 6c 74 69 70 61 72 74 20 72 65 nt("Multipart re
2eb0: 71 75 65 73 74 73 20 63 75 72 72 65 6e 74 6c 79 quests currently
2ec0: 20 6e 6f 74 20 73 75 70 70 6f 72 74 65 64 2e 22 not supported."
2ed0: 29 0a 09 09 09 09 09 09 09 09 09 61 73 73 65 72 )..........asser
2ee0: 74 20 46 61 6c 73 65 2c 20 27 53 6b 69 70 20 74 t False, 'Skip t
2ef0: 68 69 73 20 6f 6e 65 20 66 6f 72 20 6e 6f 77 2e his one for now.
2f00: 27 0a 09 09 09 09 09 09 65 6c 73 65 3a 0a 09 09 '.......else:...
2f10: 09 09 09 09 09 61 73 73 65 72 74 20 46 61 6c 73 .....assert Fals
2f20: 65 2c 20 27 4e 6f 20 43 6f 6e 74 65 6e 74 2d 4c e, 'No Content-L
2f30: 65 6e 67 74 68 20 6f 72 20 43 6f 6e 74 65 6e 74 ength or Content
2f40: 2d 52 61 6e 67 65 20 68 65 61 64 65 72 2e 27 0a -Range header.'.
2f50: 0a 09 09 09 09 09 09 6e 65 77 5f 72 65 63 6f 72 .......new_recor
2f60: 64 5b 27 5f 74 69 6d 65 27 5d 20 3d 20 64 61 74 d['_time'] = dat
2f70: 65 74 69 6d 65 2e 64 61 74 65 74 69 6d 65 2e 6e etime.datetime.n
2f80: 6f 77 28 29 0a 09 09 09 09 09 09 69 66 20 73 65 ow().......if se
2f90: 6c 66 2e 63 6f 6d 6d 61 6e 64 20 6e 6f 74 20 69 lf.command not i
2fa0: 6e 20 28 27 48 45 41 44 27 29 3a 0a 09 09 09 09 n ('HEAD'):.....
2fb0: 09 09 09 23 20 66 69 6c 65 20 69 73 20 63 72 65 ...# file is cre
2fc0: 61 74 65 64 20 61 74 20 74 65 6d 70 6f 72 61 72 ated at temporar
2fd0: 79 20 6c 6f 63 61 74 69 6f 6e 20 61 6e 64 20 6d y location and m
2fe0: 6f 76 65 64 20 69 6e 20 70 6c 61 63 65 20 6f 6e oved in place on
2ff0: 6c 79 20 77 68 65 6e 20 64 6f 77 6e 6c 6f 61 64 ly when download
3000: 20 63 6f 6d 70 6c 65 74 65 73 0a 09 09 09 09 09 completes......
3010: 09 09 69 66 20 6e 6f 74 20 6f 73 2e 61 63 63 65 ..if not os.acce
3020: 73 73 28 74 65 6d 70 5f 6e 61 6d 65 2c 20 6f 73 ss(temp_name, os
3030: 2e 52 5f 4f 4b 29 3a 0a 09 09 09 09 09 09 09 09 .R_OK):.........
3040: 65 6d 70 74 79 5f 6e 61 6d 65 20 3d 20 6f 70 74 empty_name = opt
3050: 69 6f 6e 73 2e 64 69 72 20 2b 20 6f 73 2e 73 65 ions.dir + os.se
3060: 70 20 2b 20 27 2e 74 6d 70 27 0a 09 09 09 09 09 p + '.tmp'......
3070: 09 09 09 77 69 74 68 20 6f 70 65 6e 28 65 6d 70 ...with open(emp
3080: 74 79 5f 6e 61 6d 65 2c 20 27 77 2b 62 27 29 20 ty_name, 'w+b')
3090: 61 73 20 73 6f 6d 65 5f 66 69 6c 65 3a 0a 09 09 as some_file:...
30a0: 09 09 09 09 09 09 09 70 61 73 73 0a 09 09 09 09 .......pass.....
30b0: 09 09 09 09 6f 73 2e 72 65 6e 61 6d 65 73 28 65 ....os.renames(e
30c0: 6d 70 74 79 5f 6e 61 6d 65 2c 20 74 65 6d 70 5f mpty_name, temp_
30d0: 6e 61 6d 65 29 0a 09 09 09 09 09 09 09 74 65 6d name)........tem
30e0: 70 5f 66 69 6c 65 20 3d 20 6f 70 65 6e 28 74 65 p_file = open(te
30f0: 6d 70 5f 6e 61 6d 65 2c 20 27 72 2b 62 27 29 0a mp_name, 'r+b').
3100: 09 09 09 09 09 09 09 6e 65 65 64 65 64 2e 72 65 .......needed.re
3110: 77 69 6e 64 28 29 0a 09 09 09 09 09 09 09 77 68 wind()........wh
3120: 69 6c 65 20 54 72 75 65 3a 0a 09 09 09 09 09 09 ile True:.......
3130: 09 09 28 73 74 61 72 74 2c 20 65 6e 64 29 20 3d ..(start, end) =
3140: 20 6e 65 65 64 65 64 2e 70 6f 70 28 29 0a 09 09 needed.pop()...
3150: 09 09 09 09 09 09 69 66 20 73 74 61 72 74 20 3d ......if start =
3160: 3d 20 4e 6f 6e 65 3a 0a 09 09 09 09 09 09 09 09 = None:.........
3170: 09 62 72 65 61 6b 0a 09 09 09 09 09 09 09 09 73 .break.........s
3180: 74 72 65 61 6d 5f 6c 61 73 74 20 3d 20 73 74 61 tream_last = sta
3190: 72 74 0a 09 09 09 09 09 09 09 09 6f 6c 64 5f 72 rt.........old_r
31a0: 65 63 6f 72 64 20 3d 20 6e 65 77 5f 72 65 63 6f ecord = new_reco
31b0: 72 64 0a 09 09 09 09 09 09 09 09 69 66 20 65 6e rd.........if en
31c0: 64 20 2d 20 73 74 61 72 74 20 3c 20 62 6c 6f 63 d - start < bloc
31d0: 6b 5f 73 69 7a 65 3a 0a 09 09 09 09 09 09 09 09 k_size:.........
31e0: 09 72 65 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 20 .req_block_size
31f0: 3d 20 65 6e 64 20 2d 20 73 74 61 72 74 0a 09 09 = end - start...
3200: 09 09 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 ......else:.....
3210: 09 09 09 09 09 72 65 71 5f 62 6c 6f 63 6b 5f 73 .....req_block_s
3220: 69 7a 65 20 3d 20 62 6c 6f 63 6b 5f 73 69 7a 65 ize = block_size
3230: 0a 09 09 09 09 09 09 09 09 62 75 66 66 65 72 20 .........buffer
3240: 3d 20 73 6f 75 72 63 65 2e 72 65 61 64 28 72 65 = source.read(re
3250: 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 29 0a 09 09 q_block_size)...
3260: 09 09 09 09 09 09 6c 65 6e 67 74 68 20 3d 20 6c ......length = l
3270: 65 6e 28 62 75 66 66 65 72 29 0a 09 09 09 09 09 en(buffer)......
3280: 09 09 09 77 68 69 6c 65 20 6c 65 6e 67 74 68 20 ...while length
3290: 3e 20 30 20 61 6e 64 20 73 74 72 65 61 6d 5f 6c > 0 and stream_l
32a0: 61 73 74 20 3c 20 65 6e 64 3a 0a 09 09 09 09 09 ast < end:......
32b0: 09 09 09 09 73 74 72 65 61 6d 5f 70 6f 73 20 3d ....stream_pos =
32c0: 20 73 74 72 65 61 6d 5f 6c 61 73 74 20 2b 20 6c stream_last + l
32d0: 65 6e 67 74 68 0a 09 09 09 09 09 09 09 09 09 61 ength..........a
32e0: 73 73 65 72 74 20 6e 6f 74 20 73 74 72 65 61 6d ssert not stream
32f0: 5f 70 6f 73 20 3e 20 65 6e 64 2c 20 27 52 65 63 _pos > end, 'Rec
3300: 65 69 76 65 64 20 6d 6f 72 65 20 64 61 74 61 20 eived more data
3310: 74 68 65 6e 20 72 65 71 75 65 73 74 65 64 3a 20 then requested:
3320: 70 6f 73 3a 7b 7d 20 73 74 61 72 74 3a 7b 7d 20 pos:{} start:{}
3330: 65 6e 64 3a 7b 7d 2e 27 2e 66 6f 72 6d 61 74 28 end:{}.'.format(
3340: 73 74 72 65 61 6d 5f 70 6f 73 2c 20 73 74 61 72 stream_pos, star
3350: 74 2c 20 65 6e 64 29 0a 09 09 09 09 09 09 09 09 t, end).........
3360: 09 74 65 6d 70 5f 66 69 6c 65 2e 73 65 65 6b 28 .temp_file.seek(
3370: 73 74 72 65 61 6d 5f 6c 61 73 74 29 0a 09 09 09 stream_last)....
3380: 09 09 09 09 09 09 74 65 6d 70 5f 66 69 6c 65 2e ......temp_file.
3390: 77 72 69 74 65 28 62 75 66 66 65 72 29 0a 09 09 write(buffer)...
33a0: 09 09 09 09 09 09 09 6e 65 77 5f 72 65 63 6f 72 .......new_recor
33b0: 64 5b 27 5f 70 61 72 74 73 27 5d 20 3d 20 6e 65 d['_parts'] = ne
33c0: 77 5f 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 w_record['_parts
33d0: 27 5d 20 2d 20 53 70 61 63 65 4d 61 70 28 7b 73 '] - SpaceMap({s
33e0: 74 72 65 61 6d 5f 6c 61 73 74 3a 20 73 74 72 65 tream_last: stre
33f0: 61 6d 5f 70 6f 73 7d 29 0a 09 09 09 09 09 09 09 am_pos})........
3400: 09 09 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5d ..index[my_path]
3410: 20 3d 20 6f 6c 64 5f 72 65 63 6f 72 64 0a 09 09 = old_record...
3420: 09 09 09 09 09 09 09 69 6e 64 65 78 2e 73 79 6e .......index.syn
3430: 63 28 29 0a 09 09 09 09 09 09 09 09 09 6f 6c 64 c()..........old
3440: 5f 72 65 63 6f 72 64 20 3d 20 6e 65 77 5f 72 65 _record = new_re
3450: 63 6f 72 64 0a 09 09 09 09 09 09 09 09 09 73 74 cord..........st
3460: 72 65 61 6d 5f 6c 61 73 74 20 3d 20 73 74 72 65 ream_last = stre
3470: 61 6d 5f 70 6f 73 0a 09 09 09 09 09 09 09 09 09 am_pos..........
3480: 69 66 20 65 6e 64 20 2d 20 73 74 72 65 61 6d 5f if end - stream_
3490: 6c 61 73 74 20 3c 20 62 6c 6f 63 6b 5f 73 69 7a last < block_siz
34a0: 65 3a 0a 09 09 09 09 09 09 09 09 09 09 72 65 71 e:...........req
34b0: 5f 62 6c 6f 63 6b 5f 73 69 7a 65 20 3d 20 65 6e _block_size = en
34c0: 64 20 2d 20 73 74 72 65 61 6d 5f 6c 61 73 74 0a d - stream_last.
34d0: 09 09 09 09 09 09 09 09 09 62 75 66 66 65 72 20 .........buffer
34e0: 3d 20 73 6f 75 72 63 65 2e 72 65 61 64 28 72 65 = source.read(re
34f0: 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 29 0a 09 09 q_block_size)...
3500: 09 09 09 09 09 09 09 6c 65 6e 67 74 68 20 3d 20 .......length =
3510: 6c 65 6e 28 62 75 66 66 65 72 29 0a 09 09 09 09 len(buffer).....
3520: 09 09 09 23 20 6d 6f 76 69 6e 67 20 64 6f 77 6e ...# moving down
3530: 6c 6f 61 64 65 64 20 64 61 74 61 20 74 6f 20 72 loaded data to r
3540: 65 61 6c 20 66 69 6c 65 0a 09 09 09 09 09 09 09 eal file........
3550: 74 65 6d 70 5f 66 69 6c 65 2e 63 6c 6f 73 65 28 temp_file.close(
3560: 29 0a 09 09 09 09 09 09 09 69 66 20 6e 65 77 5f )........if new_
3570: 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d record['_parts']
3580: 20 3d 3d 20 53 70 61 63 65 4d 61 70 28 29 3a 0a == SpaceMap():.
3590: 09 09 09 09 09 09 09 09 23 20 6a 75 73 74 20 6d ........# just m
35a0: 6f 76 69 6e 67 0a 09 09 09 09 09 09 09 09 23 20 oving.........#
35b0: 64 72 6f 70 20 6f 6c 64 20 64 69 72 73 20 58 58 drop old dirs XX
35c0: 58 0a 09 09 09 09 09 09 09 09 70 72 69 6e 74 28 X.........print(
35d0: 27 4d 6f 76 69 6e 67 20 74 65 6d 70 6f 72 61 72 'Moving temporar
35e0: 79 20 66 69 6c 65 20 74 6f 20 6e 65 77 20 64 65 y file to new de
35f0: 73 74 69 6e 61 74 69 6f 6e 2e 27 29 0a 09 09 09 stination.')....
3600: 09 09 09 09 09 6f 73 2e 72 65 6e 61 6d 65 73 28 .....os.renames(
3610: 74 65 6d 70 5f 6e 61 6d 65 2c 20 66 69 6c 65 5f temp_name, file_
3620: 6e 61 6d 65 29 0a 0a 09 09 09 09 09 09 70 72 69 name)........pri
3630: 6e 74 28 6e 65 77 5f 72 65 63 6f 72 64 29 0a 09 nt(new_record)..
3640: 09 09 09 09 09 69 6e 64 65 78 5b 6d 79 5f 70 61 .....index[my_pa
3650: 74 68 5d 20 3d 20 6e 65 77 5f 72 65 63 6f 72 64 th] = new_record
3660: 0a 09 09 09 09 09 09 69 6e 64 65 78 2e 73 79 6e .......index.syn
3670: 63 28 29 0a 0a 09 09 09 09 65 78 63 65 70 74 20 c()......except
3680: 75 72 6c 6c 69 62 2e 65 72 72 6f 72 2e 48 54 54 urllib.error.HTT
3690: 50 45 72 72 6f 72 20 61 73 20 65 72 72 6f 72 3a PError as error:
36a0: 0a 09 09 09 09 09 23 20 69 6e 20 63 61 73 65 20 ......# in case
36b0: 6f 66 20 65 72 72 6f 72 20 77 65 20 64 6f 6e 27 of error we don'
36c0: 74 20 6e 65 65 64 20 74 6f 20 64 6f 20 61 6e 79 t need to do any
36d0: 74 68 69 6e 67 20 61 63 74 75 61 6c 6c 79 2c 0a thing actually,.
36e0: 09 09 09 09 09 23 20 69 66 20 66 69 6c 65 20 64 .....# if file d
36f0: 6f 77 6e 6c 6f 61 64 20 73 74 61 6c 6c 73 20 6f ownload stalls o
3700: 72 20 66 61 69 6c 73 20 74 68 65 20 66 69 6c 65 r fails the file
3710: 20 77 6f 75 6c 64 20 6e 6f 74 20 62 65 20 6d 6f would not be mo
3720: 76 65 64 20 74 6f 20 69 74 27 73 20 6c 6f 63 61 ved to it's loca
3730: 74 69 6f 6e 0a 09 09 09 09 09 70 72 69 6e 74 28 tion......print(
3740: 65 72 72 6f 72 29 0a 0a 09 09 09 69 66 20 73 65 error).....if se
3750: 6c 66 2e 63 6f 6d 6d 61 6e 64 20 3d 3d 20 27 48 lf.command == 'H
3760: 45 41 44 27 3a 0a 09 09 09 09 73 65 6c 66 2e 73 EAD':.....self.s
3770: 65 6e 64 5f 72 65 73 70 6f 6e 73 65 28 32 30 30 end_response(200
3780: 29 0a 09 09 09 09 69 66 20 27 43 6f 6e 74 65 6e ).....if 'Conten
3790: 74 2d 4c 65 6e 67 74 68 27 20 69 6e 20 69 6e 64 t-Length' in ind
37a0: 65 78 5b 6d 79 5f 70 61 74 68 5d 3a 0a 09 09 09 ex[my_path]:....
37b0: 09 09 73 65 6c 66 2e 73 65 6e 64 5f 68 65 61 64 ..self.send_head
37c0: 65 72 28 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 er('Content-Leng
37d0: 74 68 27 2c 20 69 6e 64 65 78 5b 6d 79 5f 70 61 th', index[my_pa
37e0: 74 68 5d 5b 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e th]['Content-Len
37f0: 67 74 68 27 5d 29 0a 09 09 09 09 73 65 6c 66 2e gth']).....self.
3800: 73 65 6e 64 5f 68 65 61 64 65 72 28 27 41 63 63 send_header('Acc
3810: 65 70 74 2d 52 61 6e 67 65 73 27 2c 20 27 62 79 ept-Ranges', 'by
3820: 74 65 73 27 29 0a 09 09 09 09 73 65 6c 66 2e 73 tes').....self.s
3830: 65 6e 64 5f 68 65 61 64 65 72 28 27 43 6f 6e 74 end_header('Cont
3840: 65 6e 74 2d 54 79 70 65 27 2c 20 27 61 70 70 6c ent-Type', 'appl
3850: 69 63 61 74 69 6f 6e 2f 6f 63 74 65 74 2d 73 74 ication/octet-st
3860: 72 65 61 6d 27 29 0a 09 09 09 09 69 66 20 27 4c ream').....if 'L
3870: 61 73 74 2d 4d 6f 64 69 66 69 65 64 27 20 69 6e ast-Modified' in
3880: 20 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5d 3a index[my_path]:
3890: 0a 09 09 09 09 09 73 65 6c 66 2e 73 65 6e 64 5f ......self.send_
38a0: 68 65 61 64 65 72 28 27 4c 61 73 74 2d 4d 6f 64 header('Last-Mod
38b0: 69 66 69 65 64 27 2c 20 69 6e 64 65 78 5b 6d 79 ified', index[my
38c0: 5f 70 61 74 68 5d 5b 27 4c 61 73 74 2d 4d 6f 64 _path]['Last-Mod
38d0: 69 66 69 65 64 27 5d 29 0a 09 09 09 09 73 65 6c ified']).....sel
38e0: 66 2e 65 6e 64 5f 68 65 61 64 65 72 73 28 29 0a f.end_headers().
38f0: 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 69 66 20 ...else:.....if
3900: 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5d 5b 27 index[my_path]['
3910: 5f 70 61 72 74 73 27 5d 20 21 3d 20 53 70 61 63 _parts'] != Spac
3920: 65 4d 61 70 28 29 3a 0a 09 09 09 09 09 66 69 6c eMap():......fil
3930: 65 5f 6e 61 6d 65 20 3d 20 74 65 6d 70 5f 6e 61 e_name = temp_na
3940: 6d 65 0a 0a 09 09 09 09 77 69 74 68 20 6f 70 65 me......with ope
3950: 6e 28 66 69 6c 65 5f 6e 61 6d 65 2c 20 27 72 62 n(file_name, 'rb
3960: 27 29 20 61 73 20 72 65 61 6c 5f 66 69 6c 65 3a ') as real_file:
3970: 0a 09 09 09 09 09 66 69 6c 65 5f 73 74 61 74 20 ......file_stat
3980: 3d 20 6f 73 2e 73 74 61 74 28 66 69 6c 65 5f 6e = os.stat(file_n
3990: 61 6d 65 29 0a 09 09 09 09 09 69 66 20 27 52 61 ame)......if 'Ra
39a0: 6e 67 65 27 20 69 6e 20 73 65 6c 66 2e 68 65 61 nge' in self.hea
39b0: 64 65 72 73 3a 0a 09 09 09 09 09 09 73 65 6c 66 ders:.......self
39c0: 2e 73 65 6e 64 5f 72 65 73 70 6f 6e 73 65 28 32 .send_response(2
39d0: 30 36 29 0a 09 09 09 09 09 09 72 61 6e 67 65 73 06).......ranges
39e0: 20 3d 20 28 29 0a 09 09 09 09 09 09 72 65 71 75 = ().......requ
39f0: 65 73 74 65 64 5f 72 61 6e 67 65 73 2e 72 65 77 ested_ranges.rew
3a00: 69 6e 64 28 29 0a 09 09 09 09 09 09 77 68 69 6c ind().......whil
3a10: 65 20 54 72 75 65 3a 0a 09 09 09 09 09 09 09 70 e True:........p
3a20: 61 69 72 20 3d 20 72 65 71 75 65 73 74 65 64 5f air = requested_
3a30: 72 61 6e 67 65 73 2e 70 6f 70 28 29 0a 09 09 09 ranges.pop()....
3a40: 09 09 09 09 69 66 20 70 61 69 72 5b 30 5d 20 3d ....if pair[0] =
3a50: 3d 20 4e 6f 6e 65 3a 0a 09 09 09 09 09 09 09 09 = None:.........
3a60: 62 72 65 61 6b 0a 09 09 09 09 09 09 09 72 61 6e break........ran
3a70: 67 65 73 20 2b 3d 20 27 7b 7d 2d 7b 7d 27 2e 66 ges += '{}-{}'.f
3a80: 6f 72 6d 61 74 28 70 61 69 72 5b 30 5d 2c 20 73 ormat(pair[0], s
3a90: 74 72 28 70 61 69 72 5b 31 5d 20 2d 20 31 29 29 tr(pair[1] - 1))
3aa0: 2c 0a 09 09 09 09 09 09 73 65 6c 66 2e 73 65 6e ,.......self.sen
3ab0: 64 5f 68 65 61 64 65 72 28 27 43 6f 6e 74 65 6e d_header('Conten
3ac0: 74 2d 52 61 6e 67 65 27 2c 20 27 62 79 74 65 73 t-Range', 'bytes
3ad0: 20 7b 7d 2f 7b 7d 27 2e 66 6f 72 6d 61 74 28 27 {}/{}'.format('
3ae0: 2c 27 2e 6a 6f 69 6e 28 72 61 6e 67 65 73 29 2c ,'.join(ranges),
3af0: 20 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5d 5b index[my_path][
3b00: 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 'Content-Length'
3b10: 5d 29 29 0a 09 09 09 09 09 65 6c 73 65 3a 0a 09 ]))......else:..
3b20: 09 09 09 09 09 73 65 6c 66 2e 73 65 6e 64 5f 72 .....self.send_r
3b30: 65 73 70 6f 6e 73 65 28 32 30 30 29 0a 09 09 09 esponse(200)....
3b40: 09 09 09 73 65 6c 66 2e 73 65 6e 64 5f 68 65 61 ...self.send_hea
3b50: 64 65 72 28 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e der('Content-Len
3b60: 67 74 68 27 2c 20 73 74 72 28 66 69 6c 65 5f 73 gth', str(file_s
3b70: 74 61 74 2e 73 74 5f 73 69 7a 65 29 29 0a 09 09 tat.st_size))...
3b80: 09 09 09 09 72 65 71 75 65 73 74 65 64 5f 72 61 ....requested_ra
3b90: 6e 67 65 73 20 3d 20 53 70 61 63 65 4d 61 70 28 nges = SpaceMap(
3ba0: 7b 30 3a 20 66 69 6c 65 5f 73 74 61 74 2e 73 74 {0: file_stat.st
3bb0: 5f 73 69 7a 65 7d 29 0a 09 09 09 09 09 73 65 6c _size})......sel
3bc0: 66 2e 73 65 6e 64 5f 68 65 61 64 65 72 28 27 4c f.send_header('L
3bd0: 61 73 74 2d 4d 6f 64 69 66 69 65 64 27 2c 20 69 ast-Modified', i
3be0: 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5d 5b 27 4c ndex[my_path]['L
3bf0: 61 73 74 2d 4d 6f 64 69 66 69 65 64 27 5d 29 0a ast-Modified']).
3c00: 09 09 09 09 09 73 65 6c 66 2e 73 65 6e 64 5f 68 .....self.send_h
3c10: 65 61 64 65 72 28 27 43 6f 6e 74 65 6e 74 2d 54 eader('Content-T
3c20: 79 70 65 27 2c 20 27 61 70 70 6c 69 63 61 74 69 ype', 'applicati
3c30: 6f 6e 2f 6f 63 74 65 74 2d 73 74 72 65 61 6d 27 on/octet-stream'
3c40: 29 0a 09 09 09 09 09 73 65 6c 66 2e 65 6e 64 5f )......self.end_
3c50: 68 65 61 64 65 72 73 28 29 0a 09 09 09 09 09 69 headers()......i
3c60: 66 20 73 65 6c 66 2e 63 6f 6d 6d 61 6e 64 20 69 f self.command i
3c70: 6e 20 28 27 47 45 54 27 29 3a 0a 09 09 09 09 09 n ('GET'):......
3c80: 09 69 66 20 6c 65 6e 28 72 65 71 75 65 73 74 65 .if len(requeste
3c90: 64 5f 72 61 6e 67 65 73 29 20 3e 20 30 3a 0a 09 d_ranges) > 0:..
3ca0: 09 09 09 09 09 09 72 65 71 75 65 73 74 65 64 5f ......requested_
3cb0: 72 61 6e 67 65 73 2e 72 65 77 69 6e 64 28 29 0a ranges.rewind().
3cc0: 09 09 09 09 09 09 09 28 73 74 61 72 74 2c 20 65 .......(start, e
3cd0: 6e 64 29 20 3d 20 72 65 71 75 65 73 74 65 64 5f nd) = requested_
3ce0: 72 61 6e 67 65 73 2e 70 6f 70 28 29 0a 09 09 09 ranges.pop()....
3cf0: 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 09 ...else:........
3d00: 73 74 61 72 74 20 3d 20 30 0a 09 09 09 09 09 09 start = 0.......
3d10: 09 65 6e 64 20 3d 20 69 6e 64 65 78 5b 6d 79 5f .end = index[my_
3d20: 70 61 74 68 5d 5b 27 43 6f 6e 74 65 6e 74 2d 4c path]['Content-L
3d30: 65 6e 67 74 68 27 5d 0a 09 09 09 09 09 09 72 65 ength'].......re
3d40: 61 6c 5f 66 69 6c 65 2e 73 65 65 6b 28 73 74 61 al_file.seek(sta
3d50: 72 74 29 0a 09 09 09 09 09 09 69 66 20 62 6c 6f rt).......if blo
3d60: 63 6b 5f 73 69 7a 65 20 3e 20 65 6e 64 20 2d 20 ck_size > end -
3d70: 73 74 61 72 74 3a 0a 09 09 09 09 09 09 09 72 65 start:........re
3d80: 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 20 3d 20 65 q_block_size = e
3d90: 6e 64 20 2d 20 73 74 61 72 74 0a 09 09 09 09 09 nd - start......
3da0: 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 09 72 65 .else:........re
3db0: 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 20 3d 20 62 q_block_size = b
3dc0: 6c 6f 63 6b 5f 73 69 7a 65 0a 09 09 09 09 09 09 lock_size.......
3dd0: 62 75 66 66 65 72 20 3d 20 72 65 61 6c 5f 66 69 buffer = real_fi
3de0: 6c 65 2e 72 65 61 64 28 72 65 71 5f 62 6c 6f 63 le.read(req_bloc
3df0: 6b 5f 73 69 7a 65 29 0a 09 09 09 09 09 09 6c 65 k_size).......le
3e00: 6e 67 74 68 20 3d 20 6c 65 6e 28 62 75 66 66 65 ngth = len(buffe
3e10: 72 29 0a 09 09 09 09 09 09 77 68 69 6c 65 20 6c r).......while l
3e20: 65 6e 67 74 68 20 3e 20 30 3a 0a 09 09 09 09 09 ength > 0:......
3e30: 09 09 73 65 6c 66 2e 77 66 69 6c 65 2e 77 72 69 ..self.wfile.wri
3e40: 74 65 28 62 75 66 66 65 72 29 0a 09 09 09 09 09 te(buffer)......
3e50: 09 09 73 74 61 72 74 20 2b 3d 20 6c 65 6e 28 62 ..start += len(b
3e60: 75 66 66 65 72 29 0a 09 09 09 09 09 09 09 69 66 uffer)........if
3e70: 20 72 65 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 20 req_block_size
3e80: 3e 20 65 6e 64 20 2d 20 73 74 61 72 74 3a 0a 09 > end - start:..
3e90: 09 09 09 09 09 09 09 72 65 71 5f 62 6c 6f 63 6b .......req_block
3ea0: 5f 73 69 7a 65 20 3d 20 65 6e 64 20 2d 20 73 74 _size = end - st
3eb0: 61 72 74 0a 09 09 09 09 09 09 09 69 66 20 72 65 art........if re
3ec0: 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 20 3d 3d 20 q_block_size ==
3ed0: 30 3a 0a 09 09 09 09 09 09 09 09 62 72 65 61 6b 0:.........break
3ee0: 0a 09 09 09 09 09 09 09 62 75 66 66 65 72 20 3d ........buffer =
3ef0: 20 72 65 61 6c 5f 66 69 6c 65 2e 72 65 61 64 28 real_file.read(
3f00: 72 65 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 29 0a req_block_size).
3f10: 09 09 09 09 09 09 09 6c 65 6e 67 74 68 20 3d 20 .......length =
3f20: 6c 65 6e 28 62 75 66 66 65 72 29 0a 09 09 09 09 len(buffer).....
3f30: 09 0a 09 09 64 65 66 20 64 6f 5f 48 45 41 44 28 ....def do_HEAD(
3f40: 73 65 6c 66 29 3a 0a 09 09 09 72 65 74 75 72 6e self):....return
3f50: 20 73 65 6c 66 2e 5f 5f 70 72 6f 63 65 73 73 28 self.__process(
3f60: 29 0a 09 09 64 65 66 20 64 6f 5f 47 45 54 28 73 )...def do_GET(s
3f70: 65 6c 66 29 3a 0a 09 09 09 72 65 74 75 72 6e 20 elf):....return
3f80: 73 65 6c 66 2e 5f 5f 70 72 6f 63 65 73 73 28 29 self.__process()
3f90: 0a 0a 09 73 65 72 76 65 72 20 3d 20 68 74 74 70 ...server = http
3fa0: 2e 73 65 72 76 65 72 2e 48 54 54 50 53 65 72 76 .server.HTTPServ
3fb0: 65 72 28 28 27 31 32 37 2e 30 2e 30 2e 31 27 2c er(('127.0.0.1',
3fc0: 20 69 6e 74 28 6f 70 74 69 6f 6e 73 2e 70 6f 72 int(options.por
3fd0: 74 29 29 2c 20 4d 79 52 65 71 75 65 73 74 48 61 t)), MyRequestHa
3fe0: 6e 64 6c 65 72 29 0a 09 73 65 72 76 65 72 2e 73 ndler)..server.s
3ff0: 65 72 76 65 5f 66 6f 72 65 76 65 72 28 29 0a 0a erve_forever()..
4000: 65 6c 73 65 3a 0a 09 77 68 69 6c 65 20 54 72 75 else:..while Tru
4010: 65 3a 0a 09 09 75 6e 63 68 65 63 6b 65 64 5f 66 e:...unchecked_f
4020: 69 6c 65 73 20 3d 20 73 65 74 28 29 0a 09 09 63 iles = set()...c
4030: 68 65 63 6b 65 64 5f 66 69 6c 65 73 20 3d 20 30 hecked_files = 0
4040: 0a 0a 09 09 23 20 72 65 61 64 69 6e 67 20 6c 6f ....# reading lo
4050: 67 20 61 6e 64 20 73 74 6f 72 69 6e 67 20 66 6f g and storing fo
4060: 75 6e 64 20 75 72 6c 73 20 66 6f 72 20 70 72 6f und urls for pro
4070: 63 65 73 73 69 6e 67 0a 09 09 23 20 63 68 65 63 cessing...# chec
4080: 6b 20 66 69 6c 65 20 6d 74 69 6d 65 20 58 58 58 k file mtime XXX
4090: 0a 09 09 77 69 74 68 20 6f 70 65 6e 28 6f 70 74 ...with open(opt
40a0: 69 6f 6e 73 2e 6c 6f 67 2c 20 27 72 27 29 20 61 ions.log, 'r') a
40b0: 73 20 6c 6f 67 5f 66 69 6c 65 3a 0a 09 09 09 6c s log_file:....l
40c0: 6f 67 5f 6c 69 6e 65 20 3d 20 72 65 2e 63 6f 6d og_line = re.com
40d0: 70 69 6c 65 28 27 5e 5b 5e 20 5d 2b 20 2d 20 2d pile('^[^ ]+ - -
40e0: 20 5c 5b 2e 2a 5d 20 22 28 47 45 54 7c 48 45 41 \[.*] "(GET|HEA
40f0: 44 29 20 28 2e 2a 3f 29 28 5c 3f 2e 2a 29 3f 20 D) (.*?)(\?.*)?
4100: 48 54 54 50 2f 31 2e 31 22 20 28 5c 64 2b 29 20 HTTP/1.1" (\d+)
4110: 5c 64 2b 20 22 28 2e 2a 29 22 20 22 28 2e 2a 29 \d+ "(.*)" "(.*)
4120: 22 24 27 29 0a 09 09 09 66 6f 72 20 6c 69 6e 65 "$')....for line
4130: 20 69 6e 20 6c 6f 67 5f 66 69 6c 65 3a 0a 09 09 in log_file:...
4140: 09 09 74 68 69 73 5f 6c 69 6e 65 20 3d 20 6c 6f ..this_line = lo
4150: 67 5f 6c 69 6e 65 2e 6d 61 74 63 68 28 6c 69 6e g_line.match(lin
4160: 65 2e 73 74 72 69 70 28 29 29 0a 09 09 09 09 69 e.strip()).....i
4170: 66 20 74 68 69 73 5f 6c 69 6e 65 3a 0a 09 09 09 f this_line:....
4180: 09 09 75 6e 63 68 65 63 6b 65 64 5f 66 69 6c 65 ..unchecked_file
4190: 73 2e 61 64 64 28 74 68 69 73 5f 6c 69 6e 65 2e s.add(this_line.
41a0: 67 72 6f 75 70 28 32 29 29 0a 0a 09 09 66 6f 72 group(2))....for
41b0: 20 75 72 6c 20 69 6e 20 75 6e 63 68 65 63 6b 65 url in unchecke
41c0: 64 5f 66 69 6c 65 73 3a 0a 09 09 09 72 65 6c 6f d_files:....relo
41d0: 61 64 20 3d 20 46 61 6c 73 65 0a 09 09 09 72 65 ad = False....re
41e0: 63 68 65 63 6b 20 3d 20 46 61 6c 73 65 0a 09 09 check = False...
41f0: 09 69 6e 66 6f 20 3d 20 27 43 68 65 63 6b 69 6e .info = 'Checkin
4200: 67 20 66 69 6c 65 3a 20 27 20 2b 20 75 72 6c 0a g file: ' + url.
4210: 0a 09 09 09 23 20 63 72 65 61 74 69 6e 67 20 65 ....# creating e
4220: 6d 70 74 79 20 70 6c 61 63 65 68 6f 6c 64 65 72 mpty placeholder
4230: 20 69 6e 20 69 6e 64 65 78 0a 09 09 09 69 66 20 in index....if
4240: 6e 6f 74 20 75 72 6c 20 69 6e 20 69 6e 64 65 78 not url in index
4250: 3a 0a 09 09 09 09 69 6e 66 6f 20 2b 3d 20 27 5c :.....info += '\
4260: 6e 54 68 69 73 20 6f 6e 65 20 69 73 20 6e 65 77 nThis one is new
4270: 2e 27 0a 09 09 09 09 69 6e 64 65 78 5b 75 72 6c .'.....index[url
4280: 5d 20 3d 20 7b 7d 0a 09 09 09 09 72 65 6c 6f 61 ] = {}.....reloa
4290: 64 20 3d 20 54 72 75 65 0a 0a 09 09 09 23 20 63 d = True.....# c
42a0: 72 65 61 74 69 6e 67 20 66 69 6c 65 20 6e 61 6d reating file nam
42b0: 65 20 66 72 6f 6d 20 75 72 6c 0a 09 09 09 66 69 e from url....fi
42c0: 6c 65 5f 6e 61 6d 65 20 3d 20 6f 70 74 69 6f 6e le_name = option
42d0: 73 2e 64 69 72 20 2b 20 72 65 2e 63 6f 6d 70 69 s.dir + re.compi
42e0: 6c 65 28 27 25 32 30 27 29 2e 73 75 62 28 27 20 le('%20').sub('
42f0: 27 2c 20 75 72 6c 29 0a 0a 09 09 09 23 20 66 6f ', url).....# fo
4300: 72 63 69 62 6c 79 20 63 68 65 63 6b 69 6e 67 20 rcibly checking
4310: 66 69 6c 65 20 69 66 20 6e 6f 20 66 69 6c 65 20 file if no file
4320: 70 72 65 73 65 6e 74 0a 09 09 09 69 66 20 6e 6f present....if no
4330: 74 20 72 65 6c 6f 61 64 20 61 6e 64 20 6e 6f 74 t reload and not
4340: 20 6f 73 2e 61 63 63 65 73 73 28 66 69 6c 65 5f os.access(file_
4350: 6e 61 6d 65 2c 20 6f 73 2e 52 5f 4f 4b 29 3a 0a name, os.R_OK):.
4360: 09 09 09 09 69 6e 66 6f 20 2b 3d 20 27 5c 6e 46 ....info += '\nF
4370: 69 6c 65 20 6e 6f 74 20 66 6f 75 6e 64 20 6f 72 ile not found or
4380: 20 69 6e 61 63 63 65 73 73 69 62 6c 65 2e 27 0a inaccessible.'.
4390: 09 09 09 09 72 65 6c 6f 61 64 20 3d 20 54 72 75 ....reload = Tru
43a0: 65 0a 0a 09 09 09 23 20 66 6f 72 63 69 62 6c 79 e.....# forcibly
43b0: 20 63 68 65 63 6b 69 6e 67 20 66 69 6c 65 20 69 checking file i
43c0: 66 20 66 69 6c 65 20 73 69 7a 65 20 64 6f 65 73 f file size does
43d0: 6e 27 74 20 6d 61 74 63 68 20 77 69 74 68 20 69 n't match with i
43e0: 6e 64 65 78 20 64 61 74 61 0a 09 09 09 65 6c 69 ndex data....eli
43f0: 66 20 6e 6f 74 20 72 65 6c 6f 61 64 20 61 6e 64 f not reload and
4400: 20 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 'Content-Length
4410: 27 20 69 6e 20 69 6e 64 65 78 5b 75 72 6c 5d 20 ' in index[url]
4420: 61 6e 64 20 6f 73 2e 73 74 61 74 28 66 69 6c 65 and os.stat(file
4430: 5f 6e 61 6d 65 29 2e 73 74 5f 73 69 7a 65 20 21 _name).st_size !
4440: 3d 20 69 6e 74 28 69 6e 64 65 78 5b 75 72 6c 5d = int(index[url]
4450: 5b 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 ['Content-Length
4460: 27 5d 29 3a 0a 09 09 09 09 69 6e 66 6f 20 2b 3d ']):.....info +=
4470: 20 27 5c 6e 46 69 6c 65 20 73 69 7a 65 20 69 73 '\nFile size is
4480: 20 27 20 2b 20 6f 73 2e 73 74 61 74 28 66 69 6c ' + os.stat(fil
4490: 65 5f 6e 61 6d 65 29 2e 73 74 5f 73 69 7a 65 20 e_name).st_size
44a0: 2b 20 27 20 61 6e 64 20 73 74 6f 72 65 64 20 66 + ' and stored f
44b0: 69 6c 65 20 73 69 7a 65 20 69 73 20 27 20 2b 20 ile size is ' +
44c0: 69 6e 64 65 78 5b 75 72 6c 5d 5b 27 43 6f 6e 74 index[url]['Cont
44d0: 65 6e 74 2d 4c 65 6e 67 74 68 27 5d 20 2b 20 27 ent-Length'] + '
44e0: 2e 27 0a 09 09 09 09 72 65 6c 6f 61 64 20 3d 20 .'.....reload =
44f0: 54 72 75 65 0a 0a 09 09 09 23 20 66 6f 72 63 69 True.....# forci
4500: 62 6c 79 20 63 68 65 63 6b 69 6e 67 20 66 69 6c bly checking fil
4510: 65 20 69 66 20 69 6e 64 65 78 20 68 6f 64 73 20 e if index hods
4520: 50 72 61 67 6d 61 20 68 65 61 64 65 72 0a 09 09 Pragma header...
4530: 09 69 66 20 6e 6f 74 20 72 65 6c 6f 61 64 20 61 .if not reload a
4540: 6e 64 20 27 50 72 61 67 6d 61 27 20 69 6e 20 69 nd 'Pragma' in i
4550: 6e 64 65 78 5b 75 72 6c 5d 20 61 6e 64 20 69 6e ndex[url] and in
4560: 64 65 78 5b 75 72 6c 5d 5b 27 50 72 61 67 6d 61 dex[url]['Pragma
4570: 27 5d 20 3d 3d 20 27 6e 6f 2d 63 61 63 68 65 27 '] == 'no-cache'
4580: 3a 0a 09 09 09 09 69 6e 66 6f 20 2b 3d 27 5c 6e :.....info +='\n
4590: 50 72 61 67 6d 61 20 6f 6e 3a 20 72 65 63 68 65 Pragma on: reche
45a0: 63 6b 20 69 6d 6d 69 6e 65 6e 74 2e 27 0a 09 09 ck imminent.'...
45b0: 09 09 72 65 63 68 65 63 6b 20 3d 20 54 72 75 65 ..recheck = True
45c0: 0a 0a 09 09 09 23 20 73 6b 69 70 70 69 6e 67 20 .....# skipping
45d0: 66 69 6c 65 20 70 72 6f 63 65 73 73 69 6e 67 20 file processing
45e0: 69 66 20 74 68 65 72 65 27 73 20 6e 6f 20 6e 65 if there's no ne
45f0: 65 64 20 74 6f 20 72 65 63 68 65 63 6b 20 69 74 ed to recheck it
4600: 20 61 6e 64 20 77 65 20 68 61 76 65 20 63 68 65 and we have che
4610: 63 6b 65 64 20 69 74 20 61 74 20 6c 65 61 73 74 cked it at least
4620: 20 34 20 68 6f 75 72 73 20 61 67 6f 0a 09 09 09 4 hours ago....
4630: 69 66 20 6e 6f 74 20 72 65 63 68 65 63 6b 20 61 if not recheck a
4640: 6e 64 20 6e 6f 74 20 72 65 6c 6f 61 64 20 61 6e nd not reload an
4650: 64 20 28 6f 70 74 69 6f 6e 73 2e 6e 6f 75 70 64 d (options.noupd
4660: 61 74 65 20 6f 72 20 28 27 5f 74 69 6d 65 27 20 ate or ('_time'
4670: 69 6e 20 69 6e 64 65 78 5b 75 72 6c 5d 20 61 6e in index[url] an
4680: 64 20 28 64 61 74 65 74 69 6d 65 2e 64 61 74 65 d (datetime.date
4690: 74 69 6d 65 2e 6e 6f 77 28 29 20 2d 20 64 61 74 time.now() - dat
46a0: 65 74 69 6d 65 2e 74 69 6d 65 64 65 6c 74 61 28 etime.timedelta(
46b0: 68 6f 75 72 73 20 3d 20 34 29 20 2d 20 69 6e 64 hours = 4) - ind
46c0: 65 78 5b 75 72 6c 5d 5b 27 5f 74 69 6d 65 27 5d ex[url]['_time']
46d0: 29 2e 64 61 79 73 20 3c 20 30 29 29 3a 0a 09 09 ).days < 0)):...
46e0: 09 09 69 66 20 6f 70 74 69 6f 6e 73 2e 76 65 72 ..if options.ver
46f0: 62 6f 73 65 3a 0a 09 09 09 09 09 70 72 69 6e 74 bose:......print
4700: 28 69 6e 66 6f 29 0a 09 09 09 09 63 6f 6e 74 69 (info).....conti
4710: 6e 75 65 0a 09 09 09 65 6c 73 65 3a 0a 09 09 09 nue....else:....
4720: 09 70 72 69 6e 74 28 69 6e 66 6f 29 0a 0a 09 09 .print(info)....
4730: 09 74 72 79 3a 0a 09 09 09 09 77 69 74 68 20 75 .try:.....with u
4740: 72 6c 6c 69 62 2e 72 65 71 75 65 73 74 2e 75 72 rllib.request.ur
4750: 6c 6f 70 65 6e 28 6f 70 74 69 6f 6e 73 2e 72 6f lopen(options.ro
4760: 6f 74 20 2b 20 75 72 6c 29 20 61 73 20 73 6f 75 ot + url) as sou
4770: 72 63 65 3a 0a 09 09 09 09 09 6e 65 77 5f 68 65 rce:......new_he
4780: 61 64 65 72 73 20 3d 20 7b 7d 0a 09 09 09 09 09 aders = {}......
4790: 68 65 61 64 65 72 73 20 3d 20 73 6f 75 72 63 65 headers = source
47a0: 2e 69 6e 66 6f 28 29 0a 0a 09 09 09 09 09 23 20 .info().......#
47b0: 73 74 72 69 70 70 69 6e 67 20 75 6e 6e 65 65 64 stripping unneed
47c0: 65 64 20 68 65 61 64 65 72 73 20 28 58 58 58 20 ed headers (XXX
47d0: 6d 61 6b 65 20 74 68 69 73 20 69 6e 70 6c 61 63 make this inplac
47e0: 65 3f 29 0a 09 09 09 09 09 66 6f 72 20 68 65 61 e?)......for hea
47f0: 64 65 72 20 69 6e 20 68 65 61 64 65 72 73 3a 0a der in headers:.
4800: 09 09 09 09 09 09 69 66 20 68 65 61 64 65 72 20 ......if header
4810: 69 6e 20 64 65 73 63 5f 66 69 65 6c 64 73 3a 0a in desc_fields:.
4820: 09 09 09 09 09 09 09 69 66 20 68 65 61 64 65 72 .......if header
4830: 20 3d 3d 20 27 50 72 61 67 6d 61 27 20 61 6e 64 == 'Pragma' and
4840: 20 68 65 61 64 65 72 73 5b 68 65 61 64 65 72 5d headers[header]
4850: 20 21 3d 20 27 6e 6f 2d 63 61 63 68 65 27 3a 0a != 'no-cache':.
4860: 09 09 09 09 09 09 09 09 70 72 69 6e 74 28 27 50 ........print('P
4870: 72 61 67 6d 61 3a 27 2c 20 68 65 61 64 65 72 73 ragma:', headers
4880: 5b 68 65 61 64 65 72 5d 29 0a 09 09 09 09 09 09 [header]).......
4890: 09 6e 65 77 5f 68 65 61 64 65 72 73 5b 68 65 61 .new_headers[hea
48a0: 64 65 72 5d 20 3d 20 68 65 61 64 65 72 73 5b 68 der] = headers[h
48b0: 65 61 64 65 72 5d 0a 09 09 09 09 09 09 65 6c 69 eader].......eli
48c0: 66 20 6e 6f 74 20 68 65 61 64 65 72 20 69 6e 20 f not header in
48d0: 69 67 6e 6f 72 65 5f 66 69 65 6c 64 73 3a 0a 09 ignore_fields:..
48e0: 09 09 09 09 09 09 70 72 69 6e 74 28 27 55 6e 64 ......print('Und
48f0: 65 66 69 6e 65 64 20 68 65 61 64 65 72 20 22 27 efined header "'
4900: 2c 20 68 65 61 64 65 72 2c 20 27 22 3a 20 27 2c , header, '": ',
4910: 20 68 65 61 64 65 72 73 5b 68 65 61 64 65 72 5d headers[header]
4920: 2c 20 73 65 70 3d 27 27 29 0a 0a 09 09 09 09 09 , sep='').......
4930: 23 20 63 6f 6d 70 61 72 69 6e 67 20 68 65 61 64 # comparing head
4940: 65 72 73 20 77 69 74 68 20 64 61 74 61 20 66 6f ers with data fo
4950: 75 6e 64 20 69 6e 20 69 6e 64 65 78 0a 09 09 09 und in index....
4960: 09 09 23 20 69 66 20 61 6e 79 20 68 65 61 64 65 ..# if any heade
4970: 72 20 68 61 73 20 63 68 61 6e 67 65 64 20 28 65 r has changed (e
4980: 78 63 65 70 74 20 50 72 61 67 6d 61 29 20 66 69 xcept Pragma) fi
4990: 6c 65 20 69 73 20 66 75 6c 6c 79 20 64 6f 77 6e le is fully down
49a0: 6c 6f 61 64 65 64 0a 09 09 09 09 09 23 20 73 61 loaded......# sa
49b0: 6d 65 20 69 66 20 77 65 20 67 65 74 20 6d 6f 72 me if we get mor
49c0: 65 20 6f 72 20 6c 65 73 73 20 68 65 61 64 65 72 e or less header
49d0: 73 0a 09 09 09 09 09 6f 6c 64 5f 6b 65 79 73 20 s......old_keys
49e0: 3d 20 73 65 74 28 69 6e 64 65 78 5b 75 72 6c 5d = set(index[url]
49f0: 2e 6b 65 79 73 28 29 29 0a 09 09 09 09 09 6f 6c .keys())......ol
4a00: 64 5f 6b 65 79 73 2e 64 69 73 63 61 72 64 28 27 d_keys.discard('
4a10: 5f 74 69 6d 65 27 29 0a 09 09 09 09 09 6f 6c 64 _time')......old
4a20: 5f 6b 65 79 73 2e 64 69 73 63 61 72 64 28 27 50 _keys.discard('P
4a30: 72 61 67 6d 61 27 29 0a 09 09 09 09 09 6d 6f 72 ragma')......mor
4a40: 65 5f 6b 65 79 73 20 3d 20 73 65 74 28 6e 65 77 e_keys = set(new
4a50: 5f 68 65 61 64 65 72 73 2e 6b 65 79 73 28 29 29 _headers.keys())
4a60: 20 2d 20 6f 6c 64 5f 6b 65 79 73 0a 09 09 09 09 - old_keys.....
4a70: 09 6d 6f 72 65 5f 6b 65 79 73 2e 64 69 73 63 61 .more_keys.disca
4a80: 72 64 28 27 50 72 61 67 6d 61 27 29 0a 09 09 09 rd('Pragma')....
4a90: 09 09 6c 65 73 73 5f 6b 65 79 73 20 3d 20 6f 6c ..less_keys = ol
4aa0: 64 5f 6b 65 79 73 20 2d 20 73 65 74 28 6e 65 77 d_keys - set(new
4ab0: 5f 68 65 61 64 65 72 73 2e 6b 65 79 73 28 29 29 _headers.keys())
4ac0: 0a 09 09 09 09 09 69 66 20 6c 65 6e 28 6d 6f 72 ......if len(mor
4ad0: 65 5f 6b 65 79 73 29 20 3e 20 30 3a 0a 09 09 09 e_keys) > 0:....
4ae0: 09 09 09 69 66 20 6e 6f 74 20 6c 65 6e 28 6f 6c ...if not len(ol
4af0: 64 5f 6b 65 79 73 29 20 3d 3d 20 30 3a 0a 09 09 d_keys) == 0:...
4b00: 09 09 09 09 09 70 72 69 6e 74 28 27 4d 6f 72 65 .....print('More
4b10: 20 68 65 61 64 65 72 73 20 61 70 70 65 61 72 3a headers appear:
4b20: 27 2c 20 6d 6f 72 65 5f 6b 65 79 73 29 0a 09 09 ', more_keys)...
4b30: 09 09 09 09 72 65 6c 6f 61 64 20 3d 20 54 72 75 ....reload = Tru
4b40: 65 0a 09 09 09 09 09 65 6c 69 66 20 6c 65 6e 28 e......elif len(
4b50: 6c 65 73 73 5f 6b 65 79 73 29 20 3e 20 30 3a 0a less_keys) > 0:.
4b60: 09 09 09 09 09 09 70 72 69 6e 74 28 27 4c 65 73 ......print('Les
4b70: 73 20 68 65 61 64 65 72 73 20 61 70 70 65 61 72 s headers appear
4b80: 3a 27 2c 20 6c 65 73 73 5f 6b 65 79 73 29 0a 09 :', less_keys)..
4b90: 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 ....else:.......
4ba0: 66 6f 72 20 6b 65 79 20 69 6e 20 69 6e 64 65 78 for key in index
4bb0: 5b 75 72 6c 5d 2e 6b 65 79 73 28 29 3a 0a 09 09 [url].keys():...
4bc0: 09 09 09 09 09 69 66 20 6b 65 79 5b 30 5d 20 21 .....if key[0] !
4bd0: 3d 20 27 5f 27 20 61 6e 64 20 6b 65 79 20 21 3d = '_' and key !=
4be0: 20 27 50 72 61 67 6d 61 27 20 61 6e 64 20 6e 6f 'Pragma' and no
4bf0: 74 20 69 6e 64 65 78 5b 75 72 6c 5d 5b 6b 65 79 t index[url][key
4c00: 5d 20 3d 3d 20 6e 65 77 5f 68 65 61 64 65 72 73 ] == new_headers
4c10: 5b 6b 65 79 5d 3a 0a 09 09 09 09 09 09 09 09 70 [key]:.........p
4c20: 72 69 6e 74 28 27 48 65 61 64 65 72 20 22 27 2c rint('Header "',
4c30: 20 6b 65 79 2c 20 27 22 20 63 68 61 6e 67 65 64 key, '" changed
4c40: 20 66 72 6f 6d 20 5b 27 2c 20 69 6e 64 65 78 5b from [', index[
4c50: 75 72 6c 5d 5b 6b 65 79 5d 2c 20 27 5d 20 74 6f url][key], '] to
4c60: 20 5b 27 2c 20 6e 65 77 5f 68 65 61 64 65 72 73 [', new_headers
4c70: 5b 6b 65 79 5d 2c 20 27 5d 27 2c 20 73 65 70 3d [key], ']', sep=
4c80: 27 27 29 0a 09 09 09 09 09 09 09 09 72 65 6c 6f '').........relo
4c90: 61 64 20 3d 20 54 72 75 65 0a 0a 09 09 09 09 09 ad = True.......
4ca0: 23 20 64 6f 77 6e 6c 6f 61 64 69 6e 67 20 66 69 # downloading fi
4cb0: 6c 65 0a 09 09 09 09 09 69 66 20 72 65 6c 6f 61 le......if reloa
4cc0: 64 3a 0a 09 09 09 09 09 09 69 66 20 27 43 6f 6e d:.......if 'Con
4cd0: 74 65 6e 74 2d 4c 65 6e 67 74 68 27 20 69 6e 20 tent-Length' in
4ce0: 68 65 61 64 65 72 73 3a 0a 09 09 09 09 09 09 09 headers:........
4cf0: 70 72 69 6e 74 28 27 44 6f 77 6e 6c 6f 61 64 69 print('Downloadi
4d00: 6e 67 27 2c 20 68 65 61 64 65 72 73 5b 27 43 6f ng', headers['Co
4d10: 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 5d 2c 20 ntent-Length'],
4d20: 27 62 79 74 65 73 20 5b 27 2c 20 65 6e 64 3d 27 'bytes [', end='
4d30: 27 29 0a 09 09 09 09 09 09 65 6c 73 65 3a 0a 09 ').......else:..
4d40: 09 09 09 09 09 09 70 72 69 6e 74 28 27 44 6f 77 ......print('Dow
4d50: 6e 6c 6f 61 64 69 6e 67 20 5b 27 2c 20 65 6e 64 nloading [', end
4d60: 3d 27 27 29 0a 09 09 09 09 09 09 73 79 73 2e 73 ='').......sys.s
4d70: 74 64 6f 75 74 2e 66 6c 75 73 68 28 29 0a 0a 09 tdout.flush()...
4d80: 09 09 09 09 09 23 20 66 69 6c 65 20 69 73 20 63 .....# file is c
4d90: 72 65 61 74 65 64 20 61 74 20 74 65 6d 70 6f 72 reated at tempor
4da0: 61 72 79 20 6c 6f 63 61 74 69 6f 6e 20 61 6e 64 ary location and
4db0: 20 6d 6f 76 65 64 20 69 6e 20 70 6c 61 63 65 20 moved in place
4dc0: 6f 6e 6c 79 20 77 68 65 6e 20 64 6f 77 6e 6c 6f only when downlo
4dd0: 61 64 20 63 6f 6d 70 6c 65 74 65 73 0a 09 09 09 ad completes....
4de0: 09 09 09 74 65 6d 70 5f 66 69 6c 65 20 3d 20 6f ...temp_file = o
4df0: 70 65 6e 28 6f 70 74 69 6f 6e 73 2e 64 69 72 20 pen(options.dir
4e00: 2b 20 6f 73 2e 73 65 70 20 2b 20 27 2e 74 6d 70 + os.sep + '.tmp
4e10: 27 2c 20 27 77 62 27 29 0a 09 09 09 09 09 09 62 ', 'wb').......b
4e20: 75 66 66 65 72 20 3d 20 73 6f 75 72 63 65 2e 72 uffer = source.r
4e30: 65 61 64 28 62 6c 6f 63 6b 5f 73 69 7a 65 29 0a ead(block_size).
4e40: 09 09 09 09 09 09 6d 65 67 61 62 6c 6f 63 6b 73 ......megablocks
4e50: 20 3d 20 30 0a 09 09 09 09 09 09 62 6c 6f 63 6b = 0.......block
4e60: 73 20 3d 20 30 0a 09 09 09 09 09 09 6d 65 67 73 s = 0.......megs
4e70: 20 3d 20 30 0a 09 09 09 09 09 09 77 68 69 6c 65 = 0.......while
4e80: 20 6c 65 6e 28 62 75 66 66 65 72 29 20 3e 20 30 len(buffer) > 0
4e90: 3a 0a 09 09 09 09 09 09 09 74 65 6d 70 5f 66 69 :........temp_fi
4ea0: 6c 65 2e 77 72 69 74 65 28 62 75 66 66 65 72 29 le.write(buffer)
4eb0: 0a 09 09 09 09 09 09 09 62 75 66 66 65 72 20 3d ........buffer =
4ec0: 20 73 6f 75 72 63 65 2e 72 65 61 64 28 62 6c 6f source.read(blo
4ed0: 63 6b 5f 73 69 7a 65 29 0a 09 09 09 09 09 09 09 ck_size)........
4ee0: 62 6c 6f 63 6b 73 20 2b 3d 20 31 0a 09 09 09 09 blocks += 1.....
4ef0: 09 09 09 69 66 20 62 6c 6f 63 6b 73 20 3e 20 31 ...if blocks > 1
4f00: 30 32 34 30 30 2f 62 6c 6f 63 6b 5f 73 69 7a 65 02400/block_size
4f10: 3a 0a 09 09 09 09 09 09 09 09 6d 65 67 61 62 6c :.........megabl
4f20: 6f 63 6b 73 20 2b 3d 20 31 0a 09 09 09 09 09 09 ocks += 1.......
4f30: 09 09 69 66 20 6d 65 67 61 62 6c 6f 63 6b 73 20 ..if megablocks
4f40: 3e 20 31 30 3a 0a 09 09 09 09 09 09 09 09 09 6d > 10:..........m
4f50: 65 67 61 62 6c 6f 63 6b 73 20 3d 20 6d 65 67 61 egablocks = mega
4f60: 62 6c 6f 63 6b 73 20 2d 20 31 30 0a 09 09 09 09 blocks - 10.....
4f70: 09 09 09 09 09 6d 65 67 73 20 2b 3d 20 31 0a 09 .....megs += 1..
4f80: 09 09 09 09 09 09 09 09 70 72 69 6e 74 28 27 7b ........print('{
4f90: 7d 4d 62 27 2e 66 6f 72 6d 61 74 28 6d 65 67 73 }Mb'.format(megs
4fa0: 29 2c 20 65 6e 64 3d 27 27 29 0a 09 09 09 09 09 ), end='')......
4fb0: 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 09 ...else:........
4fc0: 09 09 70 72 69 6e 74 28 27 2e 27 2c 20 65 6e 64 ..print('.', end
4fd0: 3d 27 27 29 0a 09 09 09 09 09 09 09 09 62 6c 6f ='').........blo
4fe0: 63 6b 73 20 3d 20 62 6c 6f 63 6b 73 20 2d 20 31 cks = blocks - 1
4ff0: 30 32 34 30 30 2f 62 6c 6f 63 6b 5f 73 69 7a 65 02400/block_size
5000: 0a 09 09 09 09 09 09 09 73 79 73 2e 73 74 64 6f ........sys.stdo
5010: 75 74 2e 66 6c 75 73 68 28 29 0a 09 09 09 09 09 ut.flush()......
5020: 09 74 65 6d 70 5f 66 69 6c 65 2e 63 6c 6f 73 65 .temp_file.close
5030: 28 29 0a 09 09 09 09 09 09 70 72 69 6e 74 28 27 ().......print('
5040: 5d 27 29 0a 09 09 09 09 09 09 6f 73 2e 72 65 6e ]').......os.ren
5050: 61 6d 65 73 28 6f 70 74 69 6f 6e 73 2e 64 69 72 ames(options.dir
5060: 20 2b 20 6f 73 2e 73 65 70 20 2b 20 27 2e 74 6d + os.sep + '.tm
5070: 70 27 2c 20 66 69 6c 65 5f 6e 61 6d 65 29 0a 0a p', file_name)..
5080: 09 09 09 09 09 09 63 68 65 63 6b 65 64 5f 66 69 ......checked_fi
5090: 6c 65 73 20 2b 3d 20 31 0a 0a 09 09 09 09 09 23 les += 1.......#
50a0: 20 73 74 6f 72 69 6e 67 20 6e 65 77 20 74 69 6d storing new tim
50b0: 65 20 6d 61 72 6b 20 61 6e 64 20 73 74 6f 72 69 e mark and stori
50c0: 6e 67 20 6e 65 77 20 68 65 61 64 65 72 73 0a 09 ng new headers..
50d0: 09 09 09 09 6e 65 77 5f 68 65 61 64 65 72 73 5b ....new_headers[
50e0: 27 5f 74 69 6d 65 27 5d 20 3d 20 64 61 74 65 74 '_time'] = datet
50f0: 69 6d 65 2e 64 61 74 65 74 69 6d 65 2e 6e 6f 77 ime.datetime.now
5100: 28 29 0a 09 09 09 09 09 69 6e 64 65 78 5b 75 72 ()......index[ur
5110: 6c 5d 20 3d 20 6e 65 77 5f 68 65 61 64 65 72 73 l] = new_headers
5120: 0a 09 09 09 09 09 69 6e 64 65 78 2e 73 79 6e 63 ......index.sync
5130: 28 29 0a 0a 09 09 09 65 78 63 65 70 74 20 75 72 ().....except ur
5140: 6c 6c 69 62 2e 65 72 72 6f 72 2e 48 54 54 50 45 llib.error.HTTPE
5150: 72 72 6f 72 20 61 73 20 65 72 72 6f 72 3a 0a 09 rror as error:..
5160: 09 09 09 23 20 69 6e 20 63 61 73 65 20 6f 66 20 ...# in case of
5170: 65 72 72 6f 72 20 77 65 20 64 6f 6e 27 74 20 6e error we don't n
5180: 65 65 64 20 74 6f 20 64 6f 20 61 6e 79 74 68 69 eed to do anythi
5190: 6e 67 20 61 63 74 75 61 6c 6c 79 2c 0a 09 09 09 ng actually,....
51a0: 09 23 20 69 66 20 66 69 6c 65 20 64 6f 77 6e 6c .# if file downl
51b0: 6f 61 64 20 73 74 61 6c 6c 73 20 6f 72 20 66 61 oad stalls or fa
51c0: 69 6c 73 20 74 68 65 20 66 69 6c 65 20 77 6f 75 ils the file wou
51d0: 6c 64 20 6e 6f 74 20 62 65 20 6d 6f 76 65 64 20 ld not be moved
51e0: 74 6f 20 69 74 27 73 20 6c 6f 63 61 74 69 6f 6e to it's location
51f0: 0a 09 09 09 09 70 72 69 6e 74 28 65 72 72 6f 72 .....print(error
5200: 29 0a 0a 09 09 69 66 20 6f 70 74 69 6f 6e 73 2e )....if options.
5210: 76 65 72 62 6f 73 65 3a 0a 09 09 09 70 72 69 6e verbose:....prin
5220: 74 28 27 5b 27 2c 20 6c 65 6e 28 75 6e 63 68 65 t('[', len(unche
5230: 63 6b 65 64 5f 66 69 6c 65 73 29 2c 20 27 2f 27 cked_files), '/'
5240: 2c 20 63 68 65 63 6b 65 64 5f 66 69 6c 65 73 2c , checked_files,
5250: 20 27 5d 27 29 0a 0a 09 09 23 20 63 68 65 63 6b ']')....# check
5260: 69 6e 67 20 69 66 20 74 68 65 72 65 20 77 65 72 ing if there wer
5270: 65 20 61 6e 79 20 66 69 6c 65 73 20 64 6f 77 6e e any files down
5280: 6c 6f 61 64 65 64 2c 20 69 66 20 79 65 73 20 2d loaded, if yes -
5290: 20 72 65 73 74 61 72 74 69 6e 67 20 73 65 71 75 restarting sequ
52a0: 65 6e 63 65 0a 09 09 69 66 20 63 68 65 63 6b 65 ence...if checke
52b0: 64 5f 66 69 6c 65 73 20 3d 3d 20 30 3a 0a 09 09 d_files == 0:...
52c0: 09 62 72 65 61 6b 0a .break.