0000: 23 21 2f 75 73 72 2f 62 69 6e 2f 65 6e 76 20 70 #!/usr/bin/env p
0010: 79 74 68 6f 6e 33 2e 31 0a 0a 69 6d 70 6f 72 74 ython3.1..import
0020: 20 64 61 74 65 74 69 6d 65 2c 20 68 74 74 70 2e datetime, http.
0030: 63 6f 6f 6b 69 65 6a 61 72 2c 20 6f 70 74 70 61 cookiejar, optpa
0040: 72 73 65 2c 20 6f 73 2c 20 73 79 73 2c 20 73 68 rse, os, sys, sh
0050: 65 6c 76 65 2c 20 72 65 2c 20 75 72 6c 6c 69 62 elve, re, urllib
0060: 2e 72 65 71 75 65 73 74 0a 0a 66 72 6f 6d 20 73 .request..from s
0070: 70 61 63 65 6d 61 70 20 69 6d 70 6f 72 74 20 53 pacemap import S
0080: 70 61 63 65 4d 61 70 0a 0a 70 61 72 73 65 72 20 paceMap..parser
0090: 3d 20 6f 70 74 70 61 72 73 65 2e 4f 70 74 69 6f = optparse.Optio
00a0: 6e 50 61 72 73 65 72 28 29 0a 70 61 72 73 65 72 nParser().parser
00b0: 2e 61 64 64 5f 6f 70 74 69 6f 6e 28 27 2d 76 27 .add_option('-v'
00c0: 2c 20 27 2d 2d 76 65 72 62 6f 73 65 27 2c 20 61 , '--verbose', a
00d0: 63 74 69 6f 6e 20 3d 20 27 73 74 6f 72 65 5f 74 ction = 'store_t
00e0: 72 75 65 27 2c 20 64 65 73 74 20 3d 20 27 76 65 rue', dest = 've
00f0: 72 62 6f 73 65 27 2c 20 68 65 6c 70 20 3d 20 27 rbose', help = '
0100: 74 75 72 6e 73 20 6f 6e 20 76 65 72 62 6f 73 65 turns on verbose
0110: 20 73 74 61 74 75 73 20 6e 6f 74 69 66 69 63 61 status notifica
0120: 74 69 6f 6e 73 27 2c 20 6d 65 74 61 76 61 72 20 tions', metavar
0130: 3d 20 27 62 6f 6f 6c 27 2c 20 64 65 66 61 75 6c = 'bool', defaul
0140: 74 20 3d 20 46 61 6c 73 65 29 0a 70 61 72 73 65 t = False).parse
0150: 72 2e 61 64 64 5f 6f 70 74 69 6f 6e 28 27 2d 64 r.add_option('-d
0160: 27 2c 20 27 2d 2d 64 69 72 27 2c 20 61 63 74 69 ', '--dir', acti
0170: 6f 6e 20 3d 20 27 73 74 6f 72 65 27 2c 20 64 65 on = 'store', de
0180: 73 74 20 3d 20 27 64 69 72 27 2c 20 68 65 6c 70 st = 'dir', help
0190: 20 3d 20 27 73 70 65 63 69 66 79 20 64 69 72 65 = 'specify dire
01a0: 63 74 6f 72 79 20 77 68 65 72 65 20 74 68 65 20 ctory where the
01b0: 66 69 6c 65 73 20 73 68 6f 75 6c 64 20 62 65 20 files should be
01c0: 73 74 6f 72 65 64 27 2c 20 6d 65 74 61 76 61 72 stored', metavar
01d0: 20 3d 20 27 73 74 72 69 6e 67 27 2c 20 64 65 66 = 'string', def
01e0: 61 75 6c 74 20 3d 20 4e 6f 6e 65 29 0a 70 61 72 ault = None).par
01f0: 73 65 72 2e 61 64 64 5f 6f 70 74 69 6f 6e 28 27 ser.add_option('
0200: 2d 72 27 2c 20 27 2d 2d 72 6f 6f 74 27 2c 20 61 -r', '--root', a
0210: 63 74 69 6f 6e 20 3d 20 27 73 74 6f 72 65 27 2c ction = 'store',
0220: 20 64 65 73 74 20 3d 20 27 72 6f 6f 74 27 2c 20 dest = 'root',
0230: 68 65 6c 70 20 3d 20 27 73 70 65 63 69 66 79 20 help = 'specify
0240: 61 20 73 69 74 65 20 66 72 6f 6d 20 77 68 69 63 a site from whic
0250: 68 20 64 61 74 61 20 73 68 6f 75 6c 64 20 62 65 h data should be
0260: 20 6d 69 72 72 6f 72 65 64 27 2c 20 6d 65 74 61 mirrored', meta
0270: 76 61 72 20 3d 20 27 73 74 72 69 6e 67 27 2c 20 var = 'string',
0280: 64 65 66 61 75 6c 74 20 3d 20 4e 6f 6e 65 29 0a default = None).
0290: 70 61 72 73 65 72 2e 61 64 64 5f 6f 70 74 69 6f parser.add_optio
02a0: 6e 28 27 2d 6c 27 2c 20 27 2d 2d 6c 6f 67 27 2c n('-l', '--log',
02b0: 20 61 63 74 69 6f 6e 20 3d 20 27 73 74 6f 72 65 action = 'store
02c0: 27 2c 20 64 65 73 74 20 3d 20 27 6c 6f 67 27 2c ', dest = 'log',
02d0: 20 68 65 6c 70 20 3d 20 27 73 70 65 63 69 66 79 help = 'specify
02e0: 20 61 20 6c 6f 67 20 66 69 6c 65 20 74 6f 20 70 a log file to p
02f0: 72 6f 63 65 73 73 27 2c 20 6d 65 74 61 76 61 72 rocess', metavar
0300: 20 3d 20 27 73 74 72 69 6e 67 27 2c 20 64 65 66 = 'string', def
0310: 61 75 6c 74 20 3d 20 4e 6f 6e 65 29 0a 70 61 72 ault = None).par
0320: 73 65 72 2e 61 64 64 5f 6f 70 74 69 6f 6e 28 27 ser.add_option('
0330: 2d 65 27 2c 20 27 2d 2d 73 6b 69 70 2d 65 74 61 -e', '--skip-eta
0340: 67 27 2c 20 61 63 74 69 6f 6e 20 3d 20 27 73 74 g', action = 'st
0350: 6f 72 65 5f 74 72 75 65 27 2c 20 64 65 73 74 20 ore_true', dest
0360: 3d 20 27 6e 6f 65 74 61 67 27 2c 20 68 65 6c 70 = 'noetag', help
0370: 20 3d 20 27 64 6f 20 6e 6f 74 20 70 72 6f 63 65 = 'do not proce
0380: 73 73 20 65 74 61 67 73 27 2c 20 6d 65 74 61 76 ss etags', metav
0390: 61 72 20 3d 20 27 62 6f 6f 6c 27 2c 20 64 65 66 ar = 'bool', def
03a0: 61 75 6c 74 20 3d 20 46 61 6c 73 65 29 0a 70 61 ault = False).pa
03b0: 72 73 65 72 2e 61 64 64 5f 6f 70 74 69 6f 6e 28 rser.add_option(
03c0: 27 2d 70 27 2c 20 27 2d 2d 70 6f 72 74 27 2c 20 '-p', '--port',
03d0: 61 63 74 69 6f 6e 20 3d 20 27 73 74 6f 72 65 27 action = 'store'
03e0: 2c 20 64 65 73 74 20 3d 20 27 70 6f 72 74 27 2c , dest = 'port',
03f0: 20 68 65 6c 70 20 3d 20 27 6c 69 73 74 65 6e 20 help = 'listen
0400: 6f 6e 20 74 68 69 73 20 70 6f 72 74 20 66 6f 72 on this port for
0410: 20 69 6e 63 6f 6d 69 6e 67 20 63 6f 6e 6e 65 63 incoming connec
0420: 74 69 6f 6e 73 27 2c 20 6d 65 74 61 76 61 72 20 tions', metavar
0430: 3d 20 27 69 6e 74 65 67 65 72 27 2c 20 64 65 66 = 'integer', def
0440: 61 75 6c 74 20 3d 20 4e 6f 6e 65 29 0a 70 61 72 ault = None).par
0450: 73 65 72 2e 61 64 64 5f 6f 70 74 69 6f 6e 28 27 ser.add_option('
0460: 2d 6e 27 2c 20 27 2d 2d 6e 6f 2d 75 70 64 61 74 -n', '--no-updat
0470: 65 27 2c 20 61 63 74 69 6f 6e 20 3d 20 27 73 74 e', action = 'st
0480: 6f 72 65 5f 74 72 75 65 27 2c 20 64 65 73 74 20 ore_true', dest
0490: 3d 20 27 6e 6f 75 70 64 61 74 65 27 2c 20 68 65 = 'noupdate', he
04a0: 6c 70 20 3d 20 27 64 6f 20 6e 6f 74 20 75 70 64 lp = 'do not upd
04b0: 61 74 65 20 61 6c 72 65 61 64 79 20 64 6f 77 6e ate already down
04c0: 6c 6f 61 64 65 64 20 66 69 6c 65 73 27 2c 20 6d loaded files', m
04d0: 65 74 61 76 61 72 20 3d 20 27 62 6f 6f 6c 27 2c etavar = 'bool',
04e0: 20 64 65 66 61 75 6c 74 20 3d 20 27 46 61 6c 73 default = 'Fals
04f0: 65 27 29 0a 28 6f 70 74 69 6f 6e 73 2c 20 61 72 e').(options, ar
0500: 67 73 29 20 3d 20 70 61 72 73 65 72 2e 70 61 72 gs) = parser.par
0510: 73 65 5f 61 72 67 73 28 29 0a 0a 61 73 73 65 72 se_args()..asser
0520: 74 20 6f 70 74 69 6f 6e 73 2e 64 69 72 2c 20 27 t options.dir, '
0530: 44 69 72 65 63 74 6f 72 79 20 6e 6f 74 20 73 70 Directory not sp
0540: 65 63 69 66 69 65 64 27 0a 61 73 73 65 72 74 20 ecified'.assert
0550: 6f 70 74 69 6f 6e 73 2e 72 6f 6f 74 2c 20 27 53 options.root, 'S
0560: 65 72 76 65 72 20 6e 6f 74 20 73 70 65 63 69 66 erver not specif
0570: 69 65 64 27 0a 61 73 73 65 72 74 20 6f 70 74 69 ied'.assert opti
0580: 6f 6e 73 2e 6c 6f 67 20 6f 72 20 6f 70 74 69 6f ons.log or optio
0590: 6e 73 2e 70 6f 72 74 2c 20 27 4c 6f 67 20 66 69 ns.port, 'Log fi
05a0: 6c 65 20 6f 72 20 70 6f 72 74 20 6e 6f 74 20 73 le or port not s
05b0: 70 65 63 69 66 69 65 64 27 0a 61 73 73 65 72 74 pecified'.assert
05c0: 20 6f 70 74 69 6f 6e 73 2e 70 6f 72 74 20 6f 72 options.port or
05d0: 20 6f 73 2e 61 63 63 65 73 73 28 6f 70 74 69 6f os.access(optio
05e0: 6e 73 2e 6c 6f 67 2c 20 6f 73 2e 52 5f 4f 4b 29 ns.log, os.R_OK)
05f0: 2c 20 27 4c 6f 67 20 66 69 6c 65 20 75 6e 72 65 , 'Log file unre
0600: 61 64 61 62 6c 65 27 0a 0a 6f 70 74 69 6f 6e 73 adable'..options
0610: 44 69 72 57 69 74 68 53 65 70 20 3d 20 72 65 2e DirWithSep = re.
0620: 63 6f 6d 70 69 6c 65 28 27 5e 28 2e 2a 3f 29 2f compile('^(.*?)/
0630: 3f 24 27 29 2e 6d 61 74 63 68 28 6f 70 74 69 6f ?$').match(optio
0640: 6e 73 2e 64 69 72 29 0a 69 66 20 6f 70 74 69 6f ns.dir).if optio
0650: 6e 73 44 69 72 57 69 74 68 53 65 70 3a 0a 09 6f nsDirWithSep:..o
0660: 70 74 69 6f 6e 73 2e 64 69 72 20 3d 20 6f 70 74 ptions.dir = opt
0670: 69 6f 6e 73 44 69 72 57 69 74 68 53 65 70 2e 67 ionsDirWithSep.g
0680: 72 6f 75 70 28 31 29 0a 0a 23 20 74 68 69 73 20 roup(1)..# this
0690: 69 73 20 66 69 6c 65 20 69 6e 64 65 78 20 2d 20 is file index -
06a0: 65 76 65 72 79 74 68 69 6e 67 20 69 73 20 73 74 everything is st
06b0: 6f 72 65 64 20 69 6e 20 74 68 69 73 20 66 69 6c ored in this fil
06c0: 65 0a 23 20 5f 70 61 72 74 73 20 2d 20 6c 69 73 e.# _parts - lis
06d0: 74 20 6f 66 20 73 74 6f 72 65 64 20 70 61 72 74 t of stored part
06e0: 73 20 6f 66 20 66 69 6c 65 0a 23 20 5f 74 69 6d s of file.# _tim
06f0: 65 20 2d 20 6c 61 73 74 20 74 69 6d 65 20 74 68 e - last time th
0700: 65 20 66 69 6c 65 20 77 61 73 20 63 68 65 63 6b e file was check
0710: 65 64 0a 23 20 65 76 65 72 79 74 68 69 6e 67 20 ed.# everything
0720: 65 6c 73 65 20 69 73 20 6a 75 73 74 20 74 68 65 else is just the
0730: 20 68 65 61 64 65 72 73 0a 69 6e 64 65 78 20 3d headers.index =
0740: 20 73 68 65 6c 76 65 2e 6f 70 65 6e 28 6f 70 74 shelve.open(opt
0750: 69 6f 6e 73 2e 64 69 72 20 2b 20 6f 73 2e 73 65 ions.dir + os.se
0760: 70 20 2b 20 27 2e 69 6e 64 65 78 27 29 0a 64 65 p + '.index').de
0770: 73 63 5f 66 69 65 6c 64 73 20 3d 20 28 27 43 6f sc_fields = ('Co
0780: 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 2c 20 27 ntent-Length', '
0790: 50 72 61 67 6d 61 27 2c 20 27 4c 61 73 74 2d 4d Pragma', 'Last-M
07a0: 6f 64 69 66 69 65 64 27 29 0a 69 67 6e 6f 72 65 odified').ignore
07b0: 5f 66 69 65 6c 64 73 20 3d 20 28 27 41 63 63 65 _fields = ('Acce
07c0: 70 74 2d 52 61 6e 67 65 73 27 2c 20 27 41 67 65 pt-Ranges', 'Age
07d0: 27 2c 20 27 43 61 63 68 65 2d 43 6f 6e 74 72 6f ', 'Cache-Contro
07e0: 6c 27 2c 20 27 43 6f 6e 6e 65 63 74 69 6f 6e 27 l', 'Connection'
07f0: 2c 20 27 43 6f 6e 74 65 6e 74 2d 54 79 70 65 27 , 'Content-Type'
0800: 2c 20 27 44 61 74 65 27 2c 20 27 45 78 70 69 72 , 'Date', 'Expir
0810: 65 73 27 2c 20 27 53 65 72 76 65 72 27 2c 20 27 es', 'Server', '
0820: 56 69 61 27 2c 20 27 58 2d 43 61 63 68 65 27 2c Via', 'X-Cache',
0830: 20 27 58 2d 43 61 63 68 65 2d 4c 6f 6f 6b 75 70 'X-Cache-Lookup
0840: 27 2c 20 27 58 2d 50 6f 77 65 72 65 64 2d 42 79 ', 'X-Powered-By
0850: 27 29 0a 0a 69 66 20 6e 6f 74 20 6f 70 74 69 6f ')..if not optio
0860: 6e 73 2e 6e 6f 65 74 61 67 3a 0a 09 64 65 73 63 ns.noetag:..desc
0870: 5f 66 69 65 6c 64 73 20 2b 3d 20 27 45 54 61 67 _fields += 'ETag
0880: 27 2c 0a 65 6c 73 65 3a 0a 09 69 67 6e 6f 72 65 ',.else:..ignore
0890: 5f 66 69 65 6c 64 73 20 2b 3d 20 27 45 54 61 67 _fields += 'ETag
08a0: 27 2c 0a 0a 62 6c 6f 63 6b 5f 73 69 7a 65 20 3d ',..block_size =
08b0: 20 34 30 39 36 0a 0a 74 65 6d 70 5f 66 69 6c 65 4096..temp_file
08c0: 5f 6e 61 6d 65 20 3d 20 6f 70 74 69 6f 6e 73 2e _name = options.
08d0: 64 69 72 20 2b 20 6f 73 2e 73 65 70 20 2b 20 27 dir + os.sep + '
08e0: 2e 74 6d 70 27 0a 0a 27 27 27 0a 23 20 6c 61 74 .tmp'..'''.# lat
08f0: 65 72 2c 20 6b 71 75 65 75 65 20 77 6f 75 6c 64 er, kqueue would
0900: 20 62 65 20 67 6f 6f 64 20 62 75 74 20 6c 61 74 be good but lat
0910: 65 72 0a 63 6c 61 73 73 20 43 6f 6e 6e 65 63 74 er.class Connect
0920: 69 6f 6e 3a 0a 09 5f 5f 73 6c 6f 74 73 5f 5f 20 ion:..__slots__
0930: 3d 20 66 72 6f 7a 65 6e 73 65 74 28 28 27 5f 5f = frozenset(('__
0940: 61 64 64 72 65 73 73 27 2c 20 27 5f 5f 69 6e 70 address', '__inp
0950: 75 74 27 2c 20 27 5f 5f 73 6f 63 6b 65 74 27 2c ut', '__socket',
0960: 20 27 5f 5f 73 74 61 74 75 73 27 2c 20 27 65 72 '__status', 'er
0970: 72 6f 72 27 2c 20 27 6d 65 74 68 6f 64 27 2c 20 ror', 'method',
0980: 27 75 72 6c 27 2c 20 27 68 74 74 70 5f 76 65 72 'url', 'http_ver
0990: 73 69 6f 6e 27 29 29 0a 0a 09 64 65 66 20 5f 5f sion'))...def __
09a0: 69 6e 69 74 5f 5f 28 73 65 6c 66 2c 20 73 6f 63 init__(self, soc
09b0: 6b 65 74 2c 20 61 64 64 72 65 73 73 29 3a 0a 09 ket, address):..
09c0: 09 73 65 6c 66 2e 5f 5f 61 64 64 72 65 73 73 20 .self.__address
09d0: 3d 20 61 64 64 72 65 73 73 0a 09 09 73 65 6c 66 = address...self
09e0: 2e 5f 5f 69 6e 70 75 74 20 3d 20 62 27 27 0a 09 .__input = b''..
09f0: 09 73 65 6c 66 2e 5f 5f 73 6f 63 6b 65 74 20 3d .self.__socket =
0a00: 20 73 6f 63 6b 65 74 0a 09 09 73 65 6c 66 2e 5f socket...self._
0a10: 5f 73 74 61 74 75 73 20 3d 20 30 0a 0a 09 64 65 _status = 0...de
0a20: 66 20 72 65 61 64 28 73 65 6c 66 2c 20 6b 65 76 f read(self, kev
0a30: 29 3a 0a 09 09 62 75 66 66 65 72 20 3d 20 73 65 ):...buffer = se
0a40: 6c 66 2e 5f 5f 73 6f 63 6b 65 74 2e 72 65 63 76 lf.__socket.recv
0a50: 28 6b 65 76 2e 64 61 74 61 29 0a 09 09 65 78 68 (kev.data)...exh
0a60: 61 75 73 74 65 64 20 3d 20 46 61 6c 73 65 0a 09 austed = False..
0a70: 09 69 66 20 6c 65 6e 28 62 75 66 66 65 72 29 20 .if len(buffer)
0a80: 3d 3d 20 30 3a 0a 09 09 09 65 6f 66 20 3d 20 54 == 0:....eof = T
0a90: 72 75 65 0a 09 09 65 6c 73 65 3a 0a 09 09 09 73 rue...else:....s
0aa0: 65 6c 66 2e 5f 5f 69 6e 70 75 74 20 2b 3d 20 62 elf.__input += b
0ab0: 75 66 66 65 72 0a 09 09 09 77 68 69 6c 65 20 6e uffer....while n
0ac0: 6f 74 20 65 78 68 61 75 73 74 65 64 3a 0a 09 09 ot exhausted:...
0ad0: 09 09 69 66 20 73 65 6c 66 2e 5f 5f 73 74 61 74 ..if self.__stat
0ae0: 75 73 20 3d 3d 20 2d 31 3a 0a 09 09 09 09 09 65 us == -1:......e
0af0: 78 68 61 75 73 74 65 64 20 3d 20 54 72 75 65 0a xhausted = True.
0b00: 09 09 09 09 65 6c 69 66 20 73 65 6c 66 2e 5f 5f ....elif self.__
0b10: 73 74 61 74 75 73 20 3d 3d 20 30 3a 0a 09 09 09 status == 0:....
0b20: 09 09 65 6e 64 73 74 72 69 6e 67 20 3d 20 73 65 ..endstring = se
0b30: 6c 66 2e 5f 5f 69 6e 70 75 74 2e 66 69 6e 64 28 lf.__input.find(
0b40: 62 27 5c 6e 27 29 0a 09 09 09 09 09 69 66 20 65 b'\n')......if e
0b50: 6e 64 73 74 72 69 6e 67 20 3e 20 30 3a 0a 09 09 ndstring > 0:...
0b60: 09 09 09 09 70 72 69 6e 74 28 27 50 72 6f 63 65 ....print('Proce
0b70: 73 73 69 6e 67 20 72 65 71 75 65 73 74 20 6c 69 ssing request li
0b80: 6e 65 2e 27 29 0a 09 09 09 09 09 09 6c 69 6e 65 ne.').......line
0b90: 20 3d 20 73 65 6c 66 2e 5f 5f 69 6e 70 75 74 5b = self.__input[
0ba0: 3a 65 6e 64 73 74 72 69 6e 67 5d 2e 64 65 63 6f :endstring].deco
0bb0: 64 65 28 27 61 73 63 69 69 27 29 0a 09 09 09 09 de('ascii').....
0bc0: 09 09 73 65 6c 66 2e 5f 5f 69 6e 70 75 74 20 3d ..self.__input =
0bd0: 20 73 65 6c 66 2e 5f 5f 69 6e 70 75 74 5b 65 6e self.__input[en
0be0: 64 73 74 72 69 6e 67 20 2b 20 31 3a 5d 0a 09 09 dstring + 1:]...
0bf0: 09 09 09 09 69 73 52 65 71 75 65 73 74 20 3d 20 ....isRequest =
0c00: 72 65 2e 63 6f 6d 70 69 6c 65 28 27 28 47 45 54 re.compile('(GET
0c10: 29 20 28 5b 5e 20 5d 2b 29 20 48 54 54 50 2f 28 ) ([^ ]+) HTTP/(
0c20: 31 5c 2e 30 29 27 29 2e 6d 61 74 63 68 28 6c 69 1\.0)').match(li
0c30: 6e 65 29 0a 09 09 09 09 09 09 69 66 20 6e 6f 74 ne).......if not
0c40: 20 69 73 52 65 71 75 65 73 74 3a 0a 09 09 09 09 isRequest:.....
0c50: 09 09 09 73 65 6c 66 2e 65 72 72 6f 72 20 3d 20 ...self.error =
0c60: 27 4e 6f 74 20 61 20 48 54 54 50 20 63 6f 6e 6e 'Not a HTTP conn
0c70: 65 63 74 69 6f 6e 2e 27 0a 09 09 09 09 09 09 09 ection.'........
0c80: 73 65 6c 66 2e 5f 5f 73 74 61 74 75 73 20 3d 20 self.__status =
0c90: 2d 31 0a 09 09 09 09 09 09 65 6c 73 65 3a 0a 09 -1.......else:..
0ca0: 09 09 09 09 09 09 73 65 6c 66 2e 6d 65 74 68 6f ......self.metho
0cb0: 64 20 3d 20 69 73 52 65 71 75 65 73 74 2e 67 72 d = isRequest.gr
0cc0: 6f 75 70 28 31 29 0a 09 09 09 09 09 09 09 73 65 oup(1)........se
0cd0: 6c 66 2e 75 72 6c 20 3d 20 69 73 52 65 71 75 65 lf.url = isReque
0ce0: 73 74 2e 67 72 6f 75 70 28 32 29 0a 09 09 09 09 st.group(2).....
0cf0: 09 09 09 73 65 6c 66 2e 68 74 74 70 5f 76 65 72 ...self.http_ver
0d00: 73 69 6f 6e 20 3d 20 69 73 52 65 71 75 65 73 74 sion = isRequest
0d10: 2e 67 72 6f 75 70 28 33 29 0a 09 09 09 09 09 09 .group(3).......
0d20: 09 73 65 6c 66 2e 5f 5f 73 74 61 74 75 73 20 3d .self.__status =
0d30: 20 31 0a 09 09 09 09 09 65 6c 73 65 3a 0a 09 09 1......else:...
0d40: 09 09 09 09 65 78 68 61 75 73 74 65 64 20 3d 20 ....exhausted =
0d50: 54 72 75 65 0a 09 09 09 09 65 6c 69 66 20 73 65 True.....elif se
0d60: 6c 66 2e 5f 5f 73 74 61 74 75 73 20 3d 3d 20 31 lf.__status == 1
0d70: 3a 0a 09 09 09 09 09 65 6e 64 73 74 72 69 6e 67 :......endstring
0d80: 20 3d 20 73 65 6c 66 2e 5f 5f 69 6e 70 75 74 2e = self.__input.
0d90: 66 69 6e 64 28 62 27 5c 6e 27 29 0a 09 09 09 09 find(b'\n').....
0da0: 09 69 66 20 65 6e 64 73 74 72 69 6e 67 20 3e 20 .if endstring >
0db0: 30 3a 0a 09 09 09 09 09 09 70 72 69 6e 74 28 27 0:.......print('
0dc0: 50 72 6f 63 65 73 73 69 6e 67 20 68 65 61 64 65 Processing heade
0dd0: 72 20 6c 69 6e 65 2e 27 20 2b 20 72 65 70 72 28 r line.' + repr(
0de0: 73 65 6c 66 2e 5f 5f 69 6e 70 75 74 29 29 0a 09 self.__input))..
0df0: 09 09 09 09 09 6c 69 6e 65 20 3d 20 73 65 6c 66 .....line = self
0e00: 2e 5f 5f 69 6e 70 75 74 5b 3a 65 6e 64 73 74 72 .__input[:endstr
0e10: 69 6e 67 5d 2e 64 65 63 6f 64 65 28 27 61 73 63 ing].decode('asc
0e20: 69 69 27 29 0a 09 09 09 09 09 09 73 65 6c 66 2e ii').......self.
0e30: 5f 5f 69 6e 70 75 74 20 3d 20 73 65 6c 66 2e 5f __input = self._
0e40: 5f 69 6e 70 75 74 5b 65 6e 64 73 74 72 69 6e 67 _input[endstring
0e50: 20 2b 20 31 3a 5d 0a 09 09 09 09 09 09 69 73 48 + 1:].......isH
0e60: 65 61 64 65 72 20 3d 20 72 65 2e 63 6f 6d 70 69 eader = re.compi
0e70: 6c 65 28 27 28 5b 5e 3a 5d 2a 29 3a 20 2b 28 2e le('([^:]*): +(.
0e80: 2a 29 27 29 2e 6d 61 74 63 68 28 6c 69 6e 65 29 *)').match(line)
0e90: 0a 09 09 09 09 09 09 69 66 20 6e 6f 74 20 69 73 .......if not is
0ea0: 48 65 61 64 65 72 3a 0a 09 09 09 09 09 09 09 73 Header:........s
0eb0: 65 6c 66 2e 65 72 72 6f 72 20 3d 20 27 42 61 64 elf.error = 'Bad
0ec0: 20 68 65 61 64 65 72 2e 27 0a 09 09 09 09 09 09 header.'.......
0ed0: 09 72 65 74 75 72 6e 28 46 61 6c 73 65 29 0a 09 .return(False)..
0ee0: 09 09 09 09 09 23 20 70 72 6f 63 65 73 73 20 68 .....# process h
0ef0: 65 61 64 65 72 20 68 65 72 65 0a 09 09 09 09 09 eader here......
0f00: 65 6c 69 66 20 65 6e 64 73 74 72 69 6e 67 20 3d elif endstring =
0f10: 3d 20 30 3a 0a 09 09 09 09 09 09 73 65 6c 66 2e = 0:.......self.
0f20: 5f 5f 73 74 61 74 75 73 20 3d 20 32 0a 09 09 09 __status = 2....
0f30: 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 65 78 ..else:.......ex
0f40: 68 61 75 73 74 65 64 20 3d 20 54 72 75 65 0a 0a hausted = True..
0f50: 09 64 65 66 20 77 72 69 74 65 28 73 65 6c 66 2c .def write(self,
0f60: 20 6b 65 76 29 3a 0a 09 09 70 61 73 73 0a 0a 69 kev):...pass..i
0f70: 66 20 6f 70 74 69 6f 6e 73 2e 70 6f 72 74 3a 0a f options.port:.
0f80: 09 69 6d 70 6f 72 74 20 73 65 6c 65 63 74 2c 20 .import select,
0f90: 73 6f 63 6b 65 74 0a 0a 09 73 6f 63 6b 20 3d 20 socket...sock =
0fa0: 73 6f 63 6b 65 74 2e 73 6f 63 6b 65 74 28 73 6f socket.socket(so
0fb0: 63 6b 65 74 2e 41 46 5f 49 4e 45 54 2c 20 73 6f cket.AF_INET, so
0fc0: 63 6b 65 74 2e 53 4f 43 4b 5f 53 54 52 45 41 4d cket.SOCK_STREAM
0fd0: 29 0a 09 74 72 79 3a 0a 09 09 73 6f 63 6b 2e 62 )..try:...sock.b
0fe0: 69 6e 64 28 28 27 31 32 37 2e 30 2e 30 2e 31 27 ind(('127.0.0.1'
0ff0: 2c 20 69 6e 74 28 6f 70 74 69 6f 6e 73 2e 70 6f , int(options.po
1000: 72 74 29 29 29 0a 09 09 73 6f 63 6b 2e 6c 69 73 rt)))...sock.lis
1010: 74 65 6e 28 2d 31 29 0a 0a 09 09 6b 71 20 3d 20 ten(-1)....kq =
1020: 73 65 6c 65 63 74 2e 6b 71 75 65 75 65 28 29 0a select.kqueue().
1030: 09 09 61 73 73 65 72 74 20 6b 71 2e 66 69 6c 65 ..assert kq.file
1040: 6e 6f 28 29 20 21 3d 20 2d 31 2c 20 22 46 61 74 no() != -1, "Fat
1050: 61 6c 20 65 72 72 6f 72 3a 20 63 61 6e 27 74 20 al error: can't
1060: 69 6e 69 74 69 61 6c 69 73 65 20 6b 71 75 65 75 initialise kqueu
1070: 65 2e 22 0a 0a 09 09 6b 71 2e 63 6f 6e 74 72 6f e."....kq.contro
1080: 6c 28 5b 73 65 6c 65 63 74 2e 6b 65 76 65 6e 74 l([select.kevent
1090: 28 73 6f 63 6b 2c 20 73 65 6c 65 63 74 2e 4b 51 (sock, select.KQ
10a0: 5f 46 49 4c 54 45 52 5f 52 45 41 44 2c 20 73 65 _FILTER_READ, se
10b0: 6c 65 63 74 2e 4b 51 5f 45 56 5f 41 44 44 29 5d lect.KQ_EV_ADD)]
10c0: 2c 20 30 29 0a 09 09 74 69 6d 65 6f 75 74 20 3d , 0)...timeout =
10d0: 20 4e 6f 6e 65 0a 0a 09 09 63 6f 6e 6e 65 63 74 None....connect
10e0: 69 6f 6e 73 20 3d 20 7b 73 6f 63 6b 2e 66 69 6c ions = {sock.fil
10f0: 65 6e 6f 28 29 3a 20 4e 6f 6e 65 7d 0a 0a 09 09 eno(): None}....
1100: 77 68 69 6c 65 20 54 72 75 65 3a 0a 09 09 09 6b while True:....k
1110: 65 76 73 20 3d 20 6b 71 2e 63 6f 6e 74 72 6f 6c evs = kq.control
1120: 28 4e 6f 6e 65 2c 20 31 2c 20 74 69 6d 65 6f 75 (None, 1, timeou
1130: 74 29 0a 0a 09 09 09 66 6f 72 20 6b 65 76 20 69 t).....for kev i
1140: 6e 20 6b 65 76 73 3a 0a 09 09 09 09 69 66 20 74 n kevs:.....if t
1150: 79 70 65 28 63 6f 6e 6e 65 63 74 69 6f 6e 73 5b ype(connections[
1160: 6b 65 76 2e 69 64 65 6e 74 5d 29 20 3d 3d 20 43 kev.ident]) == C
1170: 6f 6e 6e 65 63 74 69 6f 6e 3a 0a 09 09 09 09 09 onnection:......
1180: 70 72 69 6e 74 28 6b 65 76 2e 69 64 65 6e 74 2c print(kev.ident,
1190: 20 6b 65 76 2e 64 61 74 61 2c 20 6b 65 76 2e 66 kev.data, kev.f
11a0: 69 6c 74 65 72 2c 20 6b 65 76 2e 66 6c 61 67 73 ilter, kev.flags
11b0: 29 0a 09 09 09 09 09 61 73 73 65 72 74 20 6b 65 )......assert ke
11c0: 76 2e 64 61 74 61 20 21 3d 20 30 2c 20 27 4e 6f v.data != 0, 'No
11d0: 20 64 61 74 61 20 61 76 61 69 6c 61 62 6c 65 2e data available.
11e0: 27 0a 09 09 09 09 09 69 66 20 6b 65 76 2e 66 69 '......if kev.fi
11f0: 6c 74 65 72 20 3d 3d 20 73 65 6c 65 63 74 2e 4b lter == select.K
1200: 51 5f 46 49 4c 54 45 52 5f 52 45 41 44 3a 0a 09 Q_FILTER_READ:..
1210: 09 09 09 09 09 63 6f 6e 6e 65 63 74 69 6f 6e 73 .....connections
1220: 5b 6b 65 76 2e 69 64 65 6e 74 5d 2e 72 65 61 64 [kev.ident].read
1230: 28 6b 65 76 29 0a 09 09 09 09 09 65 6c 69 66 20 (kev)......elif
1240: 6b 65 76 2e 66 69 6c 74 65 72 20 3d 3d 20 73 65 kev.filter == se
1250: 6c 65 63 74 2e 4b 51 5f 46 49 4c 54 45 52 5f 57 lect.KQ_FILTER_W
1260: 52 49 54 45 3a 0a 09 09 09 09 09 09 63 6f 6e 6e RITE:.......conn
1270: 65 63 74 69 6f 6e 73 5b 6b 65 76 2e 69 64 65 6e ections[kev.iden
1280: 74 5d 2e 77 72 69 74 65 28 6b 65 76 29 0a 09 09 t].write(kev)...
1290: 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 61 ...else:.......a
12a0: 73 73 65 72 74 20 6b 65 76 2e 66 69 6c 74 65 72 ssert kev.filter
12b0: 20 69 6e 20 28 73 65 6c 65 63 74 2e 4b 51 5f 46 in (select.KQ_F
12c0: 49 4c 54 45 52 5f 52 45 41 44 2c 20 73 65 6c 65 ILTER_READ, sele
12d0: 63 74 2e 4b 51 5f 46 49 4c 54 45 52 5f 57 52 49 ct.KQ_FILTER_WRI
12e0: 54 45 29 2c 20 27 44 6f 20 77 65 20 73 75 70 70 TE), 'Do we supp
12f0: 6f 72 74 20 6f 74 68 65 72 20 66 69 6c 74 65 72 ort other filter
1300: 73 3f 27 0a 09 09 09 09 65 6c 73 65 3a 0a 09 09 s?'.....else:...
1310: 09 09 09 28 63 6f 6e 6e 2c 20 61 64 64 72 29 20 ...(conn, addr)
1320: 3d 20 73 6f 63 6b 2e 61 63 63 65 70 74 28 29 0a = sock.accept().
1330: 09 09 09 09 09 70 72 69 6e 74 28 27 43 6f 6e 6e .....print('Conn
1340: 65 63 74 69 6f 6e 20 66 72 6f 6d 20 27 20 2b 20 ection from ' +
1350: 72 65 70 72 28 61 64 64 72 29 29 0a 09 09 09 09 repr(addr)).....
1360: 09 6b 71 2e 63 6f 6e 74 72 6f 6c 28 5b 73 65 6c .kq.control([sel
1370: 65 63 74 2e 6b 65 76 65 6e 74 28 63 6f 6e 6e 2c ect.kevent(conn,
1380: 20 73 65 6c 65 63 74 2e 4b 51 5f 46 49 4c 54 45 select.KQ_FILTE
1390: 52 5f 52 45 41 44 2c 20 73 65 6c 65 63 74 2e 4b R_READ, select.K
13a0: 51 5f 45 56 5f 41 44 44 29 5d 2c 20 30 29 0a 09 Q_EV_ADD)], 0)..
13b0: 09 09 09 09 63 6f 6e 6e 65 63 74 69 6f 6e 73 5b ....connections[
13c0: 63 6f 6e 6e 2e 66 69 6c 65 6e 6f 28 29 5d 20 3d conn.fileno()] =
13d0: 20 43 6f 6e 6e 65 63 74 69 6f 6e 28 63 6f 6e 6e Connection(conn
13e0: 2c 20 61 64 64 72 29 0a 0a 09 09 09 09 69 66 20 , addr)......if
13f0: 6b 65 76 2e 66 6c 61 67 73 20 3e 3e 20 31 35 20 kev.flags >> 15
1400: 3d 3d 20 31 3a 0a 09 09 09 09 09 6b 71 2e 63 6f == 1:......kq.co
1410: 6e 74 72 6f 6c 28 5b 73 65 6c 65 63 74 2e 6b 65 ntrol([select.ke
1420: 76 65 6e 74 28 6b 65 76 2e 69 64 65 6e 74 2c 20 vent(kev.ident,
1430: 73 65 6c 65 63 74 2e 4b 51 5f 46 49 4c 54 45 52 select.KQ_FILTER
1440: 5f 52 45 41 44 2c 20 73 65 6c 65 63 74 2e 4b 51 _READ, select.KQ
1450: 5f 45 56 5f 44 45 4c 45 54 45 29 5d 2c 20 30 29 _EV_DELETE)], 0)
1460: 0a 09 09 09 09 09 6b 71 2e 63 6f 6e 74 72 6f 6c ......kq.control
1470: 28 5b 73 65 6c 65 63 74 2e 6b 65 76 65 6e 74 28 ([select.kevent(
1480: 6b 65 76 2e 69 64 65 6e 74 2c 20 73 65 6c 65 63 kev.ident, selec
1490: 74 2e 4b 51 5f 46 49 4c 54 45 52 5f 57 52 49 54 t.KQ_FILTER_WRIT
14a0: 45 2c 20 73 65 6c 65 63 74 2e 4b 51 5f 45 56 5f E, select.KQ_EV_
14b0: 44 45 4c 45 54 45 29 5d 2c 20 30 29 0a 09 09 09 DELETE)], 0)....
14c0: 09 09 64 65 6c 28 63 6f 6e 6e 65 63 74 69 6f 6e ..del(connection
14d0: 73 5b 6b 65 76 2e 69 64 65 6e 74 5d 29 0a 09 66 s[kev.ident])..f
14e0: 69 6e 61 6c 6c 79 3a 0a 09 09 73 6f 63 6b 2e 63 inally:...sock.c
14f0: 6c 6f 73 65 28 29 0a 27 27 27 0a 0a 69 66 20 6f lose().'''..if o
1500: 70 74 69 6f 6e 73 2e 70 6f 72 74 3a 0a 09 69 6d ptions.port:..im
1510: 70 6f 72 74 20 68 74 74 70 2e 73 65 72 76 65 72 port http.server
1520: 0a 0a 09 63 6c 61 73 73 20 4d 79 52 65 71 75 65 ...class MyReque
1530: 73 74 48 61 6e 64 6c 65 72 28 68 74 74 70 2e 73 stHandler(http.s
1540: 65 72 76 65 72 2e 42 61 73 65 48 54 54 50 52 65 erver.BaseHTTPRe
1550: 71 75 65 73 74 48 61 6e 64 6c 65 72 29 3a 0a 09 questHandler):..
1560: 09 64 65 66 20 5f 5f 70 72 6f 63 65 73 73 28 73 .def __process(s
1570: 65 6c 66 29 3a 0a 09 09 09 23 20 72 65 6c 6f 61 elf):....# reloa
1580: 64 20 6d 65 61 6e 73 20 66 69 6c 65 20 6e 65 65 d means file nee
1590: 64 73 20 74 6f 20 62 65 20 72 65 6c 6f 61 64 65 ds to be reloade
15a0: 64 20 74 6f 20 73 65 72 76 65 20 72 65 71 75 65 d to serve reque
15b0: 73 74 0a 09 09 09 72 65 6c 6f 61 64 20 3d 20 46 st....reload = F
15c0: 61 6c 73 65 0a 09 09 09 23 20 72 65 63 68 65 63 alse....# rechec
15d0: 6b 20 6d 65 61 6e 73 20 66 69 6c 65 20 6e 65 65 k means file nee
15e0: 64 73 20 74 6f 20 62 65 20 63 68 65 63 6b 65 64 ds to be checked
15f0: 2c 20 74 68 69 73 20 61 6c 73 6f 20 6d 65 61 6e , this also mean
1600: 73 20 74 68 61 74 20 69 66 20 66 69 6c 65 20 68 s that if file h
1610: 61 76 20 62 65 65 6e 20 6d 6f 64 69 66 69 65 64 av been modified
1620: 20 77 65 20 63 61 6e 20 73 65 72 76 65 20 6f 6c we can serve ol
1630: 64 65 72 20 63 6f 70 79 0a 09 09 09 72 65 63 68 der copy....rech
1640: 65 63 6b 20 3d 20 46 61 6c 73 65 0a 09 09 09 23 eck = False....#
1650: 20 66 69 6c 65 5f 73 74 61 74 20 6d 65 61 6e 73 file_stat means
1660: 20 66 69 6c 65 20 64 65 66 69 6e 69 74 65 6c 79 file definitely
1670: 20 65 78 69 73 74 73 0a 09 09 09 66 69 6c 65 5f exists....file_
1680: 73 74 61 74 20 3d 20 4e 6f 6e 65 0a 09 09 09 23 stat = None....#
1690: 20 72 65 71 75 65 73 74 65 64 5f 72 61 6e 67 65 requested_range
16a0: 73 20 68 6f 6c 64 73 20 64 61 74 61 20 61 62 6f s holds data abo
16b0: 75 74 20 61 6e 79 20 72 61 6e 67 65 20 72 65 71 ut any range req
16c0: 75 65 73 74 65 64 0a 09 09 09 72 65 71 75 65 73 uested....reques
16d0: 74 65 64 5f 72 61 6e 67 65 73 20 3d 20 4e 6f 6e ted_ranges = Non
16e0: 65 0a 09 09 09 23 20 72 65 63 6f 72 64 73 20 68 e....# records h
16f0: 6f 6c 64 73 20 64 61 74 61 20 66 72 6f 6d 20 69 olds data from i
1700: 6e 64 65 78 20 6c 6f 63 61 6c 6c 79 2c 20 73 68 ndex locally, sh
1710: 6f 75 6c 64 20 62 65 20 77 72 69 74 74 65 6e 20 ould be written
1720: 62 61 63 6b 20 75 70 6f 6e 20 73 75 63 63 65 73 back upon succes
1730: 73 66 75 6c 6c 20 63 6f 6d 70 6c 65 74 69 6f 6e sfull completion
1740: 0a 09 09 09 72 65 63 6f 72 64 20 3d 20 4e 6f 6e ....record = Non
1750: 65 0a 09 09 09 69 6e 66 6f 20 3d 20 27 43 68 65 e....info = 'Che
1760: 63 6b 69 6e 67 20 66 69 6c 65 3a 20 27 20 2b 20 cking file: ' +
1770: 73 65 6c 66 2e 70 61 74 68 0a 0a 09 09 09 6d 79 self.path.....my
1780: 50 61 74 68 20 3d 20 72 65 2e 63 6f 6d 70 69 6c Path = re.compil
1790: 65 28 27 5e 28 2e 2a 3f 29 28 5c 3f 2e 2a 29 24 e('^(.*?)(\?.*)$
17a0: 27 29 2e 6d 61 74 63 68 28 73 65 6c 66 2e 70 61 ').match(self.pa
17b0: 74 68 29 0a 09 09 09 69 66 20 6d 79 50 61 74 68 th)....if myPath
17c0: 3a 0a 09 09 09 09 6d 79 5f 70 61 74 68 20 3d 20 :.....my_path =
17d0: 6d 79 50 61 74 68 2e 67 72 6f 75 70 28 31 29 0a myPath.group(1).
17e0: 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 6d 79 5f ...else:.....my_
17f0: 70 61 74 68 20 3d 20 73 65 6c 66 2e 70 61 74 68 path = self.path
1800: 0a 0a 09 09 09 70 72 6f 78 79 5f 69 67 6e 6f 72 .....proxy_ignor
1810: 65 64 20 3d 20 28 27 41 63 63 65 70 74 27 2c 20 ed = ('Accept',
1820: 27 41 63 63 65 70 74 2d 45 6e 63 6f 64 69 6e 67 'Accept-Encoding
1830: 27 2c 0a 09 09 09 09 27 43 61 63 68 65 2d 43 6f ',.....'Cache-Co
1840: 6e 74 72 6f 6c 27 2c 20 27 43 6f 6e 6e 65 63 74 ntrol', 'Connect
1850: 69 6f 6e 27 2c 0a 09 09 09 09 27 48 6f 73 74 27 ion',.....'Host'
1860: 2c 0a 09 09 09 09 27 55 73 65 72 2d 41 67 65 6e ,.....'User-Agen
1870: 74 27 2c 0a 09 09 09 09 27 56 69 61 27 2c 0a 09 t',.....'Via',..
1880: 09 09 09 27 58 2d 46 6f 72 77 61 72 64 65 64 2d ...'X-Forwarded-
1890: 46 6f 72 27 2c 0a 09 09 09 29 0a 0a 09 09 09 70 For',....).....p
18a0: 72 69 6e 74 28 27 3d 3d 3d 3d 3d 3d 3d 3d 3d 3d rint('==========
18b0: 3d 3d 3d 3d 3d 5b 20 52 65 71 75 65 73 74 20 5d =====[ Request ]
18c0: 3d 3d 3d 27 29 0a 09 09 09 70 72 69 6e 74 28 27 ===')....print('
18d0: 43 6f 6d 6d 61 6e 64 3a 27 2c 20 73 65 6c 66 2e Command:', self.
18e0: 63 6f 6d 6d 61 6e 64 29 0a 0a 09 09 09 66 6f 72 command).....for
18f0: 20 68 65 61 64 65 72 20 69 6e 20 73 65 6c 66 2e header in self.
1900: 68 65 61 64 65 72 73 3a 0a 09 09 09 09 69 66 20 headers:.....if
1910: 68 65 61 64 65 72 20 69 6e 20 70 72 6f 78 79 5f header in proxy_
1920: 69 67 6e 6f 72 65 64 3a 0a 09 09 09 09 09 70 61 ignored:......pa
1930: 73 73 0a 09 09 09 09 65 6c 69 66 20 68 65 61 64 ss.....elif head
1940: 65 72 20 69 6e 20 28 27 52 61 6e 67 65 27 29 3a er in ('Range'):
1950: 0a 09 09 09 09 09 69 73 52 61 6e 67 65 20 3d 20 ......isRange =
1960: 72 65 2e 63 6f 6d 70 69 6c 65 28 27 62 79 74 65 re.compile('byte
1970: 73 3d 28 5c 64 2b 29 2d 28 5c 64 2b 29 27 29 2e s=(\d+)-(\d+)').
1980: 6d 61 74 63 68 28 73 65 6c 66 2e 68 65 61 64 65 match(self.heade
1990: 72 73 5b 68 65 61 64 65 72 5d 29 0a 09 09 09 09 rs[header]).....
19a0: 09 69 66 20 69 73 52 61 6e 67 65 3a 0a 09 09 09 .if isRange:....
19b0: 09 09 09 72 65 71 75 65 73 74 65 64 5f 72 61 6e ...requested_ran
19c0: 67 65 73 20 3d 20 53 70 61 63 65 4d 61 70 28 7b ges = SpaceMap({
19d0: 69 6e 74 28 69 73 52 61 6e 67 65 2e 67 72 6f 75 int(isRange.grou
19e0: 70 28 31 29 29 3a 20 69 6e 74 28 69 73 52 61 6e p(1)): int(isRan
19f0: 67 65 2e 67 72 6f 75 70 28 32 29 29 20 2b 20 31 ge.group(2)) + 1
1a00: 7d 29 0a 09 09 09 09 09 65 6c 73 65 3a 0a 09 09 })......else:...
1a10: 09 09 09 09 72 65 74 75 72 6e 28 29 0a 09 09 09 ....return()....
1a20: 09 65 6c 73 65 3a 0a 09 09 09 09 09 70 72 69 6e .else:......prin
1a30: 74 28 27 55 6e 6b 6e 6f 77 6e 20 68 65 61 64 65 t('Unknown heade
1a40: 72 20 2d 20 27 2c 20 68 65 61 64 65 72 2c 20 27 r - ', header, '
1a50: 3a 20 27 2c 20 73 65 6c 66 2e 68 65 61 64 65 72 : ', self.header
1a60: 73 5b 68 65 61 64 65 72 5d 2c 20 73 65 70 3d 27 s[header], sep='
1a70: 27 29 0a 09 09 09 09 09 72 65 74 75 72 6e 28 29 ')......return()
1a80: 0a 09 09 09 09 70 72 69 6e 74 28 68 65 61 64 65 .....print(heade
1a90: 72 2c 20 73 65 6c 66 2e 68 65 61 64 65 72 73 5b r, self.headers[
1aa0: 68 65 61 64 65 72 5d 29 0a 09 09 09 70 72 69 6e header])....prin
1ab0: 74 28 6d 79 5f 70 61 74 68 29 0a 0a 09 09 09 23 t(my_path).....#
1ac0: 20 63 72 65 61 74 69 6e 67 20 65 6d 70 74 79 20 creating empty
1ad0: 70 6c 61 63 65 68 6f 6c 64 65 72 20 69 6e 20 69 placeholder in i
1ae0: 6e 64 65 78 0a 09 09 09 23 20 69 66 20 74 68 65 ndex....# if the
1af0: 72 65 27 73 20 6e 6f 20 73 70 61 63 65 20 6d 61 re's no space ma
1b00: 70 20 61 6e 64 20 74 68 65 72 65 27 73 20 6e 6f p and there's no
1b10: 20 66 69 6c 65 20 69 6e 20 72 65 61 6c 20 64 69 file in real di
1b20: 72 65 63 74 6f 72 79 20 2d 20 77 65 20 68 61 76 rectory - we hav
1b30: 65 20 6e 6f 20 66 69 6c 65 0a 09 09 09 23 20 69 e no file....# i
1b40: 66 20 74 68 65 72 65 27 73 20 61 6e 20 65 6d 70 f there's an emp
1b50: 74 79 20 73 70 61 63 65 20 6d 61 70 20 2d 20 66 ty space map - f
1b60: 69 6c 65 20 69 73 20 66 75 6c 6c 0a 09 09 09 23 ile is full....#
1b70: 20 73 70 61 63 65 20 6d 61 70 20 67 65 6e 65 72 space map gener
1b80: 61 6c 6c 79 20 63 6f 76 65 72 73 20 65 76 65 72 ally covers ever
1b90: 79 20 62 69 74 20 6f 66 20 66 69 6c 65 20 77 65 y bit of file we
1ba0: 20 64 6f 6e 27 74 20 70 6f 73 65 73 73 20 63 75 don't posess cu
1bb0: 72 72 65 6e 74 6c 79 0a 09 09 09 69 66 20 6e 6f rrently....if no
1bc0: 74 20 6d 79 5f 70 61 74 68 20 69 6e 20 69 6e 64 t my_path in ind
1bd0: 65 78 3a 0a 09 09 09 09 69 6e 66 6f 20 2b 3d 20 ex:.....info +=
1be0: 27 5c 6e 54 68 69 73 20 6f 6e 65 20 69 73 20 6e '\nThis one is n
1bf0: 65 77 2e 27 0a 09 09 09 09 72 65 6c 6f 61 64 20 ew.'.....reload
1c00: 3d 20 54 72 75 65 0a 09 09 09 09 72 65 63 6f 72 = True.....recor
1c10: 64 20 3d 20 7b 27 5f 70 61 72 74 73 27 3a 20 4e d = {'_parts': N
1c20: 6f 6e 65 7d 0a 09 09 09 65 6c 73 65 3a 0a 09 09 one}....else:...
1c30: 09 09 72 65 63 6f 72 64 20 3d 20 69 6e 64 65 78 ..record = index
1c40: 5b 6d 79 5f 70 61 74 68 5d 0a 09 09 09 09 69 66 [my_path].....if
1c50: 20 27 5f 70 61 72 74 73 27 20 69 6e 20 69 6e 64 '_parts' in ind
1c60: 65 78 5b 6d 79 5f 70 61 74 68 5d 3a 0a 09 09 09 ex[my_path]:....
1c70: 09 09 70 72 69 6e 74 28 72 65 63 6f 72 64 5b 27 ..print(record['
1c80: 5f 70 61 72 74 73 27 5d 29 0a 09 09 09 09 09 69 _parts'])......i
1c90: 66 20 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5d f index[my_path]
1ca0: 5b 27 5f 70 61 72 74 73 27 5d 20 3d 3d 20 7b 30 ['_parts'] == {0
1cb0: 3a 20 2d 31 7d 3a 0a 09 09 09 09 09 09 69 6e 64 : -1}:.......ind
1cc0: 65 78 5b 6d 79 5f 70 61 74 68 5d 5b 27 5f 70 61 ex[my_path]['_pa
1cd0: 72 74 73 27 5d 20 3d 20 4e 6f 6e 65 0a 0a 09 09 rts'] = None....
1ce0: 09 23 20 63 72 65 61 74 69 6e 67 20 66 69 6c 65 .# creating file
1cf0: 20 6e 61 6d 65 20 66 72 6f 6d 20 6d 79 5f 70 61 name from my_pa
1d00: 74 68 0a 09 09 09 66 69 6c 65 5f 6e 61 6d 65 20 th....file_name
1d10: 3d 20 6f 70 74 69 6f 6e 73 2e 64 69 72 20 2b 20 = options.dir +
1d20: 6f 73 2e 73 65 70 20 2b 20 72 65 2e 63 6f 6d 70 os.sep + re.comp
1d30: 69 6c 65 28 27 25 32 30 27 29 2e 73 75 62 28 27 ile('%20').sub('
1d40: 20 27 2c 20 6d 79 5f 70 61 74 68 29 0a 09 09 09 ', my_path)....
1d50: 23 20 70 61 72 74 69 61 6c 20 66 69 6c 65 20 6f # partial file o
1d60: 72 20 75 6e 66 69 6e 69 73 68 65 64 20 64 6f 77 r unfinished dow
1d70: 6e 6c 6f 61 64 0a 09 09 09 74 65 6d 70 5f 6e 61 nload....temp_na
1d80: 6d 65 20 3d 20 6f 70 74 69 6f 6e 73 2e 64 69 72 me = options.dir
1d90: 20 2b 20 6f 73 2e 73 65 70 20 2b 20 27 2e 70 61 + os.sep + '.pa
1da0: 72 74 73 27 20 2b 20 72 65 2e 63 6f 6d 70 69 6c rts' + re.compil
1db0: 65 28 27 25 32 30 27 29 2e 73 75 62 28 27 20 27 e('%20').sub(' '
1dc0: 2c 20 6d 79 5f 70 61 74 68 29 0a 0a 09 09 09 23 , my_path).....#
1dd0: 20 66 6f 72 63 69 62 6c 79 20 63 68 65 63 6b 69 forcibly checki
1de0: 6e 67 20 66 69 6c 65 20 69 66 20 6e 6f 20 66 69 ng file if no fi
1df0: 6c 65 20 70 72 65 73 65 6e 74 0a 09 09 09 69 66 le present....if
1e00: 20 6f 73 2e 61 63 63 65 73 73 28 66 69 6c 65 5f os.access(file_
1e10: 6e 61 6d 65 2c 20 6f 73 2e 52 5f 4f 4b 29 3a 0a name, os.R_OK):.
1e20: 09 09 09 09 66 69 6c 65 5f 73 74 61 74 20 3d 20 ....file_stat =
1e30: 6f 73 2e 73 74 61 74 28 66 69 6c 65 5f 6e 61 6d os.stat(file_nam
1e40: 65 29 0a 09 09 09 65 6c 69 66 20 27 5f 70 61 72 e)....elif '_par
1e50: 74 73 27 20 69 6e 20 72 65 63 6f 72 64 20 61 6e ts' in record an
1e60: 64 20 6f 73 2e 61 63 63 65 73 73 28 74 65 6d 70 d os.access(temp
1e70: 5f 6e 61 6d 65 2c 20 6f 73 2e 52 5f 4f 4b 29 3a _name, os.R_OK):
1e80: 0a 09 09 09 09 66 69 6c 65 5f 73 74 61 74 20 3d .....file_stat =
1e90: 20 6f 73 2e 73 74 61 74 28 74 65 6d 70 5f 6e 61 os.stat(temp_na
1ea0: 6d 65 29 0a 09 09 09 65 6c 69 66 20 6e 6f 74 20 me)....elif not
1eb0: 72 65 6c 6f 61 64 3a 0a 09 09 09 09 69 6e 66 6f reload:.....info
1ec0: 20 2b 3d 20 27 5c 6e 46 69 6c 65 20 6e 6f 74 20 += '\nFile not
1ed0: 66 6f 75 6e 64 20 6f 72 20 69 6e 61 63 63 65 73 found or inacces
1ee0: 73 69 62 6c 65 2e 27 0a 09 09 09 09 72 65 6c 6f sible.'.....relo
1ef0: 61 64 20 3d 20 54 72 75 65 0a 0a 09 09 09 23 20 ad = True.....#
1f00: 66 6f 72 63 69 62 6c 79 20 63 68 65 63 6b 69 6e forcibly checkin
1f10: 67 20 66 69 6c 65 20 69 66 20 66 69 6c 65 20 73 g file if file s
1f20: 69 7a 65 20 64 6f 65 73 6e 27 74 20 6d 61 74 63 ize doesn't matc
1f30: 68 20 77 69 74 68 20 69 6e 64 65 78 20 64 61 74 h with index dat
1f40: 61 0a 09 09 09 69 66 20 6e 6f 74 20 72 65 6c 6f a....if not relo
1f50: 61 64 3a 0a 09 09 09 09 69 66 20 27 5f 70 61 72 ad:.....if '_par
1f60: 74 73 27 20 69 6e 20 72 65 63 6f 72 64 20 61 6e ts' in record an
1f70: 64 20 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 d record['_parts
1f80: 27 5d 20 3d 3d 20 53 70 61 63 65 4d 61 70 28 29 '] == SpaceMap()
1f90: 3a 0a 09 09 09 09 09 69 66 20 27 43 6f 6e 74 65 :......if 'Conte
1fa0: 6e 74 2d 4c 65 6e 67 74 68 27 20 69 6e 20 72 65 nt-Length' in re
1fb0: 63 6f 72 64 20 61 6e 64 20 66 69 6c 65 5f 73 74 cord and file_st
1fc0: 61 74 20 61 6e 64 20 66 69 6c 65 5f 73 74 61 74 at and file_stat
1fd0: 2e 73 74 5f 73 69 7a 65 20 21 3d 20 69 6e 74 28 .st_size != int(
1fe0: 72 65 63 6f 72 64 5b 27 43 6f 6e 74 65 6e 74 2d record['Content-
1ff0: 4c 65 6e 67 74 68 27 5d 29 3a 0a 09 09 09 09 09 Length']):......
2000: 09 69 6e 66 6f 20 2b 3d 20 27 5c 6e 46 69 6c 65 .info += '\nFile
2010: 20 73 69 7a 65 20 69 73 20 7b 7d 20 61 6e 64 20 size is {} and
2020: 73 74 6f 72 65 64 20 66 69 6c 65 20 73 69 7a 65 stored file size
2030: 20 69 73 20 7b 7d 2e 27 2e 66 6f 72 6d 61 74 28 is {}.'.format(
2040: 66 69 6c 65 5f 73 74 61 74 2e 73 74 5f 73 69 7a file_stat.st_siz
2050: 65 2c 20 72 65 63 6f 72 64 5b 27 43 6f 6e 74 65 e, record['Conte
2060: 6e 74 2d 4c 65 6e 67 74 68 27 5d 29 0a 09 09 09 nt-Length'])....
2070: 09 09 09 72 65 6c 6f 61 64 20 3d 20 54 72 75 65 ...reload = True
2080: 0a 0a 09 09 09 23 20 66 6f 72 63 69 62 6c 79 20 .....# forcibly
2090: 63 68 65 63 6b 69 6e 67 20 66 69 6c 65 20 69 66 checking file if
20a0: 20 69 6e 64 65 78 20 68 6f 6c 64 73 20 50 72 61 index holds Pra
20b0: 67 6d 61 20 68 65 61 64 65 72 0a 09 09 09 69 66 gma header....if
20c0: 20 6e 6f 74 20 72 65 6c 6f 61 64 20 61 6e 64 20 not reload and
20d0: 27 50 72 61 67 6d 61 27 20 69 6e 20 72 65 63 6f 'Pragma' in reco
20e0: 72 64 20 61 6e 64 20 72 65 63 6f 72 64 5b 27 50 rd and record['P
20f0: 72 61 67 6d 61 27 5d 20 3d 3d 20 27 6e 6f 2d 63 ragma'] == 'no-c
2100: 61 63 68 65 27 3a 0a 09 09 09 09 69 6e 66 6f 20 ache':.....info
2110: 2b 3d 27 5c 6e 50 72 61 67 6d 61 20 6f 6e 3a 20 +='\nPragma on:
2120: 72 65 63 68 65 63 6b 20 69 6d 6d 69 6e 65 6e 74 recheck imminent
2130: 2e 27 0a 09 09 09 09 72 65 63 68 65 63 6b 20 3d .'.....recheck =
2140: 20 54 72 75 65 0a 0a 09 09 09 23 20 73 6b 69 70 True.....# skip
2150: 70 69 6e 67 20 66 69 6c 65 20 70 72 6f 63 65 73 ping file proces
2160: 73 69 6e 67 20 69 66 20 74 68 65 72 65 27 73 20 sing if there's
2170: 6e 6f 20 6e 65 65 64 20 74 6f 20 72 65 63 68 65 no need to reche
2180: 63 6b 20 69 74 20 61 6e 64 20 77 65 20 68 61 76 ck it and we hav
2190: 65 20 63 68 65 63 6b 65 64 20 69 74 20 61 74 20 e checked it at
21a0: 6c 65 61 73 74 20 34 20 68 6f 75 72 73 20 61 67 least 4 hours ag
21b0: 6f 0a 09 09 09 69 66 20 6e 6f 74 20 72 65 63 68 o....if not rech
21c0: 65 63 6b 20 61 6e 64 20 6e 6f 74 20 72 65 6c 6f eck and not relo
21d0: 61 64 20 61 6e 64 20 27 5f 74 69 6d 65 27 20 69 ad and '_time' i
21e0: 6e 20 72 65 63 6f 72 64 20 61 6e 64 20 28 64 61 n record and (da
21f0: 74 65 74 69 6d 65 2e 64 61 74 65 74 69 6d 65 2e tetime.datetime.
2200: 6e 6f 77 28 29 20 2d 20 64 61 74 65 74 69 6d 65 now() - datetime
2210: 2e 74 69 6d 65 64 65 6c 74 61 28 68 6f 75 72 73 .timedelta(hours
2220: 20 3d 20 34 29 20 2d 20 72 65 63 6f 72 64 5b 27 = 4) - record['
2230: 5f 74 69 6d 65 27 5d 29 2e 64 61 79 73 20 3c 20 _time']).days <
2240: 30 3a 0a 09 09 09 09 72 65 63 68 65 63 6b 20 3d 0:.....recheck =
2250: 20 54 72 75 65 0a 0a 09 09 09 70 72 69 6e 74 28 True.....print(
2260: 69 6e 66 6f 29 0a 09 09 09 69 66 20 72 65 6c 6f info)....if relo
2270: 61 64 20 6f 72 20 72 65 63 68 65 63 6b 3a 0a 0a ad or recheck:..
2280: 09 09 09 09 74 72 79 3a 0a 09 09 09 09 09 72 65 ....try:......re
2290: 71 75 65 73 74 20 3d 20 6f 70 74 69 6f 6e 73 2e quest = options.
22a0: 72 6f 6f 74 20 2b 20 6d 79 5f 70 61 74 68 0a 09 root + my_path..
22b0: 09 09 09 09 69 66 20 72 65 71 75 65 73 74 65 64 ....if requested
22c0: 5f 72 61 6e 67 65 73 20 21 3d 20 4e 6f 6e 65 3a _ranges != None:
22d0: 0a 09 09 09 09 09 09 69 66 20 27 5f 70 61 72 74 .......if '_part
22e0: 73 27 20 69 6e 20 72 65 63 6f 72 64 20 61 6e 64 s' in record and
22f0: 20 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 record['_parts'
2300: 5d 20 21 3d 20 4e 6f 6e 65 3a 0a 09 09 09 09 09 ] != None:......
2310: 09 09 6e 65 65 64 65 64 20 3d 20 72 65 63 6f 72 ..needed = recor
2320: 64 5b 27 5f 70 61 72 74 73 27 5d 20 26 20 72 65 d['_parts'] & re
2330: 71 75 65 73 74 65 64 5f 72 61 6e 67 65 73 0a 09 quested_ranges..
2340: 09 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 .....else:......
2350: 09 09 6e 65 65 64 65 64 20 3d 20 72 65 71 75 65 ..needed = reque
2360: 73 74 65 64 5f 72 61 6e 67 65 73 0a 09 09 09 09 sted_ranges.....
2370: 09 09 72 61 6e 67 65 73 20 3d 20 28 29 0a 09 09 ..ranges = ()...
2380: 09 09 09 09 70 72 69 6e 74 28 27 52 65 71 75 65 ....print('Reque
2390: 73 74 69 6e 67 20 72 61 6e 67 65 73 3a 27 2c 20 sting ranges:',
23a0: 72 61 6e 67 65 73 29 0a 09 09 09 09 09 09 70 72 ranges).......pr
23b0: 69 6e 74 28 27 4e 6f 74 20 73 74 6f 72 65 64 20 int('Not stored
23c0: 72 61 6e 67 65 73 3a 27 2c 20 72 65 63 6f 72 64 ranges:', record
23d0: 5b 27 5f 70 61 72 74 73 27 5d 29 0a 09 09 09 09 ['_parts']).....
23e0: 09 09 70 72 69 6e 74 28 27 52 65 71 75 65 73 74 ..print('Request
23f0: 65 64 20 72 61 6e 67 65 73 3a 27 2c 20 72 65 71 ed ranges:', req
2400: 75 65 73 74 65 64 5f 72 61 6e 67 65 73 29 0a 09 uested_ranges)..
2410: 09 09 09 09 09 70 72 69 6e 74 28 27 4e 65 65 64 .....print('Need
2420: 65 64 20 72 61 6e 67 65 73 3a 27 2c 20 6e 65 65 ed ranges:', nee
2430: 64 65 64 29 0a 09 09 09 09 09 09 6e 65 65 64 65 ded).......neede
2440: 64 2e 72 65 77 69 6e 64 28 29 0a 09 09 09 09 09 d.rewind()......
2450: 09 77 68 69 6c 65 20 54 72 75 65 3a 0a 09 09 09 .while True:....
2460: 09 09 09 09 72 61 6e 67 65 20 3d 20 6e 65 65 64 ....range = need
2470: 65 64 2e 70 6f 70 28 29 0a 09 09 09 09 09 09 09 ed.pop()........
2480: 69 66 20 72 61 6e 67 65 5b 30 5d 20 3d 3d 20 4e if range[0] == N
2490: 6f 6e 65 3a 0a 09 09 09 09 09 09 09 09 62 72 65 one:.........bre
24a0: 61 6b 0a 09 09 09 09 09 09 09 72 61 6e 67 65 73 ak........ranges
24b0: 20 2b 3d 20 27 7b 7d 2d 7b 7d 27 2e 66 6f 72 6d += '{}-{}'.form
24c0: 61 74 28 72 61 6e 67 65 5b 30 5d 2c 20 72 61 6e at(range[0], ran
24d0: 67 65 5b 31 5d 20 2d 20 31 29 2c 0a 09 09 09 09 ge[1] - 1),.....
24e0: 09 09 72 65 71 75 65 73 74 20 3d 20 75 72 6c 6c ..request = urll
24f0: 69 62 2e 72 65 71 75 65 73 74 2e 52 65 71 75 65 ib.request.Reque
2500: 73 74 28 72 65 71 75 65 73 74 2c 20 68 65 61 64 st(request, head
2510: 65 72 73 20 3d 20 7b 27 52 61 6e 67 65 27 3a 20 ers = {'Range':
2520: 27 62 79 74 65 73 3d 27 20 2b 20 27 2c 27 2e 6a 'bytes=' + ','.j
2530: 6f 69 6e 28 72 61 6e 67 65 73 29 7d 29 0a 0a 09 oin(ranges)})...
2540: 09 09 09 09 77 69 74 68 20 75 72 6c 6c 69 62 2e ....with urllib.
2550: 72 65 71 75 65 73 74 2e 75 72 6c 6f 70 65 6e 28 request.urlopen(
2560: 72 65 71 75 65 73 74 29 20 61 73 20 73 6f 75 72 request) as sour
2570: 63 65 3a 0a 09 09 09 09 09 09 6e 65 77 5f 72 65 ce:.......new_re
2580: 63 6f 72 64 20 3d 20 7b 7d 0a 09 09 09 09 09 09 cord = {}.......
2590: 6e 65 77 5f 72 65 63 6f 72 64 5b 27 5f 70 61 72 new_record['_par
25a0: 74 73 27 5d 20 3d 20 72 65 63 6f 72 64 5b 27 5f ts'] = record['_
25b0: 70 61 72 74 73 27 5d 0a 09 09 09 09 09 09 68 65 parts'].......he
25c0: 61 64 65 72 73 20 3d 20 73 6f 75 72 63 65 2e 69 aders = source.i
25d0: 6e 66 6f 28 29 0a 0a 09 09 09 09 09 09 23 20 73 nfo()........# s
25e0: 74 72 69 70 70 69 6e 67 20 75 6e 6e 65 65 64 65 tripping unneede
25f0: 64 20 68 65 61 64 65 72 73 20 28 58 58 58 20 6d d headers (XXX m
2600: 61 6b 65 20 74 68 69 73 20 69 6e 70 6c 61 63 65 ake this inplace
2610: 3f 29 0a 09 09 09 09 09 09 66 6f 72 20 68 65 61 ?).......for hea
2620: 64 65 72 20 69 6e 20 68 65 61 64 65 72 73 3a 0a der in headers:.
2630: 09 09 09 09 09 09 09 69 66 20 68 65 61 64 65 72 .......if header
2640: 20 69 6e 20 64 65 73 63 5f 66 69 65 6c 64 73 3a in desc_fields:
2650: 0a 09 09 09 09 09 09 09 09 23 69 66 20 68 65 61 .........#if hea
2660: 64 65 72 20 3d 3d 20 27 50 72 61 67 6d 61 27 20 der == 'Pragma'
2670: 61 6e 64 20 68 65 61 64 65 72 73 5b 68 65 61 64 and headers[head
2680: 65 72 5d 20 21 3d 20 27 6e 6f 2d 63 61 63 68 65 er] != 'no-cache
2690: 27 3a 0a 09 09 09 09 09 09 09 09 70 72 69 6e 74 ':.........print
26a0: 28 68 65 61 64 65 72 2c 20 68 65 61 64 65 72 73 (header, headers
26b0: 5b 68 65 61 64 65 72 5d 29 0a 09 09 09 09 09 09 [header]).......
26c0: 09 09 69 66 20 68 65 61 64 65 72 20 3d 3d 20 27 ..if header == '
26d0: 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 3a Content-Length':
26e0: 0a 09 09 09 09 09 09 09 09 09 69 66 20 27 43 6f ..........if 'Co
26f0: 6e 74 65 6e 74 2d 52 61 6e 67 65 27 20 6e 6f 74 ntent-Range' not
2700: 20 69 6e 20 68 65 61 64 65 72 73 3a 0a 09 09 09 in headers:....
2710: 09 09 09 09 09 09 09 6e 65 77 5f 72 65 63 6f 72 .......new_recor
2720: 64 5b 68 65 61 64 65 72 5d 20 3d 20 68 65 61 64 d[header] = head
2730: 65 72 73 5b 68 65 61 64 65 72 5d 0a 09 09 09 09 ers[header].....
2740: 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 ....else:.......
2750: 09 09 09 6e 65 77 5f 72 65 63 6f 72 64 5b 68 65 ...new_record[he
2760: 61 64 65 72 5d 20 3d 20 68 65 61 64 65 72 73 5b ader] = headers[
2770: 68 65 61 64 65 72 5d 0a 09 09 09 09 09 09 09 65 header]........e
2780: 6c 69 66 20 68 65 61 64 65 72 20 3d 3d 20 27 43 lif header == 'C
2790: 6f 6e 74 65 6e 74 2d 52 61 6e 67 65 27 3a 0a 09 ontent-Range':..
27a0: 09 09 09 09 09 09 09 72 61 6e 67 65 20 3d 20 72 .......range = r
27b0: 65 2e 63 6f 6d 70 69 6c 65 28 27 5e 62 79 74 65 e.compile('^byte
27c0: 73 20 28 5c 64 2b 29 2d 28 5c 64 2b 29 2f 28 5c s (\d+)-(\d+)/(\
27d0: 64 2b 29 24 27 29 2e 6d 61 74 63 68 28 68 65 61 d+)$').match(hea
27e0: 64 65 72 73 5b 68 65 61 64 65 72 5d 29 0a 09 09 ders[header])...
27f0: 09 09 09 09 09 09 69 66 20 72 61 6e 67 65 3a 0a ......if range:.
2800: 09 09 09 09 09 09 09 09 09 6e 65 77 5f 72 65 63 .........new_rec
2810: 6f 72 64 5b 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e ord['Content-Len
2820: 67 74 68 27 5d 20 3d 20 72 61 6e 67 65 2e 67 72 gth'] = range.gr
2830: 6f 75 70 28 33 29 0a 09 09 09 09 09 09 09 09 65 oup(3).........e
2840: 6c 73 65 3a 09 0a 09 09 09 09 09 09 09 09 09 61 lse:...........a
2850: 73 73 65 72 74 20 46 61 6c 73 65 2c 20 27 43 6f ssert False, 'Co
2860: 6e 74 65 6e 74 2d 52 61 6e 67 65 20 75 6e 72 65 ntent-Range unre
2870: 63 6f 67 6e 69 7a 65 64 2e 27 0a 09 09 09 09 09 cognized.'......
2880: 09 09 65 6c 69 66 20 6e 6f 74 20 68 65 61 64 65 ..elif not heade
2890: 72 20 69 6e 20 69 67 6e 6f 72 65 5f 66 69 65 6c r in ignore_fiel
28a0: 64 73 3a 0a 09 09 09 09 09 09 09 09 70 72 69 6e ds:.........prin
28b0: 74 28 27 55 6e 64 65 66 69 6e 65 64 20 68 65 61 t('Undefined hea
28c0: 64 65 72 20 22 27 2c 20 68 65 61 64 65 72 2c 20 der "', header,
28d0: 27 22 3a 20 27 2c 20 68 65 61 64 65 72 73 5b 68 '": ', headers[h
28e0: 65 61 64 65 72 5d 2c 20 73 65 70 3d 27 27 29 0a eader], sep='').
28f0: 0a 09 09 09 09 09 09 69 66 20 6e 65 77 5f 72 65 .......if new_re
2900: 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d 20 3d cord['_parts'] =
2910: 3d 20 4e 6f 6e 65 3a 0a 09 09 09 09 09 09 09 6e = None:........n
2920: 65 77 5f 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 ew_record['_part
2930: 73 27 5d 20 3d 20 53 70 61 63 65 4d 61 70 28 7b s'] = SpaceMap({
2940: 30 3a 20 69 6e 74 28 6e 65 77 5f 72 65 63 6f 72 0: int(new_recor
2950: 64 5b 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 d['Content-Lengt
2960: 68 27 5d 29 7d 29 0a 09 09 09 09 09 09 70 72 69 h'])}).......pri
2970: 6e 74 28 6e 65 77 5f 72 65 63 6f 72 64 29 0a 0a nt(new_record)..
2980: 09 09 09 09 09 09 23 20 63 6f 6d 70 61 72 69 6e ......# comparin
2990: 67 20 68 65 61 64 65 72 73 20 77 69 74 68 20 64 g headers with d
29a0: 61 74 61 20 66 6f 75 6e 64 20 69 6e 20 69 6e 64 ata found in ind
29b0: 65 78 0a 09 09 09 09 09 09 23 20 69 66 20 61 6e ex.......# if an
29c0: 79 20 68 65 61 64 65 72 20 68 61 73 20 63 68 61 y header has cha
29d0: 6e 67 65 64 20 28 65 78 63 65 70 74 20 50 72 61 nged (except Pra
29e0: 67 6d 61 29 20 66 69 6c 65 20 69 73 20 66 75 6c gma) file is ful
29f0: 6c 79 20 64 6f 77 6e 6c 6f 61 64 65 64 0a 09 09 ly downloaded...
2a00: 09 09 09 09 23 20 73 61 6d 65 20 69 66 20 77 65 ....# same if we
2a10: 20 67 65 74 20 6d 6f 72 65 20 6f 72 20 6c 65 73 get more or les
2a20: 73 20 68 65 61 64 65 72 73 0a 09 09 09 09 09 09 s headers.......
2a30: 6f 6c 64 5f 6b 65 79 73 20 3d 20 73 65 74 28 72 old_keys = set(r
2a40: 65 63 6f 72 64 2e 6b 65 79 73 28 29 29 0a 09 09 ecord.keys())...
2a50: 09 09 09 09 6f 6c 64 5f 6b 65 79 73 2e 64 69 73 ....old_keys.dis
2a60: 63 61 72 64 28 27 5f 74 69 6d 65 27 29 0a 09 09 card('_time')...
2a70: 09 09 09 09 6f 6c 64 5f 6b 65 79 73 2e 64 69 73 ....old_keys.dis
2a80: 63 61 72 64 28 27 50 72 61 67 6d 61 27 29 0a 09 card('Pragma')..
2a90: 09 09 09 09 09 6d 6f 72 65 5f 6b 65 79 73 20 3d .....more_keys =
2aa0: 20 73 65 74 28 6e 65 77 5f 72 65 63 6f 72 64 2e set(new_record.
2ab0: 6b 65 79 73 28 29 29 20 2d 20 6f 6c 64 5f 6b 65 keys()) - old_ke
2ac0: 79 73 0a 09 09 09 09 09 09 6d 6f 72 65 5f 6b 65 ys.......more_ke
2ad0: 79 73 2e 64 69 73 63 61 72 64 28 27 50 72 61 67 ys.discard('Prag
2ae0: 6d 61 27 29 0a 09 09 09 09 09 09 6c 65 73 73 5f ma').......less_
2af0: 6b 65 79 73 20 3d 20 6f 6c 64 5f 6b 65 79 73 20 keys = old_keys
2b00: 2d 20 73 65 74 28 6e 65 77 5f 72 65 63 6f 72 64 - set(new_record
2b10: 2e 6b 65 79 73 28 29 29 0a 09 09 09 09 09 09 69 .keys()).......i
2b20: 66 20 6c 65 6e 28 6d 6f 72 65 5f 6b 65 79 73 29 f len(more_keys)
2b30: 20 3e 20 30 3a 0a 09 09 09 09 09 09 09 69 66 20 > 0:........if
2b40: 6e 6f 74 20 6c 65 6e 28 6f 6c 64 5f 6b 65 79 73 not len(old_keys
2b50: 29 20 3d 3d 20 30 3a 0a 09 09 09 09 09 09 09 09 ) == 0:.........
2b60: 70 72 69 6e 74 28 27 4d 6f 72 65 20 68 65 61 64 print('More head
2b70: 65 72 73 20 61 70 70 65 61 72 3a 27 2c 20 6d 6f ers appear:', mo
2b80: 72 65 5f 6b 65 79 73 29 0a 09 09 09 09 09 09 09 re_keys)........
2b90: 72 65 6c 6f 61 64 20 3d 20 54 72 75 65 0a 09 09 reload = True...
2ba0: 09 09 09 09 65 6c 69 66 20 6c 65 6e 28 6c 65 73 ....elif len(les
2bb0: 73 5f 6b 65 79 73 29 20 3e 20 30 3a 0a 09 09 09 s_keys) > 0:....
2bc0: 09 09 09 09 70 72 69 6e 74 28 27 4c 65 73 73 20 ....print('Less
2bd0: 68 65 61 64 65 72 73 20 61 70 70 65 61 72 3a 27 headers appear:'
2be0: 2c 20 6c 65 73 73 5f 6b 65 79 73 29 0a 09 09 09 , less_keys)....
2bf0: 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 09 ...else:........
2c00: 66 6f 72 20 6b 65 79 20 69 6e 20 72 65 63 6f 72 for key in recor
2c10: 64 2e 6b 65 79 73 28 29 3a 0a 09 09 09 09 09 09 d.keys():.......
2c20: 09 09 69 66 20 6b 65 79 5b 30 5d 20 21 3d 20 27 ..if key[0] != '
2c30: 5f 27 20 61 6e 64 20 6b 65 79 20 21 3d 20 27 50 _' and key != 'P
2c40: 72 61 67 6d 61 27 20 61 6e 64 20 6e 6f 74 20 72 ragma' and not r
2c50: 65 63 6f 72 64 5b 6b 65 79 5d 20 3d 3d 20 6e 65 ecord[key] == ne
2c60: 77 5f 72 65 63 6f 72 64 5b 6b 65 79 5d 3a 0a 09 w_record[key]:..
2c70: 09 09 09 09 09 09 09 09 70 72 69 6e 74 28 27 48 ........print('H
2c80: 65 61 64 65 72 20 22 27 2c 20 6b 65 79 2c 20 27 eader "', key, '
2c90: 22 20 63 68 61 6e 67 65 64 20 66 72 6f 6d 20 5b " changed from [
2ca0: 27 2c 20 72 65 63 6f 72 64 5b 6b 65 79 5d 2c 20 ', record[key],
2cb0: 27 5d 20 74 6f 20 5b 27 2c 20 6e 65 77 5f 72 65 '] to [', new_re
2cc0: 63 6f 72 64 5b 6b 65 79 5d 2c 20 27 5d 27 2c 20 cord[key], ']',
2cd0: 73 65 70 3d 27 27 29 0a 09 09 09 09 09 09 09 09 sep='').........
2ce0: 09 72 65 6c 6f 61 64 20 3d 20 54 72 75 65 0a 0a .reload = True..
2cf0: 09 09 09 09 09 09 69 66 20 72 65 6c 6f 61 64 3a ......if reload:
2d00: 0a 09 09 09 09 09 09 09 70 72 69 6e 74 28 27 52 ........print('R
2d10: 65 6c 6f 61 64 69 6e 67 2e 27 29 0a 09 09 09 09 eloading.').....
2d20: 09 09 09 69 66 20 6f 73 2e 61 63 63 65 73 73 28 ...if os.access(
2d30: 74 65 6d 70 5f 6e 61 6d 65 2c 20 6f 73 2e 52 5f temp_name, os.R_
2d40: 4f 4b 29 3a 0a 09 09 09 09 09 09 09 09 6f 73 2e OK):.........os.
2d50: 75 6e 6c 69 6e 6b 28 74 65 6d 70 5f 6e 61 6d 65 unlink(temp_name
2d60: 29 0a 09 09 09 09 09 09 09 69 66 20 6f 73 2e 61 )........if os.a
2d70: 63 63 65 73 73 28 66 69 6c 65 5f 6e 61 6d 65 2c ccess(file_name,
2d80: 20 6f 73 2e 52 5f 4f 4b 29 3a 0a 09 09 09 09 09 os.R_OK):......
2d90: 09 09 09 6f 73 2e 75 6e 6c 69 6e 6b 28 66 69 6c ...os.unlink(fil
2da0: 65 5f 6e 61 6d 65 29 0a 0a 09 09 09 09 09 09 23 e_name)........#
2db0: 20 64 6f 77 6e 6c 6f 61 64 69 6e 67 20 66 69 6c downloading fil
2dc0: 65 20 6f 72 20 73 65 67 6d 65 6e 74 0a 09 09 09 e or segment....
2dd0: 09 09 09 69 66 20 27 43 6f 6e 74 65 6e 74 2d 4c ...if 'Content-L
2de0: 65 6e 67 74 68 27 20 69 6e 20 6e 65 77 5f 72 65 ength' in new_re
2df0: 63 6f 72 64 3a 0a 09 09 09 09 09 09 09 69 66 20 cord:........if
2e00: 72 65 71 75 65 73 74 65 64 5f 72 61 6e 67 65 73 requested_ranges
2e10: 20 3d 3d 20 4e 6f 6e 65 3a 0a 09 09 09 09 09 09 == None:.......
2e20: 09 09 72 65 71 75 65 73 74 65 64 5f 72 61 6e 67 ..requested_rang
2e30: 65 73 20 3d 20 6e 65 77 5f 72 65 63 6f 72 64 5b es = new_record[
2e40: 27 5f 70 61 72 74 73 27 5d 0a 09 09 09 09 09 09 '_parts'].......
2e50: 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 09 09 69 .else:.........i
2e60: 66 20 6c 65 6e 28 72 65 71 75 65 73 74 65 64 5f f len(requested_
2e70: 72 61 6e 67 65 73 29 20 3e 20 31 3a 0a 09 09 09 ranges) > 1:....
2e80: 09 09 09 09 09 09 70 72 69 6e 74 28 22 4d 75 6c ......print("Mul
2e90: 74 69 70 61 72 74 20 72 65 71 75 65 73 74 73 20 tipart requests
2ea0: 63 75 72 72 65 6e 74 6c 79 20 6e 6f 74 20 73 75 currently not su
2eb0: 70 70 6f 72 74 65 64 2e 22 29 0a 09 09 09 09 09 pported.")......
2ec0: 09 09 09 09 61 73 73 65 72 74 20 46 61 6c 73 65 ....assert False
2ed0: 2c 20 27 53 6b 69 70 20 74 68 69 73 20 6f 6e 65 , 'Skip this one
2ee0: 20 66 6f 72 20 6e 6f 77 2e 27 0a 09 09 09 09 09 for now.'......
2ef0: 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 09 61 73 .else:........as
2f00: 73 65 72 74 20 46 61 6c 73 65 2c 20 27 4e 6f 20 sert False, 'No
2f10: 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 20 6f Content-Length o
2f20: 72 20 43 6f 6e 74 65 6e 74 2d 52 61 6e 67 65 20 r Content-Range
2f30: 68 65 61 64 65 72 2e 27 0a 0a 09 09 09 09 09 09 header.'........
2f40: 69 66 20 72 65 6c 6f 61 64 3a 0a 09 09 09 09 09 if reload:......
2f50: 09 09 6e 65 77 5f 72 65 63 6f 72 64 5b 27 5f 74 ..new_record['_t
2f60: 69 6d 65 27 5d 20 3d 20 64 61 74 65 74 69 6d 65 ime'] = datetime
2f70: 2e 64 61 74 65 74 69 6d 65 2e 6e 6f 77 28 29 0a .datetime.now().
2f80: 09 09 09 09 09 09 09 69 66 20 73 65 6c 66 2e 63 .......if self.c
2f90: 6f 6d 6d 61 6e 64 20 6e 6f 74 20 69 6e 20 28 27 ommand not in ('
2fa0: 48 45 41 44 27 29 3a 0a 09 09 09 09 09 09 09 09 HEAD'):.........
2fb0: 23 20 66 69 6c 65 20 69 73 20 63 72 65 61 74 65 # file is create
2fc0: 64 20 61 74 20 74 65 6d 70 6f 72 61 72 79 20 6c d at temporary l
2fd0: 6f 63 61 74 69 6f 6e 20 61 6e 64 20 6d 6f 76 65 ocation and move
2fe0: 64 20 69 6e 20 70 6c 61 63 65 20 6f 6e 6c 79 20 d in place only
2ff0: 77 68 65 6e 20 64 6f 77 6e 6c 6f 61 64 20 63 6f when download co
3000: 6d 70 6c 65 74 65 73 0a 09 09 09 09 09 09 09 09 mpletes.........
3010: 69 66 20 6e 6f 74 20 6f 73 2e 61 63 63 65 73 73 if not os.access
3020: 28 74 65 6d 70 5f 6e 61 6d 65 2c 20 6f 73 2e 52 (temp_name, os.R
3030: 5f 4f 4b 29 3a 0a 09 09 09 09 09 09 09 09 09 65 _OK):..........e
3040: 6d 70 74 79 5f 6e 61 6d 65 20 3d 20 6f 70 74 69 mpty_name = opti
3050: 6f 6e 73 2e 64 69 72 20 2b 20 6f 73 2e 73 65 70 ons.dir + os.sep
3060: 20 2b 20 27 2e 74 6d 70 27 0a 09 09 09 09 09 09 + '.tmp'.......
3070: 09 09 09 77 69 74 68 20 6f 70 65 6e 28 65 6d 70 ...with open(emp
3080: 74 79 5f 6e 61 6d 65 2c 20 27 77 2b 62 27 29 20 ty_name, 'w+b')
3090: 61 73 20 73 6f 6d 65 5f 66 69 6c 65 3a 0a 09 09 as some_file:...
30a0: 09 09 09 09 09 09 09 09 70 61 73 73 0a 09 09 09 ........pass....
30b0: 09 09 09 09 09 09 6f 73 2e 72 65 6e 61 6d 65 73 ......os.renames
30c0: 28 65 6d 70 74 79 5f 6e 61 6d 65 2c 20 74 65 6d (empty_name, tem
30d0: 70 5f 6e 61 6d 65 29 0a 09 09 09 09 09 09 09 09 p_name).........
30e0: 74 65 6d 70 5f 66 69 6c 65 20 3d 20 6f 70 65 6e temp_file = open
30f0: 28 74 65 6d 70 5f 6e 61 6d 65 2c 20 27 72 2b 62 (temp_name, 'r+b
3100: 27 29 0a 09 09 09 09 09 09 09 09 72 65 71 75 65 ').........reque
3110: 73 74 65 64 5f 72 61 6e 67 65 73 2e 72 65 77 69 sted_ranges.rewi
3120: 6e 64 28 29 0a 09 09 09 09 09 09 09 09 77 68 69 nd().........whi
3130: 6c 65 20 54 72 75 65 3a 0a 09 09 09 09 09 09 09 le True:........
3140: 09 09 28 73 74 61 72 74 2c 20 65 6e 64 29 20 3d ..(start, end) =
3150: 20 72 65 71 75 65 73 74 65 64 5f 72 61 6e 67 65 requested_range
3160: 73 2e 70 6f 70 28 29 0a 09 09 09 09 09 09 09 09 s.pop().........
3170: 09 69 66 20 73 74 61 72 74 20 3d 3d 20 4e 6f 6e .if start == Non
3180: 65 3a 0a 09 09 09 09 09 09 09 09 09 09 62 72 65 e:...........bre
3190: 61 6b 0a 09 09 09 09 09 09 09 09 09 73 74 72 65 ak..........stre
31a0: 61 6d 5f 6c 61 73 74 20 3d 20 73 74 61 72 74 0a am_last = start.
31b0: 09 09 09 09 09 09 09 09 09 6f 6c 64 5f 72 65 63 .........old_rec
31c0: 6f 72 64 20 3d 20 6e 65 77 5f 72 65 63 6f 72 64 ord = new_record
31d0: 0a 09 09 09 09 09 09 09 09 09 69 66 20 65 6e 64 ..........if end
31e0: 20 2d 20 73 74 61 72 74 20 3c 20 62 6c 6f 63 6b - start < block
31f0: 5f 73 69 7a 65 3a 0a 09 09 09 09 09 09 09 09 09 _size:..........
3200: 09 72 65 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 20 .req_block_size
3210: 3d 20 65 6e 64 20 2d 20 73 74 61 72 74 0a 09 09 = end - start...
3220: 09 09 09 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 .......else:....
3230: 09 09 09 09 09 09 09 72 65 71 5f 62 6c 6f 63 6b .......req_block
3240: 5f 73 69 7a 65 20 3d 20 62 6c 6f 63 6b 5f 73 69 _size = block_si
3250: 7a 65 0a 09 09 09 09 09 09 09 09 09 62 75 66 66 ze..........buff
3260: 65 72 20 3d 20 73 6f 75 72 63 65 2e 72 65 61 64 er = source.read
3270: 28 72 65 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 29 (req_block_size)
3280: 0a 09 09 09 09 09 09 09 09 09 70 72 69 6e 74 28 ..........print(
3290: 62 75 66 66 65 72 29 0a 09 09 09 09 09 09 09 09 buffer).........
32a0: 09 6c 65 6e 67 74 68 20 3d 20 6c 65 6e 28 62 75 .length = len(bu
32b0: 66 66 65 72 29 0a 09 09 09 09 09 09 09 09 09 77 ffer)..........w
32c0: 68 69 6c 65 20 6c 65 6e 67 74 68 20 3e 20 30 20 hile length > 0
32d0: 61 6e 64 20 73 74 72 65 61 6d 5f 6c 61 73 74 20 and stream_last
32e0: 3c 20 65 6e 64 3a 0a 09 09 09 09 09 09 09 09 09 < end:..........
32f0: 09 73 74 72 65 61 6d 5f 70 6f 73 20 3d 20 73 74 .stream_pos = st
3300: 72 65 61 6d 5f 6c 61 73 74 20 2b 20 6c 65 6e 67 ream_last + leng
3310: 74 68 0a 09 09 09 09 09 09 09 09 09 09 61 73 73 th...........ass
3320: 65 72 74 20 6e 6f 74 20 73 74 72 65 61 6d 5f 70 ert not stream_p
3330: 6f 73 20 3e 20 65 6e 64 2c 20 27 52 65 63 65 69 os > end, 'Recei
3340: 76 65 64 20 6d 6f 72 65 20 64 61 74 61 20 74 68 ved more data th
3350: 65 6e 20 72 65 71 75 65 73 74 65 64 3a 20 70 6f en requested: po
3360: 73 3a 7b 7d 20 73 74 61 72 74 3a 7b 7d 20 65 6e s:{} start:{} en
3370: 64 3a 7b 7d 2e 27 2e 66 6f 72 6d 61 74 28 73 74 d:{}.'.format(st
3380: 72 65 61 6d 5f 70 6f 73 2c 20 73 74 61 72 74 2c ream_pos, start,
3390: 20 65 6e 64 29 0a 09 09 09 09 09 09 09 09 09 09 end)...........
33a0: 70 72 69 6e 74 28 27 57 72 69 74 69 6e 67 27 2c print('Writing',
33b0: 20 6c 65 6e 67 74 68 2c 20 27 62 79 74 65 73 20 length, 'bytes
33c0: 74 6f 20 74 65 6d 70 20 66 69 6c 65 20 61 74 20 to temp file at
33d0: 70 6f 73 69 74 69 6f 6e 27 2c 20 73 74 72 65 61 position', strea
33e0: 6d 5f 6c 61 73 74 29 0a 09 09 09 09 09 09 09 09 m_last).........
33f0: 09 09 74 65 6d 70 5f 66 69 6c 65 2e 73 65 65 6b ..temp_file.seek
3400: 28 73 74 72 65 61 6d 5f 6c 61 73 74 29 0a 09 09 (stream_last)...
3410: 09 09 09 09 09 09 09 09 74 65 6d 70 5f 66 69 6c ........temp_fil
3420: 65 2e 77 72 69 74 65 28 62 75 66 66 65 72 29 0a e.write(buffer).
3430: 09 09 09 09 09 09 09 09 09 09 6e 65 77 5f 72 65 ..........new_re
3440: 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d 20 3d cord['_parts'] =
3450: 20 6e 65 77 5f 72 65 63 6f 72 64 5b 27 5f 70 61 new_record['_pa
3460: 72 74 73 27 5d 20 2d 20 53 70 61 63 65 4d 61 70 rts'] - SpaceMap
3470: 28 7b 73 74 72 65 61 6d 5f 6c 61 73 74 3a 20 73 ({stream_last: s
3480: 74 72 65 61 6d 5f 70 6f 73 7d 29 0a 09 09 09 09 tream_pos}).....
3490: 09 09 09 09 09 09 70 72 69 6e 74 28 6e 65 77 5f ......print(new_
34a0: 72 65 63 6f 72 64 29 0a 09 09 09 09 09 09 09 09 record).........
34b0: 09 09 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5d ..index[my_path]
34c0: 20 3d 20 6f 6c 64 5f 72 65 63 6f 72 64 0a 09 09 = old_record...
34d0: 09 09 09 09 09 09 09 09 69 6e 64 65 78 2e 73 79 ........index.sy
34e0: 6e 63 28 29 0a 09 09 09 09 09 09 09 09 09 09 6f nc()...........o
34f0: 6c 64 5f 72 65 63 6f 72 64 20 3d 20 6e 65 77 5f ld_record = new_
3500: 72 65 63 6f 72 64 0a 09 09 09 09 09 09 09 09 09 record..........
3510: 09 73 74 72 65 61 6d 5f 6c 61 73 74 20 3d 20 73 .stream_last = s
3520: 74 72 65 61 6d 5f 70 6f 73 0a 09 09 09 09 09 09 tream_pos.......
3530: 09 09 09 09 69 66 20 65 6e 64 20 2d 20 73 74 72 ....if end - str
3540: 65 61 6d 5f 6c 61 73 74 20 3c 20 62 6c 6f 63 6b eam_last < block
3550: 5f 73 69 7a 65 3a 0a 09 09 09 09 09 09 09 09 09 _size:..........
3560: 09 09 72 65 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 ..req_block_size
3570: 20 3d 20 65 6e 64 20 2d 20 73 74 72 65 61 6d 5f = end - stream_
3580: 6c 61 73 74 0a 09 09 09 09 09 09 09 09 09 09 62 last...........b
3590: 75 66 66 65 72 20 3d 20 73 6f 75 72 63 65 2e 72 uffer = source.r
35a0: 65 61 64 28 72 65 71 5f 62 6c 6f 63 6b 5f 73 69 ead(req_block_si
35b0: 7a 65 29 0a 09 09 09 09 09 09 09 09 09 09 70 72 ze)...........pr
35c0: 69 6e 74 28 62 75 66 66 65 72 29 0a 09 09 09 09 int(buffer).....
35d0: 09 09 09 09 09 09 6c 65 6e 67 74 68 20 3d 20 6c ......length = l
35e0: 65 6e 28 62 75 66 66 65 72 29 0a 09 09 09 09 09 en(buffer)......
35f0: 09 09 09 70 72 69 6e 74 28 6e 65 77 5f 72 65 63 ...print(new_rec
3600: 6f 72 64 29 0a 09 09 09 09 09 09 09 09 69 6e 64 ord).........ind
3610: 65 78 5b 6d 79 5f 70 61 74 68 5d 20 3d 20 6e 65 ex[my_path] = ne
3620: 77 5f 72 65 63 6f 72 64 0a 09 09 09 09 09 09 09 w_record........
3630: 09 69 6e 64 65 78 2e 73 79 6e 63 28 29 0a 09 09 .index.sync()...
3640: 09 09 09 09 09 09 74 65 6d 70 5f 66 69 6c 65 2e ......temp_file.
3650: 63 6c 6f 73 65 28 29 0a 0a 09 09 09 09 09 09 09 close().........
3660: 09 23 20 6d 6f 76 69 6e 67 20 64 6f 77 6e 6c 6f .# moving downlo
3670: 61 64 65 64 20 64 61 74 61 20 74 6f 20 72 65 61 aded data to rea
3680: 6c 20 66 69 6c 65 0a 09 09 09 09 09 09 09 09 69 l file.........i
3690: 66 20 6e 65 77 5f 72 65 63 6f 72 64 5b 27 5f 70 f new_record['_p
36a0: 61 72 74 73 27 5d 20 3d 3d 20 53 70 61 63 65 4d arts'] == SpaceM
36b0: 61 70 28 29 3a 0a 09 09 09 09 09 09 09 09 09 23 ap():..........#
36c0: 20 6a 75 73 74 20 6d 6f 76 69 6e 67 0a 09 09 09 just moving....
36d0: 09 09 09 09 09 09 23 20 64 72 6f 70 20 6f 6c 64 ......# drop old
36e0: 20 64 69 72 73 20 58 58 58 0a 09 09 09 09 09 09 dirs XXX.......
36f0: 09 09 09 70 72 69 6e 74 28 27 4d 6f 76 69 6e 67 ...print('Moving
3700: 20 74 65 6d 70 6f 72 61 72 79 20 66 69 6c 65 20 temporary file
3710: 74 6f 20 6e 65 77 20 64 65 73 74 69 6e 61 74 69 to new destinati
3720: 6f 6e 2e 27 29 0a 09 09 09 09 09 09 09 09 09 6f on.')..........o
3730: 73 2e 72 65 6e 61 6d 65 73 28 74 65 6d 70 5f 6e s.renames(temp_n
3740: 61 6d 65 2c 20 66 69 6c 65 5f 6e 61 6d 65 29 0a ame, file_name).
3750: 0a 09 09 09 09 65 78 63 65 70 74 20 75 72 6c 6c .....except urll
3760: 69 62 2e 65 72 72 6f 72 2e 48 54 54 50 45 72 72 ib.error.HTTPErr
3770: 6f 72 20 61 73 20 65 72 72 6f 72 3a 0a 09 09 09 or as error:....
3780: 09 09 23 20 69 6e 20 63 61 73 65 20 6f 66 20 65 ..# in case of e
3790: 72 72 6f 72 20 77 65 20 64 6f 6e 27 74 20 6e 65 rror we don't ne
37a0: 65 64 20 74 6f 20 64 6f 20 61 6e 79 74 68 69 6e ed to do anythin
37b0: 67 20 61 63 74 75 61 6c 6c 79 2c 0a 09 09 09 09 g actually,.....
37c0: 09 23 20 69 66 20 66 69 6c 65 20 64 6f 77 6e 6c .# if file downl
37d0: 6f 61 64 20 73 74 61 6c 6c 73 20 6f 72 20 66 61 oad stalls or fa
37e0: 69 6c 73 20 74 68 65 20 66 69 6c 65 20 77 6f 75 ils the file wou
37f0: 6c 64 20 6e 6f 74 20 62 65 20 6d 6f 76 65 64 20 ld not be moved
3800: 74 6f 20 69 74 27 73 20 6c 6f 63 61 74 69 6f 6e to it's location
3810: 0a 09 09 09 09 09 70 72 69 6e 74 28 65 72 72 6f ......print(erro
3820: 72 29 0a 0a 09 09 09 70 72 69 6e 74 28 27 53 65 r).....print('Se
3830: 6e 64 69 6e 67 20 72 65 73 70 6f 6e 73 65 2e 27 nding response.'
3840: 29 0a 09 09 09 69 66 20 73 65 6c 66 2e 63 6f 6d )....if self.com
3850: 6d 61 6e 64 20 3d 3d 20 27 48 45 41 44 27 3a 0a mand == 'HEAD':.
3860: 09 09 09 09 70 72 69 6e 74 28 27 53 65 6e 64 69 ....print('Sendi
3870: 6e 67 20 48 45 41 44 20 72 65 73 70 6f 6e 73 65 ng HEAD response
3880: 2e 27 29 0a 09 09 09 09 73 65 6c 66 2e 73 65 6e .').....self.sen
3890: 64 5f 72 65 73 70 6f 6e 73 65 28 32 30 30 29 0a d_response(200).
38a0: 09 09 09 09 69 66 20 27 43 6f 6e 74 65 6e 74 2d ....if 'Content-
38b0: 4c 65 6e 67 74 68 27 20 69 6e 20 69 6e 64 65 78 Length' in index
38c0: 5b 6d 79 5f 70 61 74 68 5d 3a 0a 09 09 09 09 09 [my_path]:......
38d0: 73 65 6c 66 2e 73 65 6e 64 5f 68 65 61 64 65 72 self.send_header
38e0: 28 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 ('Content-Length
38f0: 27 2c 20 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 ', index[my_path
3900: 5d 5b 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 ]['Content-Lengt
3910: 68 27 5d 29 0a 09 09 09 09 73 65 6c 66 2e 73 65 h']).....self.se
3920: 6e 64 5f 68 65 61 64 65 72 28 27 41 63 63 65 70 nd_header('Accep
3930: 74 2d 52 61 6e 67 65 73 27 2c 20 27 62 79 74 65 t-Ranges', 'byte
3940: 73 27 29 0a 09 09 09 09 73 65 6c 66 2e 73 65 6e s').....self.sen
3950: 64 5f 68 65 61 64 65 72 28 27 43 6f 6e 74 65 6e d_header('Conten
3960: 74 2d 54 79 70 65 27 2c 20 27 61 70 70 6c 69 63 t-Type', 'applic
3970: 61 74 69 6f 6e 2f 6f 63 74 65 74 2d 73 74 72 65 ation/octet-stre
3980: 61 6d 27 29 0a 09 09 09 09 69 66 20 27 4c 61 73 am').....if 'Las
3990: 74 2d 4d 6f 64 69 66 69 65 64 27 20 69 6e 20 69 t-Modified' in i
39a0: 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5d 3a 0a 09 ndex[my_path]:..
39b0: 09 09 09 09 73 65 6c 66 2e 73 65 6e 64 5f 68 65 ....self.send_he
39c0: 61 64 65 72 28 27 4c 61 73 74 2d 4d 6f 64 69 66 ader('Last-Modif
39d0: 69 65 64 27 2c 20 69 6e 64 65 78 5b 6d 79 5f 70 ied', index[my_p
39e0: 61 74 68 5d 5b 27 4c 61 73 74 2d 4d 6f 64 69 66 ath]['Last-Modif
39f0: 69 65 64 27 5d 29 0a 09 09 09 09 73 65 6c 66 2e ied']).....self.
3a00: 65 6e 64 5f 68 65 61 64 65 72 73 28 29 0a 09 09 end_headers()...
3a10: 09 65 6c 73 65 3a 0a 09 09 09 09 69 66 20 69 6e .else:.....if in
3a20: 64 65 78 5b 6d 79 5f 70 61 74 68 5d 5b 27 5f 70 dex[my_path]['_p
3a30: 61 72 74 73 27 5d 20 21 3d 20 53 70 61 63 65 4d arts'] != SpaceM
3a40: 61 70 28 29 3a 0a 09 09 09 09 09 66 69 6c 65 5f ap():......file_
3a50: 6e 61 6d 65 20 3d 20 74 65 6d 70 5f 6e 61 6d 65 name = temp_name
3a60: 0a 0a 09 09 09 09 77 69 74 68 20 6f 70 65 6e 28 ......with open(
3a70: 66 69 6c 65 5f 6e 61 6d 65 2c 20 27 72 62 27 29 file_name, 'rb')
3a80: 20 61 73 20 72 65 61 6c 5f 66 69 6c 65 3a 0a 09 as real_file:..
3a90: 09 09 09 09 66 69 6c 65 5f 73 74 61 74 20 3d 20 ....file_stat =
3aa0: 6f 73 2e 73 74 61 74 28 66 69 6c 65 5f 6e 61 6d os.stat(file_nam
3ab0: 65 29 0a 09 09 09 09 09 73 65 6c 66 2e 73 65 6e e)......self.sen
3ac0: 64 5f 72 65 73 70 6f 6e 73 65 28 32 30 30 29 0a d_response(200).
3ad0: 09 09 09 09 09 73 65 6c 66 2e 73 65 6e 64 5f 68 .....self.send_h
3ae0: 65 61 64 65 72 28 27 4c 61 73 74 2d 4d 6f 64 69 eader('Last-Modi
3af0: 66 69 65 64 27 2c 20 69 6e 64 65 78 5b 6d 79 5f fied', index[my_
3b00: 70 61 74 68 5d 5b 27 4c 61 73 74 2d 4d 6f 64 69 path]['Last-Modi
3b10: 66 69 65 64 27 5d 29 0a 09 09 09 09 09 69 66 20 fied'])......if
3b20: 72 65 71 75 65 73 74 65 64 5f 72 61 6e 67 65 73 requested_ranges
3b30: 20 21 3d 20 4e 6f 6e 65 3a 0a 09 09 09 09 09 09 != None:.......
3b40: 72 61 6e 67 65 73 20 3d 20 28 29 0a 09 09 09 09 ranges = ().....
3b50: 09 09 72 65 71 75 65 73 74 65 64 5f 72 61 6e 67 ..requested_rang
3b60: 65 73 2e 72 65 77 69 6e 64 28 29 0a 09 09 09 09 es.rewind().....
3b70: 09 09 77 68 69 6c 65 20 54 72 75 65 3a 0a 09 09 ..while True:...
3b80: 09 09 09 09 09 70 61 69 72 20 3d 20 72 65 71 75 .....pair = requ
3b90: 65 73 74 65 64 5f 72 61 6e 67 65 73 2e 70 6f 70 ested_ranges.pop
3ba0: 28 29 0a 09 09 09 09 09 09 09 69 66 20 70 61 69 ()........if pai
3bb0: 72 5b 30 5d 20 3d 3d 20 4e 6f 6e 65 3a 0a 09 09 r[0] == None:...
3bc0: 09 09 09 09 09 09 62 72 65 61 6b 0a 09 09 09 09 ......break.....
3bd0: 09 09 09 72 61 6e 67 65 73 20 2b 3d 20 27 7b 7d ...ranges += '{}
3be0: 2d 7b 7d 27 2e 66 6f 72 6d 61 74 28 70 61 69 72 -{}'.format(pair
3bf0: 5b 30 5d 2c 20 73 74 72 28 70 61 69 72 5b 31 5d [0], str(pair[1]
3c00: 20 2d 20 31 29 29 2c 0a 09 09 09 09 09 09 73 65 - 1)),.......se
3c10: 6c 66 2e 73 65 6e 64 5f 68 65 61 64 65 72 28 27 lf.send_header('
3c20: 43 6f 6e 74 65 6e 74 2d 52 61 6e 67 65 27 2c 20 Content-Range',
3c30: 27 62 79 74 65 73 20 27 20 2b 20 27 2c 27 2e 6a 'bytes ' + ','.j
3c40: 6f 69 6e 28 72 61 6e 67 65 73 29 20 2b 20 27 2f oin(ranges) + '/
3c50: 27 20 2b 20 69 6e 64 65 78 5b 6d 79 5f 70 61 74 ' + index[my_pat
3c60: 68 5d 5b 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 h]['Content-Leng
3c70: 74 68 27 5d 29 0a 09 09 09 09 09 65 6c 73 65 3a th'])......else:
3c80: 0a 09 09 09 09 09 09 73 65 6c 66 2e 73 65 6e 64 .......self.send
3c90: 5f 68 65 61 64 65 72 28 27 43 6f 6e 74 65 6e 74 _header('Content
3ca0: 2d 4c 65 6e 67 74 68 27 2c 20 73 74 72 28 66 69 -Length', str(fi
3cb0: 6c 65 5f 73 74 61 74 2e 73 74 5f 73 69 7a 65 29 le_stat.st_size)
3cc0: 29 0a 09 09 09 09 09 09 72 65 71 75 65 73 74 65 ).......requeste
3cd0: 64 5f 72 61 6e 67 65 73 20 3d 20 53 70 61 63 65 d_ranges = Space
3ce0: 4d 61 70 28 7b 30 3a 20 66 69 6c 65 5f 73 74 61 Map({0: file_sta
3cf0: 74 2e 73 74 5f 73 69 7a 65 7d 29 0a 09 09 09 09 t.st_size}).....
3d00: 09 73 65 6c 66 2e 73 65 6e 64 5f 68 65 61 64 65 .self.send_heade
3d10: 72 28 27 43 6f 6e 74 65 6e 74 2d 54 79 70 65 27 r('Content-Type'
3d20: 2c 20 27 61 70 70 6c 69 63 61 74 69 6f 6e 2f 6f , 'application/o
3d30: 63 74 65 74 2d 73 74 72 65 61 6d 27 29 0a 09 09 ctet-stream')...
3d40: 09 09 09 73 65 6c 66 2e 65 6e 64 5f 68 65 61 64 ...self.end_head
3d50: 65 72 73 28 29 0a 09 09 09 09 09 69 66 20 73 65 ers()......if se
3d60: 6c 66 2e 63 6f 6d 6d 61 6e 64 20 69 6e 20 28 27 lf.command in ('
3d70: 47 45 54 27 29 3a 0a 09 09 09 09 09 09 72 65 71 GET'):.......req
3d80: 75 65 73 74 65 64 5f 72 61 6e 67 65 73 2e 72 65 uested_ranges.re
3d90: 77 69 6e 64 28 29 0a 09 09 09 09 09 09 28 73 74 wind().......(st
3da0: 61 72 74 2c 20 65 6e 64 29 20 3d 20 72 65 71 75 art, end) = requ
3db0: 65 73 74 65 64 5f 72 61 6e 67 65 73 2e 70 6f 70 ested_ranges.pop
3dc0: 28 29 0a 09 09 09 09 09 09 70 72 69 6e 74 28 27 ().......print('
3dd0: 53 65 65 6b 69 6e 67 20 66 69 6c 65 20 74 6f 20 Seeking file to
3de0: 70 6f 73 69 74 69 6f 6e 27 2c 20 73 74 61 72 74 position', start
3df0: 29 0a 09 09 09 09 09 09 72 65 61 6c 5f 66 69 6c ).......real_fil
3e00: 65 2e 73 65 65 6b 28 73 74 61 72 74 29 0a 09 09 e.seek(start)...
3e10: 09 09 09 09 69 66 20 62 6c 6f 63 6b 5f 73 69 7a ....if block_siz
3e20: 65 20 3e 20 65 6e 64 20 2d 20 73 74 61 72 74 3a e > end - start:
3e30: 0a 09 09 09 09 09 09 09 72 65 71 5f 62 6c 6f 63 ........req_bloc
3e40: 6b 5f 73 69 7a 65 20 3d 20 65 6e 64 20 2d 20 73 k_size = end - s
3e50: 74 61 72 74 0a 09 09 09 09 09 09 65 6c 73 65 3a tart.......else:
3e60: 0a 09 09 09 09 09 09 09 72 65 71 5f 62 6c 6f 63 ........req_bloc
3e70: 6b 5f 73 69 7a 65 20 3d 20 62 6c 6f 63 6b 5f 73 k_size = block_s
3e80: 69 7a 65 0a 09 09 09 09 09 09 70 72 69 6e 74 28 ize.......print(
3e90: 27 62 6c 6f 63 6b 5f 73 69 7a 65 20 69 73 27 2c 'block_size is',
3ea0: 20 72 65 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 29 req_block_size)
3eb0: 0a 09 09 09 09 09 09 62 75 66 66 65 72 20 3d 20 .......buffer =
3ec0: 72 65 61 6c 5f 66 69 6c 65 2e 72 65 61 64 28 72 real_file.read(r
3ed0: 65 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 29 0a 09 eq_block_size)..
3ee0: 09 09 09 09 09 6c 65 6e 67 74 68 20 3d 20 6c 65 .....length = le
3ef0: 6e 28 62 75 66 66 65 72 29 0a 09 09 09 09 09 09 n(buffer).......
3f00: 77 68 69 6c 65 20 6c 65 6e 67 74 68 20 3e 20 30 while length > 0
3f10: 3a 0a 09 09 09 09 09 09 09 73 65 6c 66 2e 77 66 :........self.wf
3f20: 69 6c 65 2e 77 72 69 74 65 28 62 75 66 66 65 72 ile.write(buffer
3f30: 29 0a 09 09 09 09 09 09 09 73 74 61 72 74 20 2b )........start +
3f40: 3d 20 6c 65 6e 28 62 75 66 66 65 72 29 0a 09 09 = len(buffer)...
3f50: 09 09 09 09 09 69 66 20 72 65 71 5f 62 6c 6f 63 .....if req_bloc
3f60: 6b 5f 73 69 7a 65 20 3e 20 65 6e 64 20 2d 20 73 k_size > end - s
3f70: 74 61 72 74 3a 0a 09 09 09 09 09 09 09 09 72 65 tart:.........re
3f80: 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 20 3d 20 65 q_block_size = e
3f90: 6e 64 20 2d 20 73 74 61 72 74 0a 09 09 09 09 09 nd - start......
3fa0: 09 09 69 66 20 72 65 71 5f 62 6c 6f 63 6b 5f 73 ..if req_block_s
3fb0: 69 7a 65 20 3d 3d 20 30 3a 0a 09 09 09 09 09 09 ize == 0:.......
3fc0: 09 09 62 72 65 61 6b 0a 09 09 09 09 09 09 09 70 ..break........p
3fd0: 72 69 6e 74 28 27 62 6c 6f 63 6b 5f 73 69 7a 65 rint('block_size
3fe0: 20 69 73 27 2c 20 72 65 71 5f 62 6c 6f 63 6b 5f is', req_block_
3ff0: 73 69 7a 65 29 0a 09 09 09 09 09 09 09 62 75 66 size)........buf
4000: 66 65 72 20 3d 20 72 65 61 6c 5f 66 69 6c 65 2e fer = real_file.
4010: 72 65 61 64 28 72 65 71 5f 62 6c 6f 63 6b 5f 73 read(req_block_s
4020: 69 7a 65 29 0a 09 09 09 09 09 09 09 6c 65 6e 67 ize)........leng
4030: 74 68 20 3d 20 6c 65 6e 28 62 75 66 66 65 72 29 th = len(buffer)
4040: 0a 09 09 09 09 09 0a 09 09 64 65 66 20 64 6f 5f .........def do_
4050: 48 45 41 44 28 73 65 6c 66 29 3a 0a 09 09 09 72 HEAD(self):....r
4060: 65 74 75 72 6e 20 73 65 6c 66 2e 5f 5f 70 72 6f eturn self.__pro
4070: 63 65 73 73 28 29 0a 09 09 64 65 66 20 64 6f 5f cess()...def do_
4080: 47 45 54 28 73 65 6c 66 29 3a 0a 09 09 09 72 65 GET(self):....re
4090: 74 75 72 6e 20 73 65 6c 66 2e 5f 5f 70 72 6f 63 turn self.__proc
40a0: 65 73 73 28 29 0a 0a 09 73 65 72 76 65 72 20 3d ess()...server =
40b0: 20 68 74 74 70 2e 73 65 72 76 65 72 2e 48 54 54 http.server.HTT
40c0: 50 53 65 72 76 65 72 28 28 27 31 32 37 2e 30 2e PServer(('127.0.
40d0: 30 2e 31 27 2c 20 69 6e 74 28 6f 70 74 69 6f 6e 0.1', int(option
40e0: 73 2e 70 6f 72 74 29 29 2c 20 4d 79 52 65 71 75 s.port)), MyRequ
40f0: 65 73 74 48 61 6e 64 6c 65 72 29 0a 09 73 65 72 estHandler)..ser
4100: 76 65 72 2e 73 65 72 76 65 5f 66 6f 72 65 76 65 ver.serve_foreve
4110: 72 28 29 0a 0a 65 6c 73 65 3a 0a 09 77 68 69 6c r()..else:..whil
4120: 65 20 54 72 75 65 3a 0a 09 09 75 6e 63 68 65 63 e True:...unchec
4130: 6b 65 64 5f 66 69 6c 65 73 20 3d 20 73 65 74 28 ked_files = set(
4140: 29 0a 09 09 63 68 65 63 6b 65 64 5f 66 69 6c 65 )...checked_file
4150: 73 20 3d 20 30 0a 0a 09 09 23 20 72 65 61 64 69 s = 0....# readi
4160: 6e 67 20 6c 6f 67 20 61 6e 64 20 73 74 6f 72 69 ng log and stori
4170: 6e 67 20 66 6f 75 6e 64 20 75 72 6c 73 20 66 6f ng found urls fo
4180: 72 20 70 72 6f 63 65 73 73 69 6e 67 0a 09 09 23 r processing...#
4190: 20 63 68 65 63 6b 20 66 69 6c 65 20 6d 74 69 6d check file mtim
41a0: 65 20 58 58 58 0a 09 09 77 69 74 68 20 6f 70 65 e XXX...with ope
41b0: 6e 28 6f 70 74 69 6f 6e 73 2e 6c 6f 67 2c 20 27 n(options.log, '
41c0: 72 27 29 20 61 73 20 6c 6f 67 5f 66 69 6c 65 3a r') as log_file:
41d0: 0a 09 09 09 6c 6f 67 5f 6c 69 6e 65 20 3d 20 72 ....log_line = r
41e0: 65 2e 63 6f 6d 70 69 6c 65 28 27 5e 5b 5e 20 5d e.compile('^[^ ]
41f0: 2b 20 2d 20 2d 20 5c 5b 2e 2a 5d 20 22 28 47 45 + - - \[.*] "(GE
4200: 54 7c 48 45 41 44 29 20 28 2e 2a 3f 29 28 5c 3f T|HEAD) (.*?)(\?
4210: 2e 2a 29 3f 20 48 54 54 50 2f 31 2e 31 22 20 28 .*)? HTTP/1.1" (
4220: 5c 64 2b 29 20 5c 64 2b 20 22 28 2e 2a 29 22 20 \d+) \d+ "(.*)"
4230: 22 28 2e 2a 29 22 24 27 29 0a 09 09 09 66 6f 72 "(.*)"$')....for
4240: 20 6c 69 6e 65 20 69 6e 20 6c 6f 67 5f 66 69 6c line in log_fil
4250: 65 3a 0a 09 09 09 09 74 68 69 73 5f 6c 69 6e 65 e:.....this_line
4260: 20 3d 20 6c 6f 67 5f 6c 69 6e 65 2e 6d 61 74 63 = log_line.matc
4270: 68 28 6c 69 6e 65 2e 73 74 72 69 70 28 29 29 0a h(line.strip()).
4280: 09 09 09 09 69 66 20 74 68 69 73 5f 6c 69 6e 65 ....if this_line
4290: 3a 0a 09 09 09 09 09 75 6e 63 68 65 63 6b 65 64 :......unchecked
42a0: 5f 66 69 6c 65 73 2e 61 64 64 28 74 68 69 73 5f _files.add(this_
42b0: 6c 69 6e 65 2e 67 72 6f 75 70 28 32 29 29 0a 0a line.group(2))..
42c0: 09 09 66 6f 72 20 75 72 6c 20 69 6e 20 75 6e 63 ..for url in unc
42d0: 68 65 63 6b 65 64 5f 66 69 6c 65 73 3a 0a 09 09 hecked_files:...
42e0: 09 72 65 6c 6f 61 64 20 3d 20 46 61 6c 73 65 0a .reload = False.
42f0: 09 09 09 72 65 63 68 65 63 6b 20 3d 20 46 61 6c ...recheck = Fal
4300: 73 65 0a 09 09 09 69 6e 66 6f 20 3d 20 27 43 68 se....info = 'Ch
4310: 65 63 6b 69 6e 67 20 66 69 6c 65 3a 20 27 20 2b ecking file: ' +
4320: 20 75 72 6c 0a 0a 09 09 09 23 20 63 72 65 61 74 url.....# creat
4330: 69 6e 67 20 65 6d 70 74 79 20 70 6c 61 63 65 68 ing empty placeh
4340: 6f 6c 64 65 72 20 69 6e 20 69 6e 64 65 78 0a 09 older in index..
4350: 09 09 69 66 20 6e 6f 74 20 75 72 6c 20 69 6e 20 ..if not url in
4360: 69 6e 64 65 78 3a 0a 09 09 09 09 69 6e 66 6f 20 index:.....info
4370: 2b 3d 20 27 5c 6e 54 68 69 73 20 6f 6e 65 20 69 += '\nThis one i
4380: 73 20 6e 65 77 2e 27 0a 09 09 09 09 69 6e 64 65 s new.'.....inde
4390: 78 5b 75 72 6c 5d 20 3d 20 7b 7d 0a 09 09 09 09 x[url] = {}.....
43a0: 72 65 6c 6f 61 64 20 3d 20 54 72 75 65 0a 0a 09 reload = True...
43b0: 09 09 23 20 63 72 65 61 74 69 6e 67 20 66 69 6c ..# creating fil
43c0: 65 20 6e 61 6d 65 20 66 72 6f 6d 20 75 72 6c 0a e name from url.
43d0: 09 09 09 66 69 6c 65 5f 6e 61 6d 65 20 3d 20 6f ...file_name = o
43e0: 70 74 69 6f 6e 73 2e 64 69 72 20 2b 20 72 65 2e ptions.dir + re.
43f0: 63 6f 6d 70 69 6c 65 28 27 25 32 30 27 29 2e 73 compile('%20').s
4400: 75 62 28 27 20 27 2c 20 75 72 6c 29 0a 0a 09 09 ub(' ', url)....
4410: 09 23 20 66 6f 72 63 69 62 6c 79 20 63 68 65 63 .# forcibly chec
4420: 6b 69 6e 67 20 66 69 6c 65 20 69 66 20 6e 6f 20 king file if no
4430: 66 69 6c 65 20 70 72 65 73 65 6e 74 0a 09 09 09 file present....
4440: 69 66 20 6e 6f 74 20 72 65 6c 6f 61 64 20 61 6e if not reload an
4450: 64 20 6e 6f 74 20 6f 73 2e 61 63 63 65 73 73 28 d not os.access(
4460: 66 69 6c 65 5f 6e 61 6d 65 2c 20 6f 73 2e 52 5f file_name, os.R_
4470: 4f 4b 29 3a 0a 09 09 09 09 69 6e 66 6f 20 2b 3d OK):.....info +=
4480: 20 27 5c 6e 46 69 6c 65 20 6e 6f 74 20 66 6f 75 '\nFile not fou
4490: 6e 64 20 6f 72 20 69 6e 61 63 63 65 73 73 69 62 nd or inaccessib
44a0: 6c 65 2e 27 0a 09 09 09 09 72 65 6c 6f 61 64 20 le.'.....reload
44b0: 3d 20 54 72 75 65 0a 0a 09 09 09 23 20 66 6f 72 = True.....# for
44c0: 63 69 62 6c 79 20 63 68 65 63 6b 69 6e 67 20 66 cibly checking f
44d0: 69 6c 65 20 69 66 20 66 69 6c 65 20 73 69 7a 65 ile if file size
44e0: 20 64 6f 65 73 6e 27 74 20 6d 61 74 63 68 20 77 doesn't match w
44f0: 69 74 68 20 69 6e 64 65 78 20 64 61 74 61 0a 09 ith index data..
4500: 09 09 65 6c 69 66 20 6e 6f 74 20 72 65 6c 6f 61 ..elif not reloa
4510: 64 20 61 6e 64 20 27 43 6f 6e 74 65 6e 74 2d 4c d and 'Content-L
4520: 65 6e 67 74 68 27 20 69 6e 20 69 6e 64 65 78 5b ength' in index[
4530: 75 72 6c 5d 20 61 6e 64 20 6f 73 2e 73 74 61 74 url] and os.stat
4540: 28 66 69 6c 65 5f 6e 61 6d 65 29 2e 73 74 5f 73 (file_name).st_s
4550: 69 7a 65 20 21 3d 20 69 6e 74 28 69 6e 64 65 78 ize != int(index
4560: 5b 75 72 6c 5d 5b 27 43 6f 6e 74 65 6e 74 2d 4c [url]['Content-L
4570: 65 6e 67 74 68 27 5d 29 3a 0a 09 09 09 09 69 6e ength']):.....in
4580: 66 6f 20 2b 3d 20 27 5c 6e 46 69 6c 65 20 73 69 fo += '\nFile si
4590: 7a 65 20 69 73 20 27 20 2b 20 6f 73 2e 73 74 61 ze is ' + os.sta
45a0: 74 28 66 69 6c 65 5f 6e 61 6d 65 29 2e 73 74 5f t(file_name).st_
45b0: 73 69 7a 65 20 2b 20 27 20 61 6e 64 20 73 74 6f size + ' and sto
45c0: 72 65 64 20 66 69 6c 65 20 73 69 7a 65 20 69 73 red file size is
45d0: 20 27 20 2b 20 69 6e 64 65 78 5b 75 72 6c 5d 5b ' + index[url][
45e0: 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 'Content-Length'
45f0: 5d 20 2b 20 27 2e 27 0a 09 09 09 09 72 65 6c 6f ] + '.'.....relo
4600: 61 64 20 3d 20 54 72 75 65 0a 0a 09 09 09 23 20 ad = True.....#
4610: 66 6f 72 63 69 62 6c 79 20 63 68 65 63 6b 69 6e forcibly checkin
4620: 67 20 66 69 6c 65 20 69 66 20 69 6e 64 65 78 20 g file if index
4630: 68 6f 64 73 20 50 72 61 67 6d 61 20 68 65 61 64 hods Pragma head
4640: 65 72 0a 09 09 09 69 66 20 6e 6f 74 20 72 65 6c er....if not rel
4650: 6f 61 64 20 61 6e 64 20 27 50 72 61 67 6d 61 27 oad and 'Pragma'
4660: 20 69 6e 20 69 6e 64 65 78 5b 75 72 6c 5d 20 61 in index[url] a
4670: 6e 64 20 69 6e 64 65 78 5b 75 72 6c 5d 5b 27 50 nd index[url]['P
4680: 72 61 67 6d 61 27 5d 20 3d 3d 20 27 6e 6f 2d 63 ragma'] == 'no-c
4690: 61 63 68 65 27 3a 0a 09 09 09 09 69 6e 66 6f 20 ache':.....info
46a0: 2b 3d 27 5c 6e 50 72 61 67 6d 61 20 6f 6e 3a 20 +='\nPragma on:
46b0: 72 65 63 68 65 63 6b 20 69 6d 6d 69 6e 65 6e 74 recheck imminent
46c0: 2e 27 0a 09 09 09 09 72 65 63 68 65 63 6b 20 3d .'.....recheck =
46d0: 20 54 72 75 65 0a 0a 09 09 09 23 20 73 6b 69 70 True.....# skip
46e0: 70 69 6e 67 20 66 69 6c 65 20 70 72 6f 63 65 73 ping file proces
46f0: 73 69 6e 67 20 69 66 20 74 68 65 72 65 27 73 20 sing if there's
4700: 6e 6f 20 6e 65 65 64 20 74 6f 20 72 65 63 68 65 no need to reche
4710: 63 6b 20 69 74 20 61 6e 64 20 77 65 20 68 61 76 ck it and we hav
4720: 65 20 63 68 65 63 6b 65 64 20 69 74 20 61 74 20 e checked it at
4730: 6c 65 61 73 74 20 34 20 68 6f 75 72 73 20 61 67 least 4 hours ag
4740: 6f 0a 09 09 09 69 66 20 6e 6f 74 20 72 65 63 68 o....if not rech
4750: 65 63 6b 20 61 6e 64 20 6e 6f 74 20 72 65 6c 6f eck and not relo
4760: 61 64 20 61 6e 64 20 28 6f 70 74 69 6f 6e 73 2e ad and (options.
4770: 6e 6f 75 70 64 61 74 65 20 6f 72 20 28 27 5f 74 noupdate or ('_t
4780: 69 6d 65 27 20 69 6e 20 69 6e 64 65 78 5b 75 72 ime' in index[ur
4790: 6c 5d 20 61 6e 64 20 28 64 61 74 65 74 69 6d 65 l] and (datetime
47a0: 2e 64 61 74 65 74 69 6d 65 2e 6e 6f 77 28 29 20 .datetime.now()
47b0: 2d 20 64 61 74 65 74 69 6d 65 2e 74 69 6d 65 64 - datetime.timed
47c0: 65 6c 74 61 28 68 6f 75 72 73 20 3d 20 34 29 20 elta(hours = 4)
47d0: 2d 20 69 6e 64 65 78 5b 75 72 6c 5d 5b 27 5f 74 - index[url]['_t
47e0: 69 6d 65 27 5d 29 2e 64 61 79 73 20 3c 20 30 29 ime']).days < 0)
47f0: 29 3a 0a 09 09 09 09 69 66 20 6f 70 74 69 6f 6e ):.....if option
4800: 73 2e 76 65 72 62 6f 73 65 3a 0a 09 09 09 09 09 s.verbose:......
4810: 70 72 69 6e 74 28 69 6e 66 6f 29 0a 09 09 09 09 print(info).....
4820: 63 6f 6e 74 69 6e 75 65 0a 09 09 09 65 6c 73 65 continue....else
4830: 3a 0a 09 09 09 09 70 72 69 6e 74 28 69 6e 66 6f :.....print(info
4840: 29 0a 0a 09 09 09 74 72 79 3a 0a 09 09 09 09 77 ).....try:.....w
4850: 69 74 68 20 75 72 6c 6c 69 62 2e 72 65 71 75 65 ith urllib.reque
4860: 73 74 2e 75 72 6c 6f 70 65 6e 28 6f 70 74 69 6f st.urlopen(optio
4870: 6e 73 2e 72 6f 6f 74 20 2b 20 75 72 6c 29 20 61 ns.root + url) a
4880: 73 20 73 6f 75 72 63 65 3a 0a 09 09 09 09 09 6e s source:......n
4890: 65 77 5f 68 65 61 64 65 72 73 20 3d 20 7b 7d 0a ew_headers = {}.
48a0: 09 09 09 09 09 68 65 61 64 65 72 73 20 3d 20 73 .....headers = s
48b0: 6f 75 72 63 65 2e 69 6e 66 6f 28 29 0a 0a 09 09 ource.info()....
48c0: 09 09 09 23 20 73 74 72 69 70 70 69 6e 67 20 75 ...# stripping u
48d0: 6e 6e 65 65 64 65 64 20 68 65 61 64 65 72 73 20 nneeded headers
48e0: 28 58 58 58 20 6d 61 6b 65 20 74 68 69 73 20 69 (XXX make this i
48f0: 6e 70 6c 61 63 65 3f 29 0a 09 09 09 09 09 66 6f nplace?)......fo
4900: 72 20 68 65 61 64 65 72 20 69 6e 20 68 65 61 64 r header in head
4910: 65 72 73 3a 0a 09 09 09 09 09 09 69 66 20 68 65 ers:.......if he
4920: 61 64 65 72 20 69 6e 20 64 65 73 63 5f 66 69 65 ader in desc_fie
4930: 6c 64 73 3a 0a 09 09 09 09 09 09 09 69 66 20 68 lds:........if h
4940: 65 61 64 65 72 20 3d 3d 20 27 50 72 61 67 6d 61 eader == 'Pragma
4950: 27 20 61 6e 64 20 68 65 61 64 65 72 73 5b 68 65 ' and headers[he
4960: 61 64 65 72 5d 20 21 3d 20 27 6e 6f 2d 63 61 63 ader] != 'no-cac
4970: 68 65 27 3a 0a 09 09 09 09 09 09 09 09 70 72 69 he':.........pri
4980: 6e 74 28 27 50 72 61 67 6d 61 3a 27 2c 20 68 65 nt('Pragma:', he
4990: 61 64 65 72 73 5b 68 65 61 64 65 72 5d 29 0a 09 aders[header])..
49a0: 09 09 09 09 09 09 6e 65 77 5f 68 65 61 64 65 72 ......new_header
49b0: 73 5b 68 65 61 64 65 72 5d 20 3d 20 68 65 61 64 s[header] = head
49c0: 65 72 73 5b 68 65 61 64 65 72 5d 0a 09 09 09 09 ers[header].....
49d0: 09 09 65 6c 69 66 20 6e 6f 74 20 68 65 61 64 65 ..elif not heade
49e0: 72 20 69 6e 20 69 67 6e 6f 72 65 5f 66 69 65 6c r in ignore_fiel
49f0: 64 73 3a 0a 09 09 09 09 09 09 09 70 72 69 6e 74 ds:........print
4a00: 28 27 55 6e 64 65 66 69 6e 65 64 20 68 65 61 64 ('Undefined head
4a10: 65 72 20 22 27 2c 20 68 65 61 64 65 72 2c 20 27 er "', header, '
4a20: 22 3a 20 27 2c 20 68 65 61 64 65 72 73 5b 68 65 ": ', headers[he
4a30: 61 64 65 72 5d 2c 20 73 65 70 3d 27 27 29 0a 0a ader], sep='')..
4a40: 09 09 09 09 09 23 20 63 6f 6d 70 61 72 69 6e 67 .....# comparing
4a50: 20 68 65 61 64 65 72 73 20 77 69 74 68 20 64 61 headers with da
4a60: 74 61 20 66 6f 75 6e 64 20 69 6e 20 69 6e 64 65 ta found in inde
4a70: 78 0a 09 09 09 09 09 23 20 69 66 20 61 6e 79 20 x......# if any
4a80: 68 65 61 64 65 72 20 68 61 73 20 63 68 61 6e 67 header has chang
4a90: 65 64 20 28 65 78 63 65 70 74 20 50 72 61 67 6d ed (except Pragm
4aa0: 61 29 20 66 69 6c 65 20 69 73 20 66 75 6c 6c 79 a) file is fully
4ab0: 20 64 6f 77 6e 6c 6f 61 64 65 64 0a 09 09 09 09 downloaded.....
4ac0: 09 23 20 73 61 6d 65 20 69 66 20 77 65 20 67 65 .# same if we ge
4ad0: 74 20 6d 6f 72 65 20 6f 72 20 6c 65 73 73 20 68 t more or less h
4ae0: 65 61 64 65 72 73 0a 09 09 09 09 09 6f 6c 64 5f eaders......old_
4af0: 6b 65 79 73 20 3d 20 73 65 74 28 69 6e 64 65 78 keys = set(index
4b00: 5b 75 72 6c 5d 2e 6b 65 79 73 28 29 29 0a 09 09 [url].keys())...
4b10: 09 09 09 6f 6c 64 5f 6b 65 79 73 2e 64 69 73 63 ...old_keys.disc
4b20: 61 72 64 28 27 5f 74 69 6d 65 27 29 0a 09 09 09 ard('_time')....
4b30: 09 09 6f 6c 64 5f 6b 65 79 73 2e 64 69 73 63 61 ..old_keys.disca
4b40: 72 64 28 27 50 72 61 67 6d 61 27 29 0a 09 09 09 rd('Pragma')....
4b50: 09 09 6d 6f 72 65 5f 6b 65 79 73 20 3d 20 73 65 ..more_keys = se
4b60: 74 28 6e 65 77 5f 68 65 61 64 65 72 73 2e 6b 65 t(new_headers.ke
4b70: 79 73 28 29 29 20 2d 20 6f 6c 64 5f 6b 65 79 73 ys()) - old_keys
4b80: 0a 09 09 09 09 09 6d 6f 72 65 5f 6b 65 79 73 2e ......more_keys.
4b90: 64 69 73 63 61 72 64 28 27 50 72 61 67 6d 61 27 discard('Pragma'
4ba0: 29 0a 09 09 09 09 09 6c 65 73 73 5f 6b 65 79 73 )......less_keys
4bb0: 20 3d 20 6f 6c 64 5f 6b 65 79 73 20 2d 20 73 65 = old_keys - se
4bc0: 74 28 6e 65 77 5f 68 65 61 64 65 72 73 2e 6b 65 t(new_headers.ke
4bd0: 79 73 28 29 29 0a 09 09 09 09 09 69 66 20 6c 65 ys())......if le
4be0: 6e 28 6d 6f 72 65 5f 6b 65 79 73 29 20 3e 20 30 n(more_keys) > 0
4bf0: 3a 0a 09 09 09 09 09 09 69 66 20 6e 6f 74 20 6c :.......if not l
4c00: 65 6e 28 6f 6c 64 5f 6b 65 79 73 29 20 3d 3d 20 en(old_keys) ==
4c10: 30 3a 0a 09 09 09 09 09 09 09 70 72 69 6e 74 28 0:........print(
4c20: 27 4d 6f 72 65 20 68 65 61 64 65 72 73 20 61 70 'More headers ap
4c30: 70 65 61 72 3a 27 2c 20 6d 6f 72 65 5f 6b 65 79 pear:', more_key
4c40: 73 29 0a 09 09 09 09 09 09 72 65 6c 6f 61 64 20 s).......reload
4c50: 3d 20 54 72 75 65 0a 09 09 09 09 09 65 6c 69 66 = True......elif
4c60: 20 6c 65 6e 28 6c 65 73 73 5f 6b 65 79 73 29 20 len(less_keys)
4c70: 3e 20 30 3a 0a 09 09 09 09 09 09 70 72 69 6e 74 > 0:.......print
4c80: 28 27 4c 65 73 73 20 68 65 61 64 65 72 73 20 61 ('Less headers a
4c90: 70 70 65 61 72 3a 27 2c 20 6c 65 73 73 5f 6b 65 ppear:', less_ke
4ca0: 79 73 29 0a 09 09 09 09 09 65 6c 73 65 3a 0a 09 ys)......else:..
4cb0: 09 09 09 09 09 66 6f 72 20 6b 65 79 20 69 6e 20 .....for key in
4cc0: 69 6e 64 65 78 5b 75 72 6c 5d 2e 6b 65 79 73 28 index[url].keys(
4cd0: 29 3a 0a 09 09 09 09 09 09 09 69 66 20 6b 65 79 ):........if key
4ce0: 5b 30 5d 20 21 3d 20 27 5f 27 20 61 6e 64 20 6b [0] != '_' and k
4cf0: 65 79 20 21 3d 20 27 50 72 61 67 6d 61 27 20 61 ey != 'Pragma' a
4d00: 6e 64 20 6e 6f 74 20 69 6e 64 65 78 5b 75 72 6c nd not index[url
4d10: 5d 5b 6b 65 79 5d 20 3d 3d 20 6e 65 77 5f 68 65 ][key] == new_he
4d20: 61 64 65 72 73 5b 6b 65 79 5d 3a 0a 09 09 09 09 aders[key]:.....
4d30: 09 09 09 09 70 72 69 6e 74 28 27 48 65 61 64 65 ....print('Heade
4d40: 72 20 22 27 2c 20 6b 65 79 2c 20 27 22 20 63 68 r "', key, '" ch
4d50: 61 6e 67 65 64 20 66 72 6f 6d 20 5b 27 2c 20 69 anged from [', i
4d60: 6e 64 65 78 5b 75 72 6c 5d 5b 6b 65 79 5d 2c 20 ndex[url][key],
4d70: 27 5d 20 74 6f 20 5b 27 2c 20 6e 65 77 5f 68 65 '] to [', new_he
4d80: 61 64 65 72 73 5b 6b 65 79 5d 2c 20 27 5d 27 2c aders[key], ']',
4d90: 20 73 65 70 3d 27 27 29 0a 09 09 09 09 09 09 09 sep='')........
4da0: 09 72 65 6c 6f 61 64 20 3d 20 54 72 75 65 0a 0a .reload = True..
4db0: 09 09 09 09 09 23 20 64 6f 77 6e 6c 6f 61 64 69 .....# downloadi
4dc0: 6e 67 20 66 69 6c 65 0a 09 09 09 09 09 69 66 20 ng file......if
4dd0: 72 65 6c 6f 61 64 3a 0a 09 09 09 09 09 09 69 66 reload:.......if
4de0: 20 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 'Content-Length
4df0: 27 20 69 6e 20 68 65 61 64 65 72 73 3a 0a 09 09 ' in headers:...
4e00: 09 09 09 09 09 70 72 69 6e 74 28 27 44 6f 77 6e .....print('Down
4e10: 6c 6f 61 64 69 6e 67 27 2c 20 68 65 61 64 65 72 loading', header
4e20: 73 5b 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 s['Content-Lengt
4e30: 68 27 5d 2c 20 27 62 79 74 65 73 20 5b 27 2c 20 h'], 'bytes [',
4e40: 65 6e 64 3d 27 27 29 0a 09 09 09 09 09 09 65 6c end='').......el
4e50: 73 65 3a 0a 09 09 09 09 09 09 09 70 72 69 6e 74 se:........print
4e60: 28 27 44 6f 77 6e 6c 6f 61 64 69 6e 67 20 5b 27 ('Downloading ['
4e70: 2c 20 65 6e 64 3d 27 27 29 0a 09 09 09 09 09 09 , end='').......
4e80: 73 79 73 2e 73 74 64 6f 75 74 2e 66 6c 75 73 68 sys.stdout.flush
4e90: 28 29 0a 0a 09 09 09 09 09 09 23 20 66 69 6c 65 ()........# file
4ea0: 20 69 73 20 63 72 65 61 74 65 64 20 61 74 20 74 is created at t
4eb0: 65 6d 70 6f 72 61 72 79 20 6c 6f 63 61 74 69 6f emporary locatio
4ec0: 6e 20 61 6e 64 20 6d 6f 76 65 64 20 69 6e 20 70 n and moved in p
4ed0: 6c 61 63 65 20 6f 6e 6c 79 20 77 68 65 6e 20 64 lace only when d
4ee0: 6f 77 6e 6c 6f 61 64 20 63 6f 6d 70 6c 65 74 65 ownload complete
4ef0: 73 0a 09 09 09 09 09 09 74 65 6d 70 5f 66 69 6c s.......temp_fil
4f00: 65 20 3d 20 6f 70 65 6e 28 6f 70 74 69 6f 6e 73 e = open(options
4f10: 2e 64 69 72 20 2b 20 6f 73 2e 73 65 70 20 2b 20 .dir + os.sep +
4f20: 27 2e 74 6d 70 27 2c 20 27 77 62 27 29 0a 09 09 '.tmp', 'wb')...
4f30: 09 09 09 09 62 75 66 66 65 72 20 3d 20 73 6f 75 ....buffer = sou
4f40: 72 63 65 2e 72 65 61 64 28 62 6c 6f 63 6b 5f 73 rce.read(block_s
4f50: 69 7a 65 29 0a 09 09 09 09 09 09 6d 65 67 61 62 ize).......megab
4f60: 6c 6f 63 6b 73 20 3d 20 30 0a 09 09 09 09 09 09 locks = 0.......
4f70: 62 6c 6f 63 6b 73 20 3d 20 30 0a 09 09 09 09 09 blocks = 0......
4f80: 09 6d 65 67 73 20 3d 20 30 0a 09 09 09 09 09 09 .megs = 0.......
4f90: 77 68 69 6c 65 20 6c 65 6e 28 62 75 66 66 65 72 while len(buffer
4fa0: 29 20 3e 20 30 3a 0a 09 09 09 09 09 09 09 74 65 ) > 0:........te
4fb0: 6d 70 5f 66 69 6c 65 2e 77 72 69 74 65 28 62 75 mp_file.write(bu
4fc0: 66 66 65 72 29 0a 09 09 09 09 09 09 09 62 75 66 ffer)........buf
4fd0: 66 65 72 20 3d 20 73 6f 75 72 63 65 2e 72 65 61 fer = source.rea
4fe0: 64 28 62 6c 6f 63 6b 5f 73 69 7a 65 29 0a 09 09 d(block_size)...
4ff0: 09 09 09 09 09 62 6c 6f 63 6b 73 20 2b 3d 20 31 .....blocks += 1
5000: 0a 09 09 09 09 09 09 09 69 66 20 62 6c 6f 63 6b ........if block
5010: 73 20 3e 20 31 30 32 34 30 30 2f 62 6c 6f 63 6b s > 102400/block
5020: 5f 73 69 7a 65 3a 0a 09 09 09 09 09 09 09 09 6d _size:.........m
5030: 65 67 61 62 6c 6f 63 6b 73 20 2b 3d 20 31 0a 09 egablocks += 1..
5040: 09 09 09 09 09 09 09 69 66 20 6d 65 67 61 62 6c .......if megabl
5050: 6f 63 6b 73 20 3e 20 31 30 3a 0a 09 09 09 09 09 ocks > 10:......
5060: 09 09 09 09 6d 65 67 61 62 6c 6f 63 6b 73 20 3d ....megablocks =
5070: 20 6d 65 67 61 62 6c 6f 63 6b 73 20 2d 20 31 30 megablocks - 10
5080: 0a 09 09 09 09 09 09 09 09 09 6d 65 67 73 20 2b ..........megs +
5090: 3d 20 31 0a 09 09 09 09 09 09 09 09 09 70 72 69 = 1..........pri
50a0: 6e 74 28 27 7b 7d 4d 62 27 2e 66 6f 72 6d 61 74 nt('{}Mb'.format
50b0: 28 6d 65 67 73 29 2c 20 65 6e 64 3d 27 27 29 0a (megs), end='').
50c0: 09 09 09 09 09 09 09 09 65 6c 73 65 3a 0a 09 09 ........else:...
50d0: 09 09 09 09 09 09 09 70 72 69 6e 74 28 27 2e 27 .......print('.'
50e0: 2c 20 65 6e 64 3d 27 27 29 0a 09 09 09 09 09 09 , end='').......
50f0: 09 09 62 6c 6f 63 6b 73 20 3d 20 62 6c 6f 63 6b ..blocks = block
5100: 73 20 2d 20 31 30 32 34 30 30 2f 62 6c 6f 63 6b s - 102400/block
5110: 5f 73 69 7a 65 0a 09 09 09 09 09 09 09 73 79 73 _size........sys
5120: 2e 73 74 64 6f 75 74 2e 66 6c 75 73 68 28 29 0a .stdout.flush().
5130: 09 09 09 09 09 09 74 65 6d 70 5f 66 69 6c 65 2e ......temp_file.
5140: 63 6c 6f 73 65 28 29 0a 09 09 09 09 09 09 70 72 close().......pr
5150: 69 6e 74 28 27 5d 27 29 0a 09 09 09 09 09 09 6f int(']').......o
5160: 73 2e 72 65 6e 61 6d 65 73 28 6f 70 74 69 6f 6e s.renames(option
5170: 73 2e 64 69 72 20 2b 20 6f 73 2e 73 65 70 20 2b s.dir + os.sep +
5180: 20 27 2e 74 6d 70 27 2c 20 66 69 6c 65 5f 6e 61 '.tmp', file_na
5190: 6d 65 29 0a 0a 09 09 09 09 09 09 63 68 65 63 6b me)........check
51a0: 65 64 5f 66 69 6c 65 73 20 2b 3d 20 31 0a 0a 09 ed_files += 1...
51b0: 09 09 09 09 23 20 73 74 6f 72 69 6e 67 20 6e 65 ....# storing ne
51c0: 77 20 74 69 6d 65 20 6d 61 72 6b 20 61 6e 64 20 w time mark and
51d0: 73 74 6f 72 69 6e 67 20 6e 65 77 20 68 65 61 64 storing new head
51e0: 65 72 73 0a 09 09 09 09 09 6e 65 77 5f 68 65 61 ers......new_hea
51f0: 64 65 72 73 5b 27 5f 74 69 6d 65 27 5d 20 3d 20 ders['_time'] =
5200: 64 61 74 65 74 69 6d 65 2e 64 61 74 65 74 69 6d datetime.datetim
5210: 65 2e 6e 6f 77 28 29 0a 09 09 09 09 09 69 6e 64 e.now()......ind
5220: 65 78 5b 75 72 6c 5d 20 3d 20 6e 65 77 5f 68 65 ex[url] = new_he
5230: 61 64 65 72 73 0a 09 09 09 09 09 69 6e 64 65 78 aders......index
5240: 2e 73 79 6e 63 28 29 0a 0a 09 09 09 65 78 63 65 .sync().....exce
5250: 70 74 20 75 72 6c 6c 69 62 2e 65 72 72 6f 72 2e pt urllib.error.
5260: 48 54 54 50 45 72 72 6f 72 20 61 73 20 65 72 72 HTTPError as err
5270: 6f 72 3a 0a 09 09 09 09 23 20 69 6e 20 63 61 73 or:.....# in cas
5280: 65 20 6f 66 20 65 72 72 6f 72 20 77 65 20 64 6f e of error we do
5290: 6e 27 74 20 6e 65 65 64 20 74 6f 20 64 6f 20 61 n't need to do a
52a0: 6e 79 74 68 69 6e 67 20 61 63 74 75 61 6c 6c 79 nything actually
52b0: 2c 0a 09 09 09 09 23 20 69 66 20 66 69 6c 65 20 ,.....# if file
52c0: 64 6f 77 6e 6c 6f 61 64 20 73 74 61 6c 6c 73 20 download stalls
52d0: 6f 72 20 66 61 69 6c 73 20 74 68 65 20 66 69 6c or fails the fil
52e0: 65 20 77 6f 75 6c 64 20 6e 6f 74 20 62 65 20 6d e would not be m
52f0: 6f 76 65 64 20 74 6f 20 69 74 27 73 20 6c 6f 63 oved to it's loc
5300: 61 74 69 6f 6e 0a 09 09 09 09 70 72 69 6e 74 28 ation.....print(
5310: 65 72 72 6f 72 29 0a 0a 09 09 69 66 20 6f 70 74 error)....if opt
5320: 69 6f 6e 73 2e 76 65 72 62 6f 73 65 3a 0a 09 09 ions.verbose:...
5330: 09 70 72 69 6e 74 28 27 5b 27 2c 20 6c 65 6e 28 .print('[', len(
5340: 75 6e 63 68 65 63 6b 65 64 5f 66 69 6c 65 73 29 unchecked_files)
5350: 2c 20 27 2f 27 2c 20 63 68 65 63 6b 65 64 5f 66 , '/', checked_f
5360: 69 6c 65 73 2c 20 27 5d 27 29 0a 0a 09 09 23 20 iles, ']')....#
5370: 63 68 65 63 6b 69 6e 67 20 69 66 20 74 68 65 72 checking if ther
5380: 65 20 77 65 72 65 20 61 6e 79 20 66 69 6c 65 73 e were any files
5390: 20 64 6f 77 6e 6c 6f 61 64 65 64 2c 20 69 66 20 downloaded, if
53a0: 79 65 73 20 2d 20 72 65 73 74 61 72 74 69 6e 67 yes - restarting
53b0: 20 73 65 71 75 65 6e 63 65 0a 09 09 69 66 20 63 sequence...if c
53c0: 68 65 63 6b 65 64 5f 66 69 6c 65 73 20 3d 3d 20 hecked_files ==
53d0: 30 3a 0a 09 09 09 62 72 65 61 6b 0a 0:....break.