0000: 23 21 2f 75 73 72 2f 62 69 6e 2f 65 6e 76 20 70 #!/usr/bin/env p
0010: 79 74 68 6f 6e 33 2e 33 0a 0a 69 6d 70 6f 72 74 ython3.3..import
0020: 20 61 72 67 70 61 72 73 65 2c 20 6f 73 0a 70 61 argparse, os.pa
0030: 72 73 65 72 20 3d 20 61 72 67 70 61 72 73 65 2e rser = argparse.
0040: 41 72 67 75 6d 65 6e 74 50 61 72 73 65 72 28 29 ArgumentParser()
0050: 0a 70 61 72 73 65 72 2e 61 64 64 5f 61 72 67 75 .parser.add_argu
0060: 6d 65 6e 74 28 27 2d 63 27 2c 20 27 2d 2d 63 6f ment('-c', '--co
0070: 6e 66 69 67 27 2c 20 64 65 73 74 20 3d 20 27 63 nfig', dest = 'c
0080: 6f 6e 66 69 67 27 2c 20 68 65 6c 70 20 3d 20 27 onfig', help = '
0090: 63 6f 6e 66 69 67 20 66 69 6c 65 20 6c 6f 63 61 config file loca
00a0: 74 69 6f 6e 27 2c 20 6d 65 74 61 76 61 72 20 3d tion', metavar =
00b0: 20 27 46 49 4c 45 27 2c 20 64 65 66 61 75 6c 74 'FILE', default
00c0: 20 3d 20 27 73 61 6d 65 73 69 74 65 2e 63 6f 6e = 'samesite.con
00d0: 66 27 29 0a 61 72 67 73 20 3d 20 70 61 72 73 65 f').args = parse
00e0: 72 2e 70 61 72 73 65 5f 61 72 67 73 28 29 0a 61 r.parse_args().a
00f0: 73 73 65 72 74 20 6f 73 2e 61 63 63 65 73 73 28 ssert os.access(
0100: 61 72 67 73 2e 63 6f 6e 66 69 67 2c 20 6f 73 2e args.config, os.
0110: 52 5f 4f 4b 29 2c 20 22 46 61 74 61 6c 20 65 72 R_OK), "Fatal er
0120: 72 6f 72 3a 20 63 61 6e 27 74 20 72 65 61 64 20 ror: can't read
0130: 7b 7d 22 2e 66 6f 72 6d 61 74 28 61 72 67 73 2e {}".format(args.
0140: 63 6f 6e 66 69 67 29 0a 0a 69 6d 70 6f 72 74 20 config)..import
0150: 63 6f 6e 66 69 67 70 61 72 73 65 72 0a 63 6f 6e configparser.con
0160: 66 69 67 20 3d 20 63 6f 6e 66 69 67 70 61 72 73 fig = configpars
0170: 65 72 2e 43 6f 6e 66 69 67 50 61 72 73 65 72 28 er.ConfigParser(
0180: 7b 0a 09 27 70 6f 72 74 27 3a 20 27 38 30 30 38 {..'port': '8008
0190: 27 2c 0a 09 27 76 65 72 62 6f 73 65 27 3a 20 27 ',..'verbose': '
01a0: 6e 6f 27 2c 0a 09 27 6e 6f 65 74 61 67 27 3a 20 no',..'noetag':
01b0: 27 6e 6f 27 2c 0a 09 27 6e 6f 70 61 72 74 73 27 'no',..'noparts'
01c0: 3a 20 27 6e 6f 27 2c 0a 09 27 73 74 72 69 70 27 : 'no',..'strip'
01d0: 3a 20 27 27 2c 0a 09 27 73 75 62 27 3a 20 27 27 : '',..'sub': ''
01e0: 2c 0a 09 27 70 72 6f 74 6f 27 3a 20 27 68 74 74 ,..'proto': 'htt
01f0: 70 27 2c 0a 7d 29 0a 63 6f 6e 66 69 67 2e 72 65 p',.}).config.re
0200: 61 64 28 61 72 67 73 2e 63 6f 6e 66 69 67 29 0a ad(args.config).
0210: 0a 63 61 63 68 65 5f 64 69 72 20 3d 20 6f 73 2e .cache_dir = os.
0220: 70 61 74 68 2e 72 65 61 6c 70 61 74 68 28 6f 73 path.realpath(os
0230: 2e 70 61 74 68 2e 64 69 72 6e 61 6d 65 28 61 72 .path.dirname(ar
0240: 67 73 2e 63 6f 6e 66 69 67 29 29 0a 0a 69 6d 70 gs.config))..imp
0250: 6f 72 74 20 72 65 0a 66 6f 72 20 73 65 63 74 69 ort re.for secti
0260: 6f 6e 20 69 6e 20 63 6f 6e 66 69 67 2e 73 65 63 on in config.sec
0270: 74 69 6f 6e 73 28 29 3a 0a 09 69 66 20 73 65 63 tions():..if sec
0280: 74 69 6f 6e 20 21 3d 20 27 44 45 46 41 55 4c 54 tion != 'DEFAULT
0290: 27 3a 0a 09 09 69 66 20 27 64 69 72 27 20 69 6e ':...if 'dir' in
02a0: 20 63 6f 6e 66 69 67 5b 73 65 63 74 69 6f 6e 5d config[section]
02b0: 3a 0a 09 09 09 69 66 20 6e 6f 74 20 72 65 2e 63 :....if not re.c
02c0: 6f 6d 70 69 6c 65 28 27 5e 2f 2e 2a 27 29 2e 6d ompile('^/.*').m
02d0: 61 74 63 68 28 63 6f 6e 66 69 67 5b 73 65 63 74 atch(config[sect
02e0: 69 6f 6e 5d 5b 27 64 69 72 27 5d 29 3a 0a 09 09 ion]['dir']):...
02f0: 09 09 63 6f 6e 66 69 67 5b 73 65 63 74 69 6f 6e ..config[section
0300: 5d 5b 27 64 69 72 27 5d 20 3d 20 63 61 63 68 65 ]['dir'] = cache
0310: 5f 64 69 72 20 2b 20 6f 73 2e 73 65 70 20 2b 20 _dir + os.sep +
0320: 73 65 63 74 69 6f 6e 0a 09 09 09 74 68 69 73 44 section....thisD
0330: 69 72 20 3d 20 72 65 2e 63 6f 6d 70 69 6c 65 28 ir = re.compile(
0340: 27 5e 28 2e 2a 29 2f 24 27 29 2e 6d 61 74 63 68 '^(.*)/$').match
0350: 28 63 6f 6e 66 69 67 5b 73 65 63 74 69 6f 6e 5d (config[section]
0360: 5b 27 64 69 72 27 5d 29 0a 09 09 09 69 66 20 74 ['dir'])....if t
0370: 68 69 73 44 69 72 3a 0a 09 09 09 09 63 6f 6e 66 hisDir:.....conf
0380: 69 67 5b 73 65 63 74 69 6f 6e 5d 5b 27 64 69 72 ig[section]['dir
0390: 27 5d 20 3d 20 74 68 69 73 44 69 72 2e 67 72 6f '] = thisDir.gro
03a0: 75 70 28 31 29 0a 09 09 09 69 66 20 6e 6f 74 20 up(1)....if not
03b0: 72 65 2e 63 6f 6d 70 69 6c 65 28 27 5e 2f 28 2e re.compile('^/(.
03c0: 2a 29 24 27 29 2e 6d 61 74 63 68 28 63 6f 6e 66 *)$').match(conf
03d0: 69 67 5b 73 65 63 74 69 6f 6e 5d 5b 27 64 69 72 ig[section]['dir
03e0: 27 5d 29 3a 0a 09 09 09 09 63 6f 6e 66 69 67 5b ']):.....config[
03f0: 73 65 63 74 69 6f 6e 5d 5b 27 64 69 72 27 5d 20 section]['dir']
0400: 3d 20 63 61 63 68 65 5f 64 69 72 20 2b 20 6f 73 = cache_dir + os
0410: 2e 73 65 70 20 2b 20 63 6f 6e 66 69 67 5b 73 65 .sep + config[se
0420: 63 74 69 6f 6e 5d 5b 27 64 69 72 27 5d 0a 09 09 ction]['dir']...
0430: 65 6c 73 65 3a 0a 09 09 09 63 6f 6e 66 69 67 5b else:....config[
0440: 73 65 63 74 69 6f 6e 5d 5b 27 64 69 72 27 5d 20 section]['dir']
0450: 3d 20 63 61 63 68 65 5f 64 69 72 20 2b 20 6f 73 = cache_dir + os
0460: 2e 73 65 70 20 2b 20 73 65 63 74 69 6f 6e 0a 09 .sep + section..
0470: 09 69 66 20 6e 6f 74 20 27 72 6f 6f 74 27 20 69 .if not 'root' i
0480: 6e 20 63 6f 6e 66 69 67 5b 73 65 63 74 69 6f 6e n config[section
0490: 5d 3a 0a 09 09 09 63 6f 6e 66 69 67 5b 73 65 63 ]:....config[sec
04a0: 74 69 6f 6e 5d 5b 27 72 6f 6f 74 27 5d 20 3d 20 tion]['root'] =
04b0: 73 65 63 74 69 6f 6e 0a 0a 23 61 73 73 65 72 74 section..#assert
04c0: 20 6f 70 74 69 6f 6e 73 2e 70 6f 72 74 20 6f 72 options.port or
04d0: 20 6f 73 2e 61 63 63 65 73 73 28 6f 70 74 69 6f os.access(optio
04e0: 6e 73 2e 6c 6f 67 2c 20 6f 73 2e 52 5f 4f 4b 29 ns.log, os.R_OK)
04f0: 2c 20 27 4c 6f 67 20 66 69 6c 65 20 75 6e 72 65 , 'Log file unre
0500: 61 64 61 62 6c 65 27 0a 0a 63 6f 6e 73 74 5f 64 adable'..const_d
0510: 65 73 63 5f 66 69 65 6c 64 73 20 3d 20 73 65 74 esc_fields = set
0520: 28 5b 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 (['Content-Lengt
0530: 68 27 2c 20 27 4c 61 73 74 2d 4d 6f 64 69 66 69 h', 'Last-Modifi
0540: 65 64 27 2c 20 27 50 72 61 67 6d 61 27 5d 29 0a ed', 'Pragma']).
0550: 63 6f 6e 73 74 5f 69 67 6e 6f 72 65 5f 66 69 65 const_ignore_fie
0560: 6c 64 73 20 3d 20 73 65 74 28 5b 0a 09 27 41 63 lds = set([..'Ac
0570: 63 65 70 74 2d 52 61 6e 67 65 73 27 2c 20 27 41 cept-Ranges', 'A
0580: 67 65 27 2c 0a 09 27 43 61 63 68 65 2d 43 6f 6e ge',..'Cache-Con
0590: 74 72 6f 6c 27 2c 20 27 43 6f 6e 6e 65 63 74 69 trol', 'Connecti
05a0: 6f 6e 27 2c 20 27 43 6f 6e 74 65 6e 74 2d 54 79 on', 'Content-Ty
05b0: 70 65 27 2c 0a 09 27 44 61 74 65 27 2c 0a 09 27 pe',..'Date',..'
05c0: 45 78 70 69 72 65 73 27 2c 0a 09 27 52 65 66 65 Expires',..'Refe
05d0: 72 65 72 27 2c 0a 09 27 53 65 72 76 65 72 27 2c rer',..'Server',
05e0: 0a 09 27 56 69 61 27 2c 0a 09 27 58 2d 43 61 63 ..'Via',..'X-Cac
05f0: 68 65 27 2c 20 27 58 2d 43 61 63 68 65 2d 4c 6f he', 'X-Cache-Lo
0600: 6f 6b 75 70 27 2c 20 27 58 2d 4c 69 76 65 74 6f okup', 'X-Liveto
0610: 6f 6c 27 2c 20 27 58 2d 50 6f 77 65 72 65 64 2d ol', 'X-Powered-
0620: 42 79 27 2c 0a 5d 29 0a 0a 62 6c 6f 63 6b 5f 73 By',.])..block_s
0630: 69 7a 65 20 3d 20 38 31 39 32 0a 0a 69 6d 70 6f ize = 8192..impo
0640: 72 74 20 62 73 64 64 62 33 2e 64 62 73 68 65 6c rt bsddb3.dbshel
0650: 76 65 2c 20 63 6f 70 79 2c 20 64 61 74 65 74 69 ve, copy, dateti
0660: 6d 65 2c 20 68 74 74 70 2e 73 65 72 76 65 72 2c me, http.server,
0670: 20 73 70 61 63 65 6d 61 70 2c 20 75 72 6c 6c 69 spacemap, urlli
0680: 62 2e 72 65 71 75 65 73 74 2c 20 75 72 6c 6c 69 b.request, urlli
0690: 62 2e 65 72 72 6f 72 0a 0a 63 6c 61 73 73 20 4d b.error..class M
06a0: 79 52 65 71 75 65 73 74 48 61 6e 64 6c 65 72 28 yRequestHandler(
06b0: 68 74 74 70 2e 73 65 72 76 65 72 2e 42 61 73 65 http.server.Base
06c0: 48 54 54 50 52 65 71 75 65 73 74 48 61 6e 64 6c HTTPRequestHandl
06d0: 65 72 29 3a 0a 09 64 65 66 20 5f 5f 70 72 6f 63 er):..def __proc
06e0: 65 73 73 28 73 65 6c 66 29 3a 0a 09 09 23 20 72 ess(self):...# r
06f0: 65 6c 6f 61 64 20 6d 65 61 6e 73 20 66 69 6c 65 eload means file
0700: 20 6e 65 65 64 73 20 74 6f 20 62 65 20 72 65 6c needs to be rel
0710: 6f 61 64 65 64 20 74 6f 20 73 65 72 76 65 20 72 oaded to serve r
0720: 65 71 75 65 73 74 0a 09 09 72 65 6c 6f 61 64 20 equest...reload
0730: 3d 20 46 61 6c 73 65 0a 09 09 23 20 72 65 63 68 = False...# rech
0740: 65 63 6b 20 6d 65 61 6e 73 20 66 69 6c 65 20 6e eck means file n
0750: 65 65 64 73 20 74 6f 20 62 65 20 63 68 65 63 6b eeds to be check
0760: 65 64 2c 20 74 68 69 73 20 61 6c 73 6f 20 6d 65 ed, this also me
0770: 61 6e 73 20 74 68 61 74 20 69 66 20 66 69 6c 65 ans that if file
0780: 20 68 61 76 20 62 65 65 6e 20 6d 6f 64 69 66 69 hav been modifi
0790: 65 64 20 77 65 20 63 61 6e 20 73 65 72 76 65 20 ed we can serve
07a0: 6f 6c 64 65 72 20 63 6f 70 79 0a 09 09 72 65 63 older copy...rec
07b0: 68 65 63 6b 20 3d 20 46 61 6c 73 65 0a 09 09 23 heck = False...#
07c0: 20 66 69 6c 65 5f 73 74 61 74 20 6d 65 61 6e 73 file_stat means
07d0: 20 66 69 6c 65 20 64 65 66 69 6e 69 74 65 6c 79 file definitely
07e0: 20 65 78 69 73 74 73 0a 09 09 66 69 6c 65 5f 73 exists...file_s
07f0: 74 61 74 20 3d 20 4e 6f 6e 65 0a 09 09 23 20 72 tat = None...# r
0800: 65 71 75 65 73 74 65 64 5f 72 61 6e 67 65 73 20 equested_ranges
0810: 68 6f 6c 64 73 20 64 61 74 61 20 61 62 6f 75 74 holds data about
0820: 20 61 6e 79 20 72 61 6e 67 65 20 72 65 71 75 65 any range reque
0830: 73 74 65 64 0a 09 09 72 65 71 75 65 73 74 65 64 sted...requested
0840: 5f 72 61 6e 67 65 73 20 3d 20 4e 6f 6e 65 0a 09 _ranges = None..
0850: 09 23 20 72 65 63 6f 72 64 73 20 68 6f 6c 64 73 .# records holds
0860: 20 64 61 74 61 20 66 72 6f 6d 20 69 6e 64 65 78 data from index
0870: 20 6c 6f 63 61 6c 6c 79 2c 20 73 68 6f 75 6c 64 locally, should
0880: 20 62 65 20 77 72 69 74 74 65 6e 20 62 61 63 6b be written back
0890: 20 75 70 6f 6e 20 73 75 63 63 65 73 73 66 75 6c upon successful
08a0: 6c 20 63 6f 6d 70 6c 65 74 69 6f 6e 0a 09 09 72 l completion...r
08b0: 65 63 6f 72 64 20 3d 20 4e 6f 6e 65 0a 0a 09 09 ecord = None....
08c0: 6d 79 50 61 74 68 20 3d 20 72 65 2e 63 6f 6d 70 myPath = re.comp
08d0: 69 6c 65 28 27 5e 28 2e 2a 3f 29 28 5c 3f 2e 2a ile('^(.*?)(\?.*
08e0: 29 24 27 29 2e 6d 61 74 63 68 28 73 65 6c 66 2e )$').match(self.
08f0: 70 61 74 68 29 0a 09 09 69 66 20 6d 79 50 61 74 path)...if myPat
0900: 68 3a 0a 09 09 09 6d 79 5f 70 61 74 68 20 3d 20 h:....my_path =
0910: 6d 79 50 61 74 68 2e 67 72 6f 75 70 28 31 29 0a myPath.group(1).
0920: 09 09 65 6c 73 65 3a 0a 09 09 09 6d 79 5f 70 61 ..else:....my_pa
0930: 74 68 20 3d 20 73 65 6c 66 2e 70 61 74 68 0a 0a th = self.path..
0940: 09 09 69 66 20 6e 6f 74 20 63 6f 6e 66 69 67 2e ..if not config.
0950: 68 61 73 5f 73 65 63 74 69 6f 6e 28 73 65 6c 66 has_section(self
0960: 2e 68 65 61 64 65 72 73 5b 27 48 6f 73 74 27 5d .headers['Host']
0970: 29 3a 0a 09 09 09 63 6f 6e 66 69 67 2e 61 64 64 ):....config.add
0980: 5f 73 65 63 74 69 6f 6e 28 73 65 6c 66 2e 68 65 _section(self.he
0990: 61 64 65 72 73 5b 27 48 6f 73 74 27 5d 29 0a 09 aders['Host'])..
09a0: 09 09 63 6f 6e 66 69 67 5b 73 65 6c 66 2e 68 65 ..config[self.he
09b0: 61 64 65 72 73 5b 27 48 6f 73 74 27 5d 5d 5b 27 aders['Host']]['
09c0: 72 6f 6f 74 27 5d 20 3d 20 73 65 6c 66 2e 68 65 root'] = self.he
09d0: 61 64 65 72 73 5b 27 48 6f 73 74 27 5d 0a 09 09 aders['Host']...
09e0: 09 63 6f 6e 66 69 67 5b 73 65 6c 66 2e 68 65 61 .config[self.hea
09f0: 64 65 72 73 5b 27 48 6f 73 74 27 5d 5d 5b 27 64 ders['Host']]['d
0a00: 69 72 27 5d 20 3d 20 63 61 63 68 65 5f 64 69 72 ir'] = cache_dir
0a10: 20 2b 20 6f 73 2e 73 65 70 20 2b 20 73 65 6c 66 + os.sep + self
0a20: 2e 68 65 61 64 65 72 73 5b 27 48 6f 73 74 27 5d .headers['Host']
0a30: 0a 09 09 63 6f 6e 66 69 67 5f 68 6f 73 74 20 3d ...config_host =
0a40: 20 63 6f 6e 66 69 67 5b 73 65 6c 66 2e 68 65 61 config[self.hea
0a50: 64 65 72 73 5b 27 48 6f 73 74 27 5d 5d 0a 0a 09 ders['Host']]...
0a60: 09 69 66 20 63 6f 6e 66 69 67 5f 68 6f 73 74 5b .if config_host[
0a70: 27 73 75 62 27 5d 20 21 3d 20 4e 6f 6e 65 20 61 'sub'] != None a
0a80: 6e 64 20 63 6f 6e 66 69 67 5f 68 6f 73 74 5b 27 nd config_host['
0a90: 73 74 72 69 70 27 5d 20 21 3d 20 4e 6f 6e 65 20 strip'] != None
0aa0: 61 6e 64 20 6c 65 6e 28 63 6f 6e 66 69 67 5f 68 and len(config_h
0ab0: 6f 73 74 5b 27 73 74 72 69 70 27 5d 29 20 3e 20 ost['strip']) >
0ac0: 30 3a 0a 09 09 09 73 74 72 69 6e 67 20 3d 20 72 0:....string = r
0ad0: 65 2e 63 6f 6d 70 69 6c 65 28 63 6f 6e 66 69 67 e.compile(config
0ae0: 5f 68 6f 73 74 5b 27 73 74 72 69 70 27 5d 29 2e _host['strip']).
0af0: 73 75 62 28 63 6f 6e 66 69 67 5f 68 6f 73 74 5b sub(config_host[
0b00: 27 73 75 62 27 5d 2c 20 6d 79 5f 70 61 74 68 29 'sub'], my_path)
0b10: 0a 09 09 09 6d 79 5f 70 61 74 68 20 3d 20 73 74 ....my_path = st
0b20: 72 69 6e 67 0a 0a 09 09 6d 79 5f 70 61 74 68 5f ring....my_path_
0b30: 62 20 3d 20 6d 79 5f 70 61 74 68 2e 65 6e 63 6f b = my_path.enco
0b40: 64 65 28 27 75 74 66 2d 38 27 29 0a 09 09 69 6e de('utf-8')...in
0b50: 66 6f 20 3d 20 27 43 68 65 63 6b 69 6e 67 20 66 fo = 'Checking f
0b60: 69 6c 65 3a 20 27 20 2b 20 6d 79 5f 70 61 74 68 ile: ' + my_path
0b70: 0a 0a 09 09 69 66 20 6e 6f 74 20 6f 73 2e 61 63 ....if not os.ac
0b80: 63 65 73 73 28 63 6f 6e 66 69 67 5f 68 6f 73 74 cess(config_host
0b90: 5b 27 64 69 72 27 5d 2c 20 6f 73 2e 58 5f 4f 4b ['dir'], os.X_OK
0ba0: 29 3a 0a 09 09 09 6f 73 2e 6d 6b 64 69 72 28 63 ):....os.mkdir(c
0bb0: 6f 6e 66 69 67 5f 68 6f 73 74 5b 27 64 69 72 27 onfig_host['dir'
0bc0: 5d 29 0a 09 09 23 20 74 68 69 73 20 69 73 20 66 ])...# this is f
0bd0: 69 6c 65 20 69 6e 64 65 78 20 2d 20 65 76 65 72 ile index - ever
0be0: 79 74 68 69 6e 67 20 69 73 20 73 74 6f 72 65 64 ything is stored
0bf0: 20 69 6e 20 74 68 69 73 20 66 69 6c 65 0a 09 09 in this file...
0c00: 23 20 5f 70 61 72 74 73 20 2d 20 6c 69 73 74 20 # _parts - list
0c10: 6f 66 20 73 74 6f 72 65 64 20 70 61 72 74 73 20 of stored parts
0c20: 6f 66 20 66 69 6c 65 0a 09 09 23 20 5f 74 69 6d of file...# _tim
0c30: 65 20 2d 20 6c 61 73 74 20 74 69 6d 65 20 74 68 e - last time th
0c40: 65 20 66 69 6c 65 20 77 61 73 20 63 68 65 63 6b e file was check
0c50: 65 64 0a 09 09 23 20 65 76 65 72 79 74 68 69 6e ed...# everythin
0c60: 67 20 65 6c 73 65 20 69 73 20 6a 75 73 74 20 74 g else is just t
0c70: 68 65 20 68 65 61 64 65 72 73 0a 09 09 69 6e 64 he headers...ind
0c80: 65 78 20 3d 20 62 73 64 64 62 33 2e 64 62 73 68 ex = bsddb3.dbsh
0c90: 65 6c 76 65 2e 6f 70 65 6e 28 63 6f 6e 66 69 67 elve.open(config
0ca0: 5f 68 6f 73 74 5b 27 64 69 72 27 5d 20 2b 20 6f _host['dir'] + o
0cb0: 73 2e 73 65 70 20 2b 20 27 2e 69 6e 64 65 78 27 s.sep + '.index'
0cc0: 29 0a 0a 09 09 64 65 73 63 5f 66 69 65 6c 64 73 )....desc_fields
0cd0: 20 3d 20 63 6f 6e 73 74 5f 64 65 73 63 5f 66 69 = const_desc_fi
0ce0: 65 6c 64 73 2e 63 6f 70 79 28 29 0a 09 09 69 67 elds.copy()...ig
0cf0: 6e 6f 72 65 5f 66 69 65 6c 64 73 20 3d 20 63 6f nore_fields = co
0d00: 6e 73 74 5f 69 67 6e 6f 72 65 5f 66 69 65 6c 64 nst_ignore_field
0d10: 73 2e 63 6f 70 79 28 29 0a 09 09 69 66 20 63 6f s.copy()...if co
0d20: 6e 66 69 67 5f 68 6f 73 74 5b 27 6e 6f 65 74 61 nfig_host['noeta
0d30: 67 27 5d 20 3d 3d 20 27 6e 6f 27 3a 0a 09 09 09 g'] == 'no':....
0d40: 64 65 73 63 5f 66 69 65 6c 64 73 2e 61 64 64 28 desc_fields.add(
0d50: 27 45 54 61 67 27 29 0a 09 09 65 6c 73 65 3a 0a 'ETag')...else:.
0d60: 09 09 09 69 67 6e 6f 72 65 5f 66 69 65 6c 64 73 ...ignore_fields
0d70: 2e 61 64 64 28 27 45 54 61 67 27 29 0a 0a 09 09 .add('ETag')....
0d80: 70 72 6f 78 79 5f 69 67 6e 6f 72 65 64 20 3d 20 proxy_ignored =
0d90: 73 65 74 28 5b 0a 09 09 09 27 41 63 63 65 70 74 set([....'Accept
0da0: 27 2c 20 27 41 63 63 65 70 74 2d 43 68 61 72 73 ', 'Accept-Chars
0db0: 65 74 27 2c 20 27 41 63 63 65 70 74 2d 45 6e 63 et', 'Accept-Enc
0dc0: 6f 64 69 6e 67 27 2c 20 27 41 63 63 65 70 74 2d oding', 'Accept-
0dd0: 4c 61 6e 67 75 61 67 65 27 2c 0a 09 09 09 27 43 Language',....'C
0de0: 61 63 68 65 2d 43 6f 6e 74 72 6f 6c 27 2c 20 27 ache-Control', '
0df0: 43 6f 6e 6e 65 63 74 69 6f 6e 27 2c 20 27 43 6f Connection', 'Co
0e00: 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 2c 20 27 ntent-Length', '
0e10: 43 6f 6f 6b 69 65 27 2c 0a 09 09 09 27 48 6f 73 Cookie',....'Hos
0e20: 74 27 2c 0a 09 09 09 27 49 66 2d 4d 6f 64 69 66 t',....'If-Modif
0e30: 69 65 64 2d 53 69 6e 63 65 27 2c 20 27 49 66 2d ied-Since', 'If-
0e40: 4e 6f 6e 65 2d 4d 61 74 63 68 27 2c 20 27 49 66 None-Match', 'If
0e50: 2d 55 6e 6d 6f 64 69 66 69 65 64 2d 53 69 6e 63 -Unmodified-Sinc
0e60: 65 27 2c 0a 09 09 09 27 52 65 66 65 72 65 72 27 e',....'Referer'
0e70: 2c 0a 09 09 09 27 55 41 2d 43 50 55 27 2c 20 27 ,....'UA-CPU', '
0e80: 55 73 65 72 2d 41 67 65 6e 74 27 2c 0a 09 09 09 User-Agent',....
0e90: 27 56 69 61 27 2c 0a 09 09 09 27 58 2d 46 6f 72 'Via',....'X-For
0ea0: 77 61 72 64 65 64 2d 46 6f 72 27 2c 20 27 58 2d warded-For', 'X-
0eb0: 4c 61 73 74 2d 48 52 27 2c 20 27 58 2d 4c 61 73 Last-HR', 'X-Las
0ec0: 74 2d 48 54 54 50 2d 53 74 61 74 75 73 2d 43 6f t-HTTP-Status-Co
0ed0: 64 65 27 2c 20 27 58 2d 4f 6c 64 2d 55 49 44 27 de', 'X-Old-UID'
0ee0: 2c 20 27 58 2d 52 65 6d 6f 76 65 64 27 2c 20 27 , 'X-Removed', '
0ef0: 58 2d 52 65 61 6c 2d 49 50 27 2c 20 27 58 2d 52 X-Real-IP', 'X-R
0f00: 65 74 72 79 2d 43 6f 75 6e 74 27 2c 0a 09 09 5d etry-Count',...]
0f10: 29 0a 0a 09 09 70 72 69 6e 74 28 27 3d 3d 3d 3d )....print('====
0f20: 3d 3d 3d 3d 3d 3d 3d 3d 3d 3d 3d 5b 20 7b 7d 20 ===========[ {}
0f30: 72 65 71 75 65 73 74 20 5d 3d 3d 3d 27 2e 66 6f request ]==='.fo
0f40: 72 6d 61 74 28 73 65 6c 66 2e 63 6f 6d 6d 61 6e rmat(self.comman
0f50: 64 29 29 0a 0a 09 09 66 6f 72 20 68 65 61 64 65 d))....for heade
0f60: 72 20 69 6e 20 73 65 6c 66 2e 68 65 61 64 65 72 r in self.header
0f70: 73 3a 0a 09 09 09 69 66 20 68 65 61 64 65 72 20 s:....if header
0f80: 69 6e 20 70 72 6f 78 79 5f 69 67 6e 6f 72 65 64 in proxy_ignored
0f90: 3a 0a 09 09 09 09 70 61 73 73 0a 09 09 09 65 6c :.....pass....el
0fa0: 69 66 20 68 65 61 64 65 72 20 69 6e 20 28 27 52 if header in ('R
0fb0: 61 6e 67 65 27 29 3a 0a 09 09 09 09 69 73 52 61 ange'):.....isRa
0fc0: 6e 67 65 20 3d 20 72 65 2e 63 6f 6d 70 69 6c 65 nge = re.compile
0fd0: 28 27 62 79 74 65 73 3d 28 5c 64 2b 29 2d 28 5c ('bytes=(\d+)-(\
0fe0: 64 2b 29 27 29 2e 6d 61 74 63 68 28 73 65 6c 66 d+)').match(self
0ff0: 2e 68 65 61 64 65 72 73 5b 68 65 61 64 65 72 5d .headers[header]
1000: 29 0a 09 09 09 09 69 66 20 69 73 52 61 6e 67 65 ).....if isRange
1010: 3a 0a 09 09 09 09 09 72 65 71 75 65 73 74 65 64 :......requested
1020: 5f 72 61 6e 67 65 73 20 3d 20 73 70 61 63 65 6d _ranges = spacem
1030: 61 70 2e 53 70 61 63 65 4d 61 70 28 7b 69 6e 74 ap.SpaceMap({int
1040: 28 69 73 52 61 6e 67 65 2e 67 72 6f 75 70 28 31 (isRange.group(1
1050: 29 29 3a 20 69 6e 74 28 69 73 52 61 6e 67 65 2e )): int(isRange.
1060: 67 72 6f 75 70 28 32 29 29 20 2b 20 31 7d 29 0a group(2)) + 1}).
1070: 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 72 ....else:......r
1080: 65 74 75 72 6e 28 29 0a 09 09 09 65 6c 69 66 20 eturn()....elif
1090: 68 65 61 64 65 72 20 69 6e 20 28 27 50 72 61 67 header in ('Prag
10a0: 6d 61 27 29 3a 0a 09 09 09 09 69 66 20 6d 79 5f ma'):.....if my_
10b0: 70 61 74 68 5f 62 20 69 6e 20 69 6e 64 65 78 3a path_b in index:
10c0: 0a 09 09 09 09 09 69 6e 64 65 78 5b 6d 79 5f 70 ......index[my_p
10d0: 61 74 68 5f 62 5d 5b 68 65 61 64 65 72 5d 20 3d ath_b][header] =
10e0: 20 73 65 6c 66 2e 68 65 61 64 65 72 73 5b 68 65 self.headers[he
10f0: 61 64 65 72 5d 0a 09 09 09 65 6c 73 65 3a 0a 09 ader]....else:..
1100: 09 09 09 70 72 69 6e 74 28 27 55 6e 6b 6e 6f 77 ...print('Unknow
1110: 6e 20 68 65 61 64 65 72 20 2d 20 27 2c 20 68 65 n header - ', he
1120: 61 64 65 72 2c 20 27 3a 20 27 2c 20 73 65 6c 66 ader, ': ', self
1130: 2e 68 65 61 64 65 72 73 5b 68 65 61 64 65 72 5d .headers[header]
1140: 2c 20 73 65 70 3d 27 27 29 0a 09 09 09 09 72 65 , sep='').....re
1150: 74 75 72 6e 28 29 0a 09 09 09 70 72 69 6e 74 28 turn()....print(
1160: 68 65 61 64 65 72 2c 20 73 65 6c 66 2e 68 65 61 header, self.hea
1170: 64 65 72 73 5b 68 65 61 64 65 72 5d 29 0a 0a 09 ders[header])...
1180: 09 23 20 63 72 65 61 74 69 6e 67 20 66 69 6c 65 .# creating file
1190: 20 6e 61 6d 65 20 66 72 6f 6d 20 6d 79 5f 70 61 name from my_pa
11a0: 74 68 0a 09 09 66 69 6c 65 5f 6e 61 6d 65 20 3d th...file_name =
11b0: 20 63 6f 6e 66 69 67 5f 68 6f 73 74 5b 27 64 69 config_host['di
11c0: 72 27 5d 20 2b 20 6f 73 2e 73 65 70 20 2b 20 72 r'] + os.sep + r
11d0: 65 2e 63 6f 6d 70 69 6c 65 28 27 25 32 30 27 29 e.compile('%20')
11e0: 2e 73 75 62 28 27 20 27 2c 20 6d 79 5f 70 61 74 .sub(' ', my_pat
11f0: 68 29 0a 09 09 23 20 70 61 72 74 69 61 6c 20 66 h)...# partial f
1200: 69 6c 65 20 6f 72 20 75 6e 66 69 6e 69 73 68 65 ile or unfinishe
1210: 64 20 64 6f 77 6e 6c 6f 61 64 0a 09 09 74 65 6d d download...tem
1220: 70 5f 6e 61 6d 65 20 3d 20 63 6f 6e 66 69 67 5f p_name = config_
1230: 68 6f 73 74 5b 27 64 69 72 27 5d 20 2b 20 6f 73 host['dir'] + os
1240: 2e 73 65 70 20 2b 20 27 2e 70 61 72 74 73 27 20 .sep + '.parts'
1250: 2b 20 72 65 2e 63 6f 6d 70 69 6c 65 28 27 25 32 + re.compile('%2
1260: 30 27 29 2e 73 75 62 28 27 20 27 2c 20 6d 79 5f 0').sub(' ', my_
1270: 70 61 74 68 29 0a 0a 09 09 23 20 63 72 65 61 74 path)....# creat
1280: 69 6e 67 20 65 6d 70 74 79 20 70 6c 61 63 65 68 ing empty placeh
1290: 6f 6c 64 65 72 20 69 6e 20 69 6e 64 65 78 0a 09 older in index..
12a0: 09 23 20 69 66 20 74 68 65 72 65 27 73 20 6e 6f .# if there's no
12b0: 20 73 70 61 63 65 20 6d 61 70 20 61 6e 64 20 74 space map and t
12c0: 68 65 72 65 27 73 20 6e 6f 20 66 69 6c 65 20 69 here's no file i
12d0: 6e 20 72 65 61 6c 20 64 69 72 65 63 74 6f 72 79 n real directory
12e0: 20 2d 20 77 65 20 68 61 76 65 20 6e 6f 20 66 69 - we have no fi
12f0: 6c 65 0a 09 09 23 20 69 66 20 74 68 65 72 65 27 le...# if there'
1300: 73 20 61 6e 20 65 6d 70 74 79 20 73 70 61 63 65 s an empty space
1310: 20 6d 61 70 20 2d 20 66 69 6c 65 20 69 73 20 66 map - file is f
1320: 75 6c 6c 0a 09 09 23 20 73 70 61 63 65 20 6d 61 ull...# space ma
1330: 70 20 67 65 6e 65 72 61 6c 6c 79 20 63 6f 76 65 p generally cove
1340: 72 73 20 65 76 65 72 79 20 62 69 74 20 6f 66 20 rs every bit of
1350: 66 69 6c 65 20 77 65 20 64 6f 6e 27 74 20 70 6f file we don't po
1360: 73 65 73 73 20 63 75 72 72 65 6e 74 6c 79 0a 09 sess currently..
1370: 09 69 66 20 6e 6f 74 20 6d 79 5f 70 61 74 68 5f .if not my_path_
1380: 62 20 69 6e 20 69 6e 64 65 78 3a 0a 09 09 09 69 b in index:....i
1390: 6e 66 6f 20 2b 3d 20 27 5c 6e 54 68 69 73 20 6f nfo += '\nThis o
13a0: 6e 65 20 69 73 20 6e 65 77 2e 27 0a 09 09 09 72 ne is new.'....r
13b0: 65 6c 6f 61 64 20 3d 20 54 72 75 65 0a 09 09 09 eload = True....
13c0: 72 65 63 6f 72 64 20 3d 20 7b 7d 0a 09 09 65 6c record = {}...el
13d0: 73 65 3a 0a 09 09 09 23 20 66 6f 72 63 69 62 6c se:....# forcibl
13e0: 79 20 63 68 65 63 6b 69 6e 67 20 66 69 6c 65 20 y checking file
13f0: 69 66 20 6e 6f 20 66 69 6c 65 20 70 72 65 73 65 if no file prese
1400: 6e 74 0a 09 09 09 72 65 63 6f 72 64 20 3d 20 69 nt....record = i
1410: 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5f 62 5d 0a ndex[my_path_b].
1420: 09 09 09 69 66 20 6f 73 2e 61 63 63 65 73 73 28 ...if os.access(
1430: 66 69 6c 65 5f 6e 61 6d 65 2c 20 6f 73 2e 52 5f file_name, os.R_
1440: 4f 4b 29 3a 0a 09 09 09 09 69 6e 66 6f 20 2b 3d OK):.....info +=
1450: 20 27 5c 6e 46 75 6c 6c 20 66 69 6c 65 20 66 6f '\nFull file fo
1460: 75 6e 64 2e 27 0a 09 09 09 09 66 69 6c 65 5f 73 und.'.....file_s
1470: 74 61 74 20 3d 20 6f 73 2e 73 74 61 74 28 66 69 tat = os.stat(fi
1480: 6c 65 5f 6e 61 6d 65 29 0a 09 09 09 65 6c 69 66 le_name)....elif
1490: 20 27 5f 70 61 72 74 73 27 20 69 6e 20 69 6e 64 '_parts' in ind
14a0: 65 78 5b 6d 79 5f 70 61 74 68 5f 62 5d 20 61 6e ex[my_path_b] an
14b0: 64 20 6f 73 2e 61 63 63 65 73 73 28 74 65 6d 70 d os.access(temp
14c0: 5f 6e 61 6d 65 2c 20 6f 73 2e 52 5f 4f 4b 29 3a _name, os.R_OK):
14d0: 0a 09 09 09 09 69 6e 66 6f 20 2b 3d 20 27 5c 6e .....info += '\n
14e0: 50 61 72 74 69 61 6c 20 66 69 6c 65 20 66 6f 75 Partial file fou
14f0: 6e 64 2e 27 0a 09 09 09 09 66 69 6c 65 5f 73 74 nd.'.....file_st
1500: 61 74 20 3d 20 6f 73 2e 73 74 61 74 28 74 65 6d at = os.stat(tem
1510: 70 5f 6e 61 6d 65 29 0a 09 09 09 09 72 65 63 68 p_name).....rech
1520: 65 63 6b 20 3d 20 54 72 75 65 0a 09 09 09 65 6c eck = True....el
1530: 73 65 3a 0a 09 09 09 09 69 6e 66 6f 20 2b 3d 20 se:.....info +=
1540: 27 5c 6e 46 69 6c 65 20 6e 6f 74 20 66 6f 75 6e '\nFile not foun
1550: 64 20 6f 72 20 69 6e 61 63 63 65 73 73 69 62 6c d or inaccessibl
1560: 65 2e 27 0a 09 09 09 09 72 65 63 6f 72 64 5b 27 e.'.....record['
1570: 5f 70 61 72 74 73 27 5d 20 3d 20 4e 6f 6e 65 0a _parts'] = None.
1580: 09 09 09 09 72 65 6c 6f 61 64 20 3d 20 54 72 75 ....reload = Tru
1590: 65 0a 0a 09 09 69 66 20 6e 6f 74 20 27 5f 70 61 e....if not '_pa
15a0: 72 74 73 27 20 69 6e 20 72 65 63 6f 72 64 3a 0a rts' in record:.
15b0: 09 09 09 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 ...record['_part
15c0: 73 27 5d 20 3d 20 4e 6f 6e 65 0a 0a 09 09 69 66 s'] = None....if
15d0: 20 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 record['_parts'
15e0: 5d 20 3d 3d 20 4e 6f 6e 65 3a 0a 09 09 09 72 65 ] == None:....re
15f0: 63 68 65 63 6b 20 3d 20 54 72 75 65 0a 0a 09 09 check = True....
1600: 23 20 66 6f 72 63 69 62 6c 79 20 63 68 65 63 6b # forcibly check
1610: 69 6e 67 20 66 69 6c 65 20 69 66 20 66 69 6c 65 ing file if file
1620: 20 73 69 7a 65 20 64 6f 65 73 6e 27 74 20 6d 61 size doesn't ma
1630: 74 63 68 20 77 69 74 68 20 69 6e 64 65 78 20 64 tch with index d
1640: 61 74 61 0a 09 09 69 66 20 6e 6f 74 20 72 65 6c ata...if not rel
1650: 6f 61 64 3a 0a 09 09 09 69 66 20 27 5f 70 61 72 oad:....if '_par
1660: 74 73 27 20 69 6e 20 72 65 63 6f 72 64 20 61 6e ts' in record an
1670: 64 20 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 d record['_parts
1680: 27 5d 20 3d 3d 20 73 70 61 63 65 6d 61 70 2e 53 '] == spacemap.S
1690: 70 61 63 65 4d 61 70 28 29 3a 0a 09 09 09 09 69 paceMap():.....i
16a0: 66 20 27 63 6f 6e 74 65 6e 74 2d 6c 65 6e 67 74 f 'content-lengt
16b0: 68 27 20 69 6e 20 72 65 63 6f 72 64 20 61 6e 64 h' in record and
16c0: 20 66 69 6c 65 5f 73 74 61 74 20 61 6e 64 20 66 file_stat and f
16d0: 69 6c 65 5f 73 74 61 74 2e 73 74 5f 73 69 7a 65 ile_stat.st_size
16e0: 20 21 3d 20 69 6e 74 28 72 65 63 6f 72 64 5b 27 != int(record['
16f0: 63 6f 6e 74 65 6e 74 2d 6c 65 6e 67 74 68 27 5d content-length']
1700: 29 3a 0a 09 09 09 09 09 69 6e 66 6f 20 2b 3d 20 ):......info +=
1710: 27 5c 6e 46 69 6c 65 20 73 69 7a 65 20 69 73 20 '\nFile size is
1720: 7b 7d 20 61 6e 64 20 73 74 6f 72 65 64 20 66 69 {} and stored fi
1730: 6c 65 20 73 69 7a 65 20 69 73 20 7b 7d 2e 27 2e le size is {}.'.
1740: 66 6f 72 6d 61 74 28 66 69 6c 65 5f 73 74 61 74 format(file_stat
1750: 2e 73 74 5f 73 69 7a 65 2c 20 72 65 63 6f 72 64 .st_size, record
1760: 5b 27 63 6f 6e 74 65 6e 74 2d 6c 65 6e 67 74 68 ['content-length
1770: 27 5d 29 0a 09 09 09 09 09 72 65 63 6f 72 64 5b '])......record[
1780: 27 5f 70 61 72 74 73 27 5d 20 3d 20 4e 6f 6e 65 '_parts'] = None
1790: 0a 09 09 09 09 09 72 65 6c 6f 61 64 20 3d 20 54 ......reload = T
17a0: 72 75 65 0a 0a 09 09 23 20 66 6f 72 63 69 62 6c rue....# forcibl
17b0: 79 20 63 68 65 63 6b 69 6e 67 20 66 69 6c 65 20 y checking file
17c0: 69 66 20 69 6e 64 65 78 20 68 6f 6c 64 73 20 50 if index holds P
17d0: 72 61 67 6d 61 20 68 65 61 64 65 72 0a 09 09 69 ragma header...i
17e0: 66 20 6e 6f 74 20 72 65 6c 6f 61 64 20 61 6e 64 f not reload and
17f0: 20 27 70 72 61 67 6d 61 27 20 69 6e 20 72 65 63 'pragma' in rec
1800: 6f 72 64 20 61 6e 64 20 72 65 63 6f 72 64 5b 27 ord and record['
1810: 70 72 61 67 6d 61 27 5d 20 3d 3d 20 27 6e 6f 2d pragma'] == 'no-
1820: 63 61 63 68 65 27 3a 0a 09 09 09 69 6e 66 6f 20 cache':....info
1830: 2b 3d 27 5c 6e 50 72 61 67 6d 61 20 6f 6e 3a 20 +='\nPragma on:
1840: 72 65 63 68 65 63 6b 20 69 6d 6d 69 6e 65 6e 74 recheck imminent
1850: 2e 27 0a 09 09 09 72 65 63 68 65 63 6b 20 3d 20 .'....recheck =
1860: 54 72 75 65 0a 0a 09 09 23 20 73 6b 69 70 70 69 True....# skippi
1870: 6e 67 20 66 69 6c 65 20 70 72 6f 63 65 73 73 69 ng file processi
1880: 6e 67 20 69 66 20 74 68 65 72 65 27 73 20 6e 6f ng if there's no
1890: 20 6e 65 65 64 20 74 6f 20 72 65 63 68 65 63 6b need to recheck
18a0: 20 69 74 20 61 6e 64 20 77 65 20 68 61 76 65 20 it and we have
18b0: 63 68 65 63 6b 65 64 20 69 74 20 61 74 20 6c 65 checked it at le
18c0: 61 73 74 20 34 20 68 6f 75 72 73 20 61 67 6f 0a ast 4 hours ago.
18d0: 09 09 69 66 20 6e 6f 74 20 72 65 63 68 65 63 6b ..if not recheck
18e0: 20 61 6e 64 20 6e 6f 74 20 72 65 6c 6f 61 64 20 and not reload
18f0: 61 6e 64 20 27 5f 74 69 6d 65 27 20 69 6e 20 72 and '_time' in r
1900: 65 63 6f 72 64 20 61 6e 64 20 28 72 65 63 6f 72 ecord and (recor
1910: 64 5b 27 5f 74 69 6d 65 27 5d 20 2d 20 64 61 74 d['_time'] - dat
1920: 65 74 69 6d 65 2e 64 61 74 65 74 69 6d 65 2e 6e etime.datetime.n
1930: 6f 77 28 29 20 2b 20 64 61 74 65 74 69 6d 65 2e ow() + datetime.
1940: 74 69 6d 65 64 65 6c 74 61 28 68 6f 75 72 73 20 timedelta(hours
1950: 3d 20 34 29 29 2e 64 61 79 73 20 3c 20 30 3a 0a = 4)).days < 0:.
1960: 09 09 09 69 6e 66 6f 20 2b 3d 20 27 5c 6e 46 69 ...info += '\nFi
1970: 6c 65 20 69 73 20 6f 6c 64 20 2d 20 72 65 63 68 le is old - rech
1980: 65 63 6b 69 6e 67 2e 27 0a 09 09 09 72 65 63 68 ecking.'....rech
1990: 65 63 6b 20 3d 20 54 72 75 65 0a 0a 09 09 70 72 eck = True....pr
19a0: 69 6e 74 28 69 6e 66 6f 29 0a 09 09 69 66 20 72 int(info)...if r
19b0: 65 6c 6f 61 64 20 6f 72 20 72 65 63 68 65 63 6b eload or recheck
19c0: 3a 0a 0a 09 09 09 74 72 79 3a 0a 09 09 09 09 72 :.....try:.....r
19d0: 65 71 75 65 73 74 20 3d 20 63 6f 6e 66 69 67 5f equest = config_
19e0: 68 6f 73 74 5b 27 70 72 6f 74 6f 27 5d 20 2b 20 host['proto'] +
19f0: 27 3a 2f 2f 27 20 2b 20 63 6f 6e 66 69 67 5f 68 '://' + config_h
1a00: 6f 73 74 5b 27 72 6f 6f 74 27 5d 20 2b 20 73 65 ost['root'] + se
1a10: 6c 66 2e 70 61 74 68 0a 09 09 09 09 6d 79 5f 68 lf.path.....my_h
1a20: 65 61 64 65 72 73 20 3d 20 7b 7d 0a 09 09 09 09 eaders = {}.....
1a30: 66 6f 72 20 68 65 61 64 65 72 20 69 6e 20 28 27 for header in ('
1a40: 41 63 63 65 70 74 27 2c 20 27 43 61 63 68 65 2d Accept', 'Cache-
1a50: 43 6f 6e 74 72 6f 6c 27 2c 20 27 43 6f 6f 6b 69 Control', 'Cooki
1a60: 65 27 2c 20 27 52 65 66 65 72 65 72 27 2c 20 27 e', 'Referer', '
1a70: 55 73 65 72 2d 41 67 65 6e 74 27 29 3a 0a 09 09 User-Agent'):...
1a80: 09 09 09 69 66 20 68 65 61 64 65 72 20 69 6e 20 ...if header in
1a90: 73 65 6c 66 2e 68 65 61 64 65 72 73 3a 0a 09 09 self.headers:...
1aa0: 09 09 09 09 6d 79 5f 68 65 61 64 65 72 73 5b 68 ....my_headers[h
1ab0: 65 61 64 65 72 5d 20 3d 20 73 65 6c 66 2e 68 65 eader] = self.he
1ac0: 61 64 65 72 73 5b 68 65 61 64 65 72 5d 0a 0a 09 aders[header]...
1ad0: 09 09 09 6e 65 65 64 65 64 20 3d 20 4e 6f 6e 65 ...needed = None
1ae0: 0a 09 09 09 09 69 66 20 73 65 6c 66 2e 63 6f 6d .....if self.com
1af0: 6d 61 6e 64 20 6e 6f 74 20 69 6e 20 28 27 48 45 mand not in ('HE
1b00: 41 44 27 29 3a 0a 09 09 09 09 09 69 66 20 27 5f AD'):......if '_
1b10: 70 61 72 74 73 27 20 69 6e 20 72 65 63 6f 72 64 parts' in record
1b20: 20 61 6e 64 20 72 65 63 6f 72 64 5b 27 5f 70 61 and record['_pa
1b30: 72 74 73 27 5d 20 21 3d 20 4e 6f 6e 65 3a 0a 09 rts'] != None:..
1b40: 09 09 09 09 09 69 66 20 63 6f 6e 66 69 67 5f 68 .....if config_h
1b50: 6f 73 74 5b 27 6e 6f 70 61 72 74 73 27 5d 20 21 ost['noparts'] !
1b60: 3d 20 27 6e 6f 27 20 6f 72 20 72 65 71 75 65 73 = 'no' or reques
1b70: 74 65 64 5f 72 61 6e 67 65 73 20 3d 3d 20 4e 6f ted_ranges == No
1b80: 6e 65 20 6f 72 20 72 65 71 75 65 73 74 65 64 5f ne or requested_
1b90: 72 61 6e 67 65 73 20 3d 3d 20 73 70 61 63 65 6d ranges == spacem
1ba0: 61 70 2e 53 70 61 63 65 4d 61 70 28 29 3a 0a 09 ap.SpaceMap():..
1bb0: 09 09 09 09 09 09 6e 65 65 64 65 64 20 3d 20 72 ......needed = r
1bc0: 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d 0a ecord['_parts'].
1bd0: 09 09 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 ......else:.....
1be0: 09 09 09 6e 65 65 64 65 64 20 3d 20 72 65 63 6f ...needed = reco
1bf0: 72 64 5b 27 5f 70 61 72 74 73 27 5d 20 26 20 72 rd['_parts'] & r
1c00: 65 71 75 65 73 74 65 64 5f 72 61 6e 67 65 73 0a equested_ranges.
1c10: 09 09 09 09 09 65 6c 69 66 20 63 6f 6e 66 69 67 .....elif config
1c20: 5f 68 6f 73 74 5b 27 6e 6f 70 61 72 74 73 27 5d _host['noparts']
1c30: 20 3d 3d 27 6e 6f 27 20 61 6e 64 20 72 65 71 75 =='no' and requ
1c40: 65 73 74 65 64 5f 72 61 6e 67 65 73 20 21 3d 20 ested_ranges !=
1c50: 4e 6f 6e 65 20 61 6e 64 20 72 65 71 75 65 73 74 None and request
1c60: 65 64 5f 72 61 6e 67 65 73 20 21 3d 20 73 70 61 ed_ranges != spa
1c70: 63 65 6d 61 70 2e 53 70 61 63 65 4d 61 70 28 29 cemap.SpaceMap()
1c80: 3a 0a 09 09 09 09 09 09 6e 65 65 64 65 64 20 3d :.......needed =
1c90: 20 72 65 71 75 65 73 74 65 64 5f 72 61 6e 67 65 requested_range
1ca0: 73 0a 09 09 09 09 09 72 61 6e 67 65 73 20 3d 20 s......ranges =
1cb0: 28 29 0a 09 09 09 09 09 70 72 69 6e 74 28 27 4d ()......print('M
1cc0: 69 73 73 69 6e 67 20 72 61 6e 67 65 73 3a 20 7b issing ranges: {
1cd0: 7d 2c 20 72 65 71 75 65 73 74 65 64 20 72 61 6e }, requested ran
1ce0: 67 65 73 3a 20 7b 7d 2c 20 6e 65 65 64 65 64 20 ges: {}, needed
1cf0: 72 61 6e 67 65 73 3a 20 7b 7d 2e 27 2e 66 6f 72 ranges: {}.'.for
1d00: 6d 61 74 28 72 65 63 6f 72 64 5b 27 5f 70 61 72 mat(record['_par
1d10: 74 73 27 5d 2c 20 72 65 71 75 65 73 74 65 64 5f ts'], requested_
1d20: 72 61 6e 67 65 73 2c 20 6e 65 65 64 65 64 29 29 ranges, needed))
1d30: 0a 09 09 09 09 09 69 66 20 6e 65 65 64 65 64 20 ......if needed
1d40: 21 3d 20 4e 6f 6e 65 20 61 6e 64 20 6c 65 6e 28 != None and len(
1d50: 6e 65 65 64 65 64 29 20 3e 20 30 3a 0a 09 09 09 needed) > 0:....
1d60: 09 09 09 6e 65 65 64 65 64 2e 72 65 77 69 6e 64 ...needed.rewind
1d70: 28 29 0a 09 09 09 09 09 09 77 68 69 6c 65 20 54 ().......while T
1d80: 72 75 65 3a 0a 09 09 09 09 09 09 09 72 61 6e 67 rue:........rang
1d90: 65 20 3d 20 6e 65 65 64 65 64 2e 70 6f 70 28 29 e = needed.pop()
1da0: 0a 09 09 09 09 09 09 09 69 66 20 72 61 6e 67 65 ........if range
1db0: 5b 30 5d 20 3d 3d 20 4e 6f 6e 65 3a 0a 09 09 09 [0] == None:....
1dc0: 09 09 09 09 09 62 72 65 61 6b 0a 09 09 09 09 09 .....break......
1dd0: 09 09 72 61 6e 67 65 73 20 2b 3d 20 27 7b 7d 2d ..ranges += '{}-
1de0: 7b 7d 27 2e 66 6f 72 6d 61 74 28 72 61 6e 67 65 {}'.format(range
1df0: 5b 30 5d 2c 20 72 61 6e 67 65 5b 31 5d 20 2d 20 [0], range[1] -
1e00: 31 29 2c 0a 09 09 09 09 09 09 6d 79 5f 68 65 61 1),.......my_hea
1e10: 64 65 72 73 5b 27 52 61 6e 67 65 27 5d 20 3d 20 ders['Range'] =
1e20: 27 62 79 74 65 73 3d 27 20 2b 20 27 2c 27 2e 6a 'bytes=' + ','.j
1e30: 6f 69 6e 28 72 61 6e 67 65 73 29 0a 0a 09 09 09 oin(ranges).....
1e40: 09 23 6d 79 5f 68 65 61 64 65 72 73 5b 27 41 63 .#my_headers['Ac
1e50: 63 65 70 74 2d 45 6e 63 6f 64 69 6e 67 27 5d 20 cept-Encoding']
1e60: 3d 20 27 67 7a 69 70 2c 20 63 6f 6d 70 72 65 73 = 'gzip, compres
1e70: 73 2c 20 64 65 66 6c 61 74 65 2c 20 69 64 65 6e s, deflate, iden
1e80: 74 69 74 79 3b 20 71 3d 30 27 0a 09 09 09 09 72 tity; q=0'.....r
1e90: 65 71 75 65 73 74 20 3d 20 75 72 6c 6c 69 62 2e equest = urllib.
1ea0: 72 65 71 75 65 73 74 2e 52 65 71 75 65 73 74 28 request.Request(
1eb0: 72 65 71 75 65 73 74 2c 20 68 65 61 64 65 72 73 request, headers
1ec0: 20 3d 20 6d 79 5f 68 65 61 64 65 72 73 29 0a 0a = my_headers)..
1ed0: 09 09 09 09 73 6f 75 72 63 65 20 3d 20 75 72 6c ....source = url
1ee0: 6c 69 62 2e 72 65 71 75 65 73 74 2e 75 72 6c 6f lib.request.urlo
1ef0: 70 65 6e 28 72 65 71 75 65 73 74 2c 20 74 69 6d pen(request, tim
1f00: 65 6f 75 74 20 3d 20 36 30 29 0a 09 09 09 09 6e eout = 60).....n
1f10: 65 77 5f 72 65 63 6f 72 64 20 3d 20 7b 7d 0a 09 ew_record = {}..
1f20: 09 09 09 6e 65 77 5f 72 65 63 6f 72 64 5b 27 5f ...new_record['_
1f30: 70 61 72 74 73 27 5d 20 3d 20 72 65 63 6f 72 64 parts'] = record
1f40: 5b 27 5f 70 61 72 74 73 27 5d 0a 09 09 09 09 68 ['_parts'].....h
1f50: 65 61 64 65 72 73 20 3d 20 73 6f 75 72 63 65 2e eaders = source.
1f60: 69 6e 66 6f 28 29 0a 0a 09 09 09 09 69 66 20 27 info()......if '
1f70: 43 6f 6e 74 65 6e 74 2d 45 6e 63 6f 64 69 6e 67 Content-Encoding
1f80: 27 20 69 6e 20 68 65 61 64 65 72 73 20 61 6e 64 ' in headers and
1f90: 20 68 65 61 64 65 72 73 5b 27 43 6f 6e 74 65 6e headers['Conten
1fa0: 74 2d 45 6e 63 6f 64 69 6e 67 27 5d 20 3d 3d 20 t-Encoding'] ==
1fb0: 27 67 7a 69 70 27 3a 0a 09 09 09 09 09 69 6d 70 'gzip':......imp
1fc0: 6f 72 74 20 67 7a 69 70 0a 09 09 09 09 09 73 6f ort gzip......so
1fd0: 75 72 63 65 20 3d 20 67 7a 69 70 2e 47 7a 69 70 urce = gzip.Gzip
1fe0: 46 69 6c 65 28 66 69 6c 65 6f 62 6a 3d 73 6f 75 File(fileobj=sou
1ff0: 72 63 65 29 0a 0a 09 09 09 09 23 20 73 74 72 69 rce)......# stri
2000: 70 70 69 6e 67 20 75 6e 6e 65 65 64 65 64 20 68 pping unneeded h
2010: 65 61 64 65 72 73 20 28 58 58 58 20 6d 61 6b 65 eaders (XXX make
2020: 20 74 68 69 73 20 69 6e 70 6c 61 63 65 3f 29 0a this inplace?).
2030: 09 09 09 09 66 6f 72 20 68 65 61 64 65 72 20 69 ....for header i
2040: 6e 20 68 65 61 64 65 72 73 3a 0a 09 09 09 09 09 n headers:......
2050: 69 66 20 68 65 61 64 65 72 20 69 6e 20 64 65 73 if header in des
2060: 63 5f 66 69 65 6c 64 73 3a 0a 09 09 09 09 09 09 c_fields:.......
2070: 23 69 66 20 68 65 61 64 65 72 20 3d 3d 20 27 50 #if header == 'P
2080: 72 61 67 6d 61 27 20 61 6e 64 20 68 65 61 64 65 ragma' and heade
2090: 72 73 5b 68 65 61 64 65 72 5d 20 21 3d 20 27 6e rs[header] != 'n
20a0: 6f 2d 63 61 63 68 65 27 3a 0a 09 09 09 09 09 09 o-cache':.......
20b0: 69 66 20 68 65 61 64 65 72 20 3d 3d 20 27 43 6f if header == 'Co
20c0: 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 3a 0a 09 ntent-Length':..
20d0: 09 09 09 09 09 09 69 66 20 27 43 6f 6e 74 65 6e ......if 'Conten
20e0: 74 2d 52 61 6e 67 65 27 20 6e 6f 74 20 69 6e 20 t-Range' not in
20f0: 68 65 61 64 65 72 73 3a 0a 09 09 09 09 09 09 09 headers:........
2100: 09 6e 65 77 5f 72 65 63 6f 72 64 5b 68 65 61 64 .new_record[head
2110: 65 72 5d 20 3d 20 69 6e 74 28 68 65 61 64 65 72 er] = int(header
2120: 73 5b 68 65 61 64 65 72 5d 29 0a 09 09 09 09 09 s[header])......
2130: 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 09 6e 65 .else:........ne
2140: 77 5f 72 65 63 6f 72 64 5b 68 65 61 64 65 72 5d w_record[header]
2150: 20 3d 20 68 65 61 64 65 72 73 5b 68 65 61 64 65 = headers[heade
2160: 72 5d 0a 09 09 09 09 09 65 6c 69 66 20 68 65 61 r]......elif hea
2170: 64 65 72 20 3d 3d 20 27 43 6f 6e 74 65 6e 74 2d der == 'Content-
2180: 52 61 6e 67 65 27 3a 0a 09 09 09 09 09 09 72 61 Range':.......ra
2190: 6e 67 65 20 3d 20 72 65 2e 63 6f 6d 70 69 6c 65 nge = re.compile
21a0: 28 27 5e 62 79 74 65 73 20 28 5c 64 2b 29 2d 28 ('^bytes (\d+)-(
21b0: 5c 64 2b 29 2f 28 5c 64 2b 29 24 27 29 2e 6d 61 \d+)/(\d+)$').ma
21c0: 74 63 68 28 68 65 61 64 65 72 73 5b 68 65 61 64 tch(headers[head
21d0: 65 72 5d 29 0a 09 09 09 09 09 09 69 66 20 72 61 er]).......if ra
21e0: 6e 67 65 3a 0a 09 09 09 09 09 09 09 6e 65 77 5f nge:........new_
21f0: 72 65 63 6f 72 64 5b 27 43 6f 6e 74 65 6e 74 2d record['Content-
2200: 4c 65 6e 67 74 68 27 5d 20 3d 20 69 6e 74 28 72 Length'] = int(r
2210: 61 6e 67 65 2e 67 72 6f 75 70 28 33 29 29 0a 09 ange.group(3))..
2220: 09 09 09 09 09 65 6c 73 65 3a 09 0a 09 09 09 09 .....else:......
2230: 09 09 09 61 73 73 65 72 74 20 46 61 6c 73 65 2c ...assert False,
2240: 20 27 43 6f 6e 74 65 6e 74 2d 52 61 6e 67 65 20 'Content-Range
2250: 75 6e 72 65 63 6f 67 6e 69 7a 65 64 2e 27 0a 09 unrecognized.'..
2260: 09 09 09 09 65 6c 69 66 20 6e 6f 74 20 68 65 61 ....elif not hea
2270: 64 65 72 20 69 6e 20 69 67 6e 6f 72 65 5f 66 69 der in ignore_fi
2280: 65 6c 64 73 3a 0a 09 09 09 09 09 09 70 72 69 6e elds:.......prin
2290: 74 28 27 55 6e 64 65 66 69 6e 65 64 20 68 65 61 t('Undefined hea
22a0: 64 65 72 20 22 27 2c 20 68 65 61 64 65 72 2c 20 der "', header,
22b0: 27 22 3a 20 27 2c 20 68 65 61 64 65 72 73 5b 68 '": ', headers[h
22c0: 65 61 64 65 72 5d 2c 20 73 65 70 3d 27 27 29 0a eader], sep='').
22d0: 0a 09 09 09 09 23 20 63 6f 6d 70 61 72 69 6e 67 .....# comparing
22e0: 20 68 65 61 64 65 72 73 20 77 69 74 68 20 64 61 headers with da
22f0: 74 61 20 66 6f 75 6e 64 20 69 6e 20 69 6e 64 65 ta found in inde
2300: 78 0a 09 09 09 09 23 20 69 66 20 61 6e 79 20 68 x.....# if any h
2310: 65 61 64 65 72 20 68 61 73 20 63 68 61 6e 67 65 eader has change
2320: 64 20 28 65 78 63 65 70 74 20 50 72 61 67 6d 61 d (except Pragma
2330: 29 20 66 69 6c 65 20 69 73 20 66 75 6c 6c 79 20 ) file is fully
2340: 64 6f 77 6e 6c 6f 61 64 65 64 0a 09 09 09 09 23 downloaded.....#
2350: 20 73 61 6d 65 20 69 66 20 77 65 20 67 65 74 20 same if we get
2360: 6d 6f 72 65 20 6f 72 20 6c 65 73 73 20 68 65 61 more or less hea
2370: 64 65 72 73 0a 09 09 09 09 6f 6c 64 5f 6b 65 79 ders.....old_key
2380: 73 20 3d 20 73 65 74 28 72 65 63 6f 72 64 2e 6b s = set(record.k
2390: 65 79 73 28 29 29 0a 09 09 09 09 6f 6c 64 5f 6b eys()).....old_k
23a0: 65 79 73 2e 64 69 73 63 61 72 64 28 27 5f 74 69 eys.discard('_ti
23b0: 6d 65 27 29 0a 09 09 09 09 6f 6c 64 5f 6b 65 79 me').....old_key
23c0: 73 2e 64 69 73 63 61 72 64 28 27 50 72 61 67 6d s.discard('Pragm
23d0: 61 27 29 0a 09 09 09 09 6d 6f 72 65 5f 6b 65 79 a').....more_key
23e0: 73 20 3d 20 73 65 74 28 6e 65 77 5f 72 65 63 6f s = set(new_reco
23f0: 72 64 2e 6b 65 79 73 28 29 29 20 2d 20 6f 6c 64 rd.keys()) - old
2400: 5f 6b 65 79 73 0a 09 09 09 09 6d 6f 72 65 5f 6b _keys.....more_k
2410: 65 79 73 2e 64 69 73 63 61 72 64 28 27 50 72 61 eys.discard('Pra
2420: 67 6d 61 27 29 0a 09 09 09 09 6c 65 73 73 5f 6b gma').....less_k
2430: 65 79 73 20 3d 20 6f 6c 64 5f 6b 65 79 73 20 2d eys = old_keys -
2440: 20 73 65 74 28 6e 65 77 5f 72 65 63 6f 72 64 2e set(new_record.
2450: 6b 65 79 73 28 29 29 0a 09 09 09 09 69 66 20 6c keys()).....if l
2460: 65 6e 28 6d 6f 72 65 5f 6b 65 79 73 29 20 3e 20 en(more_keys) >
2470: 30 3a 0a 09 09 09 09 09 69 66 20 6c 65 6e 28 6f 0:......if len(o
2480: 6c 64 5f 6b 65 79 73 29 20 21 3d 20 30 3a 0a 09 ld_keys) != 0:..
2490: 09 09 09 09 09 70 72 69 6e 74 28 27 4d 6f 72 65 .....print('More
24a0: 20 68 65 61 64 65 72 73 20 61 70 70 65 61 72 3a headers appear:
24b0: 27 2c 20 6d 6f 72 65 5f 6b 65 79 73 29 0a 09 09 ', more_keys)...
24c0: 09 09 09 72 65 6c 6f 61 64 20 3d 20 54 72 75 65 ...reload = True
24d0: 0a 09 09 09 09 65 6c 69 66 20 6c 65 6e 28 6c 65 .....elif len(le
24e0: 73 73 5f 6b 65 79 73 29 20 3e 20 30 3a 0a 09 09 ss_keys) > 0:...
24f0: 09 09 09 70 72 69 6e 74 28 27 4c 65 73 73 20 68 ...print('Less h
2500: 65 61 64 65 72 73 20 61 70 70 65 61 72 3a 27 2c eaders appear:',
2510: 20 6c 65 73 73 5f 6b 65 79 73 29 0a 09 09 09 09 less_keys).....
2520: 65 6c 73 65 3a 0a 09 09 09 09 09 66 6f 72 20 6b else:......for k
2530: 65 79 20 69 6e 20 72 65 63 6f 72 64 2e 6b 65 79 ey in record.key
2540: 73 28 29 3a 0a 09 09 09 09 09 09 69 66 20 6b 65 s():.......if ke
2550: 79 5b 30 5d 20 21 3d 20 27 5f 27 20 61 6e 64 20 y[0] != '_' and
2560: 6b 65 79 20 21 3d 20 27 50 72 61 67 6d 61 27 20 key != 'Pragma'
2570: 61 6e 64 20 72 65 63 6f 72 64 5b 6b 65 79 5d 20 and record[key]
2580: 21 3d 20 6e 65 77 5f 72 65 63 6f 72 64 5b 6b 65 != new_record[ke
2590: 79 5d 3a 0a 09 09 09 09 09 09 09 70 72 69 6e 74 y]:........print
25a0: 28 27 48 65 61 64 65 72 20 22 27 2c 20 6b 65 79 ('Header "', key
25b0: 2c 20 27 22 20 63 68 61 6e 67 65 64 20 66 72 6f , '" changed fro
25c0: 6d 20 5b 27 2c 20 72 65 63 6f 72 64 5b 6b 65 79 m [', record[key
25d0: 5d 2c 20 27 5d 20 74 6f 20 5b 27 2c 20 6e 65 77 ], '] to [', new
25e0: 5f 72 65 63 6f 72 64 5b 6b 65 79 5d 2c 20 27 5d _record[key], ']
25f0: 27 2c 20 73 65 70 3d 27 27 29 0a 09 09 09 09 09 ', sep='')......
2600: 09 09 70 72 69 6e 74 28 74 79 70 65 28 72 65 63 ..print(type(rec
2610: 6f 72 64 5b 6b 65 79 5d 29 2c 20 74 79 70 65 28 ord[key]), type(
2620: 6e 65 77 5f 72 65 63 6f 72 64 5b 6b 65 79 5d 29 new_record[key])
2630: 29 0a 09 09 09 09 09 09 09 72 65 6c 6f 61 64 20 )........reload
2640: 3d 20 54 72 75 65 0a 0a 09 09 09 09 69 66 20 72 = True......if r
2650: 65 6c 6f 61 64 3a 0a 09 09 09 09 09 70 72 69 6e eload:......prin
2660: 74 28 27 52 65 6c 6f 61 64 69 6e 67 2e 27 29 0a t('Reloading.').
2670: 09 09 09 09 09 69 66 20 6f 73 2e 61 63 63 65 73 .....if os.acces
2680: 73 28 74 65 6d 70 5f 6e 61 6d 65 2c 20 6f 73 2e s(temp_name, os.
2690: 52 5f 4f 4b 29 3a 0a 09 09 09 09 09 09 6f 73 2e R_OK):.......os.
26a0: 75 6e 6c 69 6e 6b 28 74 65 6d 70 5f 6e 61 6d 65 unlink(temp_name
26b0: 29 0a 09 09 09 09 09 69 66 20 6f 73 2e 61 63 63 )......if os.acc
26c0: 65 73 73 28 66 69 6c 65 5f 6e 61 6d 65 2c 20 6f ess(file_name, o
26d0: 73 2e 52 5f 4f 4b 29 3a 0a 09 09 09 09 09 09 6f s.R_OK):.......o
26e0: 73 2e 75 6e 6c 69 6e 6b 28 66 69 6c 65 5f 6e 61 s.unlink(file_na
26f0: 6d 65 29 0a 09 09 09 09 09 69 66 20 27 43 6f 6e me)......if 'Con
2700: 74 65 6e 74 2d 4c 65 6e 67 74 68 27 20 69 6e 20 tent-Length' in
2710: 6e 65 77 5f 72 65 63 6f 72 64 3a 0a 09 09 09 09 new_record:.....
2720: 09 09 6e 65 77 5f 72 65 63 6f 72 64 5b 27 5f 70 ..new_record['_p
2730: 61 72 74 73 27 5d 20 3d 20 73 70 61 63 65 6d 61 arts'] = spacema
2740: 70 2e 53 70 61 63 65 4d 61 70 28 7b 30 3a 20 69 p.SpaceMap({0: i
2750: 6e 74 28 6e 65 77 5f 72 65 63 6f 72 64 5b 27 43 nt(new_record['C
2760: 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 5d 29 ontent-Length'])
2770: 7d 29 0a 09 09 09 09 69 66 20 6e 6f 74 20 6e 65 }).....if not ne
2780: 77 5f 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 w_record['_parts
2790: 27 5d 3a 0a 09 09 09 09 09 6e 65 77 5f 72 65 63 ']:......new_rec
27a0: 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d 20 3d 20 ord['_parts'] =
27b0: 73 70 61 63 65 6d 61 70 2e 53 70 61 63 65 4d 61 spacemap.SpaceMa
27c0: 70 28 29 0a 09 09 09 09 70 72 69 6e 74 28 6e 65 p().....print(ne
27d0: 77 5f 72 65 63 6f 72 64 29 0a 0a 09 09 09 09 23 w_record)......#
27e0: 20 64 6f 77 6e 6c 6f 61 64 69 6e 67 20 66 69 6c downloading fil
27f0: 65 20 6f 72 20 73 65 67 6d 65 6e 74 0a 09 09 09 e or segment....
2800: 09 69 66 20 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e .if 'Content-Len
2810: 67 74 68 27 20 69 6e 20 6e 65 77 5f 72 65 63 6f gth' in new_reco
2820: 72 64 3a 0a 09 09 09 09 09 69 66 20 6e 65 65 64 rd:......if need
2830: 65 64 20 3d 3d 20 4e 6f 6e 65 3a 0a 09 09 09 09 ed == None:.....
2840: 09 09 6e 65 65 64 65 64 20 3d 20 6e 65 77 5f 72 ..needed = new_r
2850: 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d 0a ecord['_parts'].
2860: 09 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 .....else:......
2870: 09 69 66 20 6c 65 6e 28 6e 65 65 64 65 64 29 20 .if len(needed)
2880: 3e 20 31 3a 0a 09 09 09 09 09 09 09 70 72 69 6e > 1:........prin
2890: 74 28 22 4d 75 6c 74 69 70 61 72 74 20 72 65 71 t("Multipart req
28a0: 75 65 73 74 73 20 63 75 72 72 65 6e 74 6c 79 20 uests currently
28b0: 6e 6f 74 20 73 75 70 70 6f 72 74 65 64 2e 22 29 not supported.")
28c0: 0a 09 09 09 09 09 09 09 61 73 73 65 72 74 20 46 ........assert F
28d0: 61 6c 73 65 2c 20 27 53 6b 69 70 20 74 68 69 73 alse, 'Skip this
28e0: 20 6f 6e 65 20 66 6f 72 20 6e 6f 77 2e 27 0a 09 one for now.'..
28f0: 09 09 09 23 65 6c 73 65 3a 0a 09 09 09 09 09 23 ...#else:......#
2900: 61 73 73 65 72 74 20 46 61 6c 73 65 2c 20 27 4e assert False, 'N
2910: 6f 20 63 6f 6e 74 65 6e 74 2d 6c 65 6e 67 74 68 o content-length
2920: 20 6f 72 20 43 6f 6e 74 65 6e 74 2d 52 61 6e 67 or Content-Rang
2930: 65 20 68 65 61 64 65 72 2e 27 0a 0a 09 09 09 09 e header.'......
2940: 6e 65 77 5f 72 65 63 6f 72 64 5b 27 5f 74 69 6d new_record['_tim
2950: 65 27 5d 20 3d 20 64 61 74 65 74 69 6d 65 2e 64 e'] = datetime.d
2960: 61 74 65 74 69 6d 65 2e 6e 6f 77 28 29 0a 09 09 atetime.now()...
2970: 09 09 69 66 20 73 65 6c 66 2e 63 6f 6d 6d 61 6e ..if self.comman
2980: 64 20 6e 6f 74 20 69 6e 20 28 27 48 45 41 44 27 d not in ('HEAD'
2990: 29 3a 0a 09 09 09 09 09 23 20 66 69 6c 65 20 69 ):......# file i
29a0: 73 20 63 72 65 61 74 65 64 20 61 74 20 74 65 6d s created at tem
29b0: 70 6f 72 61 72 79 20 6c 6f 63 61 74 69 6f 6e 20 porary location
29c0: 61 6e 64 20 6d 6f 76 65 64 20 69 6e 20 70 6c 61 and moved in pla
29d0: 63 65 20 6f 6e 6c 79 20 77 68 65 6e 20 64 6f 77 ce only when dow
29e0: 6e 6c 6f 61 64 20 63 6f 6d 70 6c 65 74 65 73 0a nload completes.
29f0: 09 09 09 09 09 69 66 20 6e 6f 74 20 6f 73 2e 61 .....if not os.a
2a00: 63 63 65 73 73 28 74 65 6d 70 5f 6e 61 6d 65 2c ccess(temp_name,
2a10: 20 6f 73 2e 52 5f 4f 4b 29 3a 0a 09 09 09 09 09 os.R_OK):......
2a20: 09 65 6d 70 74 79 5f 6e 61 6d 65 20 3d 20 63 6f .empty_name = co
2a30: 6e 66 69 67 5f 68 6f 73 74 5b 27 64 69 72 27 5d nfig_host['dir']
2a40: 20 2b 20 6f 73 2e 73 65 70 20 2b 20 27 2e 74 6d + os.sep + '.tm
2a50: 70 27 0a 09 09 09 09 09 09 77 69 74 68 20 6f 70 p'.......with op
2a60: 65 6e 28 65 6d 70 74 79 5f 6e 61 6d 65 2c 20 27 en(empty_name, '
2a70: 77 2b 62 27 29 20 61 73 20 73 6f 6d 65 5f 66 69 w+b') as some_fi
2a80: 6c 65 3a 0a 09 09 09 09 09 09 09 70 61 73 73 0a le:........pass.
2a90: 09 09 09 09 09 09 6f 73 2e 72 65 6e 61 6d 65 73 ......os.renames
2aa0: 28 65 6d 70 74 79 5f 6e 61 6d 65 2c 20 74 65 6d (empty_name, tem
2ab0: 70 5f 6e 61 6d 65 29 0a 09 09 09 09 09 74 65 6d p_name)......tem
2ac0: 70 5f 66 69 6c 65 20 3d 20 6f 70 65 6e 28 74 65 p_file = open(te
2ad0: 6d 70 5f 6e 61 6d 65 2c 20 27 72 2b 62 27 29 0a mp_name, 'r+b').
2ae0: 09 09 09 09 09 69 66 20 72 65 71 75 65 73 74 65 .....if requeste
2af0: 64 5f 72 61 6e 67 65 73 20 3d 3d 20 4e 6f 6e 65 d_ranges == None
2b00: 20 61 6e 64 20 6e 65 65 64 65 64 20 3d 3d 20 4e and needed == N
2b10: 6f 6e 65 3a 0a 09 09 09 09 09 09 6e 65 65 64 65 one:.......neede
2b20: 64 20 3d 20 6e 65 77 5f 72 65 63 6f 72 64 5b 27 d = new_record['
2b30: 5f 70 61 72 74 73 27 5d 0a 09 09 09 09 09 6e 65 _parts']......ne
2b40: 65 64 65 64 2e 72 65 77 69 6e 64 28 29 0a 09 09 eded.rewind()...
2b50: 09 09 09 77 68 69 6c 65 20 54 72 75 65 3a 0a 09 ...while True:..
2b60: 09 09 09 09 09 23 20 58 58 58 20 63 61 6e 20 6d .....# XXX can m
2b70: 61 6b 65 20 74 68 69 73 20 69 6d 70 6c 69 63 69 ake this implici
2b80: 74 20 2d 20 6f 6e 65 20 72 65 71 75 65 73 74 20 t - one request
2b90: 70 65 72 20 72 61 6e 67 65 0a 09 09 09 09 09 09 per range.......
2ba0: 28 73 74 61 72 74 2c 20 65 6e 64 29 20 3d 20 6e (start, end) = n
2bb0: 65 65 64 65 64 2e 70 6f 70 28 29 0a 09 09 09 09 eeded.pop().....
2bc0: 09 09 69 66 20 73 74 61 72 74 20 3d 3d 20 4e 6f ..if start == No
2bd0: 6e 65 3a 0a 09 09 09 09 09 09 09 62 72 65 61 6b ne:........break
2be0: 0a 09 09 09 09 09 09 73 74 72 65 61 6d 5f 6c 61 .......stream_la
2bf0: 73 74 20 3d 20 73 74 61 72 74 0a 09 09 09 09 09 st = start......
2c00: 09 6f 6c 64 5f 72 65 63 6f 72 64 20 3d 20 63 6f .old_record = co
2c10: 70 79 2e 63 6f 70 79 28 6e 65 77 5f 72 65 63 6f py.copy(new_reco
2c20: 72 64 29 0a 09 09 09 09 09 09 69 66 20 65 6e 64 rd).......if end
2c30: 20 2d 20 73 74 61 72 74 20 3c 20 62 6c 6f 63 6b - start < block
2c40: 5f 73 69 7a 65 3a 0a 09 09 09 09 09 09 09 72 65 _size:........re
2c50: 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 20 3d 20 65 q_block_size = e
2c60: 6e 64 20 2d 20 73 74 61 72 74 0a 09 09 09 09 09 nd - start......
2c70: 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 09 72 65 .else:........re
2c80: 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 20 3d 20 62 q_block_size = b
2c90: 6c 6f 63 6b 5f 73 69 7a 65 0a 09 09 09 09 09 09 lock_size.......
2ca0: 62 75 66 66 65 72 20 3d 20 73 6f 75 72 63 65 2e buffer = source.
2cb0: 72 65 61 64 28 72 65 71 5f 62 6c 6f 63 6b 5f 73 read(req_block_s
2cc0: 69 7a 65 29 0a 09 09 09 09 09 09 6c 65 6e 67 74 ize).......lengt
2cd0: 68 20 3d 20 6c 65 6e 28 62 75 66 66 65 72 29 0a h = len(buffer).
2ce0: 09 09 09 09 09 09 77 68 69 6c 65 20 6c 65 6e 67 ......while leng
2cf0: 74 68 20 3e 20 30 20 61 6e 64 20 73 74 72 65 61 th > 0 and strea
2d00: 6d 5f 6c 61 73 74 20 3c 20 65 6e 64 3a 0a 09 09 m_last < end:...
2d10: 09 09 09 09 09 73 74 72 65 61 6d 5f 70 6f 73 20 .....stream_pos
2d20: 3d 20 73 74 72 65 61 6d 5f 6c 61 73 74 20 2b 20 = stream_last +
2d30: 6c 65 6e 67 74 68 0a 09 09 09 09 09 09 09 61 73 length........as
2d40: 73 65 72 74 20 73 74 72 65 61 6d 5f 70 6f 73 20 sert stream_pos
2d50: 3c 3d 20 65 6e 64 2c 20 27 52 65 63 65 69 76 65 <= end, 'Receive
2d60: 64 20 6d 6f 72 65 20 64 61 74 61 20 74 68 65 6e d more data then
2d70: 20 72 65 71 75 65 73 74 65 64 3a 20 70 6f 73 3a requested: pos:
2d80: 7b 7d 20 73 74 61 72 74 3a 7b 7d 20 65 6e 64 3a {} start:{} end:
2d90: 7b 7d 2e 27 2e 66 6f 72 6d 61 74 28 73 74 72 65 {}.'.format(stre
2da0: 61 6d 5f 70 6f 73 2c 20 73 74 61 72 74 2c 20 65 am_pos, start, e
2db0: 6e 64 29 0a 09 09 09 09 09 09 09 74 65 6d 70 5f nd)........temp_
2dc0: 66 69 6c 65 2e 73 65 65 6b 28 73 74 72 65 61 6d file.seek(stream
2dd0: 5f 6c 61 73 74 29 0a 09 09 09 09 09 09 09 74 65 _last)........te
2de0: 6d 70 5f 66 69 6c 65 2e 77 72 69 74 65 28 62 75 mp_file.write(bu
2df0: 66 66 65 72 29 0a 09 09 09 09 09 09 09 78 20 3d ffer)........x =
2e00: 20 6e 65 77 5f 72 65 63 6f 72 64 5b 27 5f 70 61 new_record['_pa
2e10: 72 74 73 27 5d 20 2d 20 73 70 61 63 65 6d 61 70 rts'] - spacemap
2e20: 2e 53 70 61 63 65 4d 61 70 28 7b 73 74 72 65 61 .SpaceMap({strea
2e30: 6d 5f 6c 61 73 74 3a 20 73 74 72 65 61 6d 5f 70 m_last: stream_p
2e40: 6f 73 7d 29 0a 09 09 09 09 09 09 09 6e 65 77 5f os})........new_
2e50: 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d record['_parts']
2e60: 20 3d 20 6e 65 77 5f 72 65 63 6f 72 64 5b 27 5f = new_record['_
2e70: 70 61 72 74 73 27 5d 20 2d 20 73 70 61 63 65 6d parts'] - spacem
2e80: 61 70 2e 53 70 61 63 65 4d 61 70 28 7b 73 74 72 ap.SpaceMap({str
2e90: 65 61 6d 5f 6c 61 73 74 3a 20 73 74 72 65 61 6d eam_last: stream
2ea0: 5f 70 6f 73 7d 29 0a 09 09 09 09 09 09 09 69 6e _pos})........in
2eb0: 64 65 78 5b 6d 79 5f 70 61 74 68 5f 62 5d 20 3d dex[my_path_b] =
2ec0: 20 6f 6c 64 5f 72 65 63 6f 72 64 0a 09 09 09 09 old_record.....
2ed0: 09 09 09 69 6e 64 65 78 2e 73 79 6e 63 28 29 0a ...index.sync().
2ee0: 09 09 09 09 09 09 09 6f 6c 64 5f 72 65 63 6f 72 .......old_recor
2ef0: 64 20 3d 20 63 6f 70 79 2e 63 6f 70 79 28 6e 65 d = copy.copy(ne
2f00: 77 5f 72 65 63 6f 72 64 29 0a 09 09 09 09 09 09 w_record).......
2f10: 09 73 74 72 65 61 6d 5f 6c 61 73 74 20 3d 20 73 .stream_last = s
2f20: 74 72 65 61 6d 5f 70 6f 73 0a 09 09 09 09 09 09 tream_pos.......
2f30: 09 69 66 20 65 6e 64 20 2d 20 73 74 72 65 61 6d .if end - stream
2f40: 5f 6c 61 73 74 20 3c 20 62 6c 6f 63 6b 5f 73 69 _last < block_si
2f50: 7a 65 3a 0a 09 09 09 09 09 09 09 09 72 65 71 5f ze:.........req_
2f60: 62 6c 6f 63 6b 5f 73 69 7a 65 20 3d 20 65 6e 64 block_size = end
2f70: 20 2d 20 73 74 72 65 61 6d 5f 6c 61 73 74 0a 09 - stream_last..
2f80: 09 09 09 09 09 09 62 75 66 66 65 72 20 3d 20 73 ......buffer = s
2f90: 6f 75 72 63 65 2e 72 65 61 64 28 72 65 71 5f 62 ource.read(req_b
2fa0: 6c 6f 63 6b 5f 73 69 7a 65 29 0a 09 09 09 09 09 lock_size)......
2fb0: 09 09 6c 65 6e 67 74 68 20 3d 20 6c 65 6e 28 62 ..length = len(b
2fc0: 75 66 66 65 72 29 0a 09 09 09 09 09 23 20 6d 6f uffer)......# mo
2fd0: 76 69 6e 67 20 64 6f 77 6e 6c 6f 61 64 65 64 20 ving downloaded
2fe0: 64 61 74 61 20 74 6f 20 72 65 61 6c 20 66 69 6c data to real fil
2ff0: 65 0a 09 09 09 09 09 74 65 6d 70 5f 66 69 6c 65 e......temp_file
3000: 2e 63 6c 6f 73 65 28 29 0a 0a 09 09 09 09 69 6e .close()......in
3010: 64 65 78 5b 6d 79 5f 70 61 74 68 5f 62 5d 20 3d dex[my_path_b] =
3020: 20 6e 65 77 5f 72 65 63 6f 72 64 0a 09 09 09 09 new_record.....
3030: 69 6e 64 65 78 2e 73 79 6e 63 28 29 0a 0a 09 09 index.sync()....
3040: 09 65 78 63 65 70 74 20 75 72 6c 6c 69 62 2e 65 .except urllib.e
3050: 72 72 6f 72 2e 48 54 54 50 45 72 72 6f 72 20 61 rror.HTTPError a
3060: 73 20 65 72 72 6f 72 3a 0a 09 09 09 09 23 20 69 s error:.....# i
3070: 6e 20 63 61 73 65 20 6f 66 20 65 72 72 6f 72 20 n case of error
3080: 77 65 20 64 6f 6e 27 74 20 6e 65 65 64 20 74 6f we don't need to
3090: 20 64 6f 20 61 6e 79 74 68 69 6e 67 20 61 63 74 do anything act
30a0: 75 61 6c 6c 79 2c 0a 09 09 09 09 23 20 69 66 20 ually,.....# if
30b0: 66 69 6c 65 20 64 6f 77 6e 6c 6f 61 64 20 73 74 file download st
30c0: 61 6c 6c 73 20 6f 72 20 66 61 69 6c 73 20 74 68 alls or fails th
30d0: 65 20 66 69 6c 65 20 77 6f 75 6c 64 20 6e 6f 74 e file would not
30e0: 20 62 65 20 6d 6f 76 65 64 20 74 6f 20 69 74 27 be moved to it'
30f0: 73 20 6c 6f 63 61 74 69 6f 6e 0a 09 09 09 09 73 s location.....s
3100: 65 6c 66 2e 73 65 6e 64 5f 72 65 73 70 6f 6e 73 elf.send_respons
3110: 65 28 65 72 72 6f 72 2e 63 6f 64 65 29 0a 09 09 e(error.code)...
3120: 09 09 73 65 6c 66 2e 65 6e 64 5f 68 65 61 64 65 ..self.end_heade
3130: 72 73 28 29 0a 09 09 09 09 70 72 69 6e 74 28 65 rs().....print(e
3140: 72 72 6f 72 2c 20 72 65 70 72 28 6d 79 5f 68 65 rror, repr(my_he
3150: 61 64 65 72 73 29 29 0a 09 09 09 09 72 65 74 75 aders)).....retu
3160: 72 6e 0a 0a 09 09 70 72 69 6e 74 28 69 6e 64 65 rn....print(inde
3170: 78 5b 6d 79 5f 70 61 74 68 5f 62 5d 29 0a 0a 09 x[my_path_b])...
3180: 09 69 66 20 6e 6f 74 20 6f 73 2e 61 63 63 65 73 .if not os.acces
3190: 73 28 66 69 6c 65 5f 6e 61 6d 65 2c 20 6f 73 2e s(file_name, os.
31a0: 52 5f 4f 4b 29 20 61 6e 64 20 6f 73 2e 61 63 63 R_OK) and os.acc
31b0: 65 73 73 28 74 65 6d 70 5f 6e 61 6d 65 2c 20 6f ess(temp_name, o
31c0: 73 2e 52 5f 4f 4b 29 20 61 6e 64 20 27 5f 70 61 s.R_OK) and '_pa
31d0: 72 74 73 27 20 69 6e 20 69 6e 64 65 78 5b 6d 79 rts' in index[my
31e0: 5f 70 61 74 68 5f 62 5d 20 61 6e 64 20 69 6e 64 _path_b] and ind
31f0: 65 78 5b 6d 79 5f 70 61 74 68 5f 62 5d 5b 27 5f ex[my_path_b]['_
3200: 70 61 72 74 73 27 5d 20 3d 3d 20 73 70 61 63 65 parts'] == space
3210: 6d 61 70 2e 53 70 61 63 65 4d 61 70 28 29 3a 0a map.SpaceMap():.
3220: 09 09 09 23 20 6a 75 73 74 20 6d 6f 76 69 6e 67 ...# just moving
3230: 0a 09 09 09 23 20 64 72 6f 70 20 6f 6c 64 20 64 ....# drop old d
3240: 69 72 73 20 58 58 58 0a 09 09 09 70 72 69 6e 74 irs XXX....print
3250: 28 27 4d 6f 76 69 6e 67 20 74 65 6d 70 6f 72 61 ('Moving tempora
3260: 72 79 20 66 69 6c 65 20 74 6f 20 6e 65 77 20 64 ry file to new d
3270: 65 73 74 69 6e 61 74 69 6f 6e 2e 27 29 0a 09 09 estination.')...
3280: 09 6f 73 2e 72 65 6e 61 6d 65 73 28 74 65 6d 70 .os.renames(temp
3290: 5f 6e 61 6d 65 2c 20 66 69 6c 65 5f 6e 61 6d 65 _name, file_name
32a0: 29 0a 0a 09 09 69 66 20 6e 6f 74 20 6d 79 5f 70 )....if not my_p
32b0: 61 74 68 5f 62 20 69 6e 20 69 6e 64 65 78 3a 0a ath_b in index:.
32c0: 09 09 09 73 65 6c 66 2e 73 65 6e 64 5f 72 65 73 ...self.send_res
32d0: 70 6f 6e 73 65 28 35 30 32 29 0a 09 09 09 73 65 ponse(502)....se
32e0: 6c 66 2e 65 6e 64 5f 68 65 61 64 65 72 73 28 29 lf.end_headers()
32f0: 0a 09 09 09 72 65 74 75 72 6e 0a 0a 09 09 69 66 ....return....if
3300: 20 73 65 6c 66 2e 63 6f 6d 6d 61 6e 64 20 3d 3d self.command ==
3310: 20 27 48 45 41 44 27 3a 0a 09 09 09 73 65 6c 66 'HEAD':....self
3320: 2e 73 65 6e 64 5f 72 65 73 70 6f 6e 73 65 28 32 .send_response(2
3330: 30 30 29 0a 09 09 09 69 66 20 27 43 6f 6e 74 65 00)....if 'Conte
3340: 6e 74 2d 4c 65 6e 67 74 68 27 20 69 6e 20 69 6e nt-Length' in in
3350: 64 65 78 5b 6d 79 5f 70 61 74 68 5f 62 5d 3a 0a dex[my_path_b]:.
3360: 09 09 09 09 73 65 6c 66 2e 73 65 6e 64 5f 68 65 ....self.send_he
3370: 61 64 65 72 28 27 43 6f 6e 74 65 6e 74 2d 4c 65 ader('Content-Le
3380: 6e 67 74 68 27 2c 20 69 6e 64 65 78 5b 6d 79 5f ngth', index[my_
3390: 70 61 74 68 5f 62 5d 5b 27 43 6f 6e 74 65 6e 74 path_b]['Content
33a0: 2d 4c 65 6e 67 74 68 27 5d 29 0a 09 09 09 73 65 -Length'])....se
33b0: 6c 66 2e 73 65 6e 64 5f 68 65 61 64 65 72 28 27 lf.send_header('
33c0: 41 63 63 65 70 74 2d 52 61 6e 67 65 73 27 2c 20 Accept-Ranges',
33d0: 27 62 79 74 65 73 27 29 0a 09 09 09 73 65 6c 66 'bytes')....self
33e0: 2e 73 65 6e 64 5f 68 65 61 64 65 72 28 27 43 6f .send_header('Co
33f0: 6e 74 65 6e 74 2d 54 79 70 65 27 2c 20 27 61 70 ntent-Type', 'ap
3400: 70 6c 69 63 61 74 69 6f 6e 2f 6f 63 74 65 74 2d plication/octet-
3410: 73 74 72 65 61 6d 27 29 0a 09 09 09 69 66 20 27 stream')....if '
3420: 4c 61 73 74 2d 4d 6f 64 69 66 69 65 64 27 20 69 Last-Modified' i
3430: 6e 20 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5f n index[my_path_
3440: 62 5d 3a 0a 09 09 09 09 73 65 6c 66 2e 73 65 6e b]:.....self.sen
3450: 64 5f 68 65 61 64 65 72 28 27 4c 61 73 74 2d 4d d_header('Last-M
3460: 6f 64 69 66 69 65 64 27 2c 20 69 6e 64 65 78 5b odified', index[
3470: 6d 79 5f 70 61 74 68 5f 62 5d 5b 27 4c 61 73 74 my_path_b]['Last
3480: 2d 4d 6f 64 69 66 69 65 64 27 5d 29 0a 09 09 09 -Modified'])....
3490: 73 65 6c 66 2e 65 6e 64 5f 68 65 61 64 65 72 73 self.end_headers
34a0: 28 29 0a 09 09 65 6c 73 65 3a 0a 09 09 09 69 66 ()...else:....if
34b0: 20 28 27 5f 70 61 72 74 73 27 20 69 6e 20 69 6e ('_parts' in in
34c0: 64 65 78 5b 6d 79 5f 70 61 74 68 5f 62 5d 20 61 dex[my_path_b] a
34d0: 6e 64 20 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 nd index[my_path
34e0: 5f 62 5d 5b 27 5f 70 61 72 74 73 27 5d 20 21 3d _b]['_parts'] !=
34f0: 20 73 70 61 63 65 6d 61 70 2e 53 70 61 63 65 4d spacemap.SpaceM
3500: 61 70 28 29 29 20 6f 72 20 6e 6f 74 20 6f 73 2e ap()) or not os.
3510: 61 63 63 65 73 73 28 66 69 6c 65 5f 6e 61 6d 65 access(file_name
3520: 2c 20 6f 73 2e 52 5f 4f 4b 29 3a 0a 09 09 09 09 , os.R_OK):.....
3530: 66 69 6c 65 5f 6e 61 6d 65 20 3d 20 74 65 6d 70 file_name = temp
3540: 5f 6e 61 6d 65 0a 0a 09 09 09 77 69 74 68 20 6f _name.....with o
3550: 70 65 6e 28 66 69 6c 65 5f 6e 61 6d 65 2c 20 27 pen(file_name, '
3560: 72 62 27 29 20 61 73 20 72 65 61 6c 5f 66 69 6c rb') as real_fil
3570: 65 3a 0a 09 09 09 09 66 69 6c 65 5f 73 74 61 74 e:.....file_stat
3580: 20 3d 20 6f 73 2e 73 74 61 74 28 66 69 6c 65 5f = os.stat(file_
3590: 6e 61 6d 65 29 0a 09 09 09 09 69 66 20 27 52 61 name).....if 'Ra
35a0: 6e 67 65 27 20 69 6e 20 73 65 6c 66 2e 68 65 61 nge' in self.hea
35b0: 64 65 72 73 3a 0a 09 09 09 09 09 73 65 6c 66 2e ders:......self.
35c0: 73 65 6e 64 5f 72 65 73 70 6f 6e 73 65 28 32 30 send_response(20
35d0: 36 29 0a 09 09 09 09 09 72 61 6e 67 65 73 20 3d 6)......ranges =
35e0: 20 28 29 0a 09 09 09 09 09 72 65 71 75 65 73 74 ()......request
35f0: 65 64 5f 72 61 6e 67 65 73 2e 72 65 77 69 6e 64 ed_ranges.rewind
3600: 28 29 0a 09 09 09 09 09 77 68 69 6c 65 20 54 72 ()......while Tr
3610: 75 65 3a 0a 09 09 09 09 09 09 70 61 69 72 20 3d ue:.......pair =
3620: 20 72 65 71 75 65 73 74 65 64 5f 72 61 6e 67 65 requested_range
3630: 73 2e 70 6f 70 28 29 0a 09 09 09 09 09 09 69 66 s.pop().......if
3640: 20 70 61 69 72 5b 30 5d 20 3d 3d 20 4e 6f 6e 65 pair[0] == None
3650: 3a 0a 09 09 09 09 09 09 09 62 72 65 61 6b 0a 09 :........break..
3660: 09 09 09 09 09 72 61 6e 67 65 73 20 2b 3d 20 27 .....ranges += '
3670: 7b 7d 2d 7b 7d 27 2e 66 6f 72 6d 61 74 28 70 61 {}-{}'.format(pa
3680: 69 72 5b 30 5d 2c 20 73 74 72 28 70 61 69 72 5b ir[0], str(pair[
3690: 31 5d 20 2d 20 31 29 29 2c 0a 09 09 09 09 09 73 1] - 1)),......s
36a0: 65 6c 66 2e 73 65 6e 64 5f 68 65 61 64 65 72 28 elf.send_header(
36b0: 27 43 6f 6e 74 65 6e 74 2d 52 61 6e 67 65 27 2c 'Content-Range',
36c0: 20 27 62 79 74 65 73 20 7b 7d 2f 7b 7d 27 2e 66 'bytes {}/{}'.f
36d0: 6f 72 6d 61 74 28 27 2c 27 2e 6a 6f 69 6e 28 72 ormat(','.join(r
36e0: 61 6e 67 65 73 29 2c 20 69 6e 64 65 78 5b 6d 79 anges), index[my
36f0: 5f 70 61 74 68 5f 62 5d 5b 27 43 6f 6e 74 65 6e _path_b]['Conten
3700: 74 2d 4c 65 6e 67 74 68 27 5d 29 29 0a 09 09 09 t-Length']))....
3710: 09 65 6c 73 65 3a 0a 09 09 09 09 09 73 65 6c 66 .else:......self
3720: 2e 73 65 6e 64 5f 72 65 73 70 6f 6e 73 65 28 32 .send_response(2
3730: 30 30 29 0a 09 09 09 09 09 73 65 6c 66 2e 73 65 00)......self.se
3740: 6e 64 5f 68 65 61 64 65 72 28 27 43 6f 6e 74 65 nd_header('Conte
3750: 6e 74 2d 4c 65 6e 67 74 68 27 2c 20 73 74 72 28 nt-Length', str(
3760: 66 69 6c 65 5f 73 74 61 74 2e 73 74 5f 73 69 7a file_stat.st_siz
3770: 65 29 29 0a 09 09 09 09 09 72 65 71 75 65 73 74 e))......request
3780: 65 64 5f 72 61 6e 67 65 73 20 3d 20 73 70 61 63 ed_ranges = spac
3790: 65 6d 61 70 2e 53 70 61 63 65 4d 61 70 28 7b 30 emap.SpaceMap({0
37a0: 3a 20 66 69 6c 65 5f 73 74 61 74 2e 73 74 5f 73 : file_stat.st_s
37b0: 69 7a 65 7d 29 0a 09 09 09 09 69 66 20 27 4c 61 ize}).....if 'La
37c0: 73 74 2d 4d 6f 64 69 66 69 65 64 27 20 69 6e 20 st-Modified' in
37d0: 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5f 62 5d index[my_path_b]
37e0: 3a 0a 09 09 09 09 09 73 65 6c 66 2e 73 65 6e 64 :......self.send
37f0: 5f 68 65 61 64 65 72 28 27 4c 61 73 74 2d 4d 6f _header('Last-Mo
3800: 64 69 66 69 65 64 27 2c 20 69 6e 64 65 78 5b 6d dified', index[m
3810: 79 5f 70 61 74 68 5f 62 5d 5b 27 4c 61 73 74 2d y_path_b]['Last-
3820: 4d 6f 64 69 66 69 65 64 27 5d 29 0a 09 09 09 09 Modified']).....
3830: 73 65 6c 66 2e 73 65 6e 64 5f 68 65 61 64 65 72 self.send_header
3840: 28 27 43 6f 6e 74 65 6e 74 2d 54 79 70 65 27 2c ('Content-Type',
3850: 20 27 61 70 70 6c 69 63 61 74 69 6f 6e 2f 6f 63 'application/oc
3860: 74 65 74 2d 73 74 72 65 61 6d 27 29 0a 09 09 09 tet-stream')....
3870: 09 73 65 6c 66 2e 65 6e 64 5f 68 65 61 64 65 72 .self.end_header
3880: 73 28 29 0a 09 09 09 09 69 66 20 73 65 6c 66 2e s().....if self.
3890: 63 6f 6d 6d 61 6e 64 20 69 6e 20 28 27 47 45 54 command in ('GET
38a0: 27 29 3a 0a 09 09 09 09 09 69 66 20 6c 65 6e 28 '):......if len(
38b0: 72 65 71 75 65 73 74 65 64 5f 72 61 6e 67 65 73 requested_ranges
38c0: 29 20 3e 20 30 3a 0a 09 09 09 09 09 09 72 65 71 ) > 0:.......req
38d0: 75 65 73 74 65 64 5f 72 61 6e 67 65 73 2e 72 65 uested_ranges.re
38e0: 77 69 6e 64 28 29 0a 09 09 09 09 09 09 28 73 74 wind().......(st
38f0: 61 72 74 2c 20 65 6e 64 29 20 3d 20 72 65 71 75 art, end) = requ
3900: 65 73 74 65 64 5f 72 61 6e 67 65 73 2e 70 6f 70 ested_ranges.pop
3910: 28 29 0a 09 09 09 09 09 65 6c 73 65 3a 0a 09 09 ()......else:...
3920: 09 09 09 09 73 74 61 72 74 20 3d 20 30 0a 09 09 ....start = 0...
3930: 09 09 09 09 23 20 58 58 58 20 75 67 6c 79 20 68 ....# XXX ugly h
3940: 61 63 6b 0a 09 09 09 09 09 09 69 66 20 27 43 6f ack.......if 'Co
3950: 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 20 69 6e ntent-Length' in
3960: 20 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5f 62 index[my_path_b
3970: 5d 3a 0a 09 09 09 09 09 09 09 65 6e 64 20 3d 20 ]:........end =
3980: 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5f 62 5d index[my_path_b]
3990: 5b 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 ['Content-Length
39a0: 27 5d 0a 09 09 09 09 09 09 65 6c 73 65 3a 0a 09 '].......else:..
39b0: 09 09 09 09 09 09 65 6e 64 20 3d 20 30 0a 09 09 ......end = 0...
39c0: 09 09 09 72 65 61 6c 5f 66 69 6c 65 2e 73 65 65 ...real_file.see
39d0: 6b 28 73 74 61 72 74 29 0a 09 09 09 09 09 69 66 k(start)......if
39e0: 20 62 6c 6f 63 6b 5f 73 69 7a 65 20 3e 20 65 6e block_size > en
39f0: 64 20 2d 20 73 74 61 72 74 3a 0a 09 09 09 09 09 d - start:......
3a00: 09 72 65 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 20 .req_block_size
3a10: 3d 20 65 6e 64 20 2d 20 73 74 61 72 74 0a 09 09 = end - start...
3a20: 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 72 ...else:.......r
3a30: 65 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 20 3d 20 eq_block_size =
3a40: 62 6c 6f 63 6b 5f 73 69 7a 65 0a 09 09 09 09 09 block_size......
3a50: 62 75 66 66 65 72 20 3d 20 72 65 61 6c 5f 66 69 buffer = real_fi
3a60: 6c 65 2e 72 65 61 64 28 72 65 71 5f 62 6c 6f 63 le.read(req_bloc
3a70: 6b 5f 73 69 7a 65 29 0a 09 09 09 09 09 6c 65 6e k_size)......len
3a80: 67 74 68 20 3d 20 6c 65 6e 28 62 75 66 66 65 72 gth = len(buffer
3a90: 29 0a 09 09 09 09 09 77 68 69 6c 65 20 6c 65 6e )......while len
3aa0: 67 74 68 20 3e 20 30 3a 0a 09 09 09 09 09 09 73 gth > 0:.......s
3ab0: 65 6c 66 2e 77 66 69 6c 65 2e 77 72 69 74 65 28 elf.wfile.write(
3ac0: 62 75 66 66 65 72 29 0a 09 09 09 09 09 09 73 74 buffer).......st
3ad0: 61 72 74 20 2b 3d 20 6c 65 6e 28 62 75 66 66 65 art += len(buffe
3ae0: 72 29 0a 09 09 09 09 09 09 69 66 20 72 65 71 5f r).......if req_
3af0: 62 6c 6f 63 6b 5f 73 69 7a 65 20 3e 20 65 6e 64 block_size > end
3b00: 20 2d 20 73 74 61 72 74 3a 0a 09 09 09 09 09 09 - start:.......
3b10: 09 72 65 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 20 .req_block_size
3b20: 3d 20 65 6e 64 20 2d 20 73 74 61 72 74 0a 09 09 = end - start...
3b30: 09 09 09 09 69 66 20 72 65 71 5f 62 6c 6f 63 6b ....if req_block
3b40: 5f 73 69 7a 65 20 3d 3d 20 30 3a 0a 09 09 09 09 _size == 0:.....
3b50: 09 09 09 62 72 65 61 6b 0a 09 09 09 09 09 09 62 ...break.......b
3b60: 75 66 66 65 72 20 3d 20 72 65 61 6c 5f 66 69 6c uffer = real_fil
3b70: 65 2e 72 65 61 64 28 72 65 71 5f 62 6c 6f 63 6b e.read(req_block
3b80: 5f 73 69 7a 65 29 0a 09 09 09 09 09 09 6c 65 6e _size).......len
3b90: 67 74 68 20 3d 20 6c 65 6e 28 62 75 66 66 65 72 gth = len(buffer
3ba0: 29 0a 09 09 09 09 0a 09 64 65 66 20 64 6f 5f 48 ).......def do_H
3bb0: 45 41 44 28 73 65 6c 66 29 3a 0a 09 09 72 65 74 EAD(self):...ret
3bc0: 75 72 6e 20 73 65 6c 66 2e 5f 5f 70 72 6f 63 65 urn self.__proce
3bd0: 73 73 28 29 0a 09 64 65 66 20 64 6f 5f 47 45 54 ss()..def do_GET
3be0: 28 73 65 6c 66 29 3a 0a 09 09 72 65 74 75 72 6e (self):...return
3bf0: 20 73 65 6c 66 2e 5f 5f 70 72 6f 63 65 73 73 28 self.__process(
3c00: 29 0a 0a 73 65 72 76 65 72 20 3d 20 68 74 74 70 )..server = http
3c10: 2e 73 65 72 76 65 72 2e 48 54 54 50 53 65 72 76 .server.HTTPServ
3c20: 65 72 28 28 27 31 32 37 2e 30 2e 30 2e 31 27 2c er(('127.0.0.1',
3c30: 20 69 6e 74 28 63 6f 6e 66 69 67 5b 27 44 45 46 int(config['DEF
3c40: 41 55 4c 54 27 5d 5b 27 70 6f 72 74 27 5d 29 29 AULT']['port']))
3c50: 2c 20 4d 79 52 65 71 75 65 73 74 48 61 6e 64 6c , MyRequestHandl
3c60: 65 72 29 0a 73 65 72 76 65 72 2e 73 65 72 76 65 er).server.serve
3c70: 5f 66 6f 72 65 76 65 72 28 29 0a 0a 23 67 65 76 _forever()..#gev
3c80: 65 6e 74 2e 6a 6f 69 6e 61 6c 6c 28 29 0a ent.joinall().