0000: 23 21 2f 75 73 72 2f 62 69 6e 2f 65 6e 76 20 70 #!/usr/bin/env p
0010: 79 74 68 6f 6e 33 2e 32 0a 0a 69 6d 70 6f 72 74 ython3.2..import
0020: 20 61 72 67 70 61 72 73 65 2c 20 6f 73 0a 70 61 argparse, os.pa
0030: 72 73 65 72 20 3d 20 61 72 67 70 61 72 73 65 2e rser = argparse.
0040: 41 72 67 75 6d 65 6e 74 50 61 72 73 65 72 28 29 ArgumentParser()
0050: 0a 70 61 72 73 65 72 2e 61 64 64 5f 61 72 67 75 .parser.add_argu
0060: 6d 65 6e 74 28 27 2d 63 27 2c 20 27 2d 2d 63 6f ment('-c', '--co
0070: 6e 66 69 67 27 2c 20 64 65 73 74 20 3d 20 27 63 nfig', dest = 'c
0080: 6f 6e 66 69 67 27 2c 20 68 65 6c 70 20 3d 20 27 onfig', help = '
0090: 63 6f 6e 66 69 67 20 66 69 6c 65 20 6c 6f 63 61 config file loca
00a0: 74 69 6f 6e 27 2c 20 6d 65 74 61 76 61 72 20 3d tion', metavar =
00b0: 20 27 46 49 4c 45 27 2c 20 64 65 66 61 75 6c 74 'FILE', default
00c0: 20 3d 20 27 73 61 6d 65 73 69 74 65 2e 63 6f 6e = 'samesite.con
00d0: 66 27 29 0a 61 72 67 73 20 3d 20 70 61 72 73 65 f').args = parse
00e0: 72 2e 70 61 72 73 65 5f 61 72 67 73 28 29 0a 61 r.parse_args().a
00f0: 73 73 65 72 74 20 6f 73 2e 61 63 63 65 73 73 28 ssert os.access(
0100: 61 72 67 73 2e 63 6f 6e 66 69 67 2c 20 6f 73 2e args.config, os.
0110: 52 5f 4f 4b 29 2c 20 22 46 61 74 61 6c 20 65 72 R_OK), "Fatal er
0120: 72 6f 72 3a 20 63 61 6e 27 74 20 72 65 61 64 20 ror: can't read
0130: 7b 7d 22 2e 66 6f 72 6d 61 74 28 61 72 67 73 2e {}".format(args.
0140: 63 6f 6e 66 69 67 29 0a 0a 69 6d 70 6f 72 74 20 config)..import
0150: 63 6f 6e 66 69 67 70 61 72 73 65 72 0a 63 6f 6e configparser.con
0160: 66 69 67 20 3d 20 63 6f 6e 66 69 67 70 61 72 73 fig = configpars
0170: 65 72 2e 43 6f 6e 66 69 67 50 61 72 73 65 72 28 er.ConfigParser(
0180: 7b 0a 09 27 70 6f 72 74 27 3a 20 27 38 30 30 38 {..'port': '8008
0190: 27 2c 0a 09 27 76 65 72 62 6f 73 65 27 3a 20 27 ',..'verbose': '
01a0: 6e 6f 27 2c 0a 09 27 6e 6f 65 74 61 67 27 3a 20 no',..'noetag':
01b0: 27 6e 6f 27 2c 0a 09 27 6e 6f 70 61 72 74 73 27 'no',..'noparts'
01c0: 3a 20 27 6e 6f 27 2c 0a 09 27 73 74 72 69 70 27 : 'no',..'strip'
01d0: 3a 20 27 27 2c 0a 09 27 73 75 62 27 3a 20 27 27 : '',..'sub': ''
01e0: 2c 0a 09 27 70 72 6f 74 6f 27 3a 20 27 68 74 74 ,..'proto': 'htt
01f0: 70 27 2c 0a 7d 29 0a 63 6f 6e 66 69 67 2e 72 65 p',.}).config.re
0200: 61 64 28 61 72 67 73 2e 63 6f 6e 66 69 67 29 0a ad(args.config).
0210: 0a 63 61 63 68 65 5f 64 69 72 20 3d 20 6f 73 2e .cache_dir = os.
0220: 70 61 74 68 2e 72 65 61 6c 70 61 74 68 28 6f 73 path.realpath(os
0230: 2e 70 61 74 68 2e 64 69 72 6e 61 6d 65 28 61 72 .path.dirname(ar
0240: 67 73 2e 63 6f 6e 66 69 67 29 29 0a 0a 69 6d 70 gs.config))..imp
0250: 6f 72 74 20 72 65 0a 66 6f 72 20 73 65 63 74 69 ort re.for secti
0260: 6f 6e 20 69 6e 20 63 6f 6e 66 69 67 2e 73 65 63 on in config.sec
0270: 74 69 6f 6e 73 28 29 3a 0a 09 69 66 20 73 65 63 tions():..if sec
0280: 74 69 6f 6e 20 21 3d 20 27 44 45 46 41 55 4c 54 tion != 'DEFAULT
0290: 27 3a 0a 09 09 69 66 20 27 64 69 72 27 20 69 6e ':...if 'dir' in
02a0: 20 63 6f 6e 66 69 67 5b 73 65 63 74 69 6f 6e 5d config[section]
02b0: 3a 0a 09 09 09 69 66 20 6e 6f 74 20 72 65 2e 63 :....if not re.c
02c0: 6f 6d 70 69 6c 65 28 27 5e 2f 2e 2a 27 29 2e 6d ompile('^/.*').m
02d0: 61 74 63 68 28 63 6f 6e 66 69 67 5b 73 65 63 74 atch(config[sect
02e0: 69 6f 6e 5d 5b 27 64 69 72 27 5d 29 3a 0a 09 09 ion]['dir']):...
02f0: 09 09 63 6f 6e 66 69 67 5b 73 65 63 74 69 6f 6e ..config[section
0300: 5d 5b 27 64 69 72 27 5d 20 3d 20 63 61 63 68 65 ]['dir'] = cache
0310: 5f 64 69 72 20 2b 20 6f 73 2e 73 65 70 20 2b 20 _dir + os.sep +
0320: 73 65 63 74 69 6f 6e 0a 09 09 09 74 68 69 73 44 section....thisD
0330: 69 72 20 3d 20 72 65 2e 63 6f 6d 70 69 6c 65 28 ir = re.compile(
0340: 27 5e 28 2e 2a 29 2f 24 27 29 2e 6d 61 74 63 68 '^(.*)/$').match
0350: 28 63 6f 6e 66 69 67 5b 73 65 63 74 69 6f 6e 5d (config[section]
0360: 5b 27 64 69 72 27 5d 29 0a 09 09 09 69 66 20 74 ['dir'])....if t
0370: 68 69 73 44 69 72 3a 0a 09 09 09 09 63 6f 6e 66 hisDir:.....conf
0380: 69 67 5b 73 65 63 74 69 6f 6e 5d 5b 27 64 69 72 ig[section]['dir
0390: 27 5d 20 3d 20 74 68 69 73 44 69 72 2e 67 72 6f '] = thisDir.gro
03a0: 75 70 28 31 29 0a 09 09 09 69 66 20 6e 6f 74 20 up(1)....if not
03b0: 72 65 2e 63 6f 6d 70 69 6c 65 28 27 5e 2f 28 2e re.compile('^/(.
03c0: 2a 29 24 27 29 2e 6d 61 74 63 68 28 63 6f 6e 66 *)$').match(conf
03d0: 69 67 5b 73 65 63 74 69 6f 6e 5d 5b 27 64 69 72 ig[section]['dir
03e0: 27 5d 29 3a 0a 09 09 09 09 63 6f 6e 66 69 67 5b ']):.....config[
03f0: 73 65 63 74 69 6f 6e 5d 5b 27 64 69 72 27 5d 20 section]['dir']
0400: 3d 20 63 61 63 68 65 5f 64 69 72 20 2b 20 6f 73 = cache_dir + os
0410: 2e 73 65 70 20 2b 20 63 6f 6e 66 69 67 5b 73 65 .sep + config[se
0420: 63 74 69 6f 6e 5d 5b 27 64 69 72 27 5d 0a 09 09 ction]['dir']...
0430: 65 6c 73 65 3a 0a 09 09 09 63 6f 6e 66 69 67 5b else:....config[
0440: 73 65 63 74 69 6f 6e 5d 5b 27 64 69 72 27 5d 20 section]['dir']
0450: 3d 20 63 61 63 68 65 5f 64 69 72 20 2b 20 6f 73 = cache_dir + os
0460: 2e 73 65 70 20 2b 20 73 65 63 74 69 6f 6e 0a 09 .sep + section..
0470: 09 69 66 20 6e 6f 74 20 27 72 6f 6f 74 27 20 69 .if not 'root' i
0480: 6e 20 63 6f 6e 66 69 67 5b 73 65 63 74 69 6f 6e n config[section
0490: 5d 3a 0a 09 09 09 63 6f 6e 66 69 67 5b 73 65 63 ]:....config[sec
04a0: 74 69 6f 6e 5d 5b 27 72 6f 6f 74 27 5d 20 3d 20 tion]['root'] =
04b0: 73 65 63 74 69 6f 6e 0a 0a 23 61 73 73 65 72 74 section..#assert
04c0: 20 6f 70 74 69 6f 6e 73 2e 70 6f 72 74 20 6f 72 options.port or
04d0: 20 6f 73 2e 61 63 63 65 73 73 28 6f 70 74 69 6f os.access(optio
04e0: 6e 73 2e 6c 6f 67 2c 20 6f 73 2e 52 5f 4f 4b 29 ns.log, os.R_OK)
04f0: 2c 20 27 4c 6f 67 20 66 69 6c 65 20 75 6e 72 65 , 'Log file unre
0500: 61 64 61 62 6c 65 27 0a 0a 63 6f 6e 73 74 5f 64 adable'..const_d
0510: 65 73 63 5f 66 69 65 6c 64 73 20 3d 20 73 65 74 esc_fields = set
0520: 28 5b 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 (['Content-Lengt
0530: 68 27 2c 20 27 4c 61 73 74 2d 4d 6f 64 69 66 69 h', 'Last-Modifi
0540: 65 64 27 2c 20 27 50 72 61 67 6d 61 27 5d 29 0a ed', 'Pragma']).
0550: 63 6f 6e 73 74 5f 69 67 6e 6f 72 65 5f 66 69 65 const_ignore_fie
0560: 6c 64 73 20 3d 20 73 65 74 28 5b 0a 09 27 41 63 lds = set([..'Ac
0570: 63 65 70 74 2d 52 61 6e 67 65 73 27 2c 20 27 41 cept-Ranges', 'A
0580: 67 65 27 2c 0a 09 27 43 61 63 68 65 2d 43 6f 6e ge',..'Cache-Con
0590: 74 72 6f 6c 27 2c 20 27 43 6f 6e 6e 65 63 74 69 trol', 'Connecti
05a0: 6f 6e 27 2c 20 27 43 6f 6e 74 65 6e 74 2d 54 79 on', 'Content-Ty
05b0: 70 65 27 2c 0a 09 27 44 61 74 65 27 2c 0a 09 27 pe',..'Date',..'
05c0: 45 78 70 69 72 65 73 27 2c 0a 09 27 52 65 66 65 Expires',..'Refe
05d0: 72 65 72 27 2c 0a 09 27 53 65 72 76 65 72 27 2c rer',..'Server',
05e0: 0a 09 27 56 69 61 27 2c 0a 09 27 58 2d 43 61 63 ..'Via',..'X-Cac
05f0: 68 65 27 2c 20 27 58 2d 43 61 63 68 65 2d 4c 6f he', 'X-Cache-Lo
0600: 6f 6b 75 70 27 2c 20 27 58 2d 4c 69 76 65 74 6f okup', 'X-Liveto
0610: 6f 6c 27 2c 20 27 58 2d 50 6f 77 65 72 65 64 2d ol', 'X-Powered-
0620: 42 79 27 2c 0a 5d 29 0a 0a 62 6c 6f 63 6b 5f 73 By',.])..block_s
0630: 69 7a 65 20 3d 20 38 31 39 32 0a 0a 69 6d 70 6f ize = 8192..impo
0640: 72 74 20 62 73 64 64 62 33 2e 64 62 73 68 65 6c rt bsddb3.dbshel
0650: 76 65 2c 20 63 6f 70 79 2c 20 64 61 74 65 74 69 ve, copy, dateti
0660: 6d 65 2c 20 68 74 74 70 2e 73 65 72 76 65 72 2c me, http.server,
0670: 20 73 70 61 63 65 6d 61 70 2c 20 75 72 6c 6c 69 spacemap, urlli
0680: 62 2e 72 65 71 75 65 73 74 2c 20 75 72 6c 6c 69 b.request, urlli
0690: 62 2e 65 72 72 6f 72 0a 0a 63 6c 61 73 73 20 4d b.error..class M
06a0: 79 52 65 71 75 65 73 74 48 61 6e 64 6c 65 72 28 yRequestHandler(
06b0: 68 74 74 70 2e 73 65 72 76 65 72 2e 42 61 73 65 http.server.Base
06c0: 48 54 54 50 52 65 71 75 65 73 74 48 61 6e 64 6c HTTPRequestHandl
06d0: 65 72 29 3a 0a 09 64 65 66 20 5f 5f 70 72 6f 63 er):..def __proc
06e0: 65 73 73 28 73 65 6c 66 29 3a 0a 09 09 23 20 72 ess(self):...# r
06f0: 65 6c 6f 61 64 20 6d 65 61 6e 73 20 66 69 6c 65 eload means file
0700: 20 6e 65 65 64 73 20 74 6f 20 62 65 20 72 65 6c needs to be rel
0710: 6f 61 64 65 64 20 74 6f 20 73 65 72 76 65 20 72 oaded to serve r
0720: 65 71 75 65 73 74 0a 09 09 72 65 6c 6f 61 64 20 equest...reload
0730: 3d 20 46 61 6c 73 65 0a 09 09 23 20 72 65 63 68 = False...# rech
0740: 65 63 6b 20 6d 65 61 6e 73 20 66 69 6c 65 20 6e eck means file n
0750: 65 65 64 73 20 74 6f 20 62 65 20 63 68 65 63 6b eeds to be check
0760: 65 64 2c 20 74 68 69 73 20 61 6c 73 6f 20 6d 65 ed, this also me
0770: 61 6e 73 20 74 68 61 74 20 69 66 20 66 69 6c 65 ans that if file
0780: 20 68 61 76 20 62 65 65 6e 20 6d 6f 64 69 66 69 hav been modifi
0790: 65 64 20 77 65 20 63 61 6e 20 73 65 72 76 65 20 ed we can serve
07a0: 6f 6c 64 65 72 20 63 6f 70 79 0a 09 09 72 65 63 older copy...rec
07b0: 68 65 63 6b 20 3d 20 46 61 6c 73 65 0a 09 09 23 heck = False...#
07c0: 20 66 69 6c 65 5f 73 74 61 74 20 6d 65 61 6e 73 file_stat means
07d0: 20 66 69 6c 65 20 64 65 66 69 6e 69 74 65 6c 79 file definitely
07e0: 20 65 78 69 73 74 73 0a 09 09 66 69 6c 65 5f 73 exists...file_s
07f0: 74 61 74 20 3d 20 4e 6f 6e 65 0a 09 09 23 20 72 tat = None...# r
0800: 65 71 75 65 73 74 65 64 5f 72 61 6e 67 65 73 20 equested_ranges
0810: 68 6f 6c 64 73 20 64 61 74 61 20 61 62 6f 75 74 holds data about
0820: 20 61 6e 79 20 72 61 6e 67 65 20 72 65 71 75 65 any range reque
0830: 73 74 65 64 0a 09 09 72 65 71 75 65 73 74 65 64 sted...requested
0840: 5f 72 61 6e 67 65 73 20 3d 20 4e 6f 6e 65 0a 09 _ranges = None..
0850: 09 23 20 72 65 63 6f 72 64 73 20 68 6f 6c 64 73 .# records holds
0860: 20 64 61 74 61 20 66 72 6f 6d 20 69 6e 64 65 78 data from index
0870: 20 6c 6f 63 61 6c 6c 79 2c 20 73 68 6f 75 6c 64 locally, should
0880: 20 62 65 20 77 72 69 74 74 65 6e 20 62 61 63 6b be written back
0890: 20 75 70 6f 6e 20 73 75 63 63 65 73 73 66 75 6c upon successful
08a0: 6c 20 63 6f 6d 70 6c 65 74 69 6f 6e 0a 09 09 72 l completion...r
08b0: 65 63 6f 72 64 20 3d 20 4e 6f 6e 65 0a 0a 09 09 ecord = None....
08c0: 6d 79 50 61 74 68 20 3d 20 72 65 2e 63 6f 6d 70 myPath = re.comp
08d0: 69 6c 65 28 27 5e 28 2e 2a 3f 29 28 5c 3f 2e 2a ile('^(.*?)(\?.*
08e0: 29 24 27 29 2e 6d 61 74 63 68 28 73 65 6c 66 2e )$').match(self.
08f0: 70 61 74 68 29 0a 09 09 69 66 20 6d 79 50 61 74 path)...if myPat
0900: 68 3a 0a 09 09 09 6d 79 5f 70 61 74 68 20 3d 20 h:....my_path =
0910: 6d 79 50 61 74 68 2e 67 72 6f 75 70 28 31 29 0a myPath.group(1).
0920: 09 09 65 6c 73 65 3a 0a 09 09 09 6d 79 5f 70 61 ..else:....my_pa
0930: 74 68 20 3d 20 73 65 6c 66 2e 70 61 74 68 0a 0a th = self.path..
0940: 09 09 69 66 20 6e 6f 74 20 63 6f 6e 66 69 67 2e ..if not config.
0950: 68 61 73 5f 73 65 63 74 69 6f 6e 28 73 65 6c 66 has_section(self
0960: 2e 68 65 61 64 65 72 73 5b 27 48 6f 73 74 27 5d .headers['Host']
0970: 29 3a 0a 09 09 09 63 6f 6e 66 69 67 2e 61 64 64 ):....config.add
0980: 5f 73 65 63 74 69 6f 6e 28 73 65 6c 66 2e 68 65 _section(self.he
0990: 61 64 65 72 73 5b 27 48 6f 73 74 27 5d 29 0a 09 aders['Host'])..
09a0: 09 09 63 6f 6e 66 69 67 5b 73 65 6c 66 2e 68 65 ..config[self.he
09b0: 61 64 65 72 73 5b 27 48 6f 73 74 27 5d 5d 5b 27 aders['Host']]['
09c0: 72 6f 6f 74 27 5d 20 3d 20 73 65 6c 66 2e 68 65 root'] = self.he
09d0: 61 64 65 72 73 5b 27 48 6f 73 74 27 5d 0a 09 09 aders['Host']...
09e0: 09 63 6f 6e 66 69 67 5b 73 65 6c 66 2e 68 65 61 .config[self.hea
09f0: 64 65 72 73 5b 27 48 6f 73 74 27 5d 5d 5b 27 64 ders['Host']]['d
0a00: 69 72 27 5d 20 3d 20 63 61 63 68 65 5f 64 69 72 ir'] = cache_dir
0a10: 20 2b 20 6f 73 2e 73 65 70 20 2b 20 73 65 6c 66 + os.sep + self
0a20: 2e 68 65 61 64 65 72 73 5b 27 48 6f 73 74 27 5d .headers['Host']
0a30: 0a 09 09 63 6f 6e 66 69 67 5f 68 6f 73 74 20 3d ...config_host =
0a40: 20 63 6f 6e 66 69 67 5b 73 65 6c 66 2e 68 65 61 config[self.hea
0a50: 64 65 72 73 5b 27 48 6f 73 74 27 5d 5d 0a 0a 09 ders['Host']]...
0a60: 09 69 66 20 63 6f 6e 66 69 67 5f 68 6f 73 74 5b .if config_host[
0a70: 27 73 75 62 27 5d 20 21 3d 20 4e 6f 6e 65 20 61 'sub'] != None a
0a80: 6e 64 20 63 6f 6e 66 69 67 5f 68 6f 73 74 5b 27 nd config_host['
0a90: 73 74 72 69 70 27 5d 20 21 3d 20 4e 6f 6e 65 20 strip'] != None
0aa0: 61 6e 64 20 6c 65 6e 28 63 6f 6e 66 69 67 5f 68 and len(config_h
0ab0: 6f 73 74 5b 27 73 74 72 69 70 27 5d 29 20 3e 20 ost['strip']) >
0ac0: 30 3a 0a 09 09 09 73 74 72 69 6e 67 20 3d 20 72 0:....string = r
0ad0: 65 2e 63 6f 6d 70 69 6c 65 28 63 6f 6e 66 69 67 e.compile(config
0ae0: 5f 68 6f 73 74 5b 27 73 74 72 69 70 27 5d 29 2e _host['strip']).
0af0: 73 75 62 28 63 6f 6e 66 69 67 5f 68 6f 73 74 5b sub(config_host[
0b00: 27 73 75 62 27 5d 2c 20 6d 79 5f 70 61 74 68 29 'sub'], my_path)
0b10: 0a 09 09 09 6d 79 5f 70 61 74 68 20 3d 20 73 74 ....my_path = st
0b20: 72 69 6e 67 0a 0a 09 09 6d 79 5f 70 61 74 68 5f ring....my_path_
0b30: 62 20 3d 20 6d 79 5f 70 61 74 68 2e 65 6e 63 6f b = my_path.enco
0b40: 64 65 28 27 75 74 66 2d 38 27 29 0a 09 09 69 6e de('utf-8')...in
0b50: 66 6f 20 3d 20 27 43 68 65 63 6b 69 6e 67 20 66 fo = 'Checking f
0b60: 69 6c 65 3a 20 27 20 2b 20 6d 79 5f 70 61 74 68 ile: ' + my_path
0b70: 0a 0a 09 09 69 66 20 6e 6f 74 20 6f 73 2e 61 63 ....if not os.ac
0b80: 63 65 73 73 28 63 6f 6e 66 69 67 5f 68 6f 73 74 cess(config_host
0b90: 5b 27 64 69 72 27 5d 2c 20 6f 73 2e 58 5f 4f 4b ['dir'], os.X_OK
0ba0: 29 3a 0a 09 09 09 6f 73 2e 6d 6b 64 69 72 28 63 ):....os.mkdir(c
0bb0: 6f 6e 66 69 67 5f 68 6f 73 74 5b 27 64 69 72 27 onfig_host['dir'
0bc0: 5d 29 0a 09 09 23 20 74 68 69 73 20 69 73 20 66 ])...# this is f
0bd0: 69 6c 65 20 69 6e 64 65 78 20 2d 20 65 76 65 72 ile index - ever
0be0: 79 74 68 69 6e 67 20 69 73 20 73 74 6f 72 65 64 ything is stored
0bf0: 20 69 6e 20 74 68 69 73 20 66 69 6c 65 0a 09 09 in this file...
0c00: 23 20 5f 70 61 72 74 73 20 2d 20 6c 69 73 74 20 # _parts - list
0c10: 6f 66 20 73 74 6f 72 65 64 20 70 61 72 74 73 20 of stored parts
0c20: 6f 66 20 66 69 6c 65 0a 09 09 23 20 5f 74 69 6d of file...# _tim
0c30: 65 20 2d 20 6c 61 73 74 20 74 69 6d 65 20 74 68 e - last time th
0c40: 65 20 66 69 6c 65 20 77 61 73 20 63 68 65 63 6b e file was check
0c50: 65 64 0a 09 09 23 20 65 76 65 72 79 74 68 69 6e ed...# everythin
0c60: 67 20 65 6c 73 65 20 69 73 20 6a 75 73 74 20 74 g else is just t
0c70: 68 65 20 68 65 61 64 65 72 73 0a 09 09 69 6e 64 he headers...ind
0c80: 65 78 20 3d 20 62 73 64 64 62 33 2e 64 62 73 68 ex = bsddb3.dbsh
0c90: 65 6c 76 65 2e 6f 70 65 6e 28 63 6f 6e 66 69 67 elve.open(config
0ca0: 5f 68 6f 73 74 5b 27 64 69 72 27 5d 20 2b 20 6f _host['dir'] + o
0cb0: 73 2e 73 65 70 20 2b 20 27 2e 69 6e 64 65 78 27 s.sep + '.index'
0cc0: 29 0a 0a 09 09 64 65 73 63 5f 66 69 65 6c 64 73 )....desc_fields
0cd0: 20 3d 20 63 6f 6e 73 74 5f 64 65 73 63 5f 66 69 = const_desc_fi
0ce0: 65 6c 64 73 2e 63 6f 70 79 28 29 0a 09 09 69 67 elds.copy()...ig
0cf0: 6e 6f 72 65 5f 66 69 65 6c 64 73 20 3d 20 63 6f nore_fields = co
0d00: 6e 73 74 5f 69 67 6e 6f 72 65 5f 66 69 65 6c 64 nst_ignore_field
0d10: 73 2e 63 6f 70 79 28 29 0a 09 09 69 66 20 63 6f s.copy()...if co
0d20: 6e 66 69 67 5f 68 6f 73 74 5b 27 6e 6f 65 74 61 nfig_host['noeta
0d30: 67 27 5d 20 3d 3d 20 27 6e 6f 27 3a 0a 09 09 09 g'] == 'no':....
0d40: 64 65 73 63 5f 66 69 65 6c 64 73 2e 61 64 64 28 desc_fields.add(
0d50: 27 45 54 61 67 27 29 0a 09 09 65 6c 73 65 3a 0a 'ETag')...else:.
0d60: 09 09 09 69 67 6e 6f 72 65 5f 66 69 65 6c 64 73 ...ignore_fields
0d70: 2e 61 64 64 28 27 45 54 61 67 27 29 0a 0a 09 09 .add('ETag')....
0d80: 70 72 6f 78 79 5f 69 67 6e 6f 72 65 64 20 3d 20 proxy_ignored =
0d90: 73 65 74 28 5b 0a 09 09 09 27 41 63 63 65 70 74 set([....'Accept
0da0: 27 2c 20 27 41 63 63 65 70 74 2d 43 68 61 72 73 ', 'Accept-Chars
0db0: 65 74 27 2c 20 27 41 63 63 65 70 74 2d 45 6e 63 et', 'Accept-Enc
0dc0: 6f 64 69 6e 67 27 2c 20 27 41 63 63 65 70 74 2d oding', 'Accept-
0dd0: 4c 61 6e 67 75 61 67 65 27 2c 0a 09 09 09 27 43 Language',....'C
0de0: 61 63 68 65 2d 43 6f 6e 74 72 6f 6c 27 2c 20 27 ache-Control', '
0df0: 43 6f 6e 6e 65 63 74 69 6f 6e 27 2c 20 27 43 6f Connection', 'Co
0e00: 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 2c 20 27 ntent-Length', '
0e10: 43 6f 6f 6b 69 65 27 2c 0a 09 09 09 27 48 6f 73 Cookie',....'Hos
0e20: 74 27 2c 0a 09 09 09 27 49 66 2d 4d 6f 64 69 66 t',....'If-Modif
0e30: 69 65 64 2d 53 69 6e 63 65 27 2c 20 27 49 66 2d ied-Since', 'If-
0e40: 55 6e 6d 6f 64 69 66 69 65 64 2d 53 69 6e 63 65 Unmodified-Since
0e50: 27 2c 0a 09 09 09 27 52 65 66 65 72 65 72 27 2c ',....'Referer',
0e60: 0a 09 09 09 27 55 41 2d 43 50 55 27 2c 20 27 55 ....'UA-CPU', 'U
0e70: 73 65 72 2d 41 67 65 6e 74 27 2c 0a 09 09 09 27 ser-Agent',....'
0e80: 56 69 61 27 2c 0a 09 09 09 27 58 2d 46 6f 72 77 Via',....'X-Forw
0e90: 61 72 64 65 64 2d 46 6f 72 27 2c 20 27 58 2d 4c arded-For', 'X-L
0ea0: 61 73 74 2d 48 52 27 2c 20 27 58 2d 4c 61 73 74 ast-HR', 'X-Last
0eb0: 2d 48 54 54 50 2d 53 74 61 74 75 73 2d 43 6f 64 -HTTP-Status-Cod
0ec0: 65 27 2c 20 27 58 2d 4f 6c 64 2d 55 49 44 27 2c e', 'X-Old-UID',
0ed0: 20 27 58 2d 52 65 6d 6f 76 65 64 27 2c 20 27 58 'X-Removed', 'X
0ee0: 2d 52 65 61 6c 2d 49 50 27 2c 20 27 58 2d 52 65 -Real-IP', 'X-Re
0ef0: 74 72 79 2d 43 6f 75 6e 74 27 2c 0a 09 09 5d 29 try-Count',...])
0f00: 0a 0a 09 09 70 72 69 6e 74 28 27 3d 3d 3d 3d 3d ....print('=====
0f10: 3d 3d 3d 3d 3d 3d 3d 3d 3d 3d 5b 20 7b 7d 20 72 ==========[ {} r
0f20: 65 71 75 65 73 74 20 5d 3d 3d 3d 27 2e 66 6f 72 equest ]==='.for
0f30: 6d 61 74 28 73 65 6c 66 2e 63 6f 6d 6d 61 6e 64 mat(self.command
0f40: 29 29 0a 0a 09 09 66 6f 72 20 68 65 61 64 65 72 ))....for header
0f50: 20 69 6e 20 73 65 6c 66 2e 68 65 61 64 65 72 73 in self.headers
0f60: 3a 0a 09 09 09 69 66 20 68 65 61 64 65 72 20 69 :....if header i
0f70: 6e 20 70 72 6f 78 79 5f 69 67 6e 6f 72 65 64 3a n proxy_ignored:
0f80: 0a 09 09 09 09 70 61 73 73 0a 09 09 09 65 6c 69 .....pass....eli
0f90: 66 20 68 65 61 64 65 72 20 69 6e 20 28 27 52 61 f header in ('Ra
0fa0: 6e 67 65 27 29 3a 0a 09 09 09 09 69 73 52 61 6e nge'):.....isRan
0fb0: 67 65 20 3d 20 72 65 2e 63 6f 6d 70 69 6c 65 28 ge = re.compile(
0fc0: 27 62 79 74 65 73 3d 28 5c 64 2b 29 2d 28 5c 64 'bytes=(\d+)-(\d
0fd0: 2b 29 27 29 2e 6d 61 74 63 68 28 73 65 6c 66 2e +)').match(self.
0fe0: 68 65 61 64 65 72 73 5b 68 65 61 64 65 72 5d 29 headers[header])
0ff0: 0a 09 09 09 09 69 66 20 69 73 52 61 6e 67 65 3a .....if isRange:
1000: 0a 09 09 09 09 09 72 65 71 75 65 73 74 65 64 5f ......requested_
1010: 72 61 6e 67 65 73 20 3d 20 73 70 61 63 65 6d 61 ranges = spacema
1020: 70 2e 53 70 61 63 65 4d 61 70 28 7b 69 6e 74 28 p.SpaceMap({int(
1030: 69 73 52 61 6e 67 65 2e 67 72 6f 75 70 28 31 29 isRange.group(1)
1040: 29 3a 20 69 6e 74 28 69 73 52 61 6e 67 65 2e 67 ): int(isRange.g
1050: 72 6f 75 70 28 32 29 29 20 2b 20 31 7d 29 0a 09 roup(2)) + 1})..
1060: 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 72 65 ...else:......re
1070: 74 75 72 6e 28 29 0a 09 09 09 65 6c 69 66 20 68 turn()....elif h
1080: 65 61 64 65 72 20 69 6e 20 28 27 50 72 61 67 6d eader in ('Pragm
1090: 61 27 29 3a 0a 09 09 09 09 69 66 20 6d 79 5f 70 a'):.....if my_p
10a0: 61 74 68 5f 62 20 69 6e 20 69 6e 64 65 78 3a 0a ath_b in index:.
10b0: 09 09 09 09 09 69 6e 64 65 78 5b 6d 79 5f 70 61 .....index[my_pa
10c0: 74 68 5f 62 5d 5b 68 65 61 64 65 72 5d 20 3d 20 th_b][header] =
10d0: 73 65 6c 66 2e 68 65 61 64 65 72 73 5b 68 65 61 self.headers[hea
10e0: 64 65 72 5d 0a 09 09 09 65 6c 73 65 3a 0a 09 09 der]....else:...
10f0: 09 09 70 72 69 6e 74 28 27 55 6e 6b 6e 6f 77 6e ..print('Unknown
1100: 20 68 65 61 64 65 72 20 2d 20 27 2c 20 68 65 61 header - ', hea
1110: 64 65 72 2c 20 27 3a 20 27 2c 20 73 65 6c 66 2e der, ': ', self.
1120: 68 65 61 64 65 72 73 5b 68 65 61 64 65 72 5d 2c headers[header],
1130: 20 73 65 70 3d 27 27 29 0a 09 09 09 09 72 65 74 sep='').....ret
1140: 75 72 6e 28 29 0a 09 09 09 70 72 69 6e 74 28 68 urn()....print(h
1150: 65 61 64 65 72 2c 20 73 65 6c 66 2e 68 65 61 64 eader, self.head
1160: 65 72 73 5b 68 65 61 64 65 72 5d 29 0a 0a 09 09 ers[header])....
1170: 23 20 63 72 65 61 74 69 6e 67 20 66 69 6c 65 20 # creating file
1180: 6e 61 6d 65 20 66 72 6f 6d 20 6d 79 5f 70 61 74 name from my_pat
1190: 68 0a 09 09 66 69 6c 65 5f 6e 61 6d 65 20 3d 20 h...file_name =
11a0: 63 6f 6e 66 69 67 5f 68 6f 73 74 5b 27 64 69 72 config_host['dir
11b0: 27 5d 20 2b 20 6f 73 2e 73 65 70 20 2b 20 72 65 '] + os.sep + re
11c0: 2e 63 6f 6d 70 69 6c 65 28 27 25 32 30 27 29 2e .compile('%20').
11d0: 73 75 62 28 27 20 27 2c 20 6d 79 5f 70 61 74 68 sub(' ', my_path
11e0: 29 0a 09 09 23 20 70 61 72 74 69 61 6c 20 66 69 )...# partial fi
11f0: 6c 65 20 6f 72 20 75 6e 66 69 6e 69 73 68 65 64 le or unfinished
1200: 20 64 6f 77 6e 6c 6f 61 64 0a 09 09 74 65 6d 70 download...temp
1210: 5f 6e 61 6d 65 20 3d 20 63 6f 6e 66 69 67 5f 68 _name = config_h
1220: 6f 73 74 5b 27 64 69 72 27 5d 20 2b 20 6f 73 2e ost['dir'] + os.
1230: 73 65 70 20 2b 20 27 2e 70 61 72 74 73 27 20 2b sep + '.parts' +
1240: 20 72 65 2e 63 6f 6d 70 69 6c 65 28 27 25 32 30 re.compile('%20
1250: 27 29 2e 73 75 62 28 27 20 27 2c 20 6d 79 5f 70 ').sub(' ', my_p
1260: 61 74 68 29 0a 0a 09 09 23 20 63 72 65 61 74 69 ath)....# creati
1270: 6e 67 20 65 6d 70 74 79 20 70 6c 61 63 65 68 6f ng empty placeho
1280: 6c 64 65 72 20 69 6e 20 69 6e 64 65 78 0a 09 09 lder in index...
1290: 23 20 69 66 20 74 68 65 72 65 27 73 20 6e 6f 20 # if there's no
12a0: 73 70 61 63 65 20 6d 61 70 20 61 6e 64 20 74 68 space map and th
12b0: 65 72 65 27 73 20 6e 6f 20 66 69 6c 65 20 69 6e ere's no file in
12c0: 20 72 65 61 6c 20 64 69 72 65 63 74 6f 72 79 20 real directory
12d0: 2d 20 77 65 20 68 61 76 65 20 6e 6f 20 66 69 6c - we have no fil
12e0: 65 0a 09 09 23 20 69 66 20 74 68 65 72 65 27 73 e...# if there's
12f0: 20 61 6e 20 65 6d 70 74 79 20 73 70 61 63 65 20 an empty space
1300: 6d 61 70 20 2d 20 66 69 6c 65 20 69 73 20 66 75 map - file is fu
1310: 6c 6c 0a 09 09 23 20 73 70 61 63 65 20 6d 61 70 ll...# space map
1320: 20 67 65 6e 65 72 61 6c 6c 79 20 63 6f 76 65 72 generally cover
1330: 73 20 65 76 65 72 79 20 62 69 74 20 6f 66 20 66 s every bit of f
1340: 69 6c 65 20 77 65 20 64 6f 6e 27 74 20 70 6f 73 ile we don't pos
1350: 65 73 73 20 63 75 72 72 65 6e 74 6c 79 0a 09 09 ess currently...
1360: 69 66 20 6e 6f 74 20 6d 79 5f 70 61 74 68 5f 62 if not my_path_b
1370: 20 69 6e 20 69 6e 64 65 78 3a 0a 09 09 09 69 6e in index:....in
1380: 66 6f 20 2b 3d 20 27 5c 6e 54 68 69 73 20 6f 6e fo += '\nThis on
1390: 65 20 69 73 20 6e 65 77 2e 27 0a 09 09 09 72 65 e is new.'....re
13a0: 6c 6f 61 64 20 3d 20 54 72 75 65 0a 09 09 09 72 load = True....r
13b0: 65 63 6f 72 64 20 3d 20 7b 7d 0a 09 09 65 6c 73 ecord = {}...els
13c0: 65 3a 0a 09 09 09 23 20 66 6f 72 63 69 62 6c 79 e:....# forcibly
13d0: 20 63 68 65 63 6b 69 6e 67 20 66 69 6c 65 20 69 checking file i
13e0: 66 20 6e 6f 20 66 69 6c 65 20 70 72 65 73 65 6e f no file presen
13f0: 74 0a 09 09 09 72 65 63 6f 72 64 20 3d 20 69 6e t....record = in
1400: 64 65 78 5b 6d 79 5f 70 61 74 68 5f 62 5d 0a 09 dex[my_path_b]..
1410: 09 09 69 66 20 6f 73 2e 61 63 63 65 73 73 28 66 ..if os.access(f
1420: 69 6c 65 5f 6e 61 6d 65 2c 20 6f 73 2e 52 5f 4f ile_name, os.R_O
1430: 4b 29 3a 0a 09 09 09 09 69 6e 66 6f 20 2b 3d 20 K):.....info +=
1440: 27 5c 6e 46 75 6c 6c 20 66 69 6c 65 20 66 6f 75 '\nFull file fou
1450: 6e 64 2e 27 0a 09 09 09 09 66 69 6c 65 5f 73 74 nd.'.....file_st
1460: 61 74 20 3d 20 6f 73 2e 73 74 61 74 28 66 69 6c at = os.stat(fil
1470: 65 5f 6e 61 6d 65 29 0a 09 09 09 65 6c 69 66 20 e_name)....elif
1480: 27 5f 70 61 72 74 73 27 20 69 6e 20 69 6e 64 65 '_parts' in inde
1490: 78 5b 6d 79 5f 70 61 74 68 5f 62 5d 20 61 6e 64 x[my_path_b] and
14a0: 20 6f 73 2e 61 63 63 65 73 73 28 74 65 6d 70 5f os.access(temp_
14b0: 6e 61 6d 65 2c 20 6f 73 2e 52 5f 4f 4b 29 3a 0a name, os.R_OK):.
14c0: 09 09 09 09 69 6e 66 6f 20 2b 3d 20 27 5c 6e 50 ....info += '\nP
14d0: 61 72 74 69 61 6c 20 66 69 6c 65 20 66 6f 75 6e artial file foun
14e0: 64 2e 27 0a 09 09 09 09 66 69 6c 65 5f 73 74 61 d.'.....file_sta
14f0: 74 20 3d 20 6f 73 2e 73 74 61 74 28 74 65 6d 70 t = os.stat(temp
1500: 5f 6e 61 6d 65 29 0a 09 09 09 09 72 65 63 68 65 _name).....reche
1510: 63 6b 20 3d 20 54 72 75 65 0a 09 09 09 65 6c 73 ck = True....els
1520: 65 3a 0a 09 09 09 09 69 6e 66 6f 20 2b 3d 20 27 e:.....info += '
1530: 5c 6e 46 69 6c 65 20 6e 6f 74 20 66 6f 75 6e 64 \nFile not found
1540: 20 6f 72 20 69 6e 61 63 63 65 73 73 69 62 6c 65 or inaccessible
1550: 2e 27 0a 09 09 09 09 72 65 63 6f 72 64 5b 27 5f .'.....record['_
1560: 70 61 72 74 73 27 5d 20 3d 20 4e 6f 6e 65 0a 09 parts'] = None..
1570: 09 09 09 72 65 6c 6f 61 64 20 3d 20 54 72 75 65 ...reload = True
1580: 0a 0a 09 09 69 66 20 6e 6f 74 20 27 5f 70 61 72 ....if not '_par
1590: 74 73 27 20 69 6e 20 72 65 63 6f 72 64 3a 0a 09 ts' in record:..
15a0: 09 09 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 ..record['_parts
15b0: 27 5d 20 3d 20 4e 6f 6e 65 0a 0a 09 09 69 66 20 '] = None....if
15c0: 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d record['_parts']
15d0: 20 3d 3d 20 4e 6f 6e 65 3a 0a 09 09 09 72 65 63 == None:....rec
15e0: 68 65 63 6b 20 3d 20 54 72 75 65 0a 0a 09 09 23 heck = True....#
15f0: 20 66 6f 72 63 69 62 6c 79 20 63 68 65 63 6b 69 forcibly checki
1600: 6e 67 20 66 69 6c 65 20 69 66 20 66 69 6c 65 20 ng file if file
1610: 73 69 7a 65 20 64 6f 65 73 6e 27 74 20 6d 61 74 size doesn't mat
1620: 63 68 20 77 69 74 68 20 69 6e 64 65 78 20 64 61 ch with index da
1630: 74 61 0a 09 09 69 66 20 6e 6f 74 20 72 65 6c 6f ta...if not relo
1640: 61 64 3a 0a 09 09 09 69 66 20 27 5f 70 61 72 74 ad:....if '_part
1650: 73 27 20 69 6e 20 72 65 63 6f 72 64 20 61 6e 64 s' in record and
1660: 20 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 record['_parts'
1670: 5d 20 3d 3d 20 73 70 61 63 65 6d 61 70 2e 53 70 ] == spacemap.Sp
1680: 61 63 65 4d 61 70 28 29 3a 0a 09 09 09 09 69 66 aceMap():.....if
1690: 20 27 63 6f 6e 74 65 6e 74 2d 6c 65 6e 67 74 68 'content-length
16a0: 27 20 69 6e 20 72 65 63 6f 72 64 20 61 6e 64 20 ' in record and
16b0: 66 69 6c 65 5f 73 74 61 74 20 61 6e 64 20 66 69 file_stat and fi
16c0: 6c 65 5f 73 74 61 74 2e 73 74 5f 73 69 7a 65 20 le_stat.st_size
16d0: 21 3d 20 69 6e 74 28 72 65 63 6f 72 64 5b 27 63 != int(record['c
16e0: 6f 6e 74 65 6e 74 2d 6c 65 6e 67 74 68 27 5d 29 ontent-length'])
16f0: 3a 0a 09 09 09 09 09 69 6e 66 6f 20 2b 3d 20 27 :......info += '
1700: 5c 6e 46 69 6c 65 20 73 69 7a 65 20 69 73 20 7b \nFile size is {
1710: 7d 20 61 6e 64 20 73 74 6f 72 65 64 20 66 69 6c } and stored fil
1720: 65 20 73 69 7a 65 20 69 73 20 7b 7d 2e 27 2e 66 e size is {}.'.f
1730: 6f 72 6d 61 74 28 66 69 6c 65 5f 73 74 61 74 2e ormat(file_stat.
1740: 73 74 5f 73 69 7a 65 2c 20 72 65 63 6f 72 64 5b st_size, record[
1750: 27 63 6f 6e 74 65 6e 74 2d 6c 65 6e 67 74 68 27 'content-length'
1760: 5d 29 0a 09 09 09 09 09 72 65 63 6f 72 64 5b 27 ])......record['
1770: 5f 70 61 72 74 73 27 5d 20 3d 20 4e 6f 6e 65 0a _parts'] = None.
1780: 09 09 09 09 09 72 65 6c 6f 61 64 20 3d 20 54 72 .....reload = Tr
1790: 75 65 0a 0a 09 09 23 20 66 6f 72 63 69 62 6c 79 ue....# forcibly
17a0: 20 63 68 65 63 6b 69 6e 67 20 66 69 6c 65 20 69 checking file i
17b0: 66 20 69 6e 64 65 78 20 68 6f 6c 64 73 20 50 72 f index holds Pr
17c0: 61 67 6d 61 20 68 65 61 64 65 72 0a 09 09 69 66 agma header...if
17d0: 20 6e 6f 74 20 72 65 6c 6f 61 64 20 61 6e 64 20 not reload and
17e0: 27 70 72 61 67 6d 61 27 20 69 6e 20 72 65 63 6f 'pragma' in reco
17f0: 72 64 20 61 6e 64 20 72 65 63 6f 72 64 5b 27 70 rd and record['p
1800: 72 61 67 6d 61 27 5d 20 3d 3d 20 27 6e 6f 2d 63 ragma'] == 'no-c
1810: 61 63 68 65 27 3a 0a 09 09 09 69 6e 66 6f 20 2b ache':....info +
1820: 3d 27 5c 6e 50 72 61 67 6d 61 20 6f 6e 3a 20 72 ='\nPragma on: r
1830: 65 63 68 65 63 6b 20 69 6d 6d 69 6e 65 6e 74 2e echeck imminent.
1840: 27 0a 09 09 09 72 65 63 68 65 63 6b 20 3d 20 54 '....recheck = T
1850: 72 75 65 0a 0a 09 09 23 20 73 6b 69 70 70 69 6e rue....# skippin
1860: 67 20 66 69 6c 65 20 70 72 6f 63 65 73 73 69 6e g file processin
1870: 67 20 69 66 20 74 68 65 72 65 27 73 20 6e 6f 20 g if there's no
1880: 6e 65 65 64 20 74 6f 20 72 65 63 68 65 63 6b 20 need to recheck
1890: 69 74 20 61 6e 64 20 77 65 20 68 61 76 65 20 63 it and we have c
18a0: 68 65 63 6b 65 64 20 69 74 20 61 74 20 6c 65 61 hecked it at lea
18b0: 73 74 20 34 20 68 6f 75 72 73 20 61 67 6f 0a 09 st 4 hours ago..
18c0: 09 69 66 20 6e 6f 74 20 72 65 63 68 65 63 6b 20 .if not recheck
18d0: 61 6e 64 20 6e 6f 74 20 72 65 6c 6f 61 64 20 61 and not reload a
18e0: 6e 64 20 27 5f 74 69 6d 65 27 20 69 6e 20 72 65 nd '_time' in re
18f0: 63 6f 72 64 20 61 6e 64 20 28 72 65 63 6f 72 64 cord and (record
1900: 5b 27 5f 74 69 6d 65 27 5d 20 2d 20 64 61 74 65 ['_time'] - date
1910: 74 69 6d 65 2e 64 61 74 65 74 69 6d 65 2e 6e 6f time.datetime.no
1920: 77 28 29 20 2b 20 64 61 74 65 74 69 6d 65 2e 74 w() + datetime.t
1930: 69 6d 65 64 65 6c 74 61 28 68 6f 75 72 73 20 3d imedelta(hours =
1940: 20 34 29 29 2e 64 61 79 73 20 3c 20 30 3a 0a 09 4)).days < 0:..
1950: 09 09 69 6e 66 6f 20 2b 3d 20 27 5c 6e 46 69 6c ..info += '\nFil
1960: 65 20 69 73 20 6f 6c 64 20 2d 20 72 65 63 68 65 e is old - reche
1970: 63 6b 69 6e 67 2e 27 0a 09 09 09 72 65 63 68 65 cking.'....reche
1980: 63 6b 20 3d 20 54 72 75 65 0a 0a 09 09 70 72 69 ck = True....pri
1990: 6e 74 28 69 6e 66 6f 29 0a 09 09 69 66 20 72 65 nt(info)...if re
19a0: 6c 6f 61 64 20 6f 72 20 72 65 63 68 65 63 6b 3a load or recheck:
19b0: 0a 0a 09 09 09 74 72 79 3a 0a 09 09 09 09 72 65 .....try:.....re
19c0: 71 75 65 73 74 20 3d 20 63 6f 6e 66 69 67 5f 68 quest = config_h
19d0: 6f 73 74 5b 27 70 72 6f 74 6f 27 5d 20 2b 20 27 ost['proto'] + '
19e0: 3a 2f 2f 27 20 2b 20 63 6f 6e 66 69 67 5f 68 6f ://' + config_ho
19f0: 73 74 5b 27 72 6f 6f 74 27 5d 20 2b 20 73 65 6c st['root'] + sel
1a00: 66 2e 70 61 74 68 0a 09 09 09 09 6d 79 5f 68 65 f.path.....my_he
1a10: 61 64 65 72 73 20 3d 20 7b 7d 0a 09 09 09 09 66 aders = {}.....f
1a20: 6f 72 20 68 65 61 64 65 72 20 69 6e 20 28 27 41 or header in ('A
1a30: 63 63 65 70 74 27 2c 20 27 43 61 63 68 65 2d 43 ccept', 'Cache-C
1a40: 6f 6e 74 72 6f 6c 27 2c 20 27 43 6f 6f 6b 69 65 ontrol', 'Cookie
1a50: 27 2c 20 27 52 65 66 65 72 65 72 27 2c 20 27 55 ', 'Referer', 'U
1a60: 73 65 72 2d 41 67 65 6e 74 27 29 3a 0a 09 09 09 ser-Agent'):....
1a70: 09 09 69 66 20 68 65 61 64 65 72 20 69 6e 20 73 ..if header in s
1a80: 65 6c 66 2e 68 65 61 64 65 72 73 3a 0a 09 09 09 elf.headers:....
1a90: 09 09 09 6d 79 5f 68 65 61 64 65 72 73 5b 68 65 ...my_headers[he
1aa0: 61 64 65 72 5d 20 3d 20 73 65 6c 66 2e 68 65 61 ader] = self.hea
1ab0: 64 65 72 73 5b 68 65 61 64 65 72 5d 0a 0a 09 09 ders[header]....
1ac0: 09 09 6e 65 65 64 65 64 20 3d 20 4e 6f 6e 65 0a ..needed = None.
1ad0: 09 09 09 09 69 66 20 73 65 6c 66 2e 63 6f 6d 6d ....if self.comm
1ae0: 61 6e 64 20 6e 6f 74 20 69 6e 20 28 27 48 45 41 and not in ('HEA
1af0: 44 27 29 3a 0a 09 09 09 09 09 69 66 20 27 5f 70 D'):......if '_p
1b00: 61 72 74 73 27 20 69 6e 20 72 65 63 6f 72 64 20 arts' in record
1b10: 61 6e 64 20 72 65 63 6f 72 64 5b 27 5f 70 61 72 and record['_par
1b20: 74 73 27 5d 20 21 3d 20 4e 6f 6e 65 3a 0a 09 09 ts'] != None:...
1b30: 09 09 09 09 69 66 20 63 6f 6e 66 69 67 5f 68 6f ....if config_ho
1b40: 73 74 5b 27 6e 6f 70 61 72 74 73 27 5d 20 21 3d st['noparts'] !=
1b50: 20 27 6e 6f 27 20 6f 72 20 72 65 71 75 65 73 74 'no' or request
1b60: 65 64 5f 72 61 6e 67 65 73 20 3d 3d 20 4e 6f 6e ed_ranges == Non
1b70: 65 20 6f 72 20 72 65 71 75 65 73 74 65 64 5f 72 e or requested_r
1b80: 61 6e 67 65 73 20 3d 3d 20 73 70 61 63 65 6d 61 anges == spacema
1b90: 70 2e 53 70 61 63 65 4d 61 70 28 29 3a 0a 09 09 p.SpaceMap():...
1ba0: 09 09 09 09 09 6e 65 65 64 65 64 20 3d 20 72 65 .....needed = re
1bb0: 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d 0a 09 cord['_parts']..
1bc0: 09 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 .....else:......
1bd0: 09 09 6e 65 65 64 65 64 20 3d 20 72 65 63 6f 72 ..needed = recor
1be0: 64 5b 27 5f 70 61 72 74 73 27 5d 20 26 20 72 65 d['_parts'] & re
1bf0: 71 75 65 73 74 65 64 5f 72 61 6e 67 65 73 0a 09 quested_ranges..
1c00: 09 09 09 09 65 6c 69 66 20 63 6f 6e 66 69 67 5f ....elif config_
1c10: 68 6f 73 74 5b 27 6e 6f 70 61 72 74 73 27 5d 20 host['noparts']
1c20: 3d 3d 27 6e 6f 27 20 61 6e 64 20 72 65 71 75 65 =='no' and reque
1c30: 73 74 65 64 5f 72 61 6e 67 65 73 20 21 3d 20 4e sted_ranges != N
1c40: 6f 6e 65 20 61 6e 64 20 72 65 71 75 65 73 74 65 one and requeste
1c50: 64 5f 72 61 6e 67 65 73 20 21 3d 20 73 70 61 63 d_ranges != spac
1c60: 65 6d 61 70 2e 53 70 61 63 65 4d 61 70 28 29 3a emap.SpaceMap():
1c70: 0a 09 09 09 09 09 09 6e 65 65 64 65 64 20 3d 20 .......needed =
1c80: 72 65 71 75 65 73 74 65 64 5f 72 61 6e 67 65 73 requested_ranges
1c90: 0a 09 09 09 09 09 72 61 6e 67 65 73 20 3d 20 28 ......ranges = (
1ca0: 29 0a 09 09 09 09 09 70 72 69 6e 74 28 27 4d 69 )......print('Mi
1cb0: 73 73 69 6e 67 20 72 61 6e 67 65 73 3a 20 7b 7d ssing ranges: {}
1cc0: 2c 20 72 65 71 75 65 73 74 65 64 20 72 61 6e 67 , requested rang
1cd0: 65 73 3a 20 7b 7d 2c 20 6e 65 65 64 65 64 20 72 es: {}, needed r
1ce0: 61 6e 67 65 73 3a 20 7b 7d 2e 27 2e 66 6f 72 6d anges: {}.'.form
1cf0: 61 74 28 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 at(record['_part
1d00: 73 27 5d 2c 20 72 65 71 75 65 73 74 65 64 5f 72 s'], requested_r
1d10: 61 6e 67 65 73 2c 20 6e 65 65 64 65 64 29 29 0a anges, needed)).
1d20: 09 09 09 09 09 69 66 20 6e 65 65 64 65 64 20 21 .....if needed !
1d30: 3d 20 4e 6f 6e 65 20 61 6e 64 20 6c 65 6e 28 6e = None and len(n
1d40: 65 65 64 65 64 29 20 3e 20 30 3a 0a 09 09 09 09 eeded) > 0:.....
1d50: 09 09 6e 65 65 64 65 64 2e 72 65 77 69 6e 64 28 ..needed.rewind(
1d60: 29 0a 09 09 09 09 09 09 77 68 69 6c 65 20 54 72 ).......while Tr
1d70: 75 65 3a 0a 09 09 09 09 09 09 09 72 61 6e 67 65 ue:........range
1d80: 20 3d 20 6e 65 65 64 65 64 2e 70 6f 70 28 29 0a = needed.pop().
1d90: 09 09 09 09 09 09 09 69 66 20 72 61 6e 67 65 5b .......if range[
1da0: 30 5d 20 3d 3d 20 4e 6f 6e 65 3a 0a 09 09 09 09 0] == None:.....
1db0: 09 09 09 09 62 72 65 61 6b 0a 09 09 09 09 09 09 ....break.......
1dc0: 09 72 61 6e 67 65 73 20 2b 3d 20 27 7b 7d 2d 7b .ranges += '{}-{
1dd0: 7d 27 2e 66 6f 72 6d 61 74 28 72 61 6e 67 65 5b }'.format(range[
1de0: 30 5d 2c 20 72 61 6e 67 65 5b 31 5d 20 2d 20 31 0], range[1] - 1
1df0: 29 2c 0a 09 09 09 09 09 09 6d 79 5f 68 65 61 64 ),.......my_head
1e00: 65 72 73 5b 27 52 61 6e 67 65 27 5d 20 3d 20 27 ers['Range'] = '
1e10: 62 79 74 65 73 3d 27 20 2b 20 27 2c 27 2e 6a 6f bytes=' + ','.jo
1e20: 69 6e 28 72 61 6e 67 65 73 29 0a 0a 09 09 09 09 in(ranges)......
1e30: 23 6d 79 5f 68 65 61 64 65 72 73 5b 27 41 63 63 #my_headers['Acc
1e40: 65 70 74 2d 45 6e 63 6f 64 69 6e 67 27 5d 20 3d ept-Encoding'] =
1e50: 20 27 67 7a 69 70 2c 20 63 6f 6d 70 72 65 73 73 'gzip, compress
1e60: 2c 20 64 65 66 6c 61 74 65 2c 20 69 64 65 6e 74 , deflate, ident
1e70: 69 74 79 3b 20 71 3d 30 27 0a 09 09 09 09 72 65 ity; q=0'.....re
1e80: 71 75 65 73 74 20 3d 20 75 72 6c 6c 69 62 2e 72 quest = urllib.r
1e90: 65 71 75 65 73 74 2e 52 65 71 75 65 73 74 28 72 equest.Request(r
1ea0: 65 71 75 65 73 74 2c 20 68 65 61 64 65 72 73 20 equest, headers
1eb0: 3d 20 6d 79 5f 68 65 61 64 65 72 73 29 0a 0a 09 = my_headers)...
1ec0: 09 09 09 73 6f 75 72 63 65 20 3d 20 75 72 6c 6c ...source = urll
1ed0: 69 62 2e 72 65 71 75 65 73 74 2e 75 72 6c 6f 70 ib.request.urlop
1ee0: 65 6e 28 72 65 71 75 65 73 74 2c 20 74 69 6d 65 en(request, time
1ef0: 6f 75 74 20 3d 20 36 30 29 0a 09 09 09 09 6e 65 out = 60).....ne
1f00: 77 5f 72 65 63 6f 72 64 20 3d 20 7b 7d 0a 09 09 w_record = {}...
1f10: 09 09 6e 65 77 5f 72 65 63 6f 72 64 5b 27 5f 70 ..new_record['_p
1f20: 61 72 74 73 27 5d 20 3d 20 72 65 63 6f 72 64 5b arts'] = record[
1f30: 27 5f 70 61 72 74 73 27 5d 0a 09 09 09 09 68 65 '_parts'].....he
1f40: 61 64 65 72 73 20 3d 20 73 6f 75 72 63 65 2e 69 aders = source.i
1f50: 6e 66 6f 28 29 0a 0a 09 09 09 09 69 66 20 27 43 nfo()......if 'C
1f60: 6f 6e 74 65 6e 74 2d 45 6e 63 6f 64 69 6e 67 27 ontent-Encoding'
1f70: 20 69 6e 20 68 65 61 64 65 72 73 20 61 6e 64 20 in headers and
1f80: 68 65 61 64 65 72 73 5b 27 43 6f 6e 74 65 6e 74 headers['Content
1f90: 2d 45 6e 63 6f 64 69 6e 67 27 5d 20 3d 3d 20 27 -Encoding'] == '
1fa0: 67 7a 69 70 27 3a 0a 09 09 09 09 09 69 6d 70 6f gzip':......impo
1fb0: 72 74 20 67 7a 69 70 0a 09 09 09 09 09 73 6f 75 rt gzip......sou
1fc0: 72 63 65 20 3d 20 67 7a 69 70 2e 47 7a 69 70 46 rce = gzip.GzipF
1fd0: 69 6c 65 28 66 69 6c 65 6f 62 6a 3d 73 6f 75 72 ile(fileobj=sour
1fe0: 63 65 29 0a 0a 09 09 09 09 23 20 73 74 72 69 70 ce)......# strip
1ff0: 70 69 6e 67 20 75 6e 6e 65 65 64 65 64 20 68 65 ping unneeded he
2000: 61 64 65 72 73 20 28 58 58 58 20 6d 61 6b 65 20 aders (XXX make
2010: 74 68 69 73 20 69 6e 70 6c 61 63 65 3f 29 0a 09 this inplace?)..
2020: 09 09 09 66 6f 72 20 68 65 61 64 65 72 20 69 6e ...for header in
2030: 20 68 65 61 64 65 72 73 3a 0a 09 09 09 09 09 69 headers:......i
2040: 66 20 68 65 61 64 65 72 20 69 6e 20 64 65 73 63 f header in desc
2050: 5f 66 69 65 6c 64 73 3a 0a 09 09 09 09 09 09 23 _fields:.......#
2060: 69 66 20 68 65 61 64 65 72 20 3d 3d 20 27 50 72 if header == 'Pr
2070: 61 67 6d 61 27 20 61 6e 64 20 68 65 61 64 65 72 agma' and header
2080: 73 5b 68 65 61 64 65 72 5d 20 21 3d 20 27 6e 6f s[header] != 'no
2090: 2d 63 61 63 68 65 27 3a 0a 09 09 09 09 09 09 69 -cache':.......i
20a0: 66 20 68 65 61 64 65 72 20 3d 3d 20 27 43 6f 6e f header == 'Con
20b0: 74 65 6e 74 2d 4c 65 6e 67 74 68 27 3a 0a 09 09 tent-Length':...
20c0: 09 09 09 09 09 69 66 20 27 43 6f 6e 74 65 6e 74 .....if 'Content
20d0: 2d 52 61 6e 67 65 27 20 6e 6f 74 20 69 6e 20 68 -Range' not in h
20e0: 65 61 64 65 72 73 3a 0a 09 09 09 09 09 09 09 09 eaders:.........
20f0: 6e 65 77 5f 72 65 63 6f 72 64 5b 68 65 61 64 65 new_record[heade
2100: 72 5d 20 3d 20 69 6e 74 28 68 65 61 64 65 72 73 r] = int(headers
2110: 5b 68 65 61 64 65 72 5d 29 0a 09 09 09 09 09 09 [header]).......
2120: 65 6c 73 65 3a 0a 09 09 09 09 09 09 09 6e 65 77 else:........new
2130: 5f 72 65 63 6f 72 64 5b 68 65 61 64 65 72 5d 20 _record[header]
2140: 3d 20 68 65 61 64 65 72 73 5b 68 65 61 64 65 72 = headers[header
2150: 5d 0a 09 09 09 09 09 65 6c 69 66 20 68 65 61 64 ]......elif head
2160: 65 72 20 3d 3d 20 27 43 6f 6e 74 65 6e 74 2d 52 er == 'Content-R
2170: 61 6e 67 65 27 3a 0a 09 09 09 09 09 09 72 61 6e ange':.......ran
2180: 67 65 20 3d 20 72 65 2e 63 6f 6d 70 69 6c 65 28 ge = re.compile(
2190: 27 5e 62 79 74 65 73 20 28 5c 64 2b 29 2d 28 5c '^bytes (\d+)-(\
21a0: 64 2b 29 2f 28 5c 64 2b 29 24 27 29 2e 6d 61 74 d+)/(\d+)$').mat
21b0: 63 68 28 68 65 61 64 65 72 73 5b 68 65 61 64 65 ch(headers[heade
21c0: 72 5d 29 0a 09 09 09 09 09 09 69 66 20 72 61 6e r]).......if ran
21d0: 67 65 3a 0a 09 09 09 09 09 09 09 6e 65 77 5f 72 ge:........new_r
21e0: 65 63 6f 72 64 5b 27 43 6f 6e 74 65 6e 74 2d 4c ecord['Content-L
21f0: 65 6e 67 74 68 27 5d 20 3d 20 69 6e 74 28 72 61 ength'] = int(ra
2200: 6e 67 65 2e 67 72 6f 75 70 28 33 29 29 0a 09 09 nge.group(3))...
2210: 09 09 09 09 65 6c 73 65 3a 09 0a 09 09 09 09 09 ....else:.......
2220: 09 09 61 73 73 65 72 74 20 46 61 6c 73 65 2c 20 ..assert False,
2230: 27 43 6f 6e 74 65 6e 74 2d 52 61 6e 67 65 20 75 'Content-Range u
2240: 6e 72 65 63 6f 67 6e 69 7a 65 64 2e 27 0a 09 09 nrecognized.'...
2250: 09 09 09 65 6c 69 66 20 6e 6f 74 20 68 65 61 64 ...elif not head
2260: 65 72 20 69 6e 20 69 67 6e 6f 72 65 5f 66 69 65 er in ignore_fie
2270: 6c 64 73 3a 0a 09 09 09 09 09 09 70 72 69 6e 74 lds:.......print
2280: 28 27 55 6e 64 65 66 69 6e 65 64 20 68 65 61 64 ('Undefined head
2290: 65 72 20 22 27 2c 20 68 65 61 64 65 72 2c 20 27 er "', header, '
22a0: 22 3a 20 27 2c 20 68 65 61 64 65 72 73 5b 68 65 ": ', headers[he
22b0: 61 64 65 72 5d 2c 20 73 65 70 3d 27 27 29 0a 0a ader], sep='')..
22c0: 09 09 09 09 23 20 63 6f 6d 70 61 72 69 6e 67 20 ....# comparing
22d0: 68 65 61 64 65 72 73 20 77 69 74 68 20 64 61 74 headers with dat
22e0: 61 20 66 6f 75 6e 64 20 69 6e 20 69 6e 64 65 78 a found in index
22f0: 0a 09 09 09 09 23 20 69 66 20 61 6e 79 20 68 65 .....# if any he
2300: 61 64 65 72 20 68 61 73 20 63 68 61 6e 67 65 64 ader has changed
2310: 20 28 65 78 63 65 70 74 20 50 72 61 67 6d 61 29 (except Pragma)
2320: 20 66 69 6c 65 20 69 73 20 66 75 6c 6c 79 20 64 file is fully d
2330: 6f 77 6e 6c 6f 61 64 65 64 0a 09 09 09 09 23 20 ownloaded.....#
2340: 73 61 6d 65 20 69 66 20 77 65 20 67 65 74 20 6d same if we get m
2350: 6f 72 65 20 6f 72 20 6c 65 73 73 20 68 65 61 64 ore or less head
2360: 65 72 73 0a 09 09 09 09 6f 6c 64 5f 6b 65 79 73 ers.....old_keys
2370: 20 3d 20 73 65 74 28 72 65 63 6f 72 64 2e 6b 65 = set(record.ke
2380: 79 73 28 29 29 0a 09 09 09 09 6f 6c 64 5f 6b 65 ys()).....old_ke
2390: 79 73 2e 64 69 73 63 61 72 64 28 27 5f 74 69 6d ys.discard('_tim
23a0: 65 27 29 0a 09 09 09 09 6f 6c 64 5f 6b 65 79 73 e').....old_keys
23b0: 2e 64 69 73 63 61 72 64 28 27 50 72 61 67 6d 61 .discard('Pragma
23c0: 27 29 0a 09 09 09 09 6d 6f 72 65 5f 6b 65 79 73 ').....more_keys
23d0: 20 3d 20 73 65 74 28 6e 65 77 5f 72 65 63 6f 72 = set(new_recor
23e0: 64 2e 6b 65 79 73 28 29 29 20 2d 20 6f 6c 64 5f d.keys()) - old_
23f0: 6b 65 79 73 0a 09 09 09 09 6d 6f 72 65 5f 6b 65 keys.....more_ke
2400: 79 73 2e 64 69 73 63 61 72 64 28 27 50 72 61 67 ys.discard('Prag
2410: 6d 61 27 29 0a 09 09 09 09 6c 65 73 73 5f 6b 65 ma').....less_ke
2420: 79 73 20 3d 20 6f 6c 64 5f 6b 65 79 73 20 2d 20 ys = old_keys -
2430: 73 65 74 28 6e 65 77 5f 72 65 63 6f 72 64 2e 6b set(new_record.k
2440: 65 79 73 28 29 29 0a 09 09 09 09 69 66 20 6c 65 eys()).....if le
2450: 6e 28 6d 6f 72 65 5f 6b 65 79 73 29 20 3e 20 30 n(more_keys) > 0
2460: 3a 0a 09 09 09 09 09 69 66 20 6c 65 6e 28 6f 6c :......if len(ol
2470: 64 5f 6b 65 79 73 29 20 21 3d 20 30 3a 0a 09 09 d_keys) != 0:...
2480: 09 09 09 09 70 72 69 6e 74 28 27 4d 6f 72 65 20 ....print('More
2490: 68 65 61 64 65 72 73 20 61 70 70 65 61 72 3a 27 headers appear:'
24a0: 2c 20 6d 6f 72 65 5f 6b 65 79 73 29 0a 09 09 09 , more_keys)....
24b0: 09 09 72 65 6c 6f 61 64 20 3d 20 54 72 75 65 0a ..reload = True.
24c0: 09 09 09 09 65 6c 69 66 20 6c 65 6e 28 6c 65 73 ....elif len(les
24d0: 73 5f 6b 65 79 73 29 20 3e 20 30 3a 0a 09 09 09 s_keys) > 0:....
24e0: 09 09 70 72 69 6e 74 28 27 4c 65 73 73 20 68 65 ..print('Less he
24f0: 61 64 65 72 73 20 61 70 70 65 61 72 3a 27 2c 20 aders appear:',
2500: 6c 65 73 73 5f 6b 65 79 73 29 0a 09 09 09 09 65 less_keys).....e
2510: 6c 73 65 3a 0a 09 09 09 09 09 66 6f 72 20 6b 65 lse:......for ke
2520: 79 20 69 6e 20 72 65 63 6f 72 64 2e 6b 65 79 73 y in record.keys
2530: 28 29 3a 0a 09 09 09 09 09 09 69 66 20 6b 65 79 ():.......if key
2540: 5b 30 5d 20 21 3d 20 27 5f 27 20 61 6e 64 20 6b [0] != '_' and k
2550: 65 79 20 21 3d 20 27 50 72 61 67 6d 61 27 20 61 ey != 'Pragma' a
2560: 6e 64 20 72 65 63 6f 72 64 5b 6b 65 79 5d 20 21 nd record[key] !
2570: 3d 20 6e 65 77 5f 72 65 63 6f 72 64 5b 6b 65 79 = new_record[key
2580: 5d 3a 0a 09 09 09 09 09 09 09 70 72 69 6e 74 28 ]:........print(
2590: 27 48 65 61 64 65 72 20 22 27 2c 20 6b 65 79 2c 'Header "', key,
25a0: 20 27 22 20 63 68 61 6e 67 65 64 20 66 72 6f 6d '" changed from
25b0: 20 5b 27 2c 20 72 65 63 6f 72 64 5b 6b 65 79 5d [', record[key]
25c0: 2c 20 27 5d 20 74 6f 20 5b 27 2c 20 6e 65 77 5f , '] to [', new_
25d0: 72 65 63 6f 72 64 5b 6b 65 79 5d 2c 20 27 5d 27 record[key], ']'
25e0: 2c 20 73 65 70 3d 27 27 29 0a 09 09 09 09 09 09 , sep='').......
25f0: 09 70 72 69 6e 74 28 74 79 70 65 28 72 65 63 6f .print(type(reco
2600: 72 64 5b 6b 65 79 5d 29 2c 20 74 79 70 65 28 6e rd[key]), type(n
2610: 65 77 5f 72 65 63 6f 72 64 5b 6b 65 79 5d 29 29 ew_record[key]))
2620: 0a 09 09 09 09 09 09 09 72 65 6c 6f 61 64 20 3d ........reload =
2630: 20 54 72 75 65 0a 0a 09 09 09 09 69 66 20 72 65 True......if re
2640: 6c 6f 61 64 3a 0a 09 09 09 09 09 70 72 69 6e 74 load:......print
2650: 28 27 52 65 6c 6f 61 64 69 6e 67 2e 27 29 0a 09 ('Reloading.')..
2660: 09 09 09 09 69 66 20 6f 73 2e 61 63 63 65 73 73 ....if os.access
2670: 28 74 65 6d 70 5f 6e 61 6d 65 2c 20 6f 73 2e 52 (temp_name, os.R
2680: 5f 4f 4b 29 3a 0a 09 09 09 09 09 09 6f 73 2e 75 _OK):.......os.u
2690: 6e 6c 69 6e 6b 28 74 65 6d 70 5f 6e 61 6d 65 29 nlink(temp_name)
26a0: 0a 09 09 09 09 09 69 66 20 6f 73 2e 61 63 63 65 ......if os.acce
26b0: 73 73 28 66 69 6c 65 5f 6e 61 6d 65 2c 20 6f 73 ss(file_name, os
26c0: 2e 52 5f 4f 4b 29 3a 0a 09 09 09 09 09 09 6f 73 .R_OK):.......os
26d0: 2e 75 6e 6c 69 6e 6b 28 66 69 6c 65 5f 6e 61 6d .unlink(file_nam
26e0: 65 29 0a 09 09 09 09 09 69 66 20 27 43 6f 6e 74 e)......if 'Cont
26f0: 65 6e 74 2d 4c 65 6e 67 74 68 27 20 69 6e 20 6e ent-Length' in n
2700: 65 77 5f 72 65 63 6f 72 64 3a 0a 09 09 09 09 09 ew_record:......
2710: 09 6e 65 77 5f 72 65 63 6f 72 64 5b 27 5f 70 61 .new_record['_pa
2720: 72 74 73 27 5d 20 3d 20 73 70 61 63 65 6d 61 70 rts'] = spacemap
2730: 2e 53 70 61 63 65 4d 61 70 28 7b 30 3a 20 69 6e .SpaceMap({0: in
2740: 74 28 6e 65 77 5f 72 65 63 6f 72 64 5b 27 43 6f t(new_record['Co
2750: 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 5d 29 7d ntent-Length'])}
2760: 29 0a 09 09 09 09 69 66 20 6e 6f 74 20 6e 65 77 ).....if not new
2770: 5f 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 _record['_parts'
2780: 5d 3a 0a 09 09 09 09 09 6e 65 77 5f 72 65 63 6f ]:......new_reco
2790: 72 64 5b 27 5f 70 61 72 74 73 27 5d 20 3d 20 73 rd['_parts'] = s
27a0: 70 61 63 65 6d 61 70 2e 53 70 61 63 65 4d 61 70 pacemap.SpaceMap
27b0: 28 29 0a 09 09 09 09 70 72 69 6e 74 28 6e 65 77 ().....print(new
27c0: 5f 72 65 63 6f 72 64 29 0a 0a 09 09 09 09 23 20 _record)......#
27d0: 64 6f 77 6e 6c 6f 61 64 69 6e 67 20 66 69 6c 65 downloading file
27e0: 20 6f 72 20 73 65 67 6d 65 6e 74 0a 09 09 09 09 or segment.....
27f0: 69 66 20 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 if 'Content-Leng
2800: 74 68 27 20 69 6e 20 6e 65 77 5f 72 65 63 6f 72 th' in new_recor
2810: 64 3a 0a 09 09 09 09 09 69 66 20 6e 65 65 64 65 d:......if neede
2820: 64 20 3d 3d 20 4e 6f 6e 65 3a 0a 09 09 09 09 09 d == None:......
2830: 09 6e 65 65 64 65 64 20 3d 20 6e 65 77 5f 72 65 .needed = new_re
2840: 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d 0a 09 cord['_parts']..
2850: 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 ....else:.......
2860: 69 66 20 6c 65 6e 28 6e 65 65 64 65 64 29 20 3e if len(needed) >
2870: 20 31 3a 0a 09 09 09 09 09 09 09 70 72 69 6e 74 1:........print
2880: 28 22 4d 75 6c 74 69 70 61 72 74 20 72 65 71 75 ("Multipart requ
2890: 65 73 74 73 20 63 75 72 72 65 6e 74 6c 79 20 6e ests currently n
28a0: 6f 74 20 73 75 70 70 6f 72 74 65 64 2e 22 29 0a ot supported.").
28b0: 09 09 09 09 09 09 09 61 73 73 65 72 74 20 46 61 .......assert Fa
28c0: 6c 73 65 2c 20 27 53 6b 69 70 20 74 68 69 73 20 lse, 'Skip this
28d0: 6f 6e 65 20 66 6f 72 20 6e 6f 77 2e 27 0a 09 09 one for now.'...
28e0: 09 09 23 65 6c 73 65 3a 0a 09 09 09 09 09 23 61 ..#else:......#a
28f0: 73 73 65 72 74 20 46 61 6c 73 65 2c 20 27 4e 6f ssert False, 'No
2900: 20 63 6f 6e 74 65 6e 74 2d 6c 65 6e 67 74 68 20 content-length
2910: 6f 72 20 43 6f 6e 74 65 6e 74 2d 52 61 6e 67 65 or Content-Range
2920: 20 68 65 61 64 65 72 2e 27 0a 0a 09 09 09 09 6e header.'......n
2930: 65 77 5f 72 65 63 6f 72 64 5b 27 5f 74 69 6d 65 ew_record['_time
2940: 27 5d 20 3d 20 64 61 74 65 74 69 6d 65 2e 64 61 '] = datetime.da
2950: 74 65 74 69 6d 65 2e 6e 6f 77 28 29 0a 09 09 09 tetime.now()....
2960: 09 69 66 20 73 65 6c 66 2e 63 6f 6d 6d 61 6e 64 .if self.command
2970: 20 6e 6f 74 20 69 6e 20 28 27 48 45 41 44 27 29 not in ('HEAD')
2980: 3a 0a 09 09 09 09 09 23 20 66 69 6c 65 20 69 73 :......# file is
2990: 20 63 72 65 61 74 65 64 20 61 74 20 74 65 6d 70 created at temp
29a0: 6f 72 61 72 79 20 6c 6f 63 61 74 69 6f 6e 20 61 orary location a
29b0: 6e 64 20 6d 6f 76 65 64 20 69 6e 20 70 6c 61 63 nd moved in plac
29c0: 65 20 6f 6e 6c 79 20 77 68 65 6e 20 64 6f 77 6e e only when down
29d0: 6c 6f 61 64 20 63 6f 6d 70 6c 65 74 65 73 0a 09 load completes..
29e0: 09 09 09 09 69 66 20 6e 6f 74 20 6f 73 2e 61 63 ....if not os.ac
29f0: 63 65 73 73 28 74 65 6d 70 5f 6e 61 6d 65 2c 20 cess(temp_name,
2a00: 6f 73 2e 52 5f 4f 4b 29 3a 0a 09 09 09 09 09 09 os.R_OK):.......
2a10: 65 6d 70 74 79 5f 6e 61 6d 65 20 3d 20 63 6f 6e empty_name = con
2a20: 66 69 67 5f 68 6f 73 74 5b 27 64 69 72 27 5d 20 fig_host['dir']
2a30: 2b 20 6f 73 2e 73 65 70 20 2b 20 27 2e 74 6d 70 + os.sep + '.tmp
2a40: 27 0a 09 09 09 09 09 09 77 69 74 68 20 6f 70 65 '.......with ope
2a50: 6e 28 65 6d 70 74 79 5f 6e 61 6d 65 2c 20 27 77 n(empty_name, 'w
2a60: 2b 62 27 29 20 61 73 20 73 6f 6d 65 5f 66 69 6c +b') as some_fil
2a70: 65 3a 0a 09 09 09 09 09 09 09 70 61 73 73 0a 09 e:........pass..
2a80: 09 09 09 09 09 6f 73 2e 72 65 6e 61 6d 65 73 28 .....os.renames(
2a90: 65 6d 70 74 79 5f 6e 61 6d 65 2c 20 74 65 6d 70 empty_name, temp
2aa0: 5f 6e 61 6d 65 29 0a 09 09 09 09 09 74 65 6d 70 _name)......temp
2ab0: 5f 66 69 6c 65 20 3d 20 6f 70 65 6e 28 74 65 6d _file = open(tem
2ac0: 70 5f 6e 61 6d 65 2c 20 27 72 2b 62 27 29 0a 09 p_name, 'r+b')..
2ad0: 09 09 09 09 69 66 20 72 65 71 75 65 73 74 65 64 ....if requested
2ae0: 5f 72 61 6e 67 65 73 20 3d 3d 20 4e 6f 6e 65 20 _ranges == None
2af0: 61 6e 64 20 6e 65 65 64 65 64 20 3d 3d 20 4e 6f and needed == No
2b00: 6e 65 3a 0a 09 09 09 09 09 09 6e 65 65 64 65 64 ne:.......needed
2b10: 20 3d 20 6e 65 77 5f 72 65 63 6f 72 64 5b 27 5f = new_record['_
2b20: 70 61 72 74 73 27 5d 0a 09 09 09 09 09 6e 65 65 parts']......nee
2b30: 64 65 64 2e 72 65 77 69 6e 64 28 29 0a 09 09 09 ded.rewind()....
2b40: 09 09 77 68 69 6c 65 20 54 72 75 65 3a 0a 09 09 ..while True:...
2b50: 09 09 09 09 23 20 58 58 58 20 63 61 6e 20 6d 61 ....# XXX can ma
2b60: 6b 65 20 74 68 69 73 20 69 6d 70 6c 69 63 69 74 ke this implicit
2b70: 20 2d 20 6f 6e 65 20 72 65 71 75 65 73 74 20 70 - one request p
2b80: 65 72 20 72 61 6e 67 65 0a 09 09 09 09 09 09 28 er range.......(
2b90: 73 74 61 72 74 2c 20 65 6e 64 29 20 3d 20 6e 65 start, end) = ne
2ba0: 65 64 65 64 2e 70 6f 70 28 29 0a 09 09 09 09 09 eded.pop()......
2bb0: 09 69 66 20 73 74 61 72 74 20 3d 3d 20 4e 6f 6e .if start == Non
2bc0: 65 3a 0a 09 09 09 09 09 09 09 62 72 65 61 6b 0a e:........break.
2bd0: 09 09 09 09 09 09 73 74 72 65 61 6d 5f 6c 61 73 ......stream_las
2be0: 74 20 3d 20 73 74 61 72 74 0a 09 09 09 09 09 09 t = start.......
2bf0: 6f 6c 64 5f 72 65 63 6f 72 64 20 3d 20 63 6f 70 old_record = cop
2c00: 79 2e 63 6f 70 79 28 6e 65 77 5f 72 65 63 6f 72 y.copy(new_recor
2c10: 64 29 0a 09 09 09 09 09 09 69 66 20 65 6e 64 20 d).......if end
2c20: 2d 20 73 74 61 72 74 20 3c 20 62 6c 6f 63 6b 5f - start < block_
2c30: 73 69 7a 65 3a 0a 09 09 09 09 09 09 09 72 65 71 size:........req
2c40: 5f 62 6c 6f 63 6b 5f 73 69 7a 65 20 3d 20 65 6e _block_size = en
2c50: 64 20 2d 20 73 74 61 72 74 0a 09 09 09 09 09 09 d - start.......
2c60: 65 6c 73 65 3a 0a 09 09 09 09 09 09 09 72 65 71 else:........req
2c70: 5f 62 6c 6f 63 6b 5f 73 69 7a 65 20 3d 20 62 6c _block_size = bl
2c80: 6f 63 6b 5f 73 69 7a 65 0a 09 09 09 09 09 09 62 ock_size.......b
2c90: 75 66 66 65 72 20 3d 20 73 6f 75 72 63 65 2e 72 uffer = source.r
2ca0: 65 61 64 28 72 65 71 5f 62 6c 6f 63 6b 5f 73 69 ead(req_block_si
2cb0: 7a 65 29 0a 09 09 09 09 09 09 6c 65 6e 67 74 68 ze).......length
2cc0: 20 3d 20 6c 65 6e 28 62 75 66 66 65 72 29 0a 09 = len(buffer)..
2cd0: 09 09 09 09 09 77 68 69 6c 65 20 6c 65 6e 67 74 .....while lengt
2ce0: 68 20 3e 20 30 20 61 6e 64 20 73 74 72 65 61 6d h > 0 and stream
2cf0: 5f 6c 61 73 74 20 3c 20 65 6e 64 3a 0a 09 09 09 _last < end:....
2d00: 09 09 09 09 73 74 72 65 61 6d 5f 70 6f 73 20 3d ....stream_pos =
2d10: 20 73 74 72 65 61 6d 5f 6c 61 73 74 20 2b 20 6c stream_last + l
2d20: 65 6e 67 74 68 0a 09 09 09 09 09 09 09 61 73 73 ength........ass
2d30: 65 72 74 20 73 74 72 65 61 6d 5f 70 6f 73 20 3c ert stream_pos <
2d40: 3d 20 65 6e 64 2c 20 27 52 65 63 65 69 76 65 64 = end, 'Received
2d50: 20 6d 6f 72 65 20 64 61 74 61 20 74 68 65 6e 20 more data then
2d60: 72 65 71 75 65 73 74 65 64 3a 20 70 6f 73 3a 7b requested: pos:{
2d70: 7d 20 73 74 61 72 74 3a 7b 7d 20 65 6e 64 3a 7b } start:{} end:{
2d80: 7d 2e 27 2e 66 6f 72 6d 61 74 28 73 74 72 65 61 }.'.format(strea
2d90: 6d 5f 70 6f 73 2c 20 73 74 61 72 74 2c 20 65 6e m_pos, start, en
2da0: 64 29 0a 09 09 09 09 09 09 09 74 65 6d 70 5f 66 d)........temp_f
2db0: 69 6c 65 2e 73 65 65 6b 28 73 74 72 65 61 6d 5f ile.seek(stream_
2dc0: 6c 61 73 74 29 0a 09 09 09 09 09 09 09 74 65 6d last)........tem
2dd0: 70 5f 66 69 6c 65 2e 77 72 69 74 65 28 62 75 66 p_file.write(buf
2de0: 66 65 72 29 0a 09 09 09 09 09 09 09 78 20 3d 20 fer)........x =
2df0: 6e 65 77 5f 72 65 63 6f 72 64 5b 27 5f 70 61 72 new_record['_par
2e00: 74 73 27 5d 20 2d 20 73 70 61 63 65 6d 61 70 2e ts'] - spacemap.
2e10: 53 70 61 63 65 4d 61 70 28 7b 73 74 72 65 61 6d SpaceMap({stream
2e20: 5f 6c 61 73 74 3a 20 73 74 72 65 61 6d 5f 70 6f _last: stream_po
2e30: 73 7d 29 0a 09 09 09 09 09 09 09 6e 65 77 5f 72 s})........new_r
2e40: 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d 20 ecord['_parts']
2e50: 3d 20 6e 65 77 5f 72 65 63 6f 72 64 5b 27 5f 70 = new_record['_p
2e60: 61 72 74 73 27 5d 20 2d 20 73 70 61 63 65 6d 61 arts'] - spacema
2e70: 70 2e 53 70 61 63 65 4d 61 70 28 7b 73 74 72 65 p.SpaceMap({stre
2e80: 61 6d 5f 6c 61 73 74 3a 20 73 74 72 65 61 6d 5f am_last: stream_
2e90: 70 6f 73 7d 29 0a 09 09 09 09 09 09 09 69 6e 64 pos})........ind
2ea0: 65 78 5b 6d 79 5f 70 61 74 68 5f 62 5d 20 3d 20 ex[my_path_b] =
2eb0: 6f 6c 64 5f 72 65 63 6f 72 64 0a 09 09 09 09 09 old_record......
2ec0: 09 09 69 6e 64 65 78 2e 73 79 6e 63 28 29 0a 09 ..index.sync()..
2ed0: 09 09 09 09 09 09 6f 6c 64 5f 72 65 63 6f 72 64 ......old_record
2ee0: 20 3d 20 63 6f 70 79 2e 63 6f 70 79 28 6e 65 77 = copy.copy(new
2ef0: 5f 72 65 63 6f 72 64 29 0a 09 09 09 09 09 09 09 _record)........
2f00: 73 74 72 65 61 6d 5f 6c 61 73 74 20 3d 20 73 74 stream_last = st
2f10: 72 65 61 6d 5f 70 6f 73 0a 09 09 09 09 09 09 09 ream_pos........
2f20: 69 66 20 65 6e 64 20 2d 20 73 74 72 65 61 6d 5f if end - stream_
2f30: 6c 61 73 74 20 3c 20 62 6c 6f 63 6b 5f 73 69 7a last < block_siz
2f40: 65 3a 0a 09 09 09 09 09 09 09 09 72 65 71 5f 62 e:.........req_b
2f50: 6c 6f 63 6b 5f 73 69 7a 65 20 3d 20 65 6e 64 20 lock_size = end
2f60: 2d 20 73 74 72 65 61 6d 5f 6c 61 73 74 0a 09 09 - stream_last...
2f70: 09 09 09 09 09 62 75 66 66 65 72 20 3d 20 73 6f .....buffer = so
2f80: 75 72 63 65 2e 72 65 61 64 28 72 65 71 5f 62 6c urce.read(req_bl
2f90: 6f 63 6b 5f 73 69 7a 65 29 0a 09 09 09 09 09 09 ock_size).......
2fa0: 09 6c 65 6e 67 74 68 20 3d 20 6c 65 6e 28 62 75 .length = len(bu
2fb0: 66 66 65 72 29 0a 09 09 09 09 09 23 20 6d 6f 76 ffer)......# mov
2fc0: 69 6e 67 20 64 6f 77 6e 6c 6f 61 64 65 64 20 64 ing downloaded d
2fd0: 61 74 61 20 74 6f 20 72 65 61 6c 20 66 69 6c 65 ata to real file
2fe0: 0a 09 09 09 09 09 74 65 6d 70 5f 66 69 6c 65 2e ......temp_file.
2ff0: 63 6c 6f 73 65 28 29 0a 0a 09 09 09 09 69 6e 64 close()......ind
3000: 65 78 5b 6d 79 5f 70 61 74 68 5f 62 5d 20 3d 20 ex[my_path_b] =
3010: 6e 65 77 5f 72 65 63 6f 72 64 0a 09 09 09 09 69 new_record.....i
3020: 6e 64 65 78 2e 73 79 6e 63 28 29 0a 0a 09 09 09 ndex.sync().....
3030: 65 78 63 65 70 74 20 75 72 6c 6c 69 62 2e 65 72 except urllib.er
3040: 72 6f 72 2e 48 54 54 50 45 72 72 6f 72 20 61 73 ror.HTTPError as
3050: 20 65 72 72 6f 72 3a 0a 09 09 09 09 23 20 69 6e error:.....# in
3060: 20 63 61 73 65 20 6f 66 20 65 72 72 6f 72 20 77 case of error w
3070: 65 20 64 6f 6e 27 74 20 6e 65 65 64 20 74 6f 20 e don't need to
3080: 64 6f 20 61 6e 79 74 68 69 6e 67 20 61 63 74 75 do anything actu
3090: 61 6c 6c 79 2c 0a 09 09 09 09 23 20 69 66 20 66 ally,.....# if f
30a0: 69 6c 65 20 64 6f 77 6e 6c 6f 61 64 20 73 74 61 ile download sta
30b0: 6c 6c 73 20 6f 72 20 66 61 69 6c 73 20 74 68 65 lls or fails the
30c0: 20 66 69 6c 65 20 77 6f 75 6c 64 20 6e 6f 74 20 file would not
30d0: 62 65 20 6d 6f 76 65 64 20 74 6f 20 69 74 27 73 be moved to it's
30e0: 20 6c 6f 63 61 74 69 6f 6e 0a 09 09 09 09 70 72 location.....pr
30f0: 69 6e 74 28 65 72 72 6f 72 2c 20 72 65 70 72 28 int(error, repr(
3100: 6d 79 5f 68 65 61 64 65 72 73 29 29 0a 0a 09 09 my_headers))....
3110: 70 72 69 6e 74 28 69 6e 64 65 78 5b 6d 79 5f 70 print(index[my_p
3120: 61 74 68 5f 62 5d 29 0a 0a 09 09 69 66 20 6e 6f ath_b])....if no
3130: 74 20 6f 73 2e 61 63 63 65 73 73 28 66 69 6c 65 t os.access(file
3140: 5f 6e 61 6d 65 2c 20 6f 73 2e 52 5f 4f 4b 29 20 _name, os.R_OK)
3150: 61 6e 64 20 6f 73 2e 61 63 63 65 73 73 28 74 65 and os.access(te
3160: 6d 70 5f 6e 61 6d 65 2c 20 6f 73 2e 52 5f 4f 4b mp_name, os.R_OK
3170: 29 20 61 6e 64 20 27 5f 70 61 72 74 73 27 20 69 ) and '_parts' i
3180: 6e 20 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5f n index[my_path_
3190: 62 5d 20 61 6e 64 20 69 6e 64 65 78 5b 6d 79 5f b] and index[my_
31a0: 70 61 74 68 5f 62 5d 5b 27 5f 70 61 72 74 73 27 path_b]['_parts'
31b0: 5d 20 3d 3d 20 73 70 61 63 65 6d 61 70 2e 53 70 ] == spacemap.Sp
31c0: 61 63 65 4d 61 70 28 29 3a 0a 09 09 09 23 20 6a aceMap():....# j
31d0: 75 73 74 20 6d 6f 76 69 6e 67 0a 09 09 09 23 20 ust moving....#
31e0: 64 72 6f 70 20 6f 6c 64 20 64 69 72 73 20 58 58 drop old dirs XX
31f0: 58 0a 09 09 09 70 72 69 6e 74 28 27 4d 6f 76 69 X....print('Movi
3200: 6e 67 20 74 65 6d 70 6f 72 61 72 79 20 66 69 6c ng temporary fil
3210: 65 20 74 6f 20 6e 65 77 20 64 65 73 74 69 6e 61 e to new destina
3220: 74 69 6f 6e 2e 27 29 0a 09 09 09 6f 73 2e 72 65 tion.')....os.re
3230: 6e 61 6d 65 73 28 74 65 6d 70 5f 6e 61 6d 65 2c names(temp_name,
3240: 20 66 69 6c 65 5f 6e 61 6d 65 29 0a 0a 09 09 69 file_name)....i
3250: 66 20 6e 6f 74 20 6d 79 5f 70 61 74 68 5f 62 20 f not my_path_b
3260: 69 6e 20 69 6e 64 65 78 3a 0a 09 09 09 73 65 6c in index:....sel
3270: 66 2e 73 65 6e 64 5f 72 65 73 70 6f 6e 73 65 28 f.send_response(
3280: 35 30 32 29 0a 09 09 09 73 65 6c 66 2e 65 6e 64 502)....self.end
3290: 5f 68 65 61 64 65 72 73 28 29 0a 09 09 09 72 65 _headers()....re
32a0: 74 75 72 6e 0a 0a 09 09 69 66 20 73 65 6c 66 2e turn....if self.
32b0: 63 6f 6d 6d 61 6e 64 20 3d 3d 20 27 48 45 41 44 command == 'HEAD
32c0: 27 3a 0a 09 09 09 73 65 6c 66 2e 73 65 6e 64 5f ':....self.send_
32d0: 72 65 73 70 6f 6e 73 65 28 32 30 30 29 0a 09 09 response(200)...
32e0: 09 69 66 20 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e .if 'Content-Len
32f0: 67 74 68 27 20 69 6e 20 69 6e 64 65 78 5b 6d 79 gth' in index[my
3300: 5f 70 61 74 68 5f 62 5d 3a 0a 09 09 09 09 73 65 _path_b]:.....se
3310: 6c 66 2e 73 65 6e 64 5f 68 65 61 64 65 72 28 27 lf.send_header('
3320: 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 2c Content-Length',
3330: 20 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5f 62 index[my_path_b
3340: 5d 5b 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 ]['Content-Lengt
3350: 68 27 5d 29 0a 09 09 09 73 65 6c 66 2e 73 65 6e h'])....self.sen
3360: 64 5f 68 65 61 64 65 72 28 27 41 63 63 65 70 74 d_header('Accept
3370: 2d 52 61 6e 67 65 73 27 2c 20 27 62 79 74 65 73 -Ranges', 'bytes
3380: 27 29 0a 09 09 09 73 65 6c 66 2e 73 65 6e 64 5f ')....self.send_
3390: 68 65 61 64 65 72 28 27 43 6f 6e 74 65 6e 74 2d header('Content-
33a0: 54 79 70 65 27 2c 20 27 61 70 70 6c 69 63 61 74 Type', 'applicat
33b0: 69 6f 6e 2f 6f 63 74 65 74 2d 73 74 72 65 61 6d ion/octet-stream
33c0: 27 29 0a 09 09 09 69 66 20 27 4c 61 73 74 2d 4d ')....if 'Last-M
33d0: 6f 64 69 66 69 65 64 27 20 69 6e 20 69 6e 64 65 odified' in inde
33e0: 78 5b 6d 79 5f 70 61 74 68 5f 62 5d 3a 0a 09 09 x[my_path_b]:...
33f0: 09 09 73 65 6c 66 2e 73 65 6e 64 5f 68 65 61 64 ..self.send_head
3400: 65 72 28 27 4c 61 73 74 2d 4d 6f 64 69 66 69 65 er('Last-Modifie
3410: 64 27 2c 20 69 6e 64 65 78 5b 6d 79 5f 70 61 74 d', index[my_pat
3420: 68 5f 62 5d 5b 27 4c 61 73 74 2d 4d 6f 64 69 66 h_b]['Last-Modif
3430: 69 65 64 27 5d 29 0a 09 09 09 73 65 6c 66 2e 65 ied'])....self.e
3440: 6e 64 5f 68 65 61 64 65 72 73 28 29 0a 09 09 65 nd_headers()...e
3450: 6c 73 65 3a 0a 09 09 09 69 66 20 28 27 5f 70 61 lse:....if ('_pa
3460: 72 74 73 27 20 69 6e 20 69 6e 64 65 78 5b 6d 79 rts' in index[my
3470: 5f 70 61 74 68 5f 62 5d 20 61 6e 64 20 69 6e 64 _path_b] and ind
3480: 65 78 5b 6d 79 5f 70 61 74 68 5f 62 5d 5b 27 5f ex[my_path_b]['_
3490: 70 61 72 74 73 27 5d 20 21 3d 20 73 70 61 63 65 parts'] != space
34a0: 6d 61 70 2e 53 70 61 63 65 4d 61 70 28 29 29 20 map.SpaceMap())
34b0: 6f 72 20 6e 6f 74 20 6f 73 2e 61 63 63 65 73 73 or not os.access
34c0: 28 66 69 6c 65 5f 6e 61 6d 65 2c 20 6f 73 2e 52 (file_name, os.R
34d0: 5f 4f 4b 29 3a 0a 09 09 09 09 66 69 6c 65 5f 6e _OK):.....file_n
34e0: 61 6d 65 20 3d 20 74 65 6d 70 5f 6e 61 6d 65 0a ame = temp_name.
34f0: 0a 09 09 09 77 69 74 68 20 6f 70 65 6e 28 66 69 ....with open(fi
3500: 6c 65 5f 6e 61 6d 65 2c 20 27 72 62 27 29 20 61 le_name, 'rb') a
3510: 73 20 72 65 61 6c 5f 66 69 6c 65 3a 0a 09 09 09 s real_file:....
3520: 09 66 69 6c 65 5f 73 74 61 74 20 3d 20 6f 73 2e .file_stat = os.
3530: 73 74 61 74 28 66 69 6c 65 5f 6e 61 6d 65 29 0a stat(file_name).
3540: 09 09 09 09 69 66 20 27 52 61 6e 67 65 27 20 69 ....if 'Range' i
3550: 6e 20 73 65 6c 66 2e 68 65 61 64 65 72 73 3a 0a n self.headers:.
3560: 09 09 09 09 09 73 65 6c 66 2e 73 65 6e 64 5f 72 .....self.send_r
3570: 65 73 70 6f 6e 73 65 28 32 30 36 29 0a 09 09 09 esponse(206)....
3580: 09 09 72 61 6e 67 65 73 20 3d 20 28 29 0a 09 09 ..ranges = ()...
3590: 09 09 09 72 65 71 75 65 73 74 65 64 5f 72 61 6e ...requested_ran
35a0: 67 65 73 2e 72 65 77 69 6e 64 28 29 0a 09 09 09 ges.rewind()....
35b0: 09 09 77 68 69 6c 65 20 54 72 75 65 3a 0a 09 09 ..while True:...
35c0: 09 09 09 09 70 61 69 72 20 3d 20 72 65 71 75 65 ....pair = reque
35d0: 73 74 65 64 5f 72 61 6e 67 65 73 2e 70 6f 70 28 sted_ranges.pop(
35e0: 29 0a 09 09 09 09 09 09 69 66 20 70 61 69 72 5b ).......if pair[
35f0: 30 5d 20 3d 3d 20 4e 6f 6e 65 3a 0a 09 09 09 09 0] == None:.....
3600: 09 09 09 62 72 65 61 6b 0a 09 09 09 09 09 09 72 ...break.......r
3610: 61 6e 67 65 73 20 2b 3d 20 27 7b 7d 2d 7b 7d 27 anges += '{}-{}'
3620: 2e 66 6f 72 6d 61 74 28 70 61 69 72 5b 30 5d 2c .format(pair[0],
3630: 20 73 74 72 28 70 61 69 72 5b 31 5d 20 2d 20 31 str(pair[1] - 1
3640: 29 29 2c 0a 09 09 09 09 09 73 65 6c 66 2e 73 65 )),......self.se
3650: 6e 64 5f 68 65 61 64 65 72 28 27 43 6f 6e 74 65 nd_header('Conte
3660: 6e 74 2d 52 61 6e 67 65 27 2c 20 27 62 79 74 65 nt-Range', 'byte
3670: 73 20 7b 7d 2f 7b 7d 27 2e 66 6f 72 6d 61 74 28 s {}/{}'.format(
3680: 27 2c 27 2e 6a 6f 69 6e 28 72 61 6e 67 65 73 29 ','.join(ranges)
3690: 2c 20 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5f , index[my_path_
36a0: 62 5d 5b 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 b]['Content-Leng
36b0: 74 68 27 5d 29 29 0a 09 09 09 09 65 6c 73 65 3a th'])).....else:
36c0: 0a 09 09 09 09 09 73 65 6c 66 2e 73 65 6e 64 5f ......self.send_
36d0: 72 65 73 70 6f 6e 73 65 28 32 30 30 29 0a 09 09 response(200)...
36e0: 09 09 09 73 65 6c 66 2e 73 65 6e 64 5f 68 65 61 ...self.send_hea
36f0: 64 65 72 28 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e der('Content-Len
3700: 67 74 68 27 2c 20 73 74 72 28 66 69 6c 65 5f 73 gth', str(file_s
3710: 74 61 74 2e 73 74 5f 73 69 7a 65 29 29 0a 09 09 tat.st_size))...
3720: 09 09 09 72 65 71 75 65 73 74 65 64 5f 72 61 6e ...requested_ran
3730: 67 65 73 20 3d 20 73 70 61 63 65 6d 61 70 2e 53 ges = spacemap.S
3740: 70 61 63 65 4d 61 70 28 7b 30 3a 20 66 69 6c 65 paceMap({0: file
3750: 5f 73 74 61 74 2e 73 74 5f 73 69 7a 65 7d 29 0a _stat.st_size}).
3760: 09 09 09 09 69 66 20 27 4c 61 73 74 2d 4d 6f 64 ....if 'Last-Mod
3770: 69 66 69 65 64 27 20 69 6e 20 69 6e 64 65 78 5b ified' in index[
3780: 6d 79 5f 70 61 74 68 5f 62 5d 3a 0a 09 09 09 09 my_path_b]:.....
3790: 09 73 65 6c 66 2e 73 65 6e 64 5f 68 65 61 64 65 .self.send_heade
37a0: 72 28 27 4c 61 73 74 2d 4d 6f 64 69 66 69 65 64 r('Last-Modified
37b0: 27 2c 20 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 ', index[my_path
37c0: 5f 62 5d 5b 27 4c 61 73 74 2d 4d 6f 64 69 66 69 _b]['Last-Modifi
37d0: 65 64 27 5d 29 0a 09 09 09 09 73 65 6c 66 2e 73 ed']).....self.s
37e0: 65 6e 64 5f 68 65 61 64 65 72 28 27 43 6f 6e 74 end_header('Cont
37f0: 65 6e 74 2d 54 79 70 65 27 2c 20 27 61 70 70 6c ent-Type', 'appl
3800: 69 63 61 74 69 6f 6e 2f 6f 63 74 65 74 2d 73 74 ication/octet-st
3810: 72 65 61 6d 27 29 0a 09 09 09 09 73 65 6c 66 2e ream').....self.
3820: 65 6e 64 5f 68 65 61 64 65 72 73 28 29 0a 09 09 end_headers()...
3830: 09 09 69 66 20 73 65 6c 66 2e 63 6f 6d 6d 61 6e ..if self.comman
3840: 64 20 69 6e 20 28 27 47 45 54 27 29 3a 0a 09 09 d in ('GET'):...
3850: 09 09 09 69 66 20 6c 65 6e 28 72 65 71 75 65 73 ...if len(reques
3860: 74 65 64 5f 72 61 6e 67 65 73 29 20 3e 20 30 3a ted_ranges) > 0:
3870: 0a 09 09 09 09 09 09 72 65 71 75 65 73 74 65 64 .......requested
3880: 5f 72 61 6e 67 65 73 2e 72 65 77 69 6e 64 28 29 _ranges.rewind()
3890: 0a 09 09 09 09 09 09 28 73 74 61 72 74 2c 20 65 .......(start, e
38a0: 6e 64 29 20 3d 20 72 65 71 75 65 73 74 65 64 5f nd) = requested_
38b0: 72 61 6e 67 65 73 2e 70 6f 70 28 29 0a 09 09 09 ranges.pop()....
38c0: 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 73 74 ..else:.......st
38d0: 61 72 74 20 3d 20 30 0a 09 09 09 09 09 09 23 20 art = 0.......#
38e0: 58 58 58 20 75 67 6c 79 20 68 61 63 6b 0a 09 09 XXX ugly hack...
38f0: 09 09 09 09 69 66 20 27 43 6f 6e 74 65 6e 74 2d ....if 'Content-
3900: 4c 65 6e 67 74 68 27 20 69 6e 20 69 6e 64 65 78 Length' in index
3910: 5b 6d 79 5f 70 61 74 68 5f 62 5d 3a 0a 09 09 09 [my_path_b]:....
3920: 09 09 09 09 65 6e 64 20 3d 20 69 6e 64 65 78 5b ....end = index[
3930: 6d 79 5f 70 61 74 68 5f 62 5d 5b 27 43 6f 6e 74 my_path_b]['Cont
3940: 65 6e 74 2d 4c 65 6e 67 74 68 27 5d 0a 09 09 09 ent-Length']....
3950: 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 09 ...else:........
3960: 65 6e 64 20 3d 20 30 0a 09 09 09 09 09 72 65 61 end = 0......rea
3970: 6c 5f 66 69 6c 65 2e 73 65 65 6b 28 73 74 61 72 l_file.seek(star
3980: 74 29 0a 09 09 09 09 09 69 66 20 62 6c 6f 63 6b t)......if block
3990: 5f 73 69 7a 65 20 3e 20 65 6e 64 20 2d 20 73 74 _size > end - st
39a0: 61 72 74 3a 0a 09 09 09 09 09 09 72 65 71 5f 62 art:.......req_b
39b0: 6c 6f 63 6b 5f 73 69 7a 65 20 3d 20 65 6e 64 20 lock_size = end
39c0: 2d 20 73 74 61 72 74 0a 09 09 09 09 09 65 6c 73 - start......els
39d0: 65 3a 0a 09 09 09 09 09 09 72 65 71 5f 62 6c 6f e:.......req_blo
39e0: 63 6b 5f 73 69 7a 65 20 3d 20 62 6c 6f 63 6b 5f ck_size = block_
39f0: 73 69 7a 65 0a 09 09 09 09 09 62 75 66 66 65 72 size......buffer
3a00: 20 3d 20 72 65 61 6c 5f 66 69 6c 65 2e 72 65 61 = real_file.rea
3a10: 64 28 72 65 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 d(req_block_size
3a20: 29 0a 09 09 09 09 09 6c 65 6e 67 74 68 20 3d 20 )......length =
3a30: 6c 65 6e 28 62 75 66 66 65 72 29 0a 09 09 09 09 len(buffer).....
3a40: 09 77 68 69 6c 65 20 6c 65 6e 67 74 68 20 3e 20 .while length >
3a50: 30 3a 0a 09 09 09 09 09 09 73 65 6c 66 2e 77 66 0:.......self.wf
3a60: 69 6c 65 2e 77 72 69 74 65 28 62 75 66 66 65 72 ile.write(buffer
3a70: 29 0a 09 09 09 09 09 09 73 74 61 72 74 20 2b 3d ).......start +=
3a80: 20 6c 65 6e 28 62 75 66 66 65 72 29 0a 09 09 09 len(buffer)....
3a90: 09 09 09 69 66 20 72 65 71 5f 62 6c 6f 63 6b 5f ...if req_block_
3aa0: 73 69 7a 65 20 3e 20 65 6e 64 20 2d 20 73 74 61 size > end - sta
3ab0: 72 74 3a 0a 09 09 09 09 09 09 09 72 65 71 5f 62 rt:........req_b
3ac0: 6c 6f 63 6b 5f 73 69 7a 65 20 3d 20 65 6e 64 20 lock_size = end
3ad0: 2d 20 73 74 61 72 74 0a 09 09 09 09 09 09 69 66 - start.......if
3ae0: 20 72 65 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 20 req_block_size
3af0: 3d 3d 20 30 3a 0a 09 09 09 09 09 09 09 62 72 65 == 0:........bre
3b00: 61 6b 0a 09 09 09 09 09 09 62 75 66 66 65 72 20 ak.......buffer
3b10: 3d 20 72 65 61 6c 5f 66 69 6c 65 2e 72 65 61 64 = real_file.read
3b20: 28 72 65 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 29 (req_block_size)
3b30: 0a 09 09 09 09 09 09 6c 65 6e 67 74 68 20 3d 20 .......length =
3b40: 6c 65 6e 28 62 75 66 66 65 72 29 0a 09 09 09 09 len(buffer).....
3b50: 0a 09 64 65 66 20 64 6f 5f 48 45 41 44 28 73 65 ..def do_HEAD(se
3b60: 6c 66 29 3a 0a 09 09 72 65 74 75 72 6e 20 73 65 lf):...return se
3b70: 6c 66 2e 5f 5f 70 72 6f 63 65 73 73 28 29 0a 09 lf.__process()..
3b80: 64 65 66 20 64 6f 5f 47 45 54 28 73 65 6c 66 29 def do_GET(self)
3b90: 3a 0a 09 09 72 65 74 75 72 6e 20 73 65 6c 66 2e :...return self.
3ba0: 5f 5f 70 72 6f 63 65 73 73 28 29 0a 0a 73 65 72 __process()..ser
3bb0: 76 65 72 20 3d 20 68 74 74 70 2e 73 65 72 76 65 ver = http.serve
3bc0: 72 2e 48 54 54 50 53 65 72 76 65 72 28 28 27 31 r.HTTPServer(('1
3bd0: 32 37 2e 30 2e 30 2e 31 27 2c 20 69 6e 74 28 63 27.0.0.1', int(c
3be0: 6f 6e 66 69 67 5b 27 44 45 46 41 55 4c 54 27 5d onfig['DEFAULT']
3bf0: 5b 27 70 6f 72 74 27 5d 29 29 2c 20 4d 79 52 65 ['port'])), MyRe
3c00: 71 75 65 73 74 48 61 6e 64 6c 65 72 29 0a 73 65 questHandler).se
3c10: 72 76 65 72 2e 73 65 72 76 65 5f 66 6f 72 65 76 rver.serve_forev
3c20: 65 72 28 29 0a 0a 23 67 65 76 65 6e 74 2e 6a 6f er()..#gevent.jo
3c30: 69 6e 61 6c 6c 28 29 0a inall().