0000: 23 21 2f 75 73 72 2f 62 69 6e 2f 65 6e 76 20 70 #!/usr/bin/env p
0010: 79 74 68 6f 6e 33 2e 33 0a 0a 69 6d 70 6f 72 74 ython3.3..import
0020: 20 61 72 67 70 61 72 73 65 2c 20 6f 73 0a 70 61 argparse, os.pa
0030: 72 73 65 72 20 3d 20 61 72 67 70 61 72 73 65 2e rser = argparse.
0040: 41 72 67 75 6d 65 6e 74 50 61 72 73 65 72 28 29 ArgumentParser()
0050: 0a 70 61 72 73 65 72 2e 61 64 64 5f 61 72 67 75 .parser.add_argu
0060: 6d 65 6e 74 28 27 2d 63 27 2c 20 27 2d 2d 63 6f ment('-c', '--co
0070: 6e 66 69 67 27 2c 20 64 65 73 74 20 3d 20 27 63 nfig', dest = 'c
0080: 6f 6e 66 69 67 27 2c 20 68 65 6c 70 20 3d 20 27 onfig', help = '
0090: 63 6f 6e 66 69 67 20 66 69 6c 65 20 6c 6f 63 61 config file loca
00a0: 74 69 6f 6e 27 2c 20 6d 65 74 61 76 61 72 20 3d tion', metavar =
00b0: 20 27 46 49 4c 45 27 2c 20 64 65 66 61 75 6c 74 'FILE', default
00c0: 20 3d 20 27 73 61 6d 65 73 69 74 65 2e 63 6f 6e = 'samesite.con
00d0: 66 27 29 0a 61 72 67 73 20 3d 20 70 61 72 73 65 f').args = parse
00e0: 72 2e 70 61 72 73 65 5f 61 72 67 73 28 29 0a 61 r.parse_args().a
00f0: 73 73 65 72 74 20 6f 73 2e 61 63 63 65 73 73 28 ssert os.access(
0100: 61 72 67 73 2e 63 6f 6e 66 69 67 2c 20 6f 73 2e args.config, os.
0110: 52 5f 4f 4b 29 2c 20 22 46 61 74 61 6c 20 65 72 R_OK), "Fatal er
0120: 72 6f 72 3a 20 63 61 6e 27 74 20 72 65 61 64 20 ror: can't read
0130: 7b 7d 22 2e 66 6f 72 6d 61 74 28 61 72 67 73 2e {}".format(args.
0140: 63 6f 6e 66 69 67 29 0a 0a 69 6d 70 6f 72 74 20 config)..import
0150: 63 6f 6e 66 69 67 70 61 72 73 65 72 0a 63 6f 6e configparser.con
0160: 66 69 67 20 3d 20 63 6f 6e 66 69 67 70 61 72 73 fig = configpars
0170: 65 72 2e 43 6f 6e 66 69 67 50 61 72 73 65 72 28 er.ConfigParser(
0180: 7b 0a 09 27 70 6f 72 74 27 3a 20 27 38 30 30 38 {..'port': '8008
0190: 27 2c 0a 09 27 76 65 72 62 6f 73 65 27 3a 20 27 ',..'verbose': '
01a0: 6e 6f 27 2c 0a 09 27 6e 6f 65 74 61 67 27 3a 20 no',..'noetag':
01b0: 27 6e 6f 27 2c 0a 09 27 6e 6f 70 61 72 74 73 27 'no',..'noparts'
01c0: 3a 20 27 6e 6f 27 2c 0a 09 27 73 74 72 69 70 27 : 'no',..'strip'
01d0: 3a 20 27 27 2c 0a 09 27 73 75 62 27 3a 20 27 27 : '',..'sub': ''
01e0: 2c 0a 09 27 70 72 6f 74 6f 27 3a 20 27 68 74 74 ,..'proto': 'htt
01f0: 70 27 2c 0a 7d 29 0a 63 6f 6e 66 69 67 2e 72 65 p',.}).config.re
0200: 61 64 28 61 72 67 73 2e 63 6f 6e 66 69 67 29 0a ad(args.config).
0210: 0a 63 61 63 68 65 5f 64 69 72 20 3d 20 6f 73 2e .cache_dir = os.
0220: 70 61 74 68 2e 72 65 61 6c 70 61 74 68 28 6f 73 path.realpath(os
0230: 2e 70 61 74 68 2e 64 69 72 6e 61 6d 65 28 61 72 .path.dirname(ar
0240: 67 73 2e 63 6f 6e 66 69 67 29 29 0a 0a 69 6d 70 gs.config))..imp
0250: 6f 72 74 20 72 65 0a 66 6f 72 20 73 65 63 74 69 ort re.for secti
0260: 6f 6e 20 69 6e 20 63 6f 6e 66 69 67 2e 73 65 63 on in config.sec
0270: 74 69 6f 6e 73 28 29 3a 0a 09 69 66 20 73 65 63 tions():..if sec
0280: 74 69 6f 6e 20 21 3d 20 27 44 45 46 41 55 4c 54 tion != 'DEFAULT
0290: 27 3a 0a 09 09 69 66 20 27 64 69 72 27 20 69 6e ':...if 'dir' in
02a0: 20 63 6f 6e 66 69 67 5b 73 65 63 74 69 6f 6e 5d config[section]
02b0: 3a 0a 09 09 09 69 66 20 6e 6f 74 20 72 65 2e 63 :....if not re.c
02c0: 6f 6d 70 69 6c 65 28 27 5e 2f 2e 2a 27 29 2e 6d ompile('^/.*').m
02d0: 61 74 63 68 28 63 6f 6e 66 69 67 5b 73 65 63 74 atch(config[sect
02e0: 69 6f 6e 5d 5b 27 64 69 72 27 5d 29 3a 0a 09 09 ion]['dir']):...
02f0: 09 09 63 6f 6e 66 69 67 5b 73 65 63 74 69 6f 6e ..config[section
0300: 5d 5b 27 64 69 72 27 5d 20 3d 20 63 61 63 68 65 ]['dir'] = cache
0310: 5f 64 69 72 20 2b 20 6f 73 2e 73 65 70 20 2b 20 _dir + os.sep +
0320: 73 65 63 74 69 6f 6e 0a 09 09 09 74 68 69 73 44 section....thisD
0330: 69 72 20 3d 20 72 65 2e 63 6f 6d 70 69 6c 65 28 ir = re.compile(
0340: 27 5e 28 2e 2a 29 2f 24 27 29 2e 6d 61 74 63 68 '^(.*)/$').match
0350: 28 63 6f 6e 66 69 67 5b 73 65 63 74 69 6f 6e 5d (config[section]
0360: 5b 27 64 69 72 27 5d 29 0a 09 09 09 69 66 20 74 ['dir'])....if t
0370: 68 69 73 44 69 72 3a 0a 09 09 09 09 63 6f 6e 66 hisDir:.....conf
0380: 69 67 5b 73 65 63 74 69 6f 6e 5d 5b 27 64 69 72 ig[section]['dir
0390: 27 5d 20 3d 20 74 68 69 73 44 69 72 2e 67 72 6f '] = thisDir.gro
03a0: 75 70 28 31 29 0a 09 09 09 69 66 20 6e 6f 74 20 up(1)....if not
03b0: 72 65 2e 63 6f 6d 70 69 6c 65 28 27 5e 2f 28 2e re.compile('^/(.
03c0: 2a 29 24 27 29 2e 6d 61 74 63 68 28 63 6f 6e 66 *)$').match(conf
03d0: 69 67 5b 73 65 63 74 69 6f 6e 5d 5b 27 64 69 72 ig[section]['dir
03e0: 27 5d 29 3a 0a 09 09 09 09 63 6f 6e 66 69 67 5b ']):.....config[
03f0: 73 65 63 74 69 6f 6e 5d 5b 27 64 69 72 27 5d 20 section]['dir']
0400: 3d 20 63 61 63 68 65 5f 64 69 72 20 2b 20 6f 73 = cache_dir + os
0410: 2e 73 65 70 20 2b 20 63 6f 6e 66 69 67 5b 73 65 .sep + config[se
0420: 63 74 69 6f 6e 5d 5b 27 64 69 72 27 5d 0a 09 09 ction]['dir']...
0430: 65 6c 73 65 3a 0a 09 09 09 63 6f 6e 66 69 67 5b else:....config[
0440: 73 65 63 74 69 6f 6e 5d 5b 27 64 69 72 27 5d 20 section]['dir']
0450: 3d 20 63 61 63 68 65 5f 64 69 72 20 2b 20 6f 73 = cache_dir + os
0460: 2e 73 65 70 20 2b 20 73 65 63 74 69 6f 6e 0a 09 .sep + section..
0470: 09 69 66 20 6e 6f 74 20 27 72 6f 6f 74 27 20 69 .if not 'root' i
0480: 6e 20 63 6f 6e 66 69 67 5b 73 65 63 74 69 6f 6e n config[section
0490: 5d 3a 0a 09 09 09 63 6f 6e 66 69 67 5b 73 65 63 ]:....config[sec
04a0: 74 69 6f 6e 5d 5b 27 72 6f 6f 74 27 5d 20 3d 20 tion]['root'] =
04b0: 73 65 63 74 69 6f 6e 0a 0a 23 61 73 73 65 72 74 section..#assert
04c0: 20 6f 70 74 69 6f 6e 73 2e 70 6f 72 74 20 6f 72 options.port or
04d0: 20 6f 73 2e 61 63 63 65 73 73 28 6f 70 74 69 6f os.access(optio
04e0: 6e 73 2e 6c 6f 67 2c 20 6f 73 2e 52 5f 4f 4b 29 ns.log, os.R_OK)
04f0: 2c 20 27 4c 6f 67 20 66 69 6c 65 20 75 6e 72 65 , 'Log file unre
0500: 61 64 61 62 6c 65 27 0a 0a 63 6f 6e 73 74 5f 64 adable'..const_d
0510: 65 73 63 5f 66 69 65 6c 64 73 20 3d 20 73 65 74 esc_fields = set
0520: 28 5b 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 (['Content-Lengt
0530: 68 27 2c 20 27 4c 61 73 74 2d 4d 6f 64 69 66 69 h', 'Last-Modifi
0540: 65 64 27 2c 20 27 50 72 61 67 6d 61 27 5d 29 0a ed', 'Pragma']).
0550: 63 6f 6e 73 74 5f 69 67 6e 6f 72 65 5f 66 69 65 const_ignore_fie
0560: 6c 64 73 20 3d 20 73 65 74 28 5b 0a 09 27 41 63 lds = set([..'Ac
0570: 63 65 70 74 2d 52 61 6e 67 65 73 27 2c 20 27 41 cept-Ranges', 'A
0580: 67 65 27 2c 0a 09 27 43 61 63 68 65 2d 43 6f 6e ge',..'Cache-Con
0590: 74 72 6f 6c 27 2c 20 27 43 6f 6e 6e 65 63 74 69 trol', 'Connecti
05a0: 6f 6e 27 2c 20 27 43 6f 6e 74 65 6e 74 2d 54 79 on', 'Content-Ty
05b0: 70 65 27 2c 0a 09 27 44 61 74 65 27 2c 0a 09 27 pe',..'Date',..'
05c0: 45 78 70 69 72 65 73 27 2c 0a 09 27 52 65 66 65 Expires',..'Refe
05d0: 72 65 72 27 2c 0a 09 27 53 65 72 76 65 72 27 2c rer',..'Server',
05e0: 0a 09 27 56 69 61 27 2c 0a 09 27 58 2d 43 43 43 ..'Via',..'X-CCC
05f0: 27 2c 20 27 58 2d 43 49 44 27 2c 20 27 58 2d 43 ', 'X-CID', 'X-C
0600: 61 63 68 65 27 2c 20 27 58 2d 43 61 63 68 65 2d ache', 'X-Cache-
0610: 4c 6f 6f 6b 75 70 27 2c 20 27 58 2d 4c 69 76 65 Lookup', 'X-Live
0620: 74 6f 6f 6c 27 2c 20 27 58 2d 50 6f 77 65 72 65 tool', 'X-Powere
0630: 64 2d 42 79 27 2c 0a 5d 29 0a 0a 62 6c 6f 63 6b d-By',.])..block
0640: 5f 73 69 7a 65 20 3d 20 38 31 39 32 0a 0a 69 6d _size = 8192..im
0650: 70 6f 72 74 20 62 73 64 64 62 33 2e 64 62 73 68 port bsddb3.dbsh
0660: 65 6c 76 65 2c 20 63 6f 70 79 2c 20 64 61 74 65 elve, copy, date
0670: 74 69 6d 65 2c 20 68 74 74 70 2e 73 65 72 76 65 time, http.serve
0680: 72 2c 20 73 70 61 63 65 6d 61 70 2c 20 75 72 6c r, spacemap, url
0690: 6c 69 62 2e 72 65 71 75 65 73 74 2c 20 75 72 6c lib.request, url
06a0: 6c 69 62 2e 65 72 72 6f 72 0a 0a 63 6c 61 73 73 lib.error..class
06b0: 20 4d 79 52 65 71 75 65 73 74 48 61 6e 64 6c 65 MyRequestHandle
06c0: 72 28 68 74 74 70 2e 73 65 72 76 65 72 2e 42 61 r(http.server.Ba
06d0: 73 65 48 54 54 50 52 65 71 75 65 73 74 48 61 6e seHTTPRequestHan
06e0: 64 6c 65 72 29 3a 0a 09 64 65 66 20 5f 5f 70 72 dler):..def __pr
06f0: 6f 63 65 73 73 28 73 65 6c 66 29 3a 0a 09 09 23 ocess(self):...#
0700: 20 72 65 6c 6f 61 64 20 6d 65 61 6e 73 20 66 69 reload means fi
0710: 6c 65 20 6e 65 65 64 73 20 74 6f 20 62 65 20 72 le needs to be r
0720: 65 6c 6f 61 64 65 64 20 74 6f 20 73 65 72 76 65 eloaded to serve
0730: 20 72 65 71 75 65 73 74 0a 09 09 72 65 6c 6f 61 request...reloa
0740: 64 20 3d 20 46 61 6c 73 65 0a 09 09 23 20 72 65 d = False...# re
0750: 63 68 65 63 6b 20 6d 65 61 6e 73 20 66 69 6c 65 check means file
0760: 20 6e 65 65 64 73 20 74 6f 20 62 65 20 63 68 65 needs to be che
0770: 63 6b 65 64 2c 20 74 68 69 73 20 61 6c 73 6f 20 cked, this also
0780: 6d 65 61 6e 73 20 74 68 61 74 20 69 66 20 66 69 means that if fi
0790: 6c 65 20 68 61 76 20 62 65 65 6e 20 6d 6f 64 69 le hav been modi
07a0: 66 69 65 64 20 77 65 20 63 61 6e 20 73 65 72 76 fied we can serv
07b0: 65 20 6f 6c 64 65 72 20 63 6f 70 79 0a 09 09 72 e older copy...r
07c0: 65 63 68 65 63 6b 20 3d 20 46 61 6c 73 65 0a 09 echeck = False..
07d0: 09 23 20 66 69 6c 65 5f 73 74 61 74 20 6d 65 61 .# file_stat mea
07e0: 6e 73 20 66 69 6c 65 20 64 65 66 69 6e 69 74 65 ns file definite
07f0: 6c 79 20 65 78 69 73 74 73 0a 09 09 66 69 6c 65 ly exists...file
0800: 5f 73 74 61 74 20 3d 20 4e 6f 6e 65 0a 09 09 23 _stat = None...#
0810: 20 72 65 71 75 65 73 74 65 64 5f 72 61 6e 67 65 requested_range
0820: 73 20 68 6f 6c 64 73 20 64 61 74 61 20 61 62 6f s holds data abo
0830: 75 74 20 61 6e 79 20 72 61 6e 67 65 20 72 65 71 ut any range req
0840: 75 65 73 74 65 64 0a 09 09 72 65 71 75 65 73 74 uested...request
0850: 65 64 5f 72 61 6e 67 65 73 20 3d 20 4e 6f 6e 65 ed_ranges = None
0860: 0a 09 09 23 20 72 65 63 6f 72 64 73 20 68 6f 6c ...# records hol
0870: 64 73 20 64 61 74 61 20 66 72 6f 6d 20 69 6e 64 ds data from ind
0880: 65 78 20 6c 6f 63 61 6c 6c 79 2c 20 73 68 6f 75 ex locally, shou
0890: 6c 64 20 62 65 20 77 72 69 74 74 65 6e 20 62 61 ld be written ba
08a0: 63 6b 20 75 70 6f 6e 20 73 75 63 63 65 73 73 66 ck upon successf
08b0: 75 6c 6c 20 63 6f 6d 70 6c 65 74 69 6f 6e 0a 09 ull completion..
08c0: 09 72 65 63 6f 72 64 20 3d 20 4e 6f 6e 65 0a 0a .record = None..
08d0: 09 09 6d 79 50 61 74 68 20 3d 20 72 65 2e 63 6f ..myPath = re.co
08e0: 6d 70 69 6c 65 28 27 5e 28 2e 2a 3f 29 28 5c 3f mpile('^(.*?)(\?
08f0: 2e 2a 29 24 27 29 2e 6d 61 74 63 68 28 73 65 6c .*)$').match(sel
0900: 66 2e 70 61 74 68 29 0a 09 09 69 66 20 6d 79 50 f.path)...if myP
0910: 61 74 68 3a 0a 09 09 09 6d 79 5f 70 61 74 68 20 ath:....my_path
0920: 3d 20 6d 79 50 61 74 68 2e 67 72 6f 75 70 28 31 = myPath.group(1
0930: 29 0a 09 09 65 6c 73 65 3a 0a 09 09 09 6d 79 5f )...else:....my_
0940: 70 61 74 68 20 3d 20 73 65 6c 66 2e 70 61 74 68 path = self.path
0950: 0a 0a 09 09 69 66 20 6e 6f 74 20 63 6f 6e 66 69 ....if not confi
0960: 67 2e 68 61 73 5f 73 65 63 74 69 6f 6e 28 73 65 g.has_section(se
0970: 6c 66 2e 68 65 61 64 65 72 73 5b 27 48 6f 73 74 lf.headers['Host
0980: 27 5d 29 3a 0a 09 09 09 63 6f 6e 66 69 67 2e 61 ']):....config.a
0990: 64 64 5f 73 65 63 74 69 6f 6e 28 73 65 6c 66 2e dd_section(self.
09a0: 68 65 61 64 65 72 73 5b 27 48 6f 73 74 27 5d 29 headers['Host'])
09b0: 0a 09 09 09 63 6f 6e 66 69 67 5b 73 65 6c 66 2e ....config[self.
09c0: 68 65 61 64 65 72 73 5b 27 48 6f 73 74 27 5d 5d headers['Host']]
09d0: 5b 27 72 6f 6f 74 27 5d 20 3d 20 73 65 6c 66 2e ['root'] = self.
09e0: 68 65 61 64 65 72 73 5b 27 48 6f 73 74 27 5d 0a headers['Host'].
09f0: 09 09 09 63 6f 6e 66 69 67 5b 73 65 6c 66 2e 68 ...config[self.h
0a00: 65 61 64 65 72 73 5b 27 48 6f 73 74 27 5d 5d 5b eaders['Host']][
0a10: 27 64 69 72 27 5d 20 3d 20 63 61 63 68 65 5f 64 'dir'] = cache_d
0a20: 69 72 20 2b 20 6f 73 2e 73 65 70 20 2b 20 73 65 ir + os.sep + se
0a30: 6c 66 2e 68 65 61 64 65 72 73 5b 27 48 6f 73 74 lf.headers['Host
0a40: 27 5d 0a 09 09 63 6f 6e 66 69 67 5f 68 6f 73 74 ']...config_host
0a50: 20 3d 20 63 6f 6e 66 69 67 5b 73 65 6c 66 2e 68 = config[self.h
0a60: 65 61 64 65 72 73 5b 27 48 6f 73 74 27 5d 5d 0a eaders['Host']].
0a70: 0a 09 09 69 66 20 63 6f 6e 66 69 67 5f 68 6f 73 ...if config_hos
0a80: 74 5b 27 73 75 62 27 5d 20 21 3d 20 4e 6f 6e 65 t['sub'] != None
0a90: 20 61 6e 64 20 63 6f 6e 66 69 67 5f 68 6f 73 74 and config_host
0aa0: 5b 27 73 74 72 69 70 27 5d 20 21 3d 20 4e 6f 6e ['strip'] != Non
0ab0: 65 20 61 6e 64 20 6c 65 6e 28 63 6f 6e 66 69 67 e and len(config
0ac0: 5f 68 6f 73 74 5b 27 73 74 72 69 70 27 5d 29 20 _host['strip'])
0ad0: 3e 20 30 3a 0a 09 09 09 73 74 72 69 6e 67 20 3d > 0:....string =
0ae0: 20 72 65 2e 63 6f 6d 70 69 6c 65 28 63 6f 6e 66 re.compile(conf
0af0: 69 67 5f 68 6f 73 74 5b 27 73 74 72 69 70 27 5d ig_host['strip']
0b00: 29 2e 73 75 62 28 63 6f 6e 66 69 67 5f 68 6f 73 ).sub(config_hos
0b10: 74 5b 27 73 75 62 27 5d 2c 20 6d 79 5f 70 61 74 t['sub'], my_pat
0b20: 68 29 0a 09 09 09 6d 79 5f 70 61 74 68 20 3d 20 h)....my_path =
0b30: 73 74 72 69 6e 67 0a 0a 09 09 6d 79 5f 70 61 74 string....my_pat
0b40: 68 5f 62 20 3d 20 6d 79 5f 70 61 74 68 2e 65 6e h_b = my_path.en
0b50: 63 6f 64 65 28 27 75 74 66 2d 38 27 29 0a 09 09 code('utf-8')...
0b60: 69 6e 66 6f 20 3d 20 27 43 68 65 63 6b 69 6e 67 info = 'Checking
0b70: 20 66 69 6c 65 3a 20 27 20 2b 20 6d 79 5f 70 61 file: ' + my_pa
0b80: 74 68 0a 0a 09 09 69 66 20 6e 6f 74 20 6f 73 2e th....if not os.
0b90: 61 63 63 65 73 73 28 63 6f 6e 66 69 67 5f 68 6f access(config_ho
0ba0: 73 74 5b 27 64 69 72 27 5d 2c 20 6f 73 2e 58 5f st['dir'], os.X_
0bb0: 4f 4b 29 3a 0a 09 09 09 6f 73 2e 6d 6b 64 69 72 OK):....os.mkdir
0bc0: 28 63 6f 6e 66 69 67 5f 68 6f 73 74 5b 27 64 69 (config_host['di
0bd0: 72 27 5d 29 0a 09 09 23 20 74 68 69 73 20 69 73 r'])...# this is
0be0: 20 66 69 6c 65 20 69 6e 64 65 78 20 2d 20 65 76 file index - ev
0bf0: 65 72 79 74 68 69 6e 67 20 69 73 20 73 74 6f 72 erything is stor
0c00: 65 64 20 69 6e 20 74 68 69 73 20 66 69 6c 65 0a ed in this file.
0c10: 09 09 23 20 5f 70 61 72 74 73 20 2d 20 6c 69 73 ..# _parts - lis
0c20: 74 20 6f 66 20 73 74 6f 72 65 64 20 70 61 72 74 t of stored part
0c30: 73 20 6f 66 20 66 69 6c 65 0a 09 09 23 20 5f 74 s of file...# _t
0c40: 69 6d 65 20 2d 20 6c 61 73 74 20 74 69 6d 65 20 ime - last time
0c50: 74 68 65 20 66 69 6c 65 20 77 61 73 20 63 68 65 the file was che
0c60: 63 6b 65 64 0a 09 09 23 20 65 76 65 72 79 74 68 cked...# everyth
0c70: 69 6e 67 20 65 6c 73 65 20 69 73 20 6a 75 73 74 ing else is just
0c80: 20 74 68 65 20 68 65 61 64 65 72 73 0a 09 09 69 the headers...i
0c90: 6e 64 65 78 20 3d 20 62 73 64 64 62 33 2e 64 62 ndex = bsddb3.db
0ca0: 73 68 65 6c 76 65 2e 6f 70 65 6e 28 63 6f 6e 66 shelve.open(conf
0cb0: 69 67 5f 68 6f 73 74 5b 27 64 69 72 27 5d 20 2b ig_host['dir'] +
0cc0: 20 6f 73 2e 73 65 70 20 2b 20 27 2e 69 6e 64 65 os.sep + '.inde
0cd0: 78 27 29 0a 0a 09 09 64 65 73 63 5f 66 69 65 6c x')....desc_fiel
0ce0: 64 73 20 3d 20 63 6f 6e 73 74 5f 64 65 73 63 5f ds = const_desc_
0cf0: 66 69 65 6c 64 73 2e 63 6f 70 79 28 29 0a 09 09 fields.copy()...
0d00: 69 67 6e 6f 72 65 5f 66 69 65 6c 64 73 20 3d 20 ignore_fields =
0d10: 63 6f 6e 73 74 5f 69 67 6e 6f 72 65 5f 66 69 65 const_ignore_fie
0d20: 6c 64 73 2e 63 6f 70 79 28 29 0a 09 09 69 66 20 lds.copy()...if
0d30: 63 6f 6e 66 69 67 5f 68 6f 73 74 5b 27 6e 6f 65 config_host['noe
0d40: 74 61 67 27 5d 20 3d 3d 20 27 6e 6f 27 3a 0a 09 tag'] == 'no':..
0d50: 09 09 64 65 73 63 5f 66 69 65 6c 64 73 2e 61 64 ..desc_fields.ad
0d60: 64 28 27 45 54 61 67 27 29 0a 09 09 65 6c 73 65 d('ETag')...else
0d70: 3a 0a 09 09 09 69 67 6e 6f 72 65 5f 66 69 65 6c :....ignore_fiel
0d80: 64 73 2e 61 64 64 28 27 45 54 61 67 27 29 0a 0a ds.add('ETag')..
0d90: 09 09 70 72 6f 78 79 5f 69 67 6e 6f 72 65 64 20 ..proxy_ignored
0da0: 3d 20 73 65 74 28 5b 0a 09 09 09 27 41 63 63 65 = set([....'Acce
0db0: 70 74 27 2c 20 27 41 63 63 65 70 74 2d 43 68 61 pt', 'Accept-Cha
0dc0: 72 73 65 74 27 2c 20 27 41 63 63 65 70 74 2d 45 rset', 'Accept-E
0dd0: 6e 63 6f 64 69 6e 67 27 2c 20 27 41 63 63 65 70 ncoding', 'Accep
0de0: 74 2d 4c 61 6e 67 75 61 67 65 27 2c 0a 09 09 09 t-Language',....
0df0: 27 43 61 63 68 65 2d 43 6f 6e 74 72 6f 6c 27 2c 'Cache-Control',
0e00: 20 27 43 6f 6e 6e 65 63 74 69 6f 6e 27 2c 20 27 'Connection', '
0e10: 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 2c Content-Length',
0e20: 20 27 43 6f 6f 6b 69 65 27 2c 0a 09 09 09 27 44 'Cookie',....'D
0e30: 4e 54 27 2c 0a 09 09 09 27 48 6f 73 74 27 2c 0a NT',....'Host',.
0e40: 09 09 09 27 49 66 2d 4d 6f 64 69 66 69 65 64 2d ...'If-Modified-
0e50: 53 69 6e 63 65 27 2c 20 27 49 66 2d 4e 6f 6e 65 Since', 'If-None
0e60: 2d 4d 61 74 63 68 27 2c 20 27 49 66 2d 55 6e 6d -Match', 'If-Unm
0e70: 6f 64 69 66 69 65 64 2d 53 69 6e 63 65 27 2c 0a odified-Since',.
0e80: 09 09 09 27 52 65 66 65 72 65 72 27 2c 0a 09 09 ...'Referer',...
0e90: 09 27 55 41 2d 43 50 55 27 2c 20 27 55 73 65 72 .'UA-CPU', 'User
0ea0: 2d 41 67 65 6e 74 27 2c 0a 09 09 09 27 56 69 61 -Agent',....'Via
0eb0: 27 2c 0a 09 09 09 27 58 2d 46 6f 72 77 61 72 64 ',....'X-Forward
0ec0: 65 64 2d 46 6f 72 27 2c 20 27 58 2d 4c 61 73 74 ed-For', 'X-Last
0ed0: 2d 48 52 27 2c 20 27 58 2d 4c 61 73 74 2d 48 54 -HR', 'X-Last-HT
0ee0: 54 50 2d 53 74 61 74 75 73 2d 43 6f 64 65 27 2c TP-Status-Code',
0ef0: 20 27 58 2d 4f 6c 64 2d 55 49 44 27 2c 20 27 58 'X-Old-UID', 'X
0f00: 2d 52 65 6d 6f 76 65 64 27 2c 20 27 58 2d 52 65 -Removed', 'X-Re
0f10: 61 6c 2d 49 50 27 2c 20 27 58 2d 52 65 74 72 79 al-IP', 'X-Retry
0f20: 2d 43 6f 75 6e 74 27 2c 0a 09 09 5d 29 0a 0a 09 -Count',...])...
0f30: 09 70 72 69 6e 74 28 27 3d 3d 3d 3d 3d 3d 3d 3d .print('========
0f40: 3d 3d 3d 3d 3d 3d 3d 5b 20 7b 7d 20 72 65 71 75 =======[ {} requ
0f50: 65 73 74 20 5d 3d 3d 3d 27 2e 66 6f 72 6d 61 74 est ]==='.format
0f60: 28 73 65 6c 66 2e 63 6f 6d 6d 61 6e 64 29 29 0a (self.command)).
0f70: 0a 09 09 66 6f 72 20 68 65 61 64 65 72 20 69 6e ...for header in
0f80: 20 73 65 6c 66 2e 68 65 61 64 65 72 73 3a 0a 09 self.headers:..
0f90: 09 09 69 66 20 68 65 61 64 65 72 20 69 6e 20 70 ..if header in p
0fa0: 72 6f 78 79 5f 69 67 6e 6f 72 65 64 3a 0a 09 09 roxy_ignored:...
0fb0: 09 09 70 61 73 73 0a 09 09 09 65 6c 69 66 20 68 ..pass....elif h
0fc0: 65 61 64 65 72 20 69 6e 20 28 27 52 61 6e 67 65 eader in ('Range
0fd0: 27 29 3a 0a 09 09 09 09 69 73 52 61 6e 67 65 20 '):.....isRange
0fe0: 3d 20 72 65 2e 63 6f 6d 70 69 6c 65 28 27 62 79 = re.compile('by
0ff0: 74 65 73 3d 28 5c 64 2b 29 2d 28 5c 64 2b 29 27 tes=(\d+)-(\d+)'
1000: 29 2e 6d 61 74 63 68 28 73 65 6c 66 2e 68 65 61 ).match(self.hea
1010: 64 65 72 73 5b 68 65 61 64 65 72 5d 29 0a 09 09 ders[header])...
1020: 09 09 69 66 20 69 73 52 61 6e 67 65 3a 0a 09 09 ..if isRange:...
1030: 09 09 09 72 65 71 75 65 73 74 65 64 5f 72 61 6e ...requested_ran
1040: 67 65 73 20 3d 20 73 70 61 63 65 6d 61 70 2e 53 ges = spacemap.S
1050: 70 61 63 65 4d 61 70 28 7b 69 6e 74 28 69 73 52 paceMap({int(isR
1060: 61 6e 67 65 2e 67 72 6f 75 70 28 31 29 29 3a 20 ange.group(1)):
1070: 69 6e 74 28 69 73 52 61 6e 67 65 2e 67 72 6f 75 int(isRange.grou
1080: 70 28 32 29 29 20 2b 20 31 7d 29 0a 09 09 09 09 p(2)) + 1}).....
1090: 65 6c 73 65 3a 0a 09 09 09 09 09 72 65 74 75 72 else:......retur
10a0: 6e 28 29 0a 09 09 09 65 6c 69 66 20 68 65 61 64 n()....elif head
10b0: 65 72 20 69 6e 20 28 27 50 72 61 67 6d 61 27 29 er in ('Pragma')
10c0: 3a 0a 09 09 09 09 69 66 20 6d 79 5f 70 61 74 68 :.....if my_path
10d0: 5f 62 20 69 6e 20 69 6e 64 65 78 3a 0a 09 09 09 _b in index:....
10e0: 09 09 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5f ..index[my_path_
10f0: 62 5d 5b 68 65 61 64 65 72 5d 20 3d 20 73 65 6c b][header] = sel
1100: 66 2e 68 65 61 64 65 72 73 5b 68 65 61 64 65 72 f.headers[header
1110: 5d 0a 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 70 ]....else:.....p
1120: 72 69 6e 74 28 27 55 6e 6b 6e 6f 77 6e 20 68 65 rint('Unknown he
1130: 61 64 65 72 20 2d 20 27 2c 20 68 65 61 64 65 72 ader - ', header
1140: 2c 20 27 3a 20 27 2c 20 73 65 6c 66 2e 68 65 61 , ': ', self.hea
1150: 64 65 72 73 5b 68 65 61 64 65 72 5d 2c 20 73 65 ders[header], se
1160: 70 3d 27 27 29 0a 09 09 09 09 72 65 74 75 72 6e p='').....return
1170: 28 29 0a 09 09 09 70 72 69 6e 74 28 68 65 61 64 ()....print(head
1180: 65 72 2c 20 73 65 6c 66 2e 68 65 61 64 65 72 73 er, self.headers
1190: 5b 68 65 61 64 65 72 5d 29 0a 0a 09 09 23 20 63 [header])....# c
11a0: 72 65 61 74 69 6e 67 20 66 69 6c 65 20 6e 61 6d reating file nam
11b0: 65 20 66 72 6f 6d 20 6d 79 5f 70 61 74 68 0a 09 e from my_path..
11c0: 09 66 69 6c 65 5f 6e 61 6d 65 20 3d 20 63 6f 6e .file_name = con
11d0: 66 69 67 5f 68 6f 73 74 5b 27 64 69 72 27 5d 20 fig_host['dir']
11e0: 2b 20 6f 73 2e 73 65 70 20 2b 20 72 65 2e 63 6f + os.sep + re.co
11f0: 6d 70 69 6c 65 28 27 25 32 30 27 29 2e 73 75 62 mpile('%20').sub
1200: 28 27 20 27 2c 20 6d 79 5f 70 61 74 68 29 0a 09 (' ', my_path)..
1210: 09 23 20 70 61 72 74 69 61 6c 20 66 69 6c 65 20 .# partial file
1220: 6f 72 20 75 6e 66 69 6e 69 73 68 65 64 20 64 6f or unfinished do
1230: 77 6e 6c 6f 61 64 0a 09 09 74 65 6d 70 5f 6e 61 wnload...temp_na
1240: 6d 65 20 3d 20 63 6f 6e 66 69 67 5f 68 6f 73 74 me = config_host
1250: 5b 27 64 69 72 27 5d 20 2b 20 6f 73 2e 73 65 70 ['dir'] + os.sep
1260: 20 2b 20 27 2e 70 61 72 74 73 27 20 2b 20 72 65 + '.parts' + re
1270: 2e 63 6f 6d 70 69 6c 65 28 27 25 32 30 27 29 2e .compile('%20').
1280: 73 75 62 28 27 20 27 2c 20 6d 79 5f 70 61 74 68 sub(' ', my_path
1290: 29 0a 0a 09 09 23 20 63 72 65 61 74 69 6e 67 20 )....# creating
12a0: 65 6d 70 74 79 20 70 6c 61 63 65 68 6f 6c 64 65 empty placeholde
12b0: 72 20 69 6e 20 69 6e 64 65 78 0a 09 09 23 20 69 r in index...# i
12c0: 66 20 74 68 65 72 65 27 73 20 6e 6f 20 73 70 61 f there's no spa
12d0: 63 65 20 6d 61 70 20 61 6e 64 20 74 68 65 72 65 ce map and there
12e0: 27 73 20 6e 6f 20 66 69 6c 65 20 69 6e 20 72 65 's no file in re
12f0: 61 6c 20 64 69 72 65 63 74 6f 72 79 20 2d 20 77 al directory - w
1300: 65 20 68 61 76 65 20 6e 6f 20 66 69 6c 65 0a 09 e have no file..
1310: 09 23 20 69 66 20 74 68 65 72 65 27 73 20 61 6e .# if there's an
1320: 20 65 6d 70 74 79 20 73 70 61 63 65 20 6d 61 70 empty space map
1330: 20 2d 20 66 69 6c 65 20 69 73 20 66 75 6c 6c 0a - file is full.
1340: 09 09 23 20 73 70 61 63 65 20 6d 61 70 20 67 65 ..# space map ge
1350: 6e 65 72 61 6c 6c 79 20 63 6f 76 65 72 73 20 65 nerally covers e
1360: 76 65 72 79 20 62 69 74 20 6f 66 20 66 69 6c 65 very bit of file
1370: 20 77 65 20 64 6f 6e 27 74 20 70 6f 73 65 73 73 we don't posess
1380: 20 63 75 72 72 65 6e 74 6c 79 0a 09 09 69 66 20 currently...if
1390: 6e 6f 74 20 6d 79 5f 70 61 74 68 5f 62 20 69 6e not my_path_b in
13a0: 20 69 6e 64 65 78 3a 0a 09 09 09 69 6e 66 6f 20 index:....info
13b0: 2b 3d 20 27 5c 6e 54 68 69 73 20 6f 6e 65 20 69 += '\nThis one i
13c0: 73 20 6e 65 77 2e 27 0a 09 09 09 72 65 6c 6f 61 s new.'....reloa
13d0: 64 20 3d 20 54 72 75 65 0a 09 09 09 72 65 63 6f d = True....reco
13e0: 72 64 20 3d 20 7b 7d 0a 09 09 65 6c 73 65 3a 0a rd = {}...else:.
13f0: 09 09 09 23 20 66 6f 72 63 69 62 6c 79 20 63 68 ...# forcibly ch
1400: 65 63 6b 69 6e 67 20 66 69 6c 65 20 69 66 20 6e ecking file if n
1410: 6f 20 66 69 6c 65 20 70 72 65 73 65 6e 74 0a 09 o file present..
1420: 09 09 72 65 63 6f 72 64 20 3d 20 69 6e 64 65 78 ..record = index
1430: 5b 6d 79 5f 70 61 74 68 5f 62 5d 0a 09 09 09 69 [my_path_b]....i
1440: 66 20 6f 73 2e 61 63 63 65 73 73 28 66 69 6c 65 f os.access(file
1450: 5f 6e 61 6d 65 2c 20 6f 73 2e 52 5f 4f 4b 29 3a _name, os.R_OK):
1460: 0a 09 09 09 09 69 6e 66 6f 20 2b 3d 20 27 5c 6e .....info += '\n
1470: 46 75 6c 6c 20 66 69 6c 65 20 66 6f 75 6e 64 2e Full file found.
1480: 27 0a 09 09 09 09 66 69 6c 65 5f 73 74 61 74 20 '.....file_stat
1490: 3d 20 6f 73 2e 73 74 61 74 28 66 69 6c 65 5f 6e = os.stat(file_n
14a0: 61 6d 65 29 0a 09 09 09 65 6c 69 66 20 27 5f 70 ame)....elif '_p
14b0: 61 72 74 73 27 20 69 6e 20 69 6e 64 65 78 5b 6d arts' in index[m
14c0: 79 5f 70 61 74 68 5f 62 5d 20 61 6e 64 20 6f 73 y_path_b] and os
14d0: 2e 61 63 63 65 73 73 28 74 65 6d 70 5f 6e 61 6d .access(temp_nam
14e0: 65 2c 20 6f 73 2e 52 5f 4f 4b 29 3a 0a 09 09 09 e, os.R_OK):....
14f0: 09 69 6e 66 6f 20 2b 3d 20 27 5c 6e 50 61 72 74 .info += '\nPart
1500: 69 61 6c 20 66 69 6c 65 20 66 6f 75 6e 64 2e 27 ial file found.'
1510: 0a 09 09 09 09 66 69 6c 65 5f 73 74 61 74 20 3d .....file_stat =
1520: 20 6f 73 2e 73 74 61 74 28 74 65 6d 70 5f 6e 61 os.stat(temp_na
1530: 6d 65 29 0a 09 09 09 09 72 65 63 68 65 63 6b 20 me).....recheck
1540: 3d 20 54 72 75 65 0a 09 09 09 65 6c 73 65 3a 0a = True....else:.
1550: 09 09 09 09 69 6e 66 6f 20 2b 3d 20 27 5c 6e 46 ....info += '\nF
1560: 69 6c 65 20 6e 6f 74 20 66 6f 75 6e 64 20 6f 72 ile not found or
1570: 20 69 6e 61 63 63 65 73 73 69 62 6c 65 2e 27 0a inaccessible.'.
1580: 09 09 09 09 72 65 63 6f 72 64 5b 27 5f 70 61 72 ....record['_par
1590: 74 73 27 5d 20 3d 20 4e 6f 6e 65 0a 09 09 09 09 ts'] = None.....
15a0: 72 65 6c 6f 61 64 20 3d 20 54 72 75 65 0a 0a 09 reload = True...
15b0: 09 69 66 20 6e 6f 74 20 27 5f 70 61 72 74 73 27 .if not '_parts'
15c0: 20 69 6e 20 72 65 63 6f 72 64 3a 0a 09 09 09 72 in record:....r
15d0: 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d 20 ecord['_parts']
15e0: 3d 20 4e 6f 6e 65 0a 0a 09 09 69 66 20 72 65 63 = None....if rec
15f0: 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d 20 3d 3d ord['_parts'] ==
1600: 20 4e 6f 6e 65 3a 0a 09 09 09 72 65 63 68 65 63 None:....rechec
1610: 6b 20 3d 20 54 72 75 65 0a 0a 09 09 23 20 66 6f k = True....# fo
1620: 72 63 69 62 6c 79 20 63 68 65 63 6b 69 6e 67 20 rcibly checking
1630: 66 69 6c 65 20 69 66 20 66 69 6c 65 20 73 69 7a file if file siz
1640: 65 20 64 6f 65 73 6e 27 74 20 6d 61 74 63 68 20 e doesn't match
1650: 77 69 74 68 20 69 6e 64 65 78 20 64 61 74 61 0a with index data.
1660: 09 09 69 66 20 6e 6f 74 20 72 65 6c 6f 61 64 3a ..if not reload:
1670: 0a 09 09 09 69 66 20 27 5f 70 61 72 74 73 27 20 ....if '_parts'
1680: 69 6e 20 72 65 63 6f 72 64 20 61 6e 64 20 72 65 in record and re
1690: 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d 20 3d cord['_parts'] =
16a0: 3d 20 73 70 61 63 65 6d 61 70 2e 53 70 61 63 65 = spacemap.Space
16b0: 4d 61 70 28 29 3a 0a 09 09 09 09 69 66 20 27 63 Map():.....if 'c
16c0: 6f 6e 74 65 6e 74 2d 6c 65 6e 67 74 68 27 20 69 ontent-length' i
16d0: 6e 20 72 65 63 6f 72 64 20 61 6e 64 20 66 69 6c n record and fil
16e0: 65 5f 73 74 61 74 20 61 6e 64 20 66 69 6c 65 5f e_stat and file_
16f0: 73 74 61 74 2e 73 74 5f 73 69 7a 65 20 21 3d 20 stat.st_size !=
1700: 69 6e 74 28 72 65 63 6f 72 64 5b 27 63 6f 6e 74 int(record['cont
1710: 65 6e 74 2d 6c 65 6e 67 74 68 27 5d 29 3a 0a 09 ent-length']):..
1720: 09 09 09 09 69 6e 66 6f 20 2b 3d 20 27 5c 6e 46 ....info += '\nF
1730: 69 6c 65 20 73 69 7a 65 20 69 73 20 7b 7d 20 61 ile size is {} a
1740: 6e 64 20 73 74 6f 72 65 64 20 66 69 6c 65 20 73 nd stored file s
1750: 69 7a 65 20 69 73 20 7b 7d 2e 27 2e 66 6f 72 6d ize is {}.'.form
1760: 61 74 28 66 69 6c 65 5f 73 74 61 74 2e 73 74 5f at(file_stat.st_
1770: 73 69 7a 65 2c 20 72 65 63 6f 72 64 5b 27 63 6f size, record['co
1780: 6e 74 65 6e 74 2d 6c 65 6e 67 74 68 27 5d 29 0a ntent-length']).
1790: 09 09 09 09 09 72 65 63 6f 72 64 5b 27 5f 70 61 .....record['_pa
17a0: 72 74 73 27 5d 20 3d 20 4e 6f 6e 65 0a 09 09 09 rts'] = None....
17b0: 09 09 72 65 6c 6f 61 64 20 3d 20 54 72 75 65 0a ..reload = True.
17c0: 0a 09 09 23 20 66 6f 72 63 69 62 6c 79 20 63 68 ...# forcibly ch
17d0: 65 63 6b 69 6e 67 20 66 69 6c 65 20 69 66 20 69 ecking file if i
17e0: 6e 64 65 78 20 68 6f 6c 64 73 20 50 72 61 67 6d ndex holds Pragm
17f0: 61 20 68 65 61 64 65 72 0a 09 09 69 66 20 6e 6f a header...if no
1800: 74 20 72 65 6c 6f 61 64 20 61 6e 64 20 27 70 72 t reload and 'pr
1810: 61 67 6d 61 27 20 69 6e 20 72 65 63 6f 72 64 20 agma' in record
1820: 61 6e 64 20 72 65 63 6f 72 64 5b 27 70 72 61 67 and record['prag
1830: 6d 61 27 5d 20 3d 3d 20 27 6e 6f 2d 63 61 63 68 ma'] == 'no-cach
1840: 65 27 3a 0a 09 09 09 69 6e 66 6f 20 2b 3d 27 5c e':....info +='\
1850: 6e 50 72 61 67 6d 61 20 6f 6e 3a 20 72 65 63 68 nPragma on: rech
1860: 65 63 6b 20 69 6d 6d 69 6e 65 6e 74 2e 27 0a 09 eck imminent.'..
1870: 09 09 72 65 63 68 65 63 6b 20 3d 20 54 72 75 65 ..recheck = True
1880: 0a 0a 09 09 23 20 73 6b 69 70 70 69 6e 67 20 66 ....# skipping f
1890: 69 6c 65 20 70 72 6f 63 65 73 73 69 6e 67 20 69 ile processing i
18a0: 66 20 74 68 65 72 65 27 73 20 6e 6f 20 6e 65 65 f there's no nee
18b0: 64 20 74 6f 20 72 65 63 68 65 63 6b 20 69 74 20 d to recheck it
18c0: 61 6e 64 20 77 65 20 68 61 76 65 20 63 68 65 63 and we have chec
18d0: 6b 65 64 20 69 74 20 61 74 20 6c 65 61 73 74 20 ked it at least
18e0: 34 20 68 6f 75 72 73 20 61 67 6f 0a 09 09 69 66 4 hours ago...if
18f0: 20 6e 6f 74 20 72 65 63 68 65 63 6b 20 61 6e 64 not recheck and
1900: 20 6e 6f 74 20 72 65 6c 6f 61 64 20 61 6e 64 20 not reload and
1910: 27 5f 74 69 6d 65 27 20 69 6e 20 72 65 63 6f 72 '_time' in recor
1920: 64 20 61 6e 64 20 28 72 65 63 6f 72 64 5b 27 5f d and (record['_
1930: 74 69 6d 65 27 5d 20 2d 20 64 61 74 65 74 69 6d time'] - datetim
1940: 65 2e 64 61 74 65 74 69 6d 65 2e 6e 6f 77 28 29 e.datetime.now()
1950: 20 2b 20 64 61 74 65 74 69 6d 65 2e 74 69 6d 65 + datetime.time
1960: 64 65 6c 74 61 28 68 6f 75 72 73 20 3d 20 34 29 delta(hours = 4)
1970: 29 2e 64 61 79 73 20 3c 20 30 3a 0a 09 09 09 69 ).days < 0:....i
1980: 6e 66 6f 20 2b 3d 20 27 5c 6e 46 69 6c 65 20 69 nfo += '\nFile i
1990: 73 20 6f 6c 64 20 2d 20 72 65 63 68 65 63 6b 69 s old - rechecki
19a0: 6e 67 2e 27 0a 09 09 09 72 65 63 68 65 63 6b 20 ng.'....recheck
19b0: 3d 20 54 72 75 65 0a 0a 09 09 70 72 69 6e 74 28 = True....print(
19c0: 69 6e 66 6f 29 0a 09 09 69 66 20 72 65 6c 6f 61 info)...if reloa
19d0: 64 20 6f 72 20 72 65 63 68 65 63 6b 3a 0a 0a 09 d or recheck:...
19e0: 09 09 74 72 79 3a 0a 09 09 09 09 72 65 71 75 65 ..try:.....reque
19f0: 73 74 20 3d 20 63 6f 6e 66 69 67 5f 68 6f 73 74 st = config_host
1a00: 5b 27 70 72 6f 74 6f 27 5d 20 2b 20 27 3a 2f 2f ['proto'] + '://
1a10: 27 20 2b 20 63 6f 6e 66 69 67 5f 68 6f 73 74 5b ' + config_host[
1a20: 27 72 6f 6f 74 27 5d 20 2b 20 73 65 6c 66 2e 70 'root'] + self.p
1a30: 61 74 68 0a 09 09 09 09 6d 79 5f 68 65 61 64 65 ath.....my_heade
1a40: 72 73 20 3d 20 7b 7d 0a 09 09 09 09 66 6f 72 20 rs = {}.....for
1a50: 68 65 61 64 65 72 20 69 6e 20 28 27 41 63 63 65 header in ('Acce
1a60: 70 74 27 2c 20 27 43 61 63 68 65 2d 43 6f 6e 74 pt', 'Cache-Cont
1a70: 72 6f 6c 27 2c 20 27 43 6f 6f 6b 69 65 27 2c 20 rol', 'Cookie',
1a80: 27 52 65 66 65 72 65 72 27 2c 20 27 55 73 65 72 'Referer', 'User
1a90: 2d 41 67 65 6e 74 27 29 3a 0a 09 09 09 09 09 69 -Agent'):......i
1aa0: 66 20 68 65 61 64 65 72 20 69 6e 20 73 65 6c 66 f header in self
1ab0: 2e 68 65 61 64 65 72 73 3a 0a 09 09 09 09 09 09 .headers:.......
1ac0: 6d 79 5f 68 65 61 64 65 72 73 5b 68 65 61 64 65 my_headers[heade
1ad0: 72 5d 20 3d 20 73 65 6c 66 2e 68 65 61 64 65 72 r] = self.header
1ae0: 73 5b 68 65 61 64 65 72 5d 0a 0a 09 09 09 09 6e s[header]......n
1af0: 65 65 64 65 64 20 3d 20 4e 6f 6e 65 0a 09 09 09 eeded = None....
1b00: 09 69 66 20 73 65 6c 66 2e 63 6f 6d 6d 61 6e 64 .if self.command
1b10: 20 6e 6f 74 20 69 6e 20 28 27 48 45 41 44 27 29 not in ('HEAD')
1b20: 3a 0a 09 09 09 09 09 69 66 20 27 5f 70 61 72 74 :......if '_part
1b30: 73 27 20 69 6e 20 72 65 63 6f 72 64 20 61 6e 64 s' in record and
1b40: 20 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 record['_parts'
1b50: 5d 20 21 3d 20 4e 6f 6e 65 3a 0a 09 09 09 09 09 ] != None:......
1b60: 09 69 66 20 63 6f 6e 66 69 67 5f 68 6f 73 74 5b .if config_host[
1b70: 27 6e 6f 70 61 72 74 73 27 5d 20 21 3d 20 27 6e 'noparts'] != 'n
1b80: 6f 27 20 6f 72 20 72 65 71 75 65 73 74 65 64 5f o' or requested_
1b90: 72 61 6e 67 65 73 20 3d 3d 20 4e 6f 6e 65 20 6f ranges == None o
1ba0: 72 20 72 65 71 75 65 73 74 65 64 5f 72 61 6e 67 r requested_rang
1bb0: 65 73 20 3d 3d 20 73 70 61 63 65 6d 61 70 2e 53 es == spacemap.S
1bc0: 70 61 63 65 4d 61 70 28 29 3a 0a 09 09 09 09 09 paceMap():......
1bd0: 09 09 6e 65 65 64 65 64 20 3d 20 72 65 63 6f 72 ..needed = recor
1be0: 64 5b 27 5f 70 61 72 74 73 27 5d 0a 09 09 09 09 d['_parts'].....
1bf0: 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 09 6e ..else:........n
1c00: 65 65 64 65 64 20 3d 20 72 65 63 6f 72 64 5b 27 eeded = record['
1c10: 5f 70 61 72 74 73 27 5d 20 26 20 72 65 71 75 65 _parts'] & reque
1c20: 73 74 65 64 5f 72 61 6e 67 65 73 0a 09 09 09 09 sted_ranges.....
1c30: 09 65 6c 69 66 20 63 6f 6e 66 69 67 5f 68 6f 73 .elif config_hos
1c40: 74 5b 27 6e 6f 70 61 72 74 73 27 5d 20 3d 3d 27 t['noparts'] =='
1c50: 6e 6f 27 20 61 6e 64 20 72 65 71 75 65 73 74 65 no' and requeste
1c60: 64 5f 72 61 6e 67 65 73 20 21 3d 20 4e 6f 6e 65 d_ranges != None
1c70: 20 61 6e 64 20 72 65 71 75 65 73 74 65 64 5f 72 and requested_r
1c80: 61 6e 67 65 73 20 21 3d 20 73 70 61 63 65 6d 61 anges != spacema
1c90: 70 2e 53 70 61 63 65 4d 61 70 28 29 3a 0a 09 09 p.SpaceMap():...
1ca0: 09 09 09 09 6e 65 65 64 65 64 20 3d 20 72 65 71 ....needed = req
1cb0: 75 65 73 74 65 64 5f 72 61 6e 67 65 73 0a 09 09 uested_ranges...
1cc0: 09 09 09 72 61 6e 67 65 73 20 3d 20 28 29 0a 09 ...ranges = ()..
1cd0: 09 09 09 09 70 72 69 6e 74 28 27 4d 69 73 73 69 ....print('Missi
1ce0: 6e 67 20 72 61 6e 67 65 73 3a 20 7b 7d 2c 20 72 ng ranges: {}, r
1cf0: 65 71 75 65 73 74 65 64 20 72 61 6e 67 65 73 3a equested ranges:
1d00: 20 7b 7d 2c 20 6e 65 65 64 65 64 20 72 61 6e 67 {}, needed rang
1d10: 65 73 3a 20 7b 7d 2e 27 2e 66 6f 72 6d 61 74 28 es: {}.'.format(
1d20: 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d record['_parts']
1d30: 2c 20 72 65 71 75 65 73 74 65 64 5f 72 61 6e 67 , requested_rang
1d40: 65 73 2c 20 6e 65 65 64 65 64 29 29 0a 09 09 09 es, needed))....
1d50: 09 09 69 66 20 6e 65 65 64 65 64 20 21 3d 20 4e ..if needed != N
1d60: 6f 6e 65 20 61 6e 64 20 6c 65 6e 28 6e 65 65 64 one and len(need
1d70: 65 64 29 20 3e 20 30 3a 0a 09 09 09 09 09 09 6e ed) > 0:.......n
1d80: 65 65 64 65 64 2e 72 65 77 69 6e 64 28 29 0a 09 eeded.rewind()..
1d90: 09 09 09 09 09 77 68 69 6c 65 20 54 72 75 65 3a .....while True:
1da0: 0a 09 09 09 09 09 09 09 72 61 6e 67 65 20 3d 20 ........range =
1db0: 6e 65 65 64 65 64 2e 70 6f 70 28 29 0a 09 09 09 needed.pop()....
1dc0: 09 09 09 09 69 66 20 72 61 6e 67 65 5b 30 5d 20 ....if range[0]
1dd0: 3d 3d 20 4e 6f 6e 65 3a 0a 09 09 09 09 09 09 09 == None:........
1de0: 09 62 72 65 61 6b 0a 09 09 09 09 09 09 09 72 61 .break........ra
1df0: 6e 67 65 73 20 2b 3d 20 27 7b 7d 2d 7b 7d 27 2e nges += '{}-{}'.
1e00: 66 6f 72 6d 61 74 28 72 61 6e 67 65 5b 30 5d 2c format(range[0],
1e10: 20 72 61 6e 67 65 5b 31 5d 20 2d 20 31 29 2c 0a range[1] - 1),.
1e20: 09 09 09 09 09 09 6d 79 5f 68 65 61 64 65 72 73 ......my_headers
1e30: 5b 27 52 61 6e 67 65 27 5d 20 3d 20 27 62 79 74 ['Range'] = 'byt
1e40: 65 73 3d 27 20 2b 20 27 2c 27 2e 6a 6f 69 6e 28 es=' + ','.join(
1e50: 72 61 6e 67 65 73 29 0a 0a 09 09 09 09 23 6d 79 ranges)......#my
1e60: 5f 68 65 61 64 65 72 73 5b 27 41 63 63 65 70 74 _headers['Accept
1e70: 2d 45 6e 63 6f 64 69 6e 67 27 5d 20 3d 20 27 67 -Encoding'] = 'g
1e80: 7a 69 70 2c 20 63 6f 6d 70 72 65 73 73 2c 20 64 zip, compress, d
1e90: 65 66 6c 61 74 65 2c 20 69 64 65 6e 74 69 74 79 eflate, identity
1ea0: 3b 20 71 3d 30 27 0a 09 09 09 09 72 65 71 75 65 ; q=0'.....reque
1eb0: 73 74 20 3d 20 75 72 6c 6c 69 62 2e 72 65 71 75 st = urllib.requ
1ec0: 65 73 74 2e 52 65 71 75 65 73 74 28 72 65 71 75 est.Request(requ
1ed0: 65 73 74 2c 20 68 65 61 64 65 72 73 20 3d 20 6d est, headers = m
1ee0: 79 5f 68 65 61 64 65 72 73 29 0a 0a 09 09 09 09 y_headers)......
1ef0: 73 6f 75 72 63 65 20 3d 20 75 72 6c 6c 69 62 2e source = urllib.
1f00: 72 65 71 75 65 73 74 2e 75 72 6c 6f 70 65 6e 28 request.urlopen(
1f10: 72 65 71 75 65 73 74 2c 20 74 69 6d 65 6f 75 74 request, timeout
1f20: 20 3d 20 36 30 29 0a 09 09 09 09 6e 65 77 5f 72 = 60).....new_r
1f30: 65 63 6f 72 64 20 3d 20 7b 7d 0a 09 09 09 09 6e ecord = {}.....n
1f40: 65 77 5f 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 ew_record['_part
1f50: 73 27 5d 20 3d 20 72 65 63 6f 72 64 5b 27 5f 70 s'] = record['_p
1f60: 61 72 74 73 27 5d 0a 09 09 09 09 68 65 61 64 65 arts'].....heade
1f70: 72 73 20 3d 20 73 6f 75 72 63 65 2e 69 6e 66 6f rs = source.info
1f80: 28 29 0a 0a 09 09 09 09 69 66 20 27 43 6f 6e 74 ()......if 'Cont
1f90: 65 6e 74 2d 45 6e 63 6f 64 69 6e 67 27 20 69 6e ent-Encoding' in
1fa0: 20 68 65 61 64 65 72 73 20 61 6e 64 20 68 65 61 headers and hea
1fb0: 64 65 72 73 5b 27 43 6f 6e 74 65 6e 74 2d 45 6e ders['Content-En
1fc0: 63 6f 64 69 6e 67 27 5d 20 3d 3d 20 27 67 7a 69 coding'] == 'gzi
1fd0: 70 27 3a 0a 09 09 09 09 09 69 6d 70 6f 72 74 20 p':......import
1fe0: 67 7a 69 70 0a 09 09 09 09 09 73 6f 75 72 63 65 gzip......source
1ff0: 20 3d 20 67 7a 69 70 2e 47 7a 69 70 46 69 6c 65 = gzip.GzipFile
2000: 28 66 69 6c 65 6f 62 6a 3d 73 6f 75 72 63 65 29 (fileobj=source)
2010: 0a 0a 09 09 09 09 23 20 73 74 72 69 70 70 69 6e ......# strippin
2020: 67 20 75 6e 6e 65 65 64 65 64 20 68 65 61 64 65 g unneeded heade
2030: 72 73 20 28 58 58 58 20 6d 61 6b 65 20 74 68 69 rs (XXX make thi
2040: 73 20 69 6e 70 6c 61 63 65 3f 29 0a 09 09 09 09 s inplace?).....
2050: 66 6f 72 20 68 65 61 64 65 72 20 69 6e 20 68 65 for header in he
2060: 61 64 65 72 73 3a 0a 09 09 09 09 09 69 66 20 68 aders:......if h
2070: 65 61 64 65 72 20 69 6e 20 64 65 73 63 5f 66 69 eader in desc_fi
2080: 65 6c 64 73 3a 0a 09 09 09 09 09 09 23 69 66 20 elds:.......#if
2090: 68 65 61 64 65 72 20 3d 3d 20 27 50 72 61 67 6d header == 'Pragm
20a0: 61 27 20 61 6e 64 20 68 65 61 64 65 72 73 5b 68 a' and headers[h
20b0: 65 61 64 65 72 5d 20 21 3d 20 27 6e 6f 2d 63 61 eader] != 'no-ca
20c0: 63 68 65 27 3a 0a 09 09 09 09 09 09 69 66 20 68 che':.......if h
20d0: 65 61 64 65 72 20 3d 3d 20 27 43 6f 6e 74 65 6e eader == 'Conten
20e0: 74 2d 4c 65 6e 67 74 68 27 3a 0a 09 09 09 09 09 t-Length':......
20f0: 09 09 69 66 20 27 43 6f 6e 74 65 6e 74 2d 52 61 ..if 'Content-Ra
2100: 6e 67 65 27 20 6e 6f 74 20 69 6e 20 68 65 61 64 nge' not in head
2110: 65 72 73 3a 0a 09 09 09 09 09 09 09 09 6e 65 77 ers:.........new
2120: 5f 72 65 63 6f 72 64 5b 68 65 61 64 65 72 5d 20 _record[header]
2130: 3d 20 69 6e 74 28 68 65 61 64 65 72 73 5b 68 65 = int(headers[he
2140: 61 64 65 72 5d 29 0a 09 09 09 09 09 09 65 6c 73 ader]).......els
2150: 65 3a 0a 09 09 09 09 09 09 09 6e 65 77 5f 72 65 e:........new_re
2160: 63 6f 72 64 5b 68 65 61 64 65 72 5d 20 3d 20 68 cord[header] = h
2170: 65 61 64 65 72 73 5b 68 65 61 64 65 72 5d 0a 09 eaders[header]..
2180: 09 09 09 09 65 6c 69 66 20 68 65 61 64 65 72 20 ....elif header
2190: 3d 3d 20 27 43 6f 6e 74 65 6e 74 2d 52 61 6e 67 == 'Content-Rang
21a0: 65 27 3a 0a 09 09 09 09 09 09 72 61 6e 67 65 20 e':.......range
21b0: 3d 20 72 65 2e 63 6f 6d 70 69 6c 65 28 27 5e 62 = re.compile('^b
21c0: 79 74 65 73 20 28 5c 64 2b 29 2d 28 5c 64 2b 29 ytes (\d+)-(\d+)
21d0: 2f 28 5c 64 2b 29 24 27 29 2e 6d 61 74 63 68 28 /(\d+)$').match(
21e0: 68 65 61 64 65 72 73 5b 68 65 61 64 65 72 5d 29 headers[header])
21f0: 0a 09 09 09 09 09 09 69 66 20 72 61 6e 67 65 3a .......if range:
2200: 0a 09 09 09 09 09 09 09 6e 65 77 5f 72 65 63 6f ........new_reco
2210: 72 64 5b 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 rd['Content-Leng
2220: 74 68 27 5d 20 3d 20 69 6e 74 28 72 61 6e 67 65 th'] = int(range
2230: 2e 67 72 6f 75 70 28 33 29 29 0a 09 09 09 09 09 .group(3))......
2240: 09 65 6c 73 65 3a 09 0a 09 09 09 09 09 09 09 61 .else:.........a
2250: 73 73 65 72 74 20 46 61 6c 73 65 2c 20 27 43 6f ssert False, 'Co
2260: 6e 74 65 6e 74 2d 52 61 6e 67 65 20 75 6e 72 65 ntent-Range unre
2270: 63 6f 67 6e 69 7a 65 64 2e 27 0a 09 09 09 09 09 cognized.'......
2280: 65 6c 69 66 20 6e 6f 74 20 68 65 61 64 65 72 20 elif not header
2290: 69 6e 20 69 67 6e 6f 72 65 5f 66 69 65 6c 64 73 in ignore_fields
22a0: 3a 0a 09 09 09 09 09 09 70 72 69 6e 74 28 27 55 :.......print('U
22b0: 6e 64 65 66 69 6e 65 64 20 68 65 61 64 65 72 20 ndefined header
22c0: 22 27 2c 20 68 65 61 64 65 72 2c 20 27 22 3a 20 "', header, '":
22d0: 27 2c 20 68 65 61 64 65 72 73 5b 68 65 61 64 65 ', headers[heade
22e0: 72 5d 2c 20 73 65 70 3d 27 27 29 0a 0a 09 09 09 r], sep='').....
22f0: 09 23 20 63 6f 6d 70 61 72 69 6e 67 20 68 65 61 .# comparing hea
2300: 64 65 72 73 20 77 69 74 68 20 64 61 74 61 20 66 ders with data f
2310: 6f 75 6e 64 20 69 6e 20 69 6e 64 65 78 0a 09 09 ound in index...
2320: 09 09 23 20 69 66 20 61 6e 79 20 68 65 61 64 65 ..# if any heade
2330: 72 20 68 61 73 20 63 68 61 6e 67 65 64 20 28 65 r has changed (e
2340: 78 63 65 70 74 20 50 72 61 67 6d 61 29 20 66 69 xcept Pragma) fi
2350: 6c 65 20 69 73 20 66 75 6c 6c 79 20 64 6f 77 6e le is fully down
2360: 6c 6f 61 64 65 64 0a 09 09 09 09 23 20 73 61 6d loaded.....# sam
2370: 65 20 69 66 20 77 65 20 67 65 74 20 6d 6f 72 65 e if we get more
2380: 20 6f 72 20 6c 65 73 73 20 68 65 61 64 65 72 73 or less headers
2390: 0a 09 09 09 09 6f 6c 64 5f 6b 65 79 73 20 3d 20 .....old_keys =
23a0: 73 65 74 28 72 65 63 6f 72 64 2e 6b 65 79 73 28 set(record.keys(
23b0: 29 29 0a 09 09 09 09 6f 6c 64 5f 6b 65 79 73 2e )).....old_keys.
23c0: 64 69 73 63 61 72 64 28 27 5f 74 69 6d 65 27 29 discard('_time')
23d0: 0a 09 09 09 09 6f 6c 64 5f 6b 65 79 73 2e 64 69 .....old_keys.di
23e0: 73 63 61 72 64 28 27 50 72 61 67 6d 61 27 29 0a scard('Pragma').
23f0: 09 09 09 09 6d 6f 72 65 5f 6b 65 79 73 20 3d 20 ....more_keys =
2400: 73 65 74 28 6e 65 77 5f 72 65 63 6f 72 64 2e 6b set(new_record.k
2410: 65 79 73 28 29 29 20 2d 20 6f 6c 64 5f 6b 65 79 eys()) - old_key
2420: 73 0a 09 09 09 09 6d 6f 72 65 5f 6b 65 79 73 2e s.....more_keys.
2430: 64 69 73 63 61 72 64 28 27 50 72 61 67 6d 61 27 discard('Pragma'
2440: 29 0a 09 09 09 09 6c 65 73 73 5f 6b 65 79 73 20 ).....less_keys
2450: 3d 20 6f 6c 64 5f 6b 65 79 73 20 2d 20 73 65 74 = old_keys - set
2460: 28 6e 65 77 5f 72 65 63 6f 72 64 2e 6b 65 79 73 (new_record.keys
2470: 28 29 29 0a 09 09 09 09 69 66 20 6c 65 6e 28 6d ()).....if len(m
2480: 6f 72 65 5f 6b 65 79 73 29 20 3e 20 30 3a 0a 09 ore_keys) > 0:..
2490: 09 09 09 09 69 66 20 6c 65 6e 28 6f 6c 64 5f 6b ....if len(old_k
24a0: 65 79 73 29 20 21 3d 20 30 3a 0a 09 09 09 09 09 eys) != 0:......
24b0: 09 70 72 69 6e 74 28 27 4d 6f 72 65 20 68 65 61 .print('More hea
24c0: 64 65 72 73 20 61 70 70 65 61 72 3a 27 2c 20 6d ders appear:', m
24d0: 6f 72 65 5f 6b 65 79 73 29 0a 09 09 09 09 09 72 ore_keys)......r
24e0: 65 6c 6f 61 64 20 3d 20 54 72 75 65 0a 09 09 09 eload = True....
24f0: 09 65 6c 69 66 20 6c 65 6e 28 6c 65 73 73 5f 6b .elif len(less_k
2500: 65 79 73 29 20 3e 20 30 3a 0a 09 09 09 09 09 70 eys) > 0:......p
2510: 72 69 6e 74 28 27 4c 65 73 73 20 68 65 61 64 65 rint('Less heade
2520: 72 73 20 61 70 70 65 61 72 3a 27 2c 20 6c 65 73 rs appear:', les
2530: 73 5f 6b 65 79 73 29 0a 09 09 09 09 65 6c 73 65 s_keys).....else
2540: 3a 0a 09 09 09 09 09 66 6f 72 20 6b 65 79 20 69 :......for key i
2550: 6e 20 72 65 63 6f 72 64 2e 6b 65 79 73 28 29 3a n record.keys():
2560: 0a 09 09 09 09 09 09 69 66 20 6b 65 79 5b 30 5d .......if key[0]
2570: 20 21 3d 20 27 5f 27 20 61 6e 64 20 6b 65 79 20 != '_' and key
2580: 21 3d 20 27 50 72 61 67 6d 61 27 20 61 6e 64 20 != 'Pragma' and
2590: 72 65 63 6f 72 64 5b 6b 65 79 5d 20 21 3d 20 6e record[key] != n
25a0: 65 77 5f 72 65 63 6f 72 64 5b 6b 65 79 5d 3a 0a ew_record[key]:.
25b0: 09 09 09 09 09 09 09 70 72 69 6e 74 28 27 48 65 .......print('He
25c0: 61 64 65 72 20 22 27 2c 20 6b 65 79 2c 20 27 22 ader "', key, '"
25d0: 20 63 68 61 6e 67 65 64 20 66 72 6f 6d 20 5b 27 changed from ['
25e0: 2c 20 72 65 63 6f 72 64 5b 6b 65 79 5d 2c 20 27 , record[key], '
25f0: 5d 20 74 6f 20 5b 27 2c 20 6e 65 77 5f 72 65 63 ] to [', new_rec
2600: 6f 72 64 5b 6b 65 79 5d 2c 20 27 5d 27 2c 20 73 ord[key], ']', s
2610: 65 70 3d 27 27 29 0a 09 09 09 09 09 09 09 70 72 ep='')........pr
2620: 69 6e 74 28 74 79 70 65 28 72 65 63 6f 72 64 5b int(type(record[
2630: 6b 65 79 5d 29 2c 20 74 79 70 65 28 6e 65 77 5f key]), type(new_
2640: 72 65 63 6f 72 64 5b 6b 65 79 5d 29 29 0a 09 09 record[key]))...
2650: 09 09 09 09 09 72 65 6c 6f 61 64 20 3d 20 54 72 .....reload = Tr
2660: 75 65 0a 0a 09 09 09 09 69 66 20 72 65 6c 6f 61 ue......if reloa
2670: 64 3a 0a 09 09 09 09 09 70 72 69 6e 74 28 27 52 d:......print('R
2680: 65 6c 6f 61 64 69 6e 67 2e 27 29 0a 09 09 09 09 eloading.').....
2690: 09 69 66 20 6f 73 2e 61 63 63 65 73 73 28 74 65 .if os.access(te
26a0: 6d 70 5f 6e 61 6d 65 2c 20 6f 73 2e 52 5f 4f 4b mp_name, os.R_OK
26b0: 29 3a 0a 09 09 09 09 09 09 6f 73 2e 75 6e 6c 69 ):.......os.unli
26c0: 6e 6b 28 74 65 6d 70 5f 6e 61 6d 65 29 0a 09 09 nk(temp_name)...
26d0: 09 09 09 69 66 20 6f 73 2e 61 63 63 65 73 73 28 ...if os.access(
26e0: 66 69 6c 65 5f 6e 61 6d 65 2c 20 6f 73 2e 52 5f file_name, os.R_
26f0: 4f 4b 29 3a 0a 09 09 09 09 09 09 6f 73 2e 75 6e OK):.......os.un
2700: 6c 69 6e 6b 28 66 69 6c 65 5f 6e 61 6d 65 29 0a link(file_name).
2710: 09 09 09 09 09 69 66 20 27 43 6f 6e 74 65 6e 74 .....if 'Content
2720: 2d 4c 65 6e 67 74 68 27 20 69 6e 20 6e 65 77 5f -Length' in new_
2730: 72 65 63 6f 72 64 3a 0a 09 09 09 09 09 09 6e 65 record:.......ne
2740: 77 5f 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 w_record['_parts
2750: 27 5d 20 3d 20 73 70 61 63 65 6d 61 70 2e 53 70 '] = spacemap.Sp
2760: 61 63 65 4d 61 70 28 7b 30 3a 20 69 6e 74 28 6e aceMap({0: int(n
2770: 65 77 5f 72 65 63 6f 72 64 5b 27 43 6f 6e 74 65 ew_record['Conte
2780: 6e 74 2d 4c 65 6e 67 74 68 27 5d 29 7d 29 0a 09 nt-Length'])})..
2790: 09 09 09 69 66 20 6e 6f 74 20 6e 65 77 5f 72 65 ...if not new_re
27a0: 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d 3a 0a cord['_parts']:.
27b0: 09 09 09 09 09 6e 65 77 5f 72 65 63 6f 72 64 5b .....new_record[
27c0: 27 5f 70 61 72 74 73 27 5d 20 3d 20 73 70 61 63 '_parts'] = spac
27d0: 65 6d 61 70 2e 53 70 61 63 65 4d 61 70 28 29 0a emap.SpaceMap().
27e0: 09 09 09 09 70 72 69 6e 74 28 6e 65 77 5f 72 65 ....print(new_re
27f0: 63 6f 72 64 29 0a 0a 09 09 09 09 23 20 64 6f 77 cord)......# dow
2800: 6e 6c 6f 61 64 69 6e 67 20 66 69 6c 65 20 6f 72 nloading file or
2810: 20 73 65 67 6d 65 6e 74 0a 09 09 09 09 69 66 20 segment.....if
2820: 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 'Content-Length'
2830: 20 69 6e 20 6e 65 77 5f 72 65 63 6f 72 64 3a 0a in new_record:.
2840: 09 09 09 09 09 69 66 20 6e 65 65 64 65 64 20 3d .....if needed =
2850: 3d 20 4e 6f 6e 65 3a 0a 09 09 09 09 09 09 6e 65 = None:.......ne
2860: 65 64 65 64 20 3d 20 6e 65 77 5f 72 65 63 6f 72 eded = new_recor
2870: 64 5b 27 5f 70 61 72 74 73 27 5d 0a 09 09 09 09 d['_parts'].....
2880: 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 69 66 20 .else:.......if
2890: 6c 65 6e 28 6e 65 65 64 65 64 29 20 3e 20 31 3a len(needed) > 1:
28a0: 0a 09 09 09 09 09 09 09 70 72 69 6e 74 28 22 4d ........print("M
28b0: 75 6c 74 69 70 61 72 74 20 72 65 71 75 65 73 74 ultipart request
28c0: 73 20 63 75 72 72 65 6e 74 6c 79 20 6e 6f 74 20 s currently not
28d0: 73 75 70 70 6f 72 74 65 64 2e 22 29 0a 09 09 09 supported.")....
28e0: 09 09 09 09 61 73 73 65 72 74 20 46 61 6c 73 65 ....assert False
28f0: 2c 20 27 53 6b 69 70 20 74 68 69 73 20 6f 6e 65 , 'Skip this one
2900: 20 66 6f 72 20 6e 6f 77 2e 27 0a 09 09 09 09 23 for now.'.....#
2910: 65 6c 73 65 3a 0a 09 09 09 09 09 23 61 73 73 65 else:......#asse
2920: 72 74 20 46 61 6c 73 65 2c 20 27 4e 6f 20 63 6f rt False, 'No co
2930: 6e 74 65 6e 74 2d 6c 65 6e 67 74 68 20 6f 72 20 ntent-length or
2940: 43 6f 6e 74 65 6e 74 2d 52 61 6e 67 65 20 68 65 Content-Range he
2950: 61 64 65 72 2e 27 0a 0a 09 09 09 09 6e 65 77 5f ader.'......new_
2960: 72 65 63 6f 72 64 5b 27 5f 74 69 6d 65 27 5d 20 record['_time']
2970: 3d 20 64 61 74 65 74 69 6d 65 2e 64 61 74 65 74 = datetime.datet
2980: 69 6d 65 2e 6e 6f 77 28 29 0a 09 09 09 09 69 66 ime.now().....if
2990: 20 73 65 6c 66 2e 63 6f 6d 6d 61 6e 64 20 6e 6f self.command no
29a0: 74 20 69 6e 20 28 27 48 45 41 44 27 29 3a 0a 09 t in ('HEAD'):..
29b0: 09 09 09 09 23 20 66 69 6c 65 20 69 73 20 63 72 ....# file is cr
29c0: 65 61 74 65 64 20 61 74 20 74 65 6d 70 6f 72 61 eated at tempora
29d0: 72 79 20 6c 6f 63 61 74 69 6f 6e 20 61 6e 64 20 ry location and
29e0: 6d 6f 76 65 64 20 69 6e 20 70 6c 61 63 65 20 6f moved in place o
29f0: 6e 6c 79 20 77 68 65 6e 20 64 6f 77 6e 6c 6f 61 nly when downloa
2a00: 64 20 63 6f 6d 70 6c 65 74 65 73 0a 09 09 09 09 d completes.....
2a10: 09 69 66 20 6e 6f 74 20 6f 73 2e 61 63 63 65 73 .if not os.acces
2a20: 73 28 74 65 6d 70 5f 6e 61 6d 65 2c 20 6f 73 2e s(temp_name, os.
2a30: 52 5f 4f 4b 29 3a 0a 09 09 09 09 09 09 65 6d 70 R_OK):.......emp
2a40: 74 79 5f 6e 61 6d 65 20 3d 20 63 6f 6e 66 69 67 ty_name = config
2a50: 5f 68 6f 73 74 5b 27 64 69 72 27 5d 20 2b 20 6f _host['dir'] + o
2a60: 73 2e 73 65 70 20 2b 20 27 2e 74 6d 70 27 0a 09 s.sep + '.tmp'..
2a70: 09 09 09 09 09 77 69 74 68 20 6f 70 65 6e 28 65 .....with open(e
2a80: 6d 70 74 79 5f 6e 61 6d 65 2c 20 27 77 2b 62 27 mpty_name, 'w+b'
2a90: 29 20 61 73 20 73 6f 6d 65 5f 66 69 6c 65 3a 0a ) as some_file:.
2aa0: 09 09 09 09 09 09 09 70 61 73 73 0a 09 09 09 09 .......pass.....
2ab0: 09 09 6f 73 2e 72 65 6e 61 6d 65 73 28 65 6d 70 ..os.renames(emp
2ac0: 74 79 5f 6e 61 6d 65 2c 20 74 65 6d 70 5f 6e 61 ty_name, temp_na
2ad0: 6d 65 29 0a 09 09 09 09 09 74 65 6d 70 5f 66 69 me)......temp_fi
2ae0: 6c 65 20 3d 20 6f 70 65 6e 28 74 65 6d 70 5f 6e le = open(temp_n
2af0: 61 6d 65 2c 20 27 72 2b 62 27 29 0a 09 09 09 09 ame, 'r+b').....
2b00: 09 69 66 20 72 65 71 75 65 73 74 65 64 5f 72 61 .if requested_ra
2b10: 6e 67 65 73 20 3d 3d 20 4e 6f 6e 65 20 61 6e 64 nges == None and
2b20: 20 6e 65 65 64 65 64 20 3d 3d 20 4e 6f 6e 65 3a needed == None:
2b30: 0a 09 09 09 09 09 09 6e 65 65 64 65 64 20 3d 20 .......needed =
2b40: 6e 65 77 5f 72 65 63 6f 72 64 5b 27 5f 70 61 72 new_record['_par
2b50: 74 73 27 5d 0a 09 09 09 09 09 6e 65 65 64 65 64 ts']......needed
2b60: 2e 72 65 77 69 6e 64 28 29 0a 09 09 09 09 09 63 .rewind()......c
2b70: 6f 75 6e 74 64 6f 77 6e 20 3d 20 31 36 0a 09 09 ountdown = 16...
2b80: 09 09 09 77 68 69 6c 65 20 54 72 75 65 3a 0a 09 ...while True:..
2b90: 09 09 09 09 09 23 20 58 58 58 20 63 61 6e 20 6d .....# XXX can m
2ba0: 61 6b 65 20 74 68 69 73 20 69 6d 70 6c 69 63 69 ake this implici
2bb0: 74 20 2d 20 6f 6e 65 20 72 65 71 75 65 73 74 20 t - one request
2bc0: 70 65 72 20 72 61 6e 67 65 0a 09 09 09 09 09 09 per range.......
2bd0: 28 73 74 61 72 74 2c 20 65 6e 64 29 20 3d 20 6e (start, end) = n
2be0: 65 65 64 65 64 2e 70 6f 70 28 29 0a 09 09 09 09 eeded.pop().....
2bf0: 09 09 69 66 20 73 74 61 72 74 20 3d 3d 20 4e 6f ..if start == No
2c00: 6e 65 3a 0a 09 09 09 09 09 09 09 62 72 65 61 6b ne:........break
2c10: 0a 09 09 09 09 09 09 73 74 72 65 61 6d 5f 6c 61 .......stream_la
2c20: 73 74 20 3d 20 73 74 61 72 74 0a 09 09 09 09 09 st = start......
2c30: 09 6f 6c 64 5f 72 65 63 6f 72 64 20 3d 20 63 6f .old_record = co
2c40: 70 79 2e 63 6f 70 79 28 6e 65 77 5f 72 65 63 6f py.copy(new_reco
2c50: 72 64 29 0a 09 09 09 09 09 09 69 66 20 65 6e 64 rd).......if end
2c60: 20 2d 20 73 74 61 72 74 20 3c 20 62 6c 6f 63 6b - start < block
2c70: 5f 73 69 7a 65 3a 0a 09 09 09 09 09 09 09 72 65 _size:........re
2c80: 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 20 3d 20 65 q_block_size = e
2c90: 6e 64 20 2d 20 73 74 61 72 74 0a 09 09 09 09 09 nd - start......
2ca0: 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 09 72 65 .else:........re
2cb0: 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 20 3d 20 62 q_block_size = b
2cc0: 6c 6f 63 6b 5f 73 69 7a 65 0a 09 09 09 09 09 09 lock_size.......
2cd0: 62 75 66 66 65 72 20 3d 20 73 6f 75 72 63 65 2e buffer = source.
2ce0: 72 65 61 64 28 72 65 71 5f 62 6c 6f 63 6b 5f 73 read(req_block_s
2cf0: 69 7a 65 29 0a 09 09 09 09 09 09 6c 65 6e 67 74 ize).......lengt
2d00: 68 20 3d 20 6c 65 6e 28 62 75 66 66 65 72 29 0a h = len(buffer).
2d10: 09 09 09 09 09 09 77 68 69 6c 65 20 6c 65 6e 67 ......while leng
2d20: 74 68 20 3e 20 30 20 61 6e 64 20 73 74 72 65 61 th > 0 and strea
2d30: 6d 5f 6c 61 73 74 20 3c 20 65 6e 64 3a 0a 09 09 m_last < end:...
2d40: 09 09 09 09 09 73 74 72 65 61 6d 5f 70 6f 73 20 .....stream_pos
2d50: 3d 20 73 74 72 65 61 6d 5f 6c 61 73 74 20 2b 20 = stream_last +
2d60: 6c 65 6e 67 74 68 0a 09 09 09 09 09 09 09 61 73 length........as
2d70: 73 65 72 74 20 73 74 72 65 61 6d 5f 70 6f 73 20 sert stream_pos
2d80: 3c 3d 20 65 6e 64 2c 20 27 52 65 63 65 69 76 65 <= end, 'Receive
2d90: 64 20 6d 6f 72 65 20 64 61 74 61 20 74 68 65 6e d more data then
2da0: 20 72 65 71 75 65 73 74 65 64 3a 20 70 6f 73 3a requested: pos:
2db0: 7b 7d 20 73 74 61 72 74 3a 7b 7d 20 65 6e 64 3a {} start:{} end:
2dc0: 7b 7d 2e 27 2e 66 6f 72 6d 61 74 28 73 74 72 65 {}.'.format(stre
2dd0: 61 6d 5f 70 6f 73 2c 20 73 74 61 72 74 2c 20 65 am_pos, start, e
2de0: 6e 64 29 0a 09 09 09 09 09 09 09 74 65 6d 70 5f nd)........temp_
2df0: 66 69 6c 65 2e 73 65 65 6b 28 73 74 72 65 61 6d file.seek(stream
2e00: 5f 6c 61 73 74 29 0a 09 09 09 09 09 09 09 74 65 _last)........te
2e10: 6d 70 5f 66 69 6c 65 2e 77 72 69 74 65 28 62 75 mp_file.write(bu
2e20: 66 66 65 72 29 0a 09 09 09 09 09 09 09 78 20 3d ffer)........x =
2e30: 20 6e 65 77 5f 72 65 63 6f 72 64 5b 27 5f 70 61 new_record['_pa
2e40: 72 74 73 27 5d 20 2d 20 73 70 61 63 65 6d 61 70 rts'] - spacemap
2e50: 2e 53 70 61 63 65 4d 61 70 28 7b 73 74 72 65 61 .SpaceMap({strea
2e60: 6d 5f 6c 61 73 74 3a 20 73 74 72 65 61 6d 5f 70 m_last: stream_p
2e70: 6f 73 7d 29 0a 09 09 09 09 09 09 09 6e 65 77 5f os})........new_
2e80: 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d record['_parts']
2e90: 20 3d 20 6e 65 77 5f 72 65 63 6f 72 64 5b 27 5f = new_record['_
2ea0: 70 61 72 74 73 27 5d 20 2d 20 73 70 61 63 65 6d parts'] - spacem
2eb0: 61 70 2e 53 70 61 63 65 4d 61 70 28 7b 73 74 72 ap.SpaceMap({str
2ec0: 65 61 6d 5f 6c 61 73 74 3a 20 73 74 72 65 61 6d eam_last: stream
2ed0: 5f 70 6f 73 7d 29 0a 09 09 09 09 09 09 09 63 6f _pos})........co
2ee0: 75 6e 74 64 6f 77 6e 20 2d 3d 20 31 0a 09 09 09 untdown -= 1....
2ef0: 09 09 09 09 69 66 20 63 6f 75 6e 74 64 6f 77 6e ....if countdown
2f00: 20 3d 3d 20 30 3a 0a 09 09 09 09 09 09 09 09 69 == 0:.........i
2f10: 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5f 62 5d 20 ndex[my_path_b]
2f20: 3d 20 6f 6c 64 5f 72 65 63 6f 72 64 0a 09 09 09 = old_record....
2f30: 09 09 09 09 09 69 6e 64 65 78 2e 73 79 6e 63 28 .....index.sync(
2f40: 29 0a 09 09 09 09 09 09 09 09 63 6f 75 6e 74 64 ).........countd
2f50: 6f 77 6e 20 3d 20 31 36 0a 09 09 09 09 09 09 09 own = 16........
2f60: 6f 6c 64 5f 72 65 63 6f 72 64 20 3d 20 63 6f 70 old_record = cop
2f70: 79 2e 63 6f 70 79 28 6e 65 77 5f 72 65 63 6f 72 y.copy(new_recor
2f80: 64 29 0a 09 09 09 09 09 09 09 73 74 72 65 61 6d d)........stream
2f90: 5f 6c 61 73 74 20 3d 20 73 74 72 65 61 6d 5f 70 _last = stream_p
2fa0: 6f 73 0a 09 09 09 09 09 09 09 69 66 20 65 6e 64 os........if end
2fb0: 20 2d 20 73 74 72 65 61 6d 5f 6c 61 73 74 20 3c - stream_last <
2fc0: 20 62 6c 6f 63 6b 5f 73 69 7a 65 3a 0a 09 09 09 block_size:....
2fd0: 09 09 09 09 09 72 65 71 5f 62 6c 6f 63 6b 5f 73 .....req_block_s
2fe0: 69 7a 65 20 3d 20 65 6e 64 20 2d 20 73 74 72 65 ize = end - stre
2ff0: 61 6d 5f 6c 61 73 74 0a 09 09 09 09 09 09 09 62 am_last........b
3000: 75 66 66 65 72 20 3d 20 73 6f 75 72 63 65 2e 72 uffer = source.r
3010: 65 61 64 28 72 65 71 5f 62 6c 6f 63 6b 5f 73 69 ead(req_block_si
3020: 7a 65 29 0a 09 09 09 09 09 09 09 6c 65 6e 67 74 ze)........lengt
3030: 68 20 3d 20 6c 65 6e 28 62 75 66 66 65 72 29 0a h = len(buffer).
3040: 09 09 09 09 09 23 20 6d 6f 76 69 6e 67 20 64 6f .....# moving do
3050: 77 6e 6c 6f 61 64 65 64 20 64 61 74 61 20 74 6f wnloaded data to
3060: 20 72 65 61 6c 20 66 69 6c 65 0a 09 09 09 09 09 real file......
3070: 74 65 6d 70 5f 66 69 6c 65 2e 63 6c 6f 73 65 28 temp_file.close(
3080: 29 0a 0a 09 09 09 09 69 6e 64 65 78 5b 6d 79 5f )......index[my_
3090: 70 61 74 68 5f 62 5d 20 3d 20 6e 65 77 5f 72 65 path_b] = new_re
30a0: 63 6f 72 64 0a 09 09 09 09 69 6e 64 65 78 2e 73 cord.....index.s
30b0: 79 6e 63 28 29 0a 0a 09 09 09 65 78 63 65 70 74 ync().....except
30c0: 20 75 72 6c 6c 69 62 2e 65 72 72 6f 72 2e 48 54 urllib.error.HT
30d0: 54 50 45 72 72 6f 72 20 61 73 20 65 72 72 6f 72 TPError as error
30e0: 3a 0a 09 09 09 09 23 20 69 6e 20 63 61 73 65 20 :.....# in case
30f0: 6f 66 20 65 72 72 6f 72 20 77 65 20 64 6f 6e 27 of error we don'
3100: 74 20 6e 65 65 64 20 74 6f 20 64 6f 20 61 6e 79 t need to do any
3110: 74 68 69 6e 67 20 61 63 74 75 61 6c 6c 79 2c 0a thing actually,.
3120: 09 09 09 09 23 20 69 66 20 66 69 6c 65 20 64 6f ....# if file do
3130: 77 6e 6c 6f 61 64 20 73 74 61 6c 6c 73 20 6f 72 wnload stalls or
3140: 20 66 61 69 6c 73 20 74 68 65 20 66 69 6c 65 20 fails the file
3150: 77 6f 75 6c 64 20 6e 6f 74 20 62 65 20 6d 6f 76 would not be mov
3160: 65 64 20 74 6f 20 69 74 27 73 20 6c 6f 63 61 74 ed to it's locat
3170: 69 6f 6e 0a 09 09 09 09 73 65 6c 66 2e 73 65 6e ion.....self.sen
3180: 64 5f 72 65 73 70 6f 6e 73 65 28 65 72 72 6f 72 d_response(error
3190: 2e 63 6f 64 65 29 0a 09 09 09 09 73 65 6c 66 2e .code).....self.
31a0: 65 6e 64 5f 68 65 61 64 65 72 73 28 29 0a 09 09 end_headers()...
31b0: 09 09 70 72 69 6e 74 28 65 72 72 6f 72 2c 20 72 ..print(error, r
31c0: 65 70 72 28 6d 79 5f 68 65 61 64 65 72 73 29 29 epr(my_headers))
31d0: 0a 09 09 09 09 72 65 74 75 72 6e 0a 0a 09 09 23 .....return....#
31e0: 70 72 69 6e 74 28 69 6e 64 65 78 5b 6d 79 5f 70 print(index[my_p
31f0: 61 74 68 5f 62 5d 29 0a 0a 09 09 69 66 20 6e 6f ath_b])....if no
3200: 74 20 6f 73 2e 61 63 63 65 73 73 28 66 69 6c 65 t os.access(file
3210: 5f 6e 61 6d 65 2c 20 6f 73 2e 52 5f 4f 4b 29 20 _name, os.R_OK)
3220: 61 6e 64 20 6f 73 2e 61 63 63 65 73 73 28 74 65 and os.access(te
3230: 6d 70 5f 6e 61 6d 65 2c 20 6f 73 2e 52 5f 4f 4b mp_name, os.R_OK
3240: 29 20 61 6e 64 20 27 5f 70 61 72 74 73 27 20 69 ) and '_parts' i
3250: 6e 20 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5f n index[my_path_
3260: 62 5d 20 61 6e 64 20 69 6e 64 65 78 5b 6d 79 5f b] and index[my_
3270: 70 61 74 68 5f 62 5d 5b 27 5f 70 61 72 74 73 27 path_b]['_parts'
3280: 5d 20 3d 3d 20 73 70 61 63 65 6d 61 70 2e 53 70 ] == spacemap.Sp
3290: 61 63 65 4d 61 70 28 29 3a 0a 09 09 09 23 20 6a aceMap():....# j
32a0: 75 73 74 20 6d 6f 76 69 6e 67 0a 09 09 09 23 20 ust moving....#
32b0: 64 72 6f 70 20 6f 6c 64 20 64 69 72 73 20 58 58 drop old dirs XX
32c0: 58 0a 09 09 09 70 72 69 6e 74 28 27 4d 6f 76 69 X....print('Movi
32d0: 6e 67 20 74 65 6d 70 6f 72 61 72 79 20 66 69 6c ng temporary fil
32e0: 65 20 74 6f 20 6e 65 77 20 64 65 73 74 69 6e 61 e to new destina
32f0: 74 69 6f 6e 2e 27 29 0a 09 09 09 6f 73 2e 72 65 tion.')....os.re
3300: 6e 61 6d 65 73 28 74 65 6d 70 5f 6e 61 6d 65 2c names(temp_name,
3310: 20 66 69 6c 65 5f 6e 61 6d 65 29 0a 0a 09 09 69 file_name)....i
3320: 66 20 6e 6f 74 20 6d 79 5f 70 61 74 68 5f 62 20 f not my_path_b
3330: 69 6e 20 69 6e 64 65 78 3a 0a 09 09 09 73 65 6c in index:....sel
3340: 66 2e 73 65 6e 64 5f 72 65 73 70 6f 6e 73 65 28 f.send_response(
3350: 35 30 32 29 0a 09 09 09 73 65 6c 66 2e 65 6e 64 502)....self.end
3360: 5f 68 65 61 64 65 72 73 28 29 0a 09 09 09 72 65 _headers()....re
3370: 74 75 72 6e 0a 0a 09 09 69 66 20 73 65 6c 66 2e turn....if self.
3380: 63 6f 6d 6d 61 6e 64 20 3d 3d 20 27 48 45 41 44 command == 'HEAD
3390: 27 3a 0a 09 09 09 73 65 6c 66 2e 73 65 6e 64 5f ':....self.send_
33a0: 72 65 73 70 6f 6e 73 65 28 32 30 30 29 0a 09 09 response(200)...
33b0: 09 69 66 20 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e .if 'Content-Len
33c0: 67 74 68 27 20 69 6e 20 69 6e 64 65 78 5b 6d 79 gth' in index[my
33d0: 5f 70 61 74 68 5f 62 5d 3a 0a 09 09 09 09 73 65 _path_b]:.....se
33e0: 6c 66 2e 73 65 6e 64 5f 68 65 61 64 65 72 28 27 lf.send_header('
33f0: 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 2c Content-Length',
3400: 20 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5f 62 index[my_path_b
3410: 5d 5b 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 ]['Content-Lengt
3420: 68 27 5d 29 0a 09 09 09 73 65 6c 66 2e 73 65 6e h'])....self.sen
3430: 64 5f 68 65 61 64 65 72 28 27 41 63 63 65 70 74 d_header('Accept
3440: 2d 52 61 6e 67 65 73 27 2c 20 27 62 79 74 65 73 -Ranges', 'bytes
3450: 27 29 0a 09 09 09 73 65 6c 66 2e 73 65 6e 64 5f ')....self.send_
3460: 68 65 61 64 65 72 28 27 43 6f 6e 74 65 6e 74 2d header('Content-
3470: 54 79 70 65 27 2c 20 27 61 70 70 6c 69 63 61 74 Type', 'applicat
3480: 69 6f 6e 2f 6f 63 74 65 74 2d 73 74 72 65 61 6d ion/octet-stream
3490: 27 29 0a 09 09 09 69 66 20 27 4c 61 73 74 2d 4d ')....if 'Last-M
34a0: 6f 64 69 66 69 65 64 27 20 69 6e 20 69 6e 64 65 odified' in inde
34b0: 78 5b 6d 79 5f 70 61 74 68 5f 62 5d 3a 0a 09 09 x[my_path_b]:...
34c0: 09 09 73 65 6c 66 2e 73 65 6e 64 5f 68 65 61 64 ..self.send_head
34d0: 65 72 28 27 4c 61 73 74 2d 4d 6f 64 69 66 69 65 er('Last-Modifie
34e0: 64 27 2c 20 69 6e 64 65 78 5b 6d 79 5f 70 61 74 d', index[my_pat
34f0: 68 5f 62 5d 5b 27 4c 61 73 74 2d 4d 6f 64 69 66 h_b]['Last-Modif
3500: 69 65 64 27 5d 29 0a 09 09 09 73 65 6c 66 2e 65 ied'])....self.e
3510: 6e 64 5f 68 65 61 64 65 72 73 28 29 0a 09 09 65 nd_headers()...e
3520: 6c 73 65 3a 0a 09 09 09 69 66 20 28 27 5f 70 61 lse:....if ('_pa
3530: 72 74 73 27 20 69 6e 20 69 6e 64 65 78 5b 6d 79 rts' in index[my
3540: 5f 70 61 74 68 5f 62 5d 20 61 6e 64 20 69 6e 64 _path_b] and ind
3550: 65 78 5b 6d 79 5f 70 61 74 68 5f 62 5d 5b 27 5f ex[my_path_b]['_
3560: 70 61 72 74 73 27 5d 20 21 3d 20 73 70 61 63 65 parts'] != space
3570: 6d 61 70 2e 53 70 61 63 65 4d 61 70 28 29 29 20 map.SpaceMap())
3580: 6f 72 20 6e 6f 74 20 6f 73 2e 61 63 63 65 73 73 or not os.access
3590: 28 66 69 6c 65 5f 6e 61 6d 65 2c 20 6f 73 2e 52 (file_name, os.R
35a0: 5f 4f 4b 29 3a 0a 09 09 09 09 66 69 6c 65 5f 6e _OK):.....file_n
35b0: 61 6d 65 20 3d 20 74 65 6d 70 5f 6e 61 6d 65 0a ame = temp_name.
35c0: 0a 09 09 09 77 69 74 68 20 6f 70 65 6e 28 66 69 ....with open(fi
35d0: 6c 65 5f 6e 61 6d 65 2c 20 27 72 62 27 29 20 61 le_name, 'rb') a
35e0: 73 20 72 65 61 6c 5f 66 69 6c 65 3a 0a 09 09 09 s real_file:....
35f0: 09 66 69 6c 65 5f 73 74 61 74 20 3d 20 6f 73 2e .file_stat = os.
3600: 73 74 61 74 28 66 69 6c 65 5f 6e 61 6d 65 29 0a stat(file_name).
3610: 09 09 09 09 69 66 20 27 52 61 6e 67 65 27 20 69 ....if 'Range' i
3620: 6e 20 73 65 6c 66 2e 68 65 61 64 65 72 73 3a 0a n self.headers:.
3630: 09 09 09 09 09 73 65 6c 66 2e 73 65 6e 64 5f 72 .....self.send_r
3640: 65 73 70 6f 6e 73 65 28 32 30 36 29 0a 09 09 09 esponse(206)....
3650: 09 09 72 61 6e 67 65 73 20 3d 20 28 29 0a 09 09 ..ranges = ()...
3660: 09 09 09 72 65 71 75 65 73 74 65 64 5f 72 61 6e ...requested_ran
3670: 67 65 73 2e 72 65 77 69 6e 64 28 29 0a 09 09 09 ges.rewind()....
3680: 09 09 77 68 69 6c 65 20 54 72 75 65 3a 0a 09 09 ..while True:...
3690: 09 09 09 09 70 61 69 72 20 3d 20 72 65 71 75 65 ....pair = reque
36a0: 73 74 65 64 5f 72 61 6e 67 65 73 2e 70 6f 70 28 sted_ranges.pop(
36b0: 29 0a 09 09 09 09 09 09 69 66 20 70 61 69 72 5b ).......if pair[
36c0: 30 5d 20 3d 3d 20 4e 6f 6e 65 3a 0a 09 09 09 09 0] == None:.....
36d0: 09 09 09 62 72 65 61 6b 0a 09 09 09 09 09 09 72 ...break.......r
36e0: 61 6e 67 65 73 20 2b 3d 20 27 7b 7d 2d 7b 7d 27 anges += '{}-{}'
36f0: 2e 66 6f 72 6d 61 74 28 70 61 69 72 5b 30 5d 2c .format(pair[0],
3700: 20 73 74 72 28 70 61 69 72 5b 31 5d 20 2d 20 31 str(pair[1] - 1
3710: 29 29 2c 0a 09 09 09 09 09 73 65 6c 66 2e 73 65 )),......self.se
3720: 6e 64 5f 68 65 61 64 65 72 28 27 43 6f 6e 74 65 nd_header('Conte
3730: 6e 74 2d 52 61 6e 67 65 27 2c 20 27 62 79 74 65 nt-Range', 'byte
3740: 73 20 7b 7d 2f 7b 7d 27 2e 66 6f 72 6d 61 74 28 s {}/{}'.format(
3750: 27 2c 27 2e 6a 6f 69 6e 28 72 61 6e 67 65 73 29 ','.join(ranges)
3760: 2c 20 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5f , index[my_path_
3770: 62 5d 5b 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 b]['Content-Leng
3780: 74 68 27 5d 29 29 0a 09 09 09 09 65 6c 73 65 3a th'])).....else:
3790: 0a 09 09 09 09 09 73 65 6c 66 2e 73 65 6e 64 5f ......self.send_
37a0: 72 65 73 70 6f 6e 73 65 28 32 30 30 29 0a 09 09 response(200)...
37b0: 09 09 09 73 65 6c 66 2e 73 65 6e 64 5f 68 65 61 ...self.send_hea
37c0: 64 65 72 28 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e der('Content-Len
37d0: 67 74 68 27 2c 20 73 74 72 28 66 69 6c 65 5f 73 gth', str(file_s
37e0: 74 61 74 2e 73 74 5f 73 69 7a 65 29 29 0a 09 09 tat.st_size))...
37f0: 09 09 09 72 65 71 75 65 73 74 65 64 5f 72 61 6e ...requested_ran
3800: 67 65 73 20 3d 20 73 70 61 63 65 6d 61 70 2e 53 ges = spacemap.S
3810: 70 61 63 65 4d 61 70 28 7b 30 3a 20 66 69 6c 65 paceMap({0: file
3820: 5f 73 74 61 74 2e 73 74 5f 73 69 7a 65 7d 29 0a _stat.st_size}).
3830: 09 09 09 09 69 66 20 27 4c 61 73 74 2d 4d 6f 64 ....if 'Last-Mod
3840: 69 66 69 65 64 27 20 69 6e 20 69 6e 64 65 78 5b ified' in index[
3850: 6d 79 5f 70 61 74 68 5f 62 5d 3a 0a 09 09 09 09 my_path_b]:.....
3860: 09 73 65 6c 66 2e 73 65 6e 64 5f 68 65 61 64 65 .self.send_heade
3870: 72 28 27 4c 61 73 74 2d 4d 6f 64 69 66 69 65 64 r('Last-Modified
3880: 27 2c 20 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 ', index[my_path
3890: 5f 62 5d 5b 27 4c 61 73 74 2d 4d 6f 64 69 66 69 _b]['Last-Modifi
38a0: 65 64 27 5d 29 0a 09 09 09 09 73 65 6c 66 2e 73 ed']).....self.s
38b0: 65 6e 64 5f 68 65 61 64 65 72 28 27 43 6f 6e 74 end_header('Cont
38c0: 65 6e 74 2d 54 79 70 65 27 2c 20 27 61 70 70 6c ent-Type', 'appl
38d0: 69 63 61 74 69 6f 6e 2f 6f 63 74 65 74 2d 73 74 ication/octet-st
38e0: 72 65 61 6d 27 29 0a 09 09 09 09 73 65 6c 66 2e ream').....self.
38f0: 65 6e 64 5f 68 65 61 64 65 72 73 28 29 0a 09 09 end_headers()...
3900: 09 09 69 66 20 73 65 6c 66 2e 63 6f 6d 6d 61 6e ..if self.comman
3910: 64 20 69 6e 20 28 27 47 45 54 27 29 3a 0a 09 09 d in ('GET'):...
3920: 09 09 09 69 66 20 6c 65 6e 28 72 65 71 75 65 73 ...if len(reques
3930: 74 65 64 5f 72 61 6e 67 65 73 29 20 3e 20 30 3a ted_ranges) > 0:
3940: 0a 09 09 09 09 09 09 72 65 71 75 65 73 74 65 64 .......requested
3950: 5f 72 61 6e 67 65 73 2e 72 65 77 69 6e 64 28 29 _ranges.rewind()
3960: 0a 09 09 09 09 09 09 28 73 74 61 72 74 2c 20 65 .......(start, e
3970: 6e 64 29 20 3d 20 72 65 71 75 65 73 74 65 64 5f nd) = requested_
3980: 72 61 6e 67 65 73 2e 70 6f 70 28 29 0a 09 09 09 ranges.pop()....
3990: 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 73 74 ..else:.......st
39a0: 61 72 74 20 3d 20 30 0a 09 09 09 09 09 09 23 20 art = 0.......#
39b0: 58 58 58 20 75 67 6c 79 20 68 61 63 6b 0a 09 09 XXX ugly hack...
39c0: 09 09 09 09 69 66 20 27 43 6f 6e 74 65 6e 74 2d ....if 'Content-
39d0: 4c 65 6e 67 74 68 27 20 69 6e 20 69 6e 64 65 78 Length' in index
39e0: 5b 6d 79 5f 70 61 74 68 5f 62 5d 3a 0a 09 09 09 [my_path_b]:....
39f0: 09 09 09 09 65 6e 64 20 3d 20 69 6e 64 65 78 5b ....end = index[
3a00: 6d 79 5f 70 61 74 68 5f 62 5d 5b 27 43 6f 6e 74 my_path_b]['Cont
3a10: 65 6e 74 2d 4c 65 6e 67 74 68 27 5d 0a 09 09 09 ent-Length']....
3a20: 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 09 ...else:........
3a30: 65 6e 64 20 3d 20 30 0a 09 09 09 09 09 72 65 61 end = 0......rea
3a40: 6c 5f 66 69 6c 65 2e 73 65 65 6b 28 73 74 61 72 l_file.seek(star
3a50: 74 29 0a 09 09 09 09 09 69 66 20 62 6c 6f 63 6b t)......if block
3a60: 5f 73 69 7a 65 20 3e 20 65 6e 64 20 2d 20 73 74 _size > end - st
3a70: 61 72 74 3a 0a 09 09 09 09 09 09 72 65 71 5f 62 art:.......req_b
3a80: 6c 6f 63 6b 5f 73 69 7a 65 20 3d 20 65 6e 64 20 lock_size = end
3a90: 2d 20 73 74 61 72 74 0a 09 09 09 09 09 65 6c 73 - start......els
3aa0: 65 3a 0a 09 09 09 09 09 09 72 65 71 5f 62 6c 6f e:.......req_blo
3ab0: 63 6b 5f 73 69 7a 65 20 3d 20 62 6c 6f 63 6b 5f ck_size = block_
3ac0: 73 69 7a 65 0a 09 09 09 09 09 62 75 66 66 65 72 size......buffer
3ad0: 20 3d 20 72 65 61 6c 5f 66 69 6c 65 2e 72 65 61 = real_file.rea
3ae0: 64 28 72 65 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 d(req_block_size
3af0: 29 0a 09 09 09 09 09 6c 65 6e 67 74 68 20 3d 20 )......length =
3b00: 6c 65 6e 28 62 75 66 66 65 72 29 0a 09 09 09 09 len(buffer).....
3b10: 09 77 68 69 6c 65 20 6c 65 6e 67 74 68 20 3e 20 .while length >
3b20: 30 3a 0a 09 09 09 09 09 09 73 65 6c 66 2e 77 66 0:.......self.wf
3b30: 69 6c 65 2e 77 72 69 74 65 28 62 75 66 66 65 72 ile.write(buffer
3b40: 29 0a 09 09 09 09 09 09 73 74 61 72 74 20 2b 3d ).......start +=
3b50: 20 6c 65 6e 28 62 75 66 66 65 72 29 0a 09 09 09 len(buffer)....
3b60: 09 09 09 69 66 20 72 65 71 5f 62 6c 6f 63 6b 5f ...if req_block_
3b70: 73 69 7a 65 20 3e 20 65 6e 64 20 2d 20 73 74 61 size > end - sta
3b80: 72 74 3a 0a 09 09 09 09 09 09 09 72 65 71 5f 62 rt:........req_b
3b90: 6c 6f 63 6b 5f 73 69 7a 65 20 3d 20 65 6e 64 20 lock_size = end
3ba0: 2d 20 73 74 61 72 74 0a 09 09 09 09 09 09 69 66 - start.......if
3bb0: 20 72 65 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 20 req_block_size
3bc0: 3d 3d 20 30 3a 0a 09 09 09 09 09 09 09 62 72 65 == 0:........bre
3bd0: 61 6b 0a 09 09 09 09 09 09 62 75 66 66 65 72 20 ak.......buffer
3be0: 3d 20 72 65 61 6c 5f 66 69 6c 65 2e 72 65 61 64 = real_file.read
3bf0: 28 72 65 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 29 (req_block_size)
3c00: 0a 09 09 09 09 09 09 6c 65 6e 67 74 68 20 3d 20 .......length =
3c10: 6c 65 6e 28 62 75 66 66 65 72 29 0a 09 09 09 09 len(buffer).....
3c20: 0a 09 64 65 66 20 64 6f 5f 48 45 41 44 28 73 65 ..def do_HEAD(se
3c30: 6c 66 29 3a 0a 09 09 72 65 74 75 72 6e 20 73 65 lf):...return se
3c40: 6c 66 2e 5f 5f 70 72 6f 63 65 73 73 28 29 0a 09 lf.__process()..
3c50: 64 65 66 20 64 6f 5f 47 45 54 28 73 65 6c 66 29 def do_GET(self)
3c60: 3a 0a 09 09 72 65 74 75 72 6e 20 73 65 6c 66 2e :...return self.
3c70: 5f 5f 70 72 6f 63 65 73 73 28 29 0a 0a 73 65 72 __process()..ser
3c80: 76 65 72 20 3d 20 68 74 74 70 2e 73 65 72 76 65 ver = http.serve
3c90: 72 2e 48 54 54 50 53 65 72 76 65 72 28 28 27 31 r.HTTPServer(('1
3ca0: 32 37 2e 30 2e 30 2e 31 27 2c 20 69 6e 74 28 63 27.0.0.1', int(c
3cb0: 6f 6e 66 69 67 5b 27 44 45 46 41 55 4c 54 27 5d onfig['DEFAULT']
3cc0: 5b 27 70 6f 72 74 27 5d 29 29 2c 20 4d 79 52 65 ['port'])), MyRe
3cd0: 71 75 65 73 74 48 61 6e 64 6c 65 72 29 0a 73 65 questHandler).se
3ce0: 72 76 65 72 2e 73 65 72 76 65 5f 66 6f 72 65 76 rver.serve_forev
3cf0: 65 72 28 29 0a 0a 23 67 65 76 65 6e 74 2e 6a 6f er()..#gevent.jo
3d00: 69 6e 61 6c 6c 28 29 0a inall().