0000: 23 21 2f 75 73 72 2f 62 69 6e 2f 65 6e 76 20 70 #!/usr/bin/env p
0010: 79 74 68 6f 6e 33 2e 32 0a 0a 66 72 6f 6d 20 5f ython3.2..from _
0020: 5f 66 75 74 75 72 65 5f 5f 20 69 6d 70 6f 72 74 _future__ import
0030: 20 75 6e 69 63 6f 64 65 5f 6c 69 74 65 72 61 6c unicode_literal
0040: 73 2c 20 70 72 69 6e 74 5f 66 75 6e 63 74 69 6f s, print_functio
0050: 6e 0a 0a 23 69 6d 70 6f 72 74 20 67 65 76 65 6e n..#import geven
0060: 74 2e 6d 6f 6e 6b 65 79 0a 23 67 65 76 65 6e 74 t.monkey.#gevent
0070: 2e 6d 6f 6e 6b 65 79 2e 70 61 74 63 68 5f 61 6c .monkey.patch_al
0080: 6c 28 29 0a 0a 69 6d 70 6f 72 74 20 61 72 67 70 l()..import argp
0090: 61 72 73 65 2c 20 6f 73 0a 70 61 72 73 65 72 20 arse, os.parser
00a0: 3d 20 61 72 67 70 61 72 73 65 2e 41 72 67 75 6d = argparse.Argum
00b0: 65 6e 74 50 61 72 73 65 72 28 29 0a 70 61 72 73 entParser().pars
00c0: 65 72 2e 61 64 64 5f 61 72 67 75 6d 65 6e 74 28 er.add_argument(
00d0: 27 2d 63 27 2c 20 27 2d 2d 63 6f 6e 66 69 67 27 '-c', '--config'
00e0: 2c 20 64 65 73 74 20 3d 20 27 63 6f 6e 66 69 67 , dest = 'config
00f0: 27 2c 20 68 65 6c 70 20 3d 20 27 63 6f 6e 66 69 ', help = 'confi
0100: 67 20 66 69 6c 65 20 6c 6f 63 61 74 69 6f 6e 27 g file location'
0110: 2c 20 6d 65 74 61 76 61 72 20 3d 20 27 46 49 4c , metavar = 'FIL
0120: 45 27 2c 20 64 65 66 61 75 6c 74 20 3d 20 27 73 E', default = 's
0130: 61 6d 65 73 69 74 65 2e 63 6f 6e 66 27 29 0a 61 amesite.conf').a
0140: 72 67 73 20 3d 20 70 61 72 73 65 72 2e 70 61 72 rgs = parser.par
0150: 73 65 5f 61 72 67 73 28 29 0a 61 73 73 65 72 74 se_args().assert
0160: 20 6f 73 2e 61 63 63 65 73 73 28 61 72 67 73 2e os.access(args.
0170: 63 6f 6e 66 69 67 2c 20 6f 73 2e 52 5f 4f 4b 29 config, os.R_OK)
0180: 2c 20 22 46 61 74 61 6c 20 65 72 72 6f 72 3a 20 , "Fatal error:
0190: 63 61 6e 27 74 20 72 65 61 64 20 7b 7d 22 2e 66 can't read {}".f
01a0: 6f 72 6d 61 74 28 61 72 67 73 2e 63 6f 6e 66 69 ormat(args.confi
01b0: 67 29 0a 0a 69 6d 70 6f 72 74 20 63 6f 6e 66 69 g)..import confi
01c0: 67 70 61 72 73 65 72 0a 63 6f 6e 66 69 67 20 3d gparser.config =
01d0: 20 63 6f 6e 66 69 67 70 61 72 73 65 72 2e 43 6f configparser.Co
01e0: 6e 66 69 67 50 61 72 73 65 72 28 7b 0a 09 27 70 nfigParser({..'p
01f0: 6f 72 74 27 3a 20 27 38 30 30 38 27 2c 0a 09 27 ort': '8008',..'
0200: 76 65 72 62 6f 73 65 27 3a 20 27 6e 6f 27 2c 0a verbose': 'no',.
0210: 09 27 6e 6f 65 74 61 67 27 3a 20 27 6e 6f 27 2c .'noetag': 'no',
0220: 0a 09 27 6e 6f 70 61 72 74 73 27 3a 20 27 6e 6f ..'noparts': 'no
0230: 27 2c 0a 09 27 73 74 72 69 70 27 3a 20 27 27 2c ',..'strip': '',
0240: 0a 09 27 73 75 62 27 3a 20 27 27 2c 0a 09 27 70 ..'sub': '',..'p
0250: 72 6f 74 6f 27 3a 20 27 68 74 74 70 27 2c 0a 7d roto': 'http',.}
0260: 29 0a 63 6f 6e 66 69 67 2e 72 65 61 64 28 61 72 ).config.read(ar
0270: 67 73 2e 63 6f 6e 66 69 67 29 0a 0a 63 61 63 68 gs.config)..cach
0280: 65 5f 64 69 72 20 3d 20 6f 73 2e 70 61 74 68 2e e_dir = os.path.
0290: 72 65 61 6c 70 61 74 68 28 6f 73 2e 70 61 74 68 realpath(os.path
02a0: 2e 64 69 72 6e 61 6d 65 28 61 72 67 73 2e 63 6f .dirname(args.co
02b0: 6e 66 69 67 29 29 0a 0a 69 6d 70 6f 72 74 20 72 nfig))..import r
02c0: 65 0a 66 6f 72 20 73 65 63 74 69 6f 6e 20 69 6e e.for section in
02d0: 20 63 6f 6e 66 69 67 2e 73 65 63 74 69 6f 6e 73 config.sections
02e0: 28 29 3a 0a 09 69 66 20 73 65 63 74 69 6f 6e 20 ():..if section
02f0: 21 3d 20 27 44 45 46 41 55 4c 54 27 3a 0a 09 09 != 'DEFAULT':...
0300: 69 66 20 27 64 69 72 27 20 69 6e 20 63 6f 6e 66 if 'dir' in conf
0310: 69 67 5b 73 65 63 74 69 6f 6e 5d 3a 0a 09 09 09 ig[section]:....
0320: 69 66 20 6e 6f 74 20 72 65 2e 63 6f 6d 70 69 6c if not re.compil
0330: 65 28 27 5e 2f 2e 2a 27 29 2e 6d 61 74 63 68 28 e('^/.*').match(
0340: 63 6f 6e 66 69 67 5b 73 65 63 74 69 6f 6e 5d 5b config[section][
0350: 27 64 69 72 27 5d 29 3a 0a 09 09 09 09 63 6f 6e 'dir']):.....con
0360: 66 69 67 5b 73 65 63 74 69 6f 6e 5d 5b 27 64 69 fig[section]['di
0370: 72 27 5d 20 3d 20 63 61 63 68 65 5f 64 69 72 20 r'] = cache_dir
0380: 2b 20 6f 73 2e 73 65 70 20 2b 20 73 65 63 74 69 + os.sep + secti
0390: 6f 6e 0a 09 09 09 74 68 69 73 44 69 72 20 3d 20 on....thisDir =
03a0: 72 65 2e 63 6f 6d 70 69 6c 65 28 27 5e 28 2e 2a re.compile('^(.*
03b0: 29 2f 24 27 29 2e 6d 61 74 63 68 28 63 6f 6e 66 )/$').match(conf
03c0: 69 67 5b 73 65 63 74 69 6f 6e 5d 5b 27 64 69 72 ig[section]['dir
03d0: 27 5d 29 0a 09 09 09 69 66 20 74 68 69 73 44 69 '])....if thisDi
03e0: 72 3a 0a 09 09 09 09 63 6f 6e 66 69 67 5b 73 65 r:.....config[se
03f0: 63 74 69 6f 6e 5d 5b 27 64 69 72 27 5d 20 3d 20 ction]['dir'] =
0400: 74 68 69 73 44 69 72 2e 67 72 6f 75 70 28 31 29 thisDir.group(1)
0410: 0a 09 09 09 69 66 20 6e 6f 74 20 72 65 2e 63 6f ....if not re.co
0420: 6d 70 69 6c 65 28 27 5e 2f 28 2e 2a 29 24 27 29 mpile('^/(.*)$')
0430: 2e 6d 61 74 63 68 28 63 6f 6e 66 69 67 5b 73 65 .match(config[se
0440: 63 74 69 6f 6e 5d 5b 27 64 69 72 27 5d 29 3a 0a ction]['dir']):.
0450: 09 09 09 09 63 6f 6e 66 69 67 5b 73 65 63 74 69 ....config[secti
0460: 6f 6e 5d 5b 27 64 69 72 27 5d 20 3d 20 63 61 63 on]['dir'] = cac
0470: 68 65 5f 64 69 72 20 2b 20 6f 73 2e 73 65 70 20 he_dir + os.sep
0480: 2b 20 63 6f 6e 66 69 67 5b 73 65 63 74 69 6f 6e + config[section
0490: 5d 5b 27 64 69 72 27 5d 0a 09 09 65 6c 73 65 3a ]['dir']...else:
04a0: 0a 09 09 09 63 6f 6e 66 69 67 5b 73 65 63 74 69 ....config[secti
04b0: 6f 6e 5d 5b 27 64 69 72 27 5d 20 3d 20 63 61 63 on]['dir'] = cac
04c0: 68 65 5f 64 69 72 20 2b 20 6f 73 2e 73 65 70 20 he_dir + os.sep
04d0: 2b 20 73 65 63 74 69 6f 6e 0a 0a 09 09 69 66 20 + section....if
04e0: 6e 6f 74 20 27 72 6f 6f 74 27 20 69 6e 20 63 6f not 'root' in co
04f0: 6e 66 69 67 5b 73 65 63 74 69 6f 6e 5d 3a 0a 09 nfig[section]:..
0500: 09 09 63 6f 6e 66 69 67 5b 73 65 63 74 69 6f 6e ..config[section
0510: 5d 5b 27 72 6f 6f 74 27 5d 20 3d 20 73 65 63 74 ]['root'] = sect
0520: 69 6f 6e 0a 0a 23 61 73 73 65 72 74 20 6f 70 74 ion..#assert opt
0530: 69 6f 6e 73 2e 70 6f 72 74 20 6f 72 20 6f 73 2e ions.port or os.
0540: 61 63 63 65 73 73 28 6f 70 74 69 6f 6e 73 2e 6c access(options.l
0550: 6f 67 2c 20 6f 73 2e 52 5f 4f 4b 29 2c 20 27 4c og, os.R_OK), 'L
0560: 6f 67 20 66 69 6c 65 20 75 6e 72 65 61 64 61 62 og file unreadab
0570: 6c 65 27 0a 0a 63 6f 6e 73 74 5f 64 65 73 63 5f le'..const_desc_
0580: 66 69 65 6c 64 73 20 3d 20 73 65 74 28 5b 27 43 fields = set(['C
0590: 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 2c 20 ontent-Length',
05a0: 27 4c 61 73 74 2d 4d 6f 64 69 66 69 65 64 27 2c 'Last-Modified',
05b0: 20 27 50 72 61 67 6d 61 27 5d 29 0a 63 6f 6e 73 'Pragma']).cons
05c0: 74 5f 69 67 6e 6f 72 65 5f 66 69 65 6c 64 73 20 t_ignore_fields
05d0: 3d 20 73 65 74 28 5b 0a 09 27 41 63 63 65 70 74 = set([..'Accept
05e0: 2d 52 61 6e 67 65 73 27 2c 20 27 41 67 65 27 2c -Ranges', 'Age',
05f0: 0a 09 27 43 61 63 68 65 2d 43 6f 6e 74 72 6f 6c ..'Cache-Control
0600: 27 2c 20 27 43 6f 6e 6e 65 63 74 69 6f 6e 27 2c ', 'Connection',
0610: 20 27 43 6f 6e 74 65 6e 74 2d 54 79 70 65 27 2c 'Content-Type',
0620: 0a 09 27 44 61 74 65 27 2c 0a 09 27 45 78 70 69 ..'Date',..'Expi
0630: 72 65 73 27 2c 0a 09 27 52 65 66 65 72 65 72 27 res',..'Referer'
0640: 2c 0a 09 27 53 65 72 76 65 72 27 2c 0a 09 27 56 ,..'Server',..'V
0650: 69 61 27 2c 0a 09 27 58 2d 43 61 63 68 65 27 2c ia',..'X-Cache',
0660: 20 27 58 2d 43 61 63 68 65 2d 4c 6f 6f 6b 75 70 'X-Cache-Lookup
0670: 27 2c 20 27 58 2d 4c 69 76 65 74 6f 6f 6c 27 2c ', 'X-Livetool',
0680: 20 27 58 2d 50 6f 77 65 72 65 64 2d 42 79 27 2c 'X-Powered-By',
0690: 0a 5d 29 0a 0a 62 6c 6f 63 6b 5f 73 69 7a 65 20 .])..block_size
06a0: 3d 20 38 31 39 32 0a 0a 69 6d 70 6f 72 74 20 62 = 8192..import b
06b0: 73 64 64 62 33 2e 64 62 73 68 65 6c 76 65 2c 20 sddb3.dbshelve,
06c0: 63 6f 70 79 2c 20 64 61 74 65 74 69 6d 65 2c 20 copy, datetime,
06d0: 68 74 74 70 2e 73 65 72 76 65 72 2c 20 73 70 61 http.server, spa
06e0: 63 65 6d 61 70 2c 20 75 72 6c 6c 69 62 2e 72 65 cemap, urllib.re
06f0: 71 75 65 73 74 2c 20 75 72 6c 6c 69 62 2e 65 72 quest, urllib.er
0700: 72 6f 72 0a 0a 63 6c 61 73 73 20 4d 79 52 65 71 ror..class MyReq
0710: 75 65 73 74 48 61 6e 64 6c 65 72 28 68 74 74 70 uestHandler(http
0720: 2e 73 65 72 76 65 72 2e 42 61 73 65 48 54 54 50 .server.BaseHTTP
0730: 52 65 71 75 65 73 74 48 61 6e 64 6c 65 72 29 3a RequestHandler):
0740: 0a 09 64 65 66 20 5f 5f 70 72 6f 63 65 73 73 28 ..def __process(
0750: 73 65 6c 66 29 3a 0a 09 09 23 20 72 65 6c 6f 61 self):...# reloa
0760: 64 20 6d 65 61 6e 73 20 66 69 6c 65 20 6e 65 65 d means file nee
0770: 64 73 20 74 6f 20 62 65 20 72 65 6c 6f 61 64 65 ds to be reloade
0780: 64 20 74 6f 20 73 65 72 76 65 20 72 65 71 75 65 d to serve reque
0790: 73 74 0a 09 09 72 65 6c 6f 61 64 20 3d 20 46 61 st...reload = Fa
07a0: 6c 73 65 0a 09 09 23 20 72 65 63 68 65 63 6b 20 lse...# recheck
07b0: 6d 65 61 6e 73 20 66 69 6c 65 20 6e 65 65 64 73 means file needs
07c0: 20 74 6f 20 62 65 20 63 68 65 63 6b 65 64 2c 20 to be checked,
07d0: 74 68 69 73 20 61 6c 73 6f 20 6d 65 61 6e 73 20 this also means
07e0: 74 68 61 74 20 69 66 20 66 69 6c 65 20 68 61 76 that if file hav
07f0: 20 62 65 65 6e 20 6d 6f 64 69 66 69 65 64 20 77 been modified w
0800: 65 20 63 61 6e 20 73 65 72 76 65 20 6f 6c 64 65 e can serve olde
0810: 72 20 63 6f 70 79 0a 09 09 72 65 63 68 65 63 6b r copy...recheck
0820: 20 3d 20 46 61 6c 73 65 0a 09 09 23 20 66 69 6c = False...# fil
0830: 65 5f 73 74 61 74 20 6d 65 61 6e 73 20 66 69 6c e_stat means fil
0840: 65 20 64 65 66 69 6e 69 74 65 6c 79 20 65 78 69 e definitely exi
0850: 73 74 73 0a 09 09 66 69 6c 65 5f 73 74 61 74 20 sts...file_stat
0860: 3d 20 4e 6f 6e 65 0a 09 09 23 20 72 65 71 75 65 = None...# reque
0870: 73 74 65 64 5f 72 61 6e 67 65 73 20 68 6f 6c 64 sted_ranges hold
0880: 73 20 64 61 74 61 20 61 62 6f 75 74 20 61 6e 79 s data about any
0890: 20 72 61 6e 67 65 20 72 65 71 75 65 73 74 65 64 range requested
08a0: 0a 09 09 72 65 71 75 65 73 74 65 64 5f 72 61 6e ...requested_ran
08b0: 67 65 73 20 3d 20 4e 6f 6e 65 0a 09 09 23 20 72 ges = None...# r
08c0: 65 63 6f 72 64 73 20 68 6f 6c 64 73 20 64 61 74 ecords holds dat
08d0: 61 20 66 72 6f 6d 20 69 6e 64 65 78 20 6c 6f 63 a from index loc
08e0: 61 6c 6c 79 2c 20 73 68 6f 75 6c 64 20 62 65 20 ally, should be
08f0: 77 72 69 74 74 65 6e 20 62 61 63 6b 20 75 70 6f written back upo
0900: 6e 20 73 75 63 63 65 73 73 66 75 6c 6c 20 63 6f n successfull co
0910: 6d 70 6c 65 74 69 6f 6e 0a 09 09 72 65 63 6f 72 mpletion...recor
0920: 64 20 3d 20 4e 6f 6e 65 0a 0a 09 09 6d 79 50 61 d = None....myPa
0930: 74 68 20 3d 20 72 65 2e 63 6f 6d 70 69 6c 65 28 th = re.compile(
0940: 27 5e 28 2e 2a 3f 29 28 5c 3f 2e 2a 29 24 27 29 '^(.*?)(\?.*)$')
0950: 2e 6d 61 74 63 68 28 73 65 6c 66 2e 70 61 74 68 .match(self.path
0960: 29 0a 09 09 69 66 20 6d 79 50 61 74 68 3a 0a 09 )...if myPath:..
0970: 09 09 6d 79 5f 70 61 74 68 20 3d 20 6d 79 50 61 ..my_path = myPa
0980: 74 68 2e 67 72 6f 75 70 28 31 29 0a 09 09 65 6c th.group(1)...el
0990: 73 65 3a 0a 09 09 09 6d 79 5f 70 61 74 68 20 3d se:....my_path =
09a0: 20 73 65 6c 66 2e 70 61 74 68 0a 0a 09 09 63 6f self.path....co
09b0: 6e 66 69 67 5f 68 6f 73 74 20 3d 20 63 6f 6e 66 nfig_host = conf
09c0: 69 67 5b 73 65 6c 66 2e 68 65 61 64 65 72 73 5b ig[self.headers[
09d0: 27 48 6f 73 74 27 5d 5d 0a 0a 09 09 69 66 20 63 'Host']]....if c
09e0: 6f 6e 66 69 67 5f 68 6f 73 74 5b 27 73 75 62 27 onfig_host['sub'
09f0: 5d 20 21 3d 20 4e 6f 6e 65 20 61 6e 64 20 63 6f ] != None and co
0a00: 6e 66 69 67 5f 68 6f 73 74 5b 27 73 74 72 69 70 nfig_host['strip
0a10: 27 5d 20 21 3d 20 4e 6f 6e 65 20 61 6e 64 20 6c '] != None and l
0a20: 65 6e 28 63 6f 6e 66 69 67 5f 68 6f 73 74 5b 27 en(config_host['
0a30: 73 74 72 69 70 27 5d 29 20 3e 20 30 3a 0a 09 09 strip']) > 0:...
0a40: 09 73 74 72 69 6e 67 20 3d 20 72 65 2e 63 6f 6d .string = re.com
0a50: 70 69 6c 65 28 63 6f 6e 66 69 67 5f 68 6f 73 74 pile(config_host
0a60: 5b 27 73 74 72 69 70 27 5d 29 2e 73 75 62 28 63 ['strip']).sub(c
0a70: 6f 6e 66 69 67 5f 68 6f 73 74 5b 27 73 75 62 27 onfig_host['sub'
0a80: 5d 2c 20 6d 79 5f 70 61 74 68 29 0a 09 09 09 6d ], my_path)....m
0a90: 79 5f 70 61 74 68 20 3d 20 73 74 72 69 6e 67 0a y_path = string.
0aa0: 0a 09 09 6d 79 5f 70 61 74 68 5f 62 20 3d 20 6d ...my_path_b = m
0ab0: 79 5f 70 61 74 68 2e 65 6e 63 6f 64 65 28 27 75 y_path.encode('u
0ac0: 74 66 2d 38 27 29 0a 09 09 69 6e 66 6f 20 3d 20 tf-8')...info =
0ad0: 27 43 68 65 63 6b 69 6e 67 20 66 69 6c 65 3a 20 'Checking file:
0ae0: 27 20 2b 20 6d 79 5f 70 61 74 68 0a 0a 09 09 69 ' + my_path....i
0af0: 66 20 6e 6f 74 20 6f 73 2e 61 63 63 65 73 73 28 f not os.access(
0b00: 63 6f 6e 66 69 67 5f 68 6f 73 74 5b 27 64 69 72 config_host['dir
0b10: 27 5d 2c 20 6f 73 2e 58 5f 4f 4b 29 3a 0a 09 09 '], os.X_OK):...
0b20: 09 6f 73 2e 6d 6b 64 69 72 28 63 6f 6e 66 69 67 .os.mkdir(config
0b30: 5f 68 6f 73 74 5b 27 64 69 72 27 5d 29 0a 09 09 _host['dir'])...
0b40: 23 20 74 68 69 73 20 69 73 20 66 69 6c 65 20 69 # this is file i
0b50: 6e 64 65 78 20 2d 20 65 76 65 72 79 74 68 69 6e ndex - everythin
0b60: 67 20 69 73 20 73 74 6f 72 65 64 20 69 6e 20 74 g is stored in t
0b70: 68 69 73 20 66 69 6c 65 0a 09 09 23 20 5f 70 61 his file...# _pa
0b80: 72 74 73 20 2d 20 6c 69 73 74 20 6f 66 20 73 74 rts - list of st
0b90: 6f 72 65 64 20 70 61 72 74 73 20 6f 66 20 66 69 ored parts of fi
0ba0: 6c 65 0a 09 09 23 20 5f 74 69 6d 65 20 2d 20 6c le...# _time - l
0bb0: 61 73 74 20 74 69 6d 65 20 74 68 65 20 66 69 6c ast time the fil
0bc0: 65 20 77 61 73 20 63 68 65 63 6b 65 64 0a 09 09 e was checked...
0bd0: 23 20 65 76 65 72 79 74 68 69 6e 67 20 65 6c 73 # everything els
0be0: 65 20 69 73 20 6a 75 73 74 20 74 68 65 20 68 65 e is just the he
0bf0: 61 64 65 72 73 0a 09 09 69 6e 64 65 78 20 3d 20 aders...index =
0c00: 62 73 64 64 62 33 2e 64 62 73 68 65 6c 76 65 2e bsddb3.dbshelve.
0c10: 6f 70 65 6e 28 63 6f 6e 66 69 67 5f 68 6f 73 74 open(config_host
0c20: 5b 27 64 69 72 27 5d 20 2b 20 6f 73 2e 73 65 70 ['dir'] + os.sep
0c30: 20 2b 20 27 2e 69 6e 64 65 78 27 29 0a 0a 09 09 + '.index')....
0c40: 64 65 73 63 5f 66 69 65 6c 64 73 20 3d 20 63 6f desc_fields = co
0c50: 6e 73 74 5f 64 65 73 63 5f 66 69 65 6c 64 73 2e nst_desc_fields.
0c60: 63 6f 70 79 28 29 0a 09 09 69 67 6e 6f 72 65 5f copy()...ignore_
0c70: 66 69 65 6c 64 73 20 3d 20 63 6f 6e 73 74 5f 69 fields = const_i
0c80: 67 6e 6f 72 65 5f 66 69 65 6c 64 73 2e 63 6f 70 gnore_fields.cop
0c90: 79 28 29 0a 09 09 69 66 20 63 6f 6e 66 69 67 5f y()...if config_
0ca0: 68 6f 73 74 5b 27 6e 6f 65 74 61 67 27 5d 20 3d host['noetag'] =
0cb0: 3d 20 27 6e 6f 27 3a 0a 09 09 09 64 65 73 63 5f = 'no':....desc_
0cc0: 66 69 65 6c 64 73 2e 61 64 64 28 27 45 54 61 67 fields.add('ETag
0cd0: 27 29 0a 09 09 65 6c 73 65 3a 0a 09 09 09 69 67 ')...else:....ig
0ce0: 6e 6f 72 65 5f 66 69 65 6c 64 73 2e 61 64 64 28 nore_fields.add(
0cf0: 27 45 54 61 67 27 29 0a 0a 09 09 70 72 6f 78 79 'ETag')....proxy
0d00: 5f 69 67 6e 6f 72 65 64 20 3d 20 73 65 74 28 5b _ignored = set([
0d10: 0a 09 09 09 27 41 63 63 65 70 74 27 2c 20 27 41 ....'Accept', 'A
0d20: 63 63 65 70 74 2d 43 68 61 72 73 65 74 27 2c 20 ccept-Charset',
0d30: 27 41 63 63 65 70 74 2d 45 6e 63 6f 64 69 6e 67 'Accept-Encoding
0d40: 27 2c 20 27 41 63 63 65 70 74 2d 4c 61 6e 67 75 ', 'Accept-Langu
0d50: 61 67 65 27 2c 0a 09 09 09 27 43 61 63 68 65 2d age',....'Cache-
0d60: 43 6f 6e 74 72 6f 6c 27 2c 20 27 43 6f 6e 6e 65 Control', 'Conne
0d70: 63 74 69 6f 6e 27 2c 20 27 43 6f 6e 74 65 6e 74 ction', 'Content
0d80: 2d 4c 65 6e 67 74 68 27 2c 20 27 43 6f 6f 6b 69 -Length', 'Cooki
0d90: 65 27 2c 0a 09 09 09 27 48 6f 73 74 27 2c 0a 09 e',....'Host',..
0da0: 09 09 27 49 66 2d 4d 6f 64 69 66 69 65 64 2d 53 ..'If-Modified-S
0db0: 69 6e 63 65 27 2c 20 27 49 66 2d 55 6e 6d 6f 64 ince', 'If-Unmod
0dc0: 69 66 69 65 64 2d 53 69 6e 63 65 27 2c 0a 09 09 ified-Since',...
0dd0: 09 27 52 65 66 65 72 65 72 27 2c 0a 09 09 09 27 .'Referer',....'
0de0: 55 41 2d 43 50 55 27 2c 20 27 55 73 65 72 2d 41 UA-CPU', 'User-A
0df0: 67 65 6e 74 27 2c 0a 09 09 09 27 56 69 61 27 2c gent',....'Via',
0e00: 0a 09 09 09 27 58 2d 46 6f 72 77 61 72 64 65 64 ....'X-Forwarded
0e10: 2d 46 6f 72 27 2c 20 27 58 2d 4c 61 73 74 2d 48 -For', 'X-Last-H
0e20: 52 27 2c 20 27 58 2d 4c 61 73 74 2d 48 54 54 50 R', 'X-Last-HTTP
0e30: 2d 53 74 61 74 75 73 2d 43 6f 64 65 27 2c 20 27 -Status-Code', '
0e40: 58 2d 4f 6c 64 2d 55 49 44 27 2c 20 27 58 2d 52 X-Old-UID', 'X-R
0e50: 65 6d 6f 76 65 64 27 2c 20 27 58 2d 52 65 61 6c emoved', 'X-Real
0e60: 2d 49 50 27 2c 20 27 58 2d 52 65 74 72 79 2d 43 -IP', 'X-Retry-C
0e70: 6f 75 6e 74 27 2c 0a 09 09 5d 29 0a 0a 09 09 70 ount',...])....p
0e80: 72 69 6e 74 28 27 3d 3d 3d 3d 3d 3d 3d 3d 3d 3d rint('==========
0e90: 3d 3d 3d 3d 3d 5b 20 7b 7d 20 72 65 71 75 65 73 =====[ {} reques
0ea0: 74 20 5d 3d 3d 3d 27 2e 66 6f 72 6d 61 74 28 73 t ]==='.format(s
0eb0: 65 6c 66 2e 63 6f 6d 6d 61 6e 64 29 29 0a 0a 09 elf.command))...
0ec0: 09 66 6f 72 20 68 65 61 64 65 72 20 69 6e 20 73 .for header in s
0ed0: 65 6c 66 2e 68 65 61 64 65 72 73 3a 0a 09 09 09 elf.headers:....
0ee0: 69 66 20 68 65 61 64 65 72 20 69 6e 20 70 72 6f if header in pro
0ef0: 78 79 5f 69 67 6e 6f 72 65 64 3a 0a 09 09 09 09 xy_ignored:.....
0f00: 70 61 73 73 0a 09 09 09 65 6c 69 66 20 68 65 61 pass....elif hea
0f10: 64 65 72 20 69 6e 20 28 27 52 61 6e 67 65 27 29 der in ('Range')
0f20: 3a 0a 09 09 09 09 69 73 52 61 6e 67 65 20 3d 20 :.....isRange =
0f30: 72 65 2e 63 6f 6d 70 69 6c 65 28 27 62 79 74 65 re.compile('byte
0f40: 73 3d 28 5c 64 2b 29 2d 28 5c 64 2b 29 27 29 2e s=(\d+)-(\d+)').
0f50: 6d 61 74 63 68 28 73 65 6c 66 2e 68 65 61 64 65 match(self.heade
0f60: 72 73 5b 68 65 61 64 65 72 5d 29 0a 09 09 09 09 rs[header]).....
0f70: 69 66 20 69 73 52 61 6e 67 65 3a 0a 09 09 09 09 if isRange:.....
0f80: 09 72 65 71 75 65 73 74 65 64 5f 72 61 6e 67 65 .requested_range
0f90: 73 20 3d 20 73 70 61 63 65 6d 61 70 2e 53 70 61 s = spacemap.Spa
0fa0: 63 65 4d 61 70 28 7b 69 6e 74 28 69 73 52 61 6e ceMap({int(isRan
0fb0: 67 65 2e 67 72 6f 75 70 28 31 29 29 3a 20 69 6e ge.group(1)): in
0fc0: 74 28 69 73 52 61 6e 67 65 2e 67 72 6f 75 70 28 t(isRange.group(
0fd0: 32 29 29 20 2b 20 31 7d 29 0a 09 09 09 09 65 6c 2)) + 1}).....el
0fe0: 73 65 3a 0a 09 09 09 09 09 72 65 74 75 72 6e 28 se:......return(
0ff0: 29 0a 09 09 09 65 6c 69 66 20 68 65 61 64 65 72 )....elif header
1000: 20 69 6e 20 28 27 50 72 61 67 6d 61 27 29 3a 0a in ('Pragma'):.
1010: 09 09 09 09 69 66 20 6d 79 5f 70 61 74 68 5f 62 ....if my_path_b
1020: 20 69 6e 20 69 6e 64 65 78 3a 0a 09 09 09 09 09 in index:......
1030: 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5f 62 5d index[my_path_b]
1040: 5b 68 65 61 64 65 72 5d 20 3d 20 73 65 6c 66 2e [header] = self.
1050: 68 65 61 64 65 72 73 5b 68 65 61 64 65 72 5d 0a headers[header].
1060: 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 70 72 69 ...else:.....pri
1070: 6e 74 28 27 55 6e 6b 6e 6f 77 6e 20 68 65 61 64 nt('Unknown head
1080: 65 72 20 2d 20 27 2c 20 68 65 61 64 65 72 2c 20 er - ', header,
1090: 27 3a 20 27 2c 20 73 65 6c 66 2e 68 65 61 64 65 ': ', self.heade
10a0: 72 73 5b 68 65 61 64 65 72 5d 2c 20 73 65 70 3d rs[header], sep=
10b0: 27 27 29 0a 09 09 09 09 72 65 74 75 72 6e 28 29 '').....return()
10c0: 0a 09 09 09 70 72 69 6e 74 28 68 65 61 64 65 72 ....print(header
10d0: 2c 20 73 65 6c 66 2e 68 65 61 64 65 72 73 5b 68 , self.headers[h
10e0: 65 61 64 65 72 5d 29 0a 0a 09 09 23 20 63 72 65 eader])....# cre
10f0: 61 74 69 6e 67 20 66 69 6c 65 20 6e 61 6d 65 20 ating file name
1100: 66 72 6f 6d 20 6d 79 5f 70 61 74 68 0a 09 09 66 from my_path...f
1110: 69 6c 65 5f 6e 61 6d 65 20 3d 20 63 6f 6e 66 69 ile_name = confi
1120: 67 5f 68 6f 73 74 5b 27 64 69 72 27 5d 20 2b 20 g_host['dir'] +
1130: 6f 73 2e 73 65 70 20 2b 20 72 65 2e 63 6f 6d 70 os.sep + re.comp
1140: 69 6c 65 28 27 25 32 30 27 29 2e 73 75 62 28 27 ile('%20').sub('
1150: 20 27 2c 20 6d 79 5f 70 61 74 68 29 0a 09 09 23 ', my_path)...#
1160: 20 70 61 72 74 69 61 6c 20 66 69 6c 65 20 6f 72 partial file or
1170: 20 75 6e 66 69 6e 69 73 68 65 64 20 64 6f 77 6e unfinished down
1180: 6c 6f 61 64 0a 09 09 74 65 6d 70 5f 6e 61 6d 65 load...temp_name
1190: 20 3d 20 63 6f 6e 66 69 67 5f 68 6f 73 74 5b 27 = config_host['
11a0: 64 69 72 27 5d 20 2b 20 6f 73 2e 73 65 70 20 2b dir'] + os.sep +
11b0: 20 27 2e 70 61 72 74 73 27 20 2b 20 72 65 2e 63 '.parts' + re.c
11c0: 6f 6d 70 69 6c 65 28 27 25 32 30 27 29 2e 73 75 ompile('%20').su
11d0: 62 28 27 20 27 2c 20 6d 79 5f 70 61 74 68 29 0a b(' ', my_path).
11e0: 0a 09 09 23 20 63 72 65 61 74 69 6e 67 20 65 6d ...# creating em
11f0: 70 74 79 20 70 6c 61 63 65 68 6f 6c 64 65 72 20 pty placeholder
1200: 69 6e 20 69 6e 64 65 78 0a 09 09 23 20 69 66 20 in index...# if
1210: 74 68 65 72 65 27 73 20 6e 6f 20 73 70 61 63 65 there's no space
1220: 20 6d 61 70 20 61 6e 64 20 74 68 65 72 65 27 73 map and there's
1230: 20 6e 6f 20 66 69 6c 65 20 69 6e 20 72 65 61 6c no file in real
1240: 20 64 69 72 65 63 74 6f 72 79 20 2d 20 77 65 20 directory - we
1250: 68 61 76 65 20 6e 6f 20 66 69 6c 65 0a 09 09 23 have no file...#
1260: 20 69 66 20 74 68 65 72 65 27 73 20 61 6e 20 65 if there's an e
1270: 6d 70 74 79 20 73 70 61 63 65 20 6d 61 70 20 2d mpty space map -
1280: 20 66 69 6c 65 20 69 73 20 66 75 6c 6c 0a 09 09 file is full...
1290: 23 20 73 70 61 63 65 20 6d 61 70 20 67 65 6e 65 # space map gene
12a0: 72 61 6c 6c 79 20 63 6f 76 65 72 73 20 65 76 65 rally covers eve
12b0: 72 79 20 62 69 74 20 6f 66 20 66 69 6c 65 20 77 ry bit of file w
12c0: 65 20 64 6f 6e 27 74 20 70 6f 73 65 73 73 20 63 e don't posess c
12d0: 75 72 72 65 6e 74 6c 79 0a 09 09 69 66 20 6e 6f urrently...if no
12e0: 74 20 6d 79 5f 70 61 74 68 5f 62 20 69 6e 20 69 t my_path_b in i
12f0: 6e 64 65 78 3a 0a 09 09 09 69 6e 66 6f 20 2b 3d ndex:....info +=
1300: 20 27 5c 6e 54 68 69 73 20 6f 6e 65 20 69 73 20 '\nThis one is
1310: 6e 65 77 2e 27 0a 09 09 09 72 65 6c 6f 61 64 20 new.'....reload
1320: 3d 20 54 72 75 65 0a 09 09 09 72 65 63 6f 72 64 = True....record
1330: 20 3d 20 7b 7d 0a 09 09 65 6c 73 65 3a 0a 09 09 = {}...else:...
1340: 09 23 20 66 6f 72 63 69 62 6c 79 20 63 68 65 63 .# forcibly chec
1350: 6b 69 6e 67 20 66 69 6c 65 20 69 66 20 6e 6f 20 king file if no
1360: 66 69 6c 65 20 70 72 65 73 65 6e 74 0a 09 09 09 file present....
1370: 72 65 63 6f 72 64 20 3d 20 69 6e 64 65 78 5b 6d record = index[m
1380: 79 5f 70 61 74 68 5f 62 5d 0a 09 09 09 69 66 20 y_path_b]....if
1390: 6f 73 2e 61 63 63 65 73 73 28 66 69 6c 65 5f 6e os.access(file_n
13a0: 61 6d 65 2c 20 6f 73 2e 52 5f 4f 4b 29 3a 0a 09 ame, os.R_OK):..
13b0: 09 09 09 69 6e 66 6f 20 2b 3d 20 27 5c 6e 46 75 ...info += '\nFu
13c0: 6c 6c 20 66 69 6c 65 20 66 6f 75 6e 64 2e 27 0a ll file found.'.
13d0: 09 09 09 09 66 69 6c 65 5f 73 74 61 74 20 3d 20 ....file_stat =
13e0: 6f 73 2e 73 74 61 74 28 66 69 6c 65 5f 6e 61 6d os.stat(file_nam
13f0: 65 29 0a 09 09 09 65 6c 69 66 20 27 5f 70 61 72 e)....elif '_par
1400: 74 73 27 20 69 6e 20 69 6e 64 65 78 5b 6d 79 5f ts' in index[my_
1410: 70 61 74 68 5f 62 5d 20 61 6e 64 20 6f 73 2e 61 path_b] and os.a
1420: 63 63 65 73 73 28 74 65 6d 70 5f 6e 61 6d 65 2c ccess(temp_name,
1430: 20 6f 73 2e 52 5f 4f 4b 29 3a 0a 09 09 09 09 69 os.R_OK):.....i
1440: 6e 66 6f 20 2b 3d 20 27 5c 6e 50 61 72 74 69 61 nfo += '\nPartia
1450: 6c 20 66 69 6c 65 20 66 6f 75 6e 64 2e 27 0a 09 l file found.'..
1460: 09 09 09 66 69 6c 65 5f 73 74 61 74 20 3d 20 6f ...file_stat = o
1470: 73 2e 73 74 61 74 28 74 65 6d 70 5f 6e 61 6d 65 s.stat(temp_name
1480: 29 0a 09 09 09 09 72 65 63 68 65 63 6b 20 3d 20 ).....recheck =
1490: 54 72 75 65 0a 09 09 09 65 6c 73 65 3a 0a 09 09 True....else:...
14a0: 09 09 69 6e 66 6f 20 2b 3d 20 27 5c 6e 46 69 6c ..info += '\nFil
14b0: 65 20 6e 6f 74 20 66 6f 75 6e 64 20 6f 72 20 69 e not found or i
14c0: 6e 61 63 63 65 73 73 69 62 6c 65 2e 27 0a 09 09 naccessible.'...
14d0: 09 09 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 ..record['_parts
14e0: 27 5d 20 3d 20 4e 6f 6e 65 0a 09 09 09 09 72 65 '] = None.....re
14f0: 6c 6f 61 64 20 3d 20 54 72 75 65 0a 0a 09 09 69 load = True....i
1500: 66 20 6e 6f 74 20 27 5f 70 61 72 74 73 27 20 69 f not '_parts' i
1510: 6e 20 72 65 63 6f 72 64 3a 0a 09 09 09 72 65 63 n record:....rec
1520: 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d 20 3d 20 ord['_parts'] =
1530: 4e 6f 6e 65 0a 0a 09 09 69 66 20 72 65 63 6f 72 None....if recor
1540: 64 5b 27 5f 70 61 72 74 73 27 5d 20 3d 3d 20 4e d['_parts'] == N
1550: 6f 6e 65 3a 0a 09 09 09 72 65 63 68 65 63 6b 20 one:....recheck
1560: 3d 20 54 72 75 65 0a 0a 09 09 23 20 66 6f 72 63 = True....# forc
1570: 69 62 6c 79 20 63 68 65 63 6b 69 6e 67 20 66 69 ibly checking fi
1580: 6c 65 20 69 66 20 66 69 6c 65 20 73 69 7a 65 20 le if file size
1590: 64 6f 65 73 6e 27 74 20 6d 61 74 63 68 20 77 69 doesn't match wi
15a0: 74 68 20 69 6e 64 65 78 20 64 61 74 61 0a 09 09 th index data...
15b0: 69 66 20 6e 6f 74 20 72 65 6c 6f 61 64 3a 0a 09 if not reload:..
15c0: 09 09 69 66 20 27 5f 70 61 72 74 73 27 20 69 6e ..if '_parts' in
15d0: 20 72 65 63 6f 72 64 20 61 6e 64 20 72 65 63 6f record and reco
15e0: 72 64 5b 27 5f 70 61 72 74 73 27 5d 20 3d 3d 20 rd['_parts'] ==
15f0: 73 70 61 63 65 6d 61 70 2e 53 70 61 63 65 4d 61 spacemap.SpaceMa
1600: 70 28 29 3a 0a 09 09 09 09 69 66 20 27 63 6f 6e p():.....if 'con
1610: 74 65 6e 74 2d 6c 65 6e 67 74 68 27 20 69 6e 20 tent-length' in
1620: 72 65 63 6f 72 64 20 61 6e 64 20 66 69 6c 65 5f record and file_
1630: 73 74 61 74 20 61 6e 64 20 66 69 6c 65 5f 73 74 stat and file_st
1640: 61 74 2e 73 74 5f 73 69 7a 65 20 21 3d 20 69 6e at.st_size != in
1650: 74 28 72 65 63 6f 72 64 5b 27 63 6f 6e 74 65 6e t(record['conten
1660: 74 2d 6c 65 6e 67 74 68 27 5d 29 3a 0a 09 09 09 t-length']):....
1670: 09 09 69 6e 66 6f 20 2b 3d 20 27 5c 6e 46 69 6c ..info += '\nFil
1680: 65 20 73 69 7a 65 20 69 73 20 7b 7d 20 61 6e 64 e size is {} and
1690: 20 73 74 6f 72 65 64 20 66 69 6c 65 20 73 69 7a stored file siz
16a0: 65 20 69 73 20 7b 7d 2e 27 2e 66 6f 72 6d 61 74 e is {}.'.format
16b0: 28 66 69 6c 65 5f 73 74 61 74 2e 73 74 5f 73 69 (file_stat.st_si
16c0: 7a 65 2c 20 72 65 63 6f 72 64 5b 27 63 6f 6e 74 ze, record['cont
16d0: 65 6e 74 2d 6c 65 6e 67 74 68 27 5d 29 0a 09 09 ent-length'])...
16e0: 09 09 09 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 ...record['_part
16f0: 73 27 5d 20 3d 20 4e 6f 6e 65 0a 09 09 09 09 09 s'] = None......
1700: 72 65 6c 6f 61 64 20 3d 20 54 72 75 65 0a 0a 09 reload = True...
1710: 09 23 20 66 6f 72 63 69 62 6c 79 20 63 68 65 63 .# forcibly chec
1720: 6b 69 6e 67 20 66 69 6c 65 20 69 66 20 69 6e 64 king file if ind
1730: 65 78 20 68 6f 6c 64 73 20 50 72 61 67 6d 61 20 ex holds Pragma
1740: 68 65 61 64 65 72 0a 09 09 69 66 20 6e 6f 74 20 header...if not
1750: 72 65 6c 6f 61 64 20 61 6e 64 20 27 70 72 61 67 reload and 'prag
1760: 6d 61 27 20 69 6e 20 72 65 63 6f 72 64 20 61 6e ma' in record an
1770: 64 20 72 65 63 6f 72 64 5b 27 70 72 61 67 6d 61 d record['pragma
1780: 27 5d 20 3d 3d 20 27 6e 6f 2d 63 61 63 68 65 27 '] == 'no-cache'
1790: 3a 0a 09 09 09 69 6e 66 6f 20 2b 3d 27 5c 6e 50 :....info +='\nP
17a0: 72 61 67 6d 61 20 6f 6e 3a 20 72 65 63 68 65 63 ragma on: rechec
17b0: 6b 20 69 6d 6d 69 6e 65 6e 74 2e 27 0a 09 09 09 k imminent.'....
17c0: 72 65 63 68 65 63 6b 20 3d 20 54 72 75 65 0a 0a recheck = True..
17d0: 09 09 23 20 73 6b 69 70 70 69 6e 67 20 66 69 6c ..# skipping fil
17e0: 65 20 70 72 6f 63 65 73 73 69 6e 67 20 69 66 20 e processing if
17f0: 74 68 65 72 65 27 73 20 6e 6f 20 6e 65 65 64 20 there's no need
1800: 74 6f 20 72 65 63 68 65 63 6b 20 69 74 20 61 6e to recheck it an
1810: 64 20 77 65 20 68 61 76 65 20 63 68 65 63 6b 65 d we have checke
1820: 64 20 69 74 20 61 74 20 6c 65 61 73 74 20 34 20 d it at least 4
1830: 68 6f 75 72 73 20 61 67 6f 0a 09 09 69 66 20 6e hours ago...if n
1840: 6f 74 20 72 65 63 68 65 63 6b 20 61 6e 64 20 6e ot recheck and n
1850: 6f 74 20 72 65 6c 6f 61 64 20 61 6e 64 20 27 5f ot reload and '_
1860: 74 69 6d 65 27 20 69 6e 20 72 65 63 6f 72 64 20 time' in record
1870: 61 6e 64 20 28 72 65 63 6f 72 64 5b 27 5f 74 69 and (record['_ti
1880: 6d 65 27 5d 20 2d 20 64 61 74 65 74 69 6d 65 2e me'] - datetime.
1890: 64 61 74 65 74 69 6d 65 2e 6e 6f 77 28 29 20 2b datetime.now() +
18a0: 20 64 61 74 65 74 69 6d 65 2e 74 69 6d 65 64 65 datetime.timede
18b0: 6c 74 61 28 68 6f 75 72 73 20 3d 20 34 29 29 2e lta(hours = 4)).
18c0: 64 61 79 73 20 3c 20 30 3a 0a 09 09 09 69 6e 66 days < 0:....inf
18d0: 6f 20 2b 3d 20 27 5c 6e 46 69 6c 65 20 69 73 20 o += '\nFile is
18e0: 6f 6c 64 20 2d 20 72 65 63 68 65 63 6b 69 6e 67 old - rechecking
18f0: 2e 27 0a 09 09 09 72 65 63 68 65 63 6b 20 3d 20 .'....recheck =
1900: 54 72 75 65 0a 0a 09 09 70 72 69 6e 74 28 69 6e True....print(in
1910: 66 6f 29 0a 09 09 69 66 20 72 65 6c 6f 61 64 20 fo)...if reload
1920: 6f 72 20 72 65 63 68 65 63 6b 3a 0a 0a 09 09 09 or recheck:.....
1930: 74 72 79 3a 0a 09 09 09 09 72 65 71 75 65 73 74 try:.....request
1940: 20 3d 20 63 6f 6e 66 69 67 5f 68 6f 73 74 5b 27 = config_host['
1950: 70 72 6f 74 6f 27 5d 20 2b 20 27 3a 2f 2f 27 20 proto'] + '://'
1960: 2b 20 63 6f 6e 66 69 67 5f 68 6f 73 74 5b 27 72 + config_host['r
1970: 6f 6f 74 27 5d 20 2b 20 73 65 6c 66 2e 70 61 74 oot'] + self.pat
1980: 68 0a 09 09 09 09 6d 79 5f 68 65 61 64 65 72 73 h.....my_headers
1990: 20 3d 20 7b 7d 0a 09 09 09 09 66 6f 72 20 68 65 = {}.....for he
19a0: 61 64 65 72 20 69 6e 20 28 27 41 63 63 65 70 74 ader in ('Accept
19b0: 27 2c 20 27 43 61 63 68 65 2d 43 6f 6e 74 72 6f ', 'Cache-Contro
19c0: 6c 27 2c 20 27 43 6f 6f 6b 69 65 27 2c 20 27 52 l', 'Cookie', 'R
19d0: 65 66 65 72 65 72 27 2c 20 27 55 73 65 72 2d 41 eferer', 'User-A
19e0: 67 65 6e 74 27 29 3a 0a 09 09 09 09 09 69 66 20 gent'):......if
19f0: 68 65 61 64 65 72 20 69 6e 20 73 65 6c 66 2e 68 header in self.h
1a00: 65 61 64 65 72 73 3a 0a 09 09 09 09 09 09 6d 79 eaders:.......my
1a10: 5f 68 65 61 64 65 72 73 5b 68 65 61 64 65 72 5d _headers[header]
1a20: 20 3d 20 73 65 6c 66 2e 68 65 61 64 65 72 73 5b = self.headers[
1a30: 68 65 61 64 65 72 5d 0a 0a 09 09 09 09 6e 65 65 header]......nee
1a40: 64 65 64 20 3d 20 4e 6f 6e 65 0a 09 09 09 09 69 ded = None.....i
1a50: 66 20 73 65 6c 66 2e 63 6f 6d 6d 61 6e 64 20 6e f self.command n
1a60: 6f 74 20 69 6e 20 28 27 48 45 41 44 27 29 3a 0a ot in ('HEAD'):.
1a70: 09 09 09 09 09 69 66 20 27 5f 70 61 72 74 73 27 .....if '_parts'
1a80: 20 69 6e 20 72 65 63 6f 72 64 20 61 6e 64 20 72 in record and r
1a90: 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d 20 ecord['_parts']
1aa0: 21 3d 20 4e 6f 6e 65 3a 0a 09 09 09 09 09 09 69 != None:.......i
1ab0: 66 20 63 6f 6e 66 69 67 5f 68 6f 73 74 5b 27 6e f config_host['n
1ac0: 6f 70 61 72 74 73 27 5d 20 21 3d 20 27 6e 6f 27 oparts'] != 'no'
1ad0: 20 6f 72 20 72 65 71 75 65 73 74 65 64 5f 72 61 or requested_ra
1ae0: 6e 67 65 73 20 3d 3d 20 4e 6f 6e 65 20 6f 72 20 nges == None or
1af0: 72 65 71 75 65 73 74 65 64 5f 72 61 6e 67 65 73 requested_ranges
1b00: 20 3d 3d 20 73 70 61 63 65 6d 61 70 2e 53 70 61 == spacemap.Spa
1b10: 63 65 4d 61 70 28 29 3a 0a 09 09 09 09 09 09 09 ceMap():........
1b20: 6e 65 65 64 65 64 20 3d 20 72 65 63 6f 72 64 5b needed = record[
1b30: 27 5f 70 61 72 74 73 27 5d 0a 09 09 09 09 09 09 '_parts'].......
1b40: 65 6c 73 65 3a 0a 09 09 09 09 09 09 09 6e 65 65 else:........nee
1b50: 64 65 64 20 3d 20 72 65 63 6f 72 64 5b 27 5f 70 ded = record['_p
1b60: 61 72 74 73 27 5d 20 26 20 72 65 71 75 65 73 74 arts'] & request
1b70: 65 64 5f 72 61 6e 67 65 73 0a 09 09 09 09 09 65 ed_ranges......e
1b80: 6c 69 66 20 63 6f 6e 66 69 67 5f 68 6f 73 74 5b lif config_host[
1b90: 27 6e 6f 70 61 72 74 73 27 5d 20 3d 3d 27 6e 6f 'noparts'] =='no
1ba0: 27 20 61 6e 64 20 72 65 71 75 65 73 74 65 64 5f ' and requested_
1bb0: 72 61 6e 67 65 73 20 21 3d 20 4e 6f 6e 65 20 61 ranges != None a
1bc0: 6e 64 20 72 65 71 75 65 73 74 65 64 5f 72 61 6e nd requested_ran
1bd0: 67 65 73 20 21 3d 20 73 70 61 63 65 6d 61 70 2e ges != spacemap.
1be0: 53 70 61 63 65 4d 61 70 28 29 3a 0a 09 09 09 09 SpaceMap():.....
1bf0: 09 09 6e 65 65 64 65 64 20 3d 20 72 65 71 75 65 ..needed = reque
1c00: 73 74 65 64 5f 72 61 6e 67 65 73 0a 09 09 09 09 sted_ranges.....
1c10: 09 72 61 6e 67 65 73 20 3d 20 28 29 0a 09 09 09 .ranges = ()....
1c20: 09 09 70 72 69 6e 74 28 27 4d 69 73 73 69 6e 67 ..print('Missing
1c30: 20 72 61 6e 67 65 73 3a 20 7b 7d 2c 20 72 65 71 ranges: {}, req
1c40: 75 65 73 74 65 64 20 72 61 6e 67 65 73 3a 20 7b uested ranges: {
1c50: 7d 2c 20 6e 65 65 64 65 64 20 72 61 6e 67 65 73 }, needed ranges
1c60: 3a 20 7b 7d 2e 27 2e 66 6f 72 6d 61 74 28 72 65 : {}.'.format(re
1c70: 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d 2c 20 cord['_parts'],
1c80: 72 65 71 75 65 73 74 65 64 5f 72 61 6e 67 65 73 requested_ranges
1c90: 2c 20 6e 65 65 64 65 64 29 29 0a 09 09 09 09 09 , needed))......
1ca0: 69 66 20 6e 65 65 64 65 64 20 21 3d 20 4e 6f 6e if needed != Non
1cb0: 65 20 61 6e 64 20 6c 65 6e 28 6e 65 65 64 65 64 e and len(needed
1cc0: 29 20 3e 20 30 3a 0a 09 09 09 09 09 09 6e 65 65 ) > 0:.......nee
1cd0: 64 65 64 2e 72 65 77 69 6e 64 28 29 0a 09 09 09 ded.rewind()....
1ce0: 09 09 09 77 68 69 6c 65 20 54 72 75 65 3a 0a 09 ...while True:..
1cf0: 09 09 09 09 09 09 72 61 6e 67 65 20 3d 20 6e 65 ......range = ne
1d00: 65 64 65 64 2e 70 6f 70 28 29 0a 09 09 09 09 09 eded.pop()......
1d10: 09 09 69 66 20 72 61 6e 67 65 5b 30 5d 20 3d 3d ..if range[0] ==
1d20: 20 4e 6f 6e 65 3a 0a 09 09 09 09 09 09 09 09 62 None:.........b
1d30: 72 65 61 6b 0a 09 09 09 09 09 09 09 72 61 6e 67 reak........rang
1d40: 65 73 20 2b 3d 20 27 7b 7d 2d 7b 7d 27 2e 66 6f es += '{}-{}'.fo
1d50: 72 6d 61 74 28 72 61 6e 67 65 5b 30 5d 2c 20 72 rmat(range[0], r
1d60: 61 6e 67 65 5b 31 5d 20 2d 20 31 29 2c 0a 09 09 ange[1] - 1),...
1d70: 09 09 09 09 6d 79 5f 68 65 61 64 65 72 73 5b 27 ....my_headers['
1d80: 52 61 6e 67 65 27 5d 20 3d 20 27 62 79 74 65 73 Range'] = 'bytes
1d90: 3d 27 20 2b 20 27 2c 27 2e 6a 6f 69 6e 28 72 61 =' + ','.join(ra
1da0: 6e 67 65 73 29 0a 0a 09 09 09 09 23 6d 79 5f 68 nges)......#my_h
1db0: 65 61 64 65 72 73 5b 27 41 63 63 65 70 74 2d 45 eaders['Accept-E
1dc0: 6e 63 6f 64 69 6e 67 27 5d 20 3d 20 27 67 7a 69 ncoding'] = 'gzi
1dd0: 70 2c 20 63 6f 6d 70 72 65 73 73 2c 20 64 65 66 p, compress, def
1de0: 6c 61 74 65 2c 20 69 64 65 6e 74 69 74 79 3b 20 late, identity;
1df0: 71 3d 30 27 0a 09 09 09 09 72 65 71 75 65 73 74 q=0'.....request
1e00: 20 3d 20 75 72 6c 6c 69 62 2e 72 65 71 75 65 73 = urllib.reques
1e10: 74 2e 52 65 71 75 65 73 74 28 72 65 71 75 65 73 t.Request(reques
1e20: 74 2c 20 68 65 61 64 65 72 73 20 3d 20 6d 79 5f t, headers = my_
1e30: 68 65 61 64 65 72 73 29 0a 0a 09 09 09 09 73 6f headers)......so
1e40: 75 72 63 65 20 3d 20 75 72 6c 6c 69 62 2e 72 65 urce = urllib.re
1e50: 71 75 65 73 74 2e 75 72 6c 6f 70 65 6e 28 72 65 quest.urlopen(re
1e60: 71 75 65 73 74 2c 20 74 69 6d 65 6f 75 74 20 3d quest, timeout =
1e70: 20 36 30 29 0a 09 09 09 09 6e 65 77 5f 72 65 63 60).....new_rec
1e80: 6f 72 64 20 3d 20 7b 7d 0a 09 09 09 09 6e 65 77 ord = {}.....new
1e90: 5f 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 _record['_parts'
1ea0: 5d 20 3d 20 72 65 63 6f 72 64 5b 27 5f 70 61 72 ] = record['_par
1eb0: 74 73 27 5d 0a 09 09 09 09 68 65 61 64 65 72 73 ts'].....headers
1ec0: 20 3d 20 73 6f 75 72 63 65 2e 69 6e 66 6f 28 29 = source.info()
1ed0: 0a 0a 09 09 09 09 69 66 20 27 43 6f 6e 74 65 6e ......if 'Conten
1ee0: 74 2d 45 6e 63 6f 64 69 6e 67 27 20 69 6e 20 68 t-Encoding' in h
1ef0: 65 61 64 65 72 73 20 61 6e 64 20 68 65 61 64 65 eaders and heade
1f00: 72 73 5b 27 43 6f 6e 74 65 6e 74 2d 45 6e 63 6f rs['Content-Enco
1f10: 64 69 6e 67 27 5d 20 3d 3d 20 27 67 7a 69 70 27 ding'] == 'gzip'
1f20: 3a 0a 09 09 09 09 09 69 6d 70 6f 72 74 20 67 7a :......import gz
1f30: 69 70 0a 09 09 09 09 09 73 6f 75 72 63 65 20 3d ip......source =
1f40: 20 67 7a 69 70 2e 47 7a 69 70 46 69 6c 65 28 66 gzip.GzipFile(f
1f50: 69 6c 65 6f 62 6a 3d 73 6f 75 72 63 65 29 0a 0a ileobj=source)..
1f60: 09 09 09 09 23 20 73 74 72 69 70 70 69 6e 67 20 ....# stripping
1f70: 75 6e 6e 65 65 64 65 64 20 68 65 61 64 65 72 73 unneeded headers
1f80: 20 28 58 58 58 20 6d 61 6b 65 20 74 68 69 73 20 (XXX make this
1f90: 69 6e 70 6c 61 63 65 3f 29 0a 09 09 09 09 66 6f inplace?).....fo
1fa0: 72 20 68 65 61 64 65 72 20 69 6e 20 68 65 61 64 r header in head
1fb0: 65 72 73 3a 0a 09 09 09 09 09 69 66 20 68 65 61 ers:......if hea
1fc0: 64 65 72 20 69 6e 20 64 65 73 63 5f 66 69 65 6c der in desc_fiel
1fd0: 64 73 3a 0a 09 09 09 09 09 09 23 69 66 20 68 65 ds:.......#if he
1fe0: 61 64 65 72 20 3d 3d 20 27 50 72 61 67 6d 61 27 ader == 'Pragma'
1ff0: 20 61 6e 64 20 68 65 61 64 65 72 73 5b 68 65 61 and headers[hea
2000: 64 65 72 5d 20 21 3d 20 27 6e 6f 2d 63 61 63 68 der] != 'no-cach
2010: 65 27 3a 0a 09 09 09 09 09 09 69 66 20 68 65 61 e':.......if hea
2020: 64 65 72 20 3d 3d 20 27 43 6f 6e 74 65 6e 74 2d der == 'Content-
2030: 4c 65 6e 67 74 68 27 3a 0a 09 09 09 09 09 09 09 Length':........
2040: 69 66 20 27 43 6f 6e 74 65 6e 74 2d 52 61 6e 67 if 'Content-Rang
2050: 65 27 20 6e 6f 74 20 69 6e 20 68 65 61 64 65 72 e' not in header
2060: 73 3a 0a 09 09 09 09 09 09 09 09 6e 65 77 5f 72 s:.........new_r
2070: 65 63 6f 72 64 5b 68 65 61 64 65 72 5d 20 3d 20 ecord[header] =
2080: 69 6e 74 28 68 65 61 64 65 72 73 5b 68 65 61 64 int(headers[head
2090: 65 72 5d 29 0a 09 09 09 09 09 09 65 6c 73 65 3a er]).......else:
20a0: 0a 09 09 09 09 09 09 09 6e 65 77 5f 72 65 63 6f ........new_reco
20b0: 72 64 5b 68 65 61 64 65 72 5d 20 3d 20 68 65 61 rd[header] = hea
20c0: 64 65 72 73 5b 68 65 61 64 65 72 5d 0a 09 09 09 ders[header]....
20d0: 09 09 65 6c 69 66 20 68 65 61 64 65 72 20 3d 3d ..elif header ==
20e0: 20 27 43 6f 6e 74 65 6e 74 2d 52 61 6e 67 65 27 'Content-Range'
20f0: 3a 0a 09 09 09 09 09 09 72 61 6e 67 65 20 3d 20 :.......range =
2100: 72 65 2e 63 6f 6d 70 69 6c 65 28 27 5e 62 79 74 re.compile('^byt
2110: 65 73 20 28 5c 64 2b 29 2d 28 5c 64 2b 29 2f 28 es (\d+)-(\d+)/(
2120: 5c 64 2b 29 24 27 29 2e 6d 61 74 63 68 28 68 65 \d+)$').match(he
2130: 61 64 65 72 73 5b 68 65 61 64 65 72 5d 29 0a 09 aders[header])..
2140: 09 09 09 09 09 69 66 20 72 61 6e 67 65 3a 0a 09 .....if range:..
2150: 09 09 09 09 09 09 6e 65 77 5f 72 65 63 6f 72 64 ......new_record
2160: 5b 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 ['Content-Length
2170: 27 5d 20 3d 20 69 6e 74 28 72 61 6e 67 65 2e 67 '] = int(range.g
2180: 72 6f 75 70 28 33 29 29 0a 09 09 09 09 09 09 65 roup(3)).......e
2190: 6c 73 65 3a 09 0a 09 09 09 09 09 09 09 61 73 73 lse:.........ass
21a0: 65 72 74 20 46 61 6c 73 65 2c 20 27 43 6f 6e 74 ert False, 'Cont
21b0: 65 6e 74 2d 52 61 6e 67 65 20 75 6e 72 65 63 6f ent-Range unreco
21c0: 67 6e 69 7a 65 64 2e 27 0a 09 09 09 09 09 65 6c gnized.'......el
21d0: 69 66 20 6e 6f 74 20 68 65 61 64 65 72 20 69 6e if not header in
21e0: 20 69 67 6e 6f 72 65 5f 66 69 65 6c 64 73 3a 0a ignore_fields:.
21f0: 09 09 09 09 09 09 70 72 69 6e 74 28 27 55 6e 64 ......print('Und
2200: 65 66 69 6e 65 64 20 68 65 61 64 65 72 20 22 27 efined header "'
2210: 2c 20 68 65 61 64 65 72 2c 20 27 22 3a 20 27 2c , header, '": ',
2220: 20 68 65 61 64 65 72 73 5b 68 65 61 64 65 72 5d headers[header]
2230: 2c 20 73 65 70 3d 27 27 29 0a 0a 09 09 09 09 23 , sep='')......#
2240: 20 63 6f 6d 70 61 72 69 6e 67 20 68 65 61 64 65 comparing heade
2250: 72 73 20 77 69 74 68 20 64 61 74 61 20 66 6f 75 rs with data fou
2260: 6e 64 20 69 6e 20 69 6e 64 65 78 0a 09 09 09 09 nd in index.....
2270: 23 20 69 66 20 61 6e 79 20 68 65 61 64 65 72 20 # if any header
2280: 68 61 73 20 63 68 61 6e 67 65 64 20 28 65 78 63 has changed (exc
2290: 65 70 74 20 50 72 61 67 6d 61 29 20 66 69 6c 65 ept Pragma) file
22a0: 20 69 73 20 66 75 6c 6c 79 20 64 6f 77 6e 6c 6f is fully downlo
22b0: 61 64 65 64 0a 09 09 09 09 23 20 73 61 6d 65 20 aded.....# same
22c0: 69 66 20 77 65 20 67 65 74 20 6d 6f 72 65 20 6f if we get more o
22d0: 72 20 6c 65 73 73 20 68 65 61 64 65 72 73 0a 09 r less headers..
22e0: 09 09 09 6f 6c 64 5f 6b 65 79 73 20 3d 20 73 65 ...old_keys = se
22f0: 74 28 72 65 63 6f 72 64 2e 6b 65 79 73 28 29 29 t(record.keys())
2300: 0a 09 09 09 09 6f 6c 64 5f 6b 65 79 73 2e 64 69 .....old_keys.di
2310: 73 63 61 72 64 28 27 5f 74 69 6d 65 27 29 0a 09 scard('_time')..
2320: 09 09 09 6f 6c 64 5f 6b 65 79 73 2e 64 69 73 63 ...old_keys.disc
2330: 61 72 64 28 27 50 72 61 67 6d 61 27 29 0a 09 09 ard('Pragma')...
2340: 09 09 6d 6f 72 65 5f 6b 65 79 73 20 3d 20 73 65 ..more_keys = se
2350: 74 28 6e 65 77 5f 72 65 63 6f 72 64 2e 6b 65 79 t(new_record.key
2360: 73 28 29 29 20 2d 20 6f 6c 64 5f 6b 65 79 73 0a s()) - old_keys.
2370: 09 09 09 09 6d 6f 72 65 5f 6b 65 79 73 2e 64 69 ....more_keys.di
2380: 73 63 61 72 64 28 27 50 72 61 67 6d 61 27 29 0a scard('Pragma').
2390: 09 09 09 09 6c 65 73 73 5f 6b 65 79 73 20 3d 20 ....less_keys =
23a0: 6f 6c 64 5f 6b 65 79 73 20 2d 20 73 65 74 28 6e old_keys - set(n
23b0: 65 77 5f 72 65 63 6f 72 64 2e 6b 65 79 73 28 29 ew_record.keys()
23c0: 29 0a 09 09 09 09 69 66 20 6c 65 6e 28 6d 6f 72 ).....if len(mor
23d0: 65 5f 6b 65 79 73 29 20 3e 20 30 3a 0a 09 09 09 e_keys) > 0:....
23e0: 09 09 69 66 20 6c 65 6e 28 6f 6c 64 5f 6b 65 79 ..if len(old_key
23f0: 73 29 20 21 3d 20 30 3a 0a 09 09 09 09 09 09 70 s) != 0:.......p
2400: 72 69 6e 74 28 27 4d 6f 72 65 20 68 65 61 64 65 rint('More heade
2410: 72 73 20 61 70 70 65 61 72 3a 27 2c 20 6d 6f 72 rs appear:', mor
2420: 65 5f 6b 65 79 73 29 0a 09 09 09 09 09 72 65 6c e_keys)......rel
2430: 6f 61 64 20 3d 20 54 72 75 65 0a 09 09 09 09 65 oad = True.....e
2440: 6c 69 66 20 6c 65 6e 28 6c 65 73 73 5f 6b 65 79 lif len(less_key
2450: 73 29 20 3e 20 30 3a 0a 09 09 09 09 09 70 72 69 s) > 0:......pri
2460: 6e 74 28 27 4c 65 73 73 20 68 65 61 64 65 72 73 nt('Less headers
2470: 20 61 70 70 65 61 72 3a 27 2c 20 6c 65 73 73 5f appear:', less_
2480: 6b 65 79 73 29 0a 09 09 09 09 65 6c 73 65 3a 0a keys).....else:.
2490: 09 09 09 09 09 66 6f 72 20 6b 65 79 20 69 6e 20 .....for key in
24a0: 72 65 63 6f 72 64 2e 6b 65 79 73 28 29 3a 0a 09 record.keys():..
24b0: 09 09 09 09 09 69 66 20 6b 65 79 5b 30 5d 20 21 .....if key[0] !
24c0: 3d 20 27 5f 27 20 61 6e 64 20 6b 65 79 20 21 3d = '_' and key !=
24d0: 20 27 50 72 61 67 6d 61 27 20 61 6e 64 20 72 65 'Pragma' and re
24e0: 63 6f 72 64 5b 6b 65 79 5d 20 21 3d 20 6e 65 77 cord[key] != new
24f0: 5f 72 65 63 6f 72 64 5b 6b 65 79 5d 3a 0a 09 09 _record[key]:...
2500: 09 09 09 09 09 70 72 69 6e 74 28 27 48 65 61 64 .....print('Head
2510: 65 72 20 22 27 2c 20 6b 65 79 2c 20 27 22 20 63 er "', key, '" c
2520: 68 61 6e 67 65 64 20 66 72 6f 6d 20 5b 27 2c 20 hanged from [',
2530: 72 65 63 6f 72 64 5b 6b 65 79 5d 2c 20 27 5d 20 record[key], ']
2540: 74 6f 20 5b 27 2c 20 6e 65 77 5f 72 65 63 6f 72 to [', new_recor
2550: 64 5b 6b 65 79 5d 2c 20 27 5d 27 2c 20 73 65 70 d[key], ']', sep
2560: 3d 27 27 29 0a 09 09 09 09 09 09 09 70 72 69 6e ='')........prin
2570: 74 28 74 79 70 65 28 72 65 63 6f 72 64 5b 6b 65 t(type(record[ke
2580: 79 5d 29 2c 20 74 79 70 65 28 6e 65 77 5f 72 65 y]), type(new_re
2590: 63 6f 72 64 5b 6b 65 79 5d 29 29 0a 09 09 09 09 cord[key])).....
25a0: 09 09 09 72 65 6c 6f 61 64 20 3d 20 54 72 75 65 ...reload = True
25b0: 0a 0a 09 09 09 09 69 66 20 72 65 6c 6f 61 64 3a ......if reload:
25c0: 0a 09 09 09 09 09 70 72 69 6e 74 28 27 52 65 6c ......print('Rel
25d0: 6f 61 64 69 6e 67 2e 27 29 0a 09 09 09 09 09 69 oading.')......i
25e0: 66 20 6f 73 2e 61 63 63 65 73 73 28 74 65 6d 70 f os.access(temp
25f0: 5f 6e 61 6d 65 2c 20 6f 73 2e 52 5f 4f 4b 29 3a _name, os.R_OK):
2600: 0a 09 09 09 09 09 09 6f 73 2e 75 6e 6c 69 6e 6b .......os.unlink
2610: 28 74 65 6d 70 5f 6e 61 6d 65 29 0a 09 09 09 09 (temp_name).....
2620: 09 69 66 20 6f 73 2e 61 63 63 65 73 73 28 66 69 .if os.access(fi
2630: 6c 65 5f 6e 61 6d 65 2c 20 6f 73 2e 52 5f 4f 4b le_name, os.R_OK
2640: 29 3a 0a 09 09 09 09 09 09 6f 73 2e 75 6e 6c 69 ):.......os.unli
2650: 6e 6b 28 66 69 6c 65 5f 6e 61 6d 65 29 0a 09 09 nk(file_name)...
2660: 09 09 09 69 66 20 27 43 6f 6e 74 65 6e 74 2d 4c ...if 'Content-L
2670: 65 6e 67 74 68 27 20 69 6e 20 6e 65 77 5f 72 65 ength' in new_re
2680: 63 6f 72 64 3a 0a 09 09 09 09 09 09 6e 65 77 5f cord:.......new_
2690: 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d record['_parts']
26a0: 20 3d 20 73 70 61 63 65 6d 61 70 2e 53 70 61 63 = spacemap.Spac
26b0: 65 4d 61 70 28 7b 30 3a 20 69 6e 74 28 6e 65 77 eMap({0: int(new
26c0: 5f 72 65 63 6f 72 64 5b 27 43 6f 6e 74 65 6e 74 _record['Content
26d0: 2d 4c 65 6e 67 74 68 27 5d 29 7d 29 0a 09 09 09 -Length'])})....
26e0: 09 69 66 20 6e 6f 74 20 6e 65 77 5f 72 65 63 6f .if not new_reco
26f0: 72 64 5b 27 5f 70 61 72 74 73 27 5d 3a 0a 09 09 rd['_parts']:...
2700: 09 09 09 6e 65 77 5f 72 65 63 6f 72 64 5b 27 5f ...new_record['_
2710: 70 61 72 74 73 27 5d 20 3d 20 73 70 61 63 65 6d parts'] = spacem
2720: 61 70 2e 53 70 61 63 65 4d 61 70 28 29 0a 09 09 ap.SpaceMap()...
2730: 09 09 70 72 69 6e 74 28 6e 65 77 5f 72 65 63 6f ..print(new_reco
2740: 72 64 29 0a 0a 09 09 09 09 23 20 64 6f 77 6e 6c rd)......# downl
2750: 6f 61 64 69 6e 67 20 66 69 6c 65 20 6f 72 20 73 oading file or s
2760: 65 67 6d 65 6e 74 0a 09 09 09 09 69 66 20 27 43 egment.....if 'C
2770: 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 20 69 ontent-Length' i
2780: 6e 20 6e 65 77 5f 72 65 63 6f 72 64 3a 0a 09 09 n new_record:...
2790: 09 09 09 69 66 20 6e 65 65 64 65 64 20 3d 3d 20 ...if needed ==
27a0: 4e 6f 6e 65 3a 0a 09 09 09 09 09 09 6e 65 65 64 None:.......need
27b0: 65 64 20 3d 20 6e 65 77 5f 72 65 63 6f 72 64 5b ed = new_record[
27c0: 27 5f 70 61 72 74 73 27 5d 0a 09 09 09 09 09 65 '_parts']......e
27d0: 6c 73 65 3a 0a 09 09 09 09 09 09 69 66 20 6c 65 lse:.......if le
27e0: 6e 28 6e 65 65 64 65 64 29 20 3e 20 31 3a 0a 09 n(needed) > 1:..
27f0: 09 09 09 09 09 09 70 72 69 6e 74 28 22 4d 75 6c ......print("Mul
2800: 74 69 70 61 72 74 20 72 65 71 75 65 73 74 73 20 tipart requests
2810: 63 75 72 72 65 6e 74 6c 79 20 6e 6f 74 20 73 75 currently not su
2820: 70 70 6f 72 74 65 64 2e 22 29 0a 09 09 09 09 09 pported.")......
2830: 09 09 61 73 73 65 72 74 20 46 61 6c 73 65 2c 20 ..assert False,
2840: 27 53 6b 69 70 20 74 68 69 73 20 6f 6e 65 20 66 'Skip this one f
2850: 6f 72 20 6e 6f 77 2e 27 0a 09 09 09 09 23 65 6c or now.'.....#el
2860: 73 65 3a 0a 09 09 09 09 09 23 61 73 73 65 72 74 se:......#assert
2870: 20 46 61 6c 73 65 2c 20 27 4e 6f 20 63 6f 6e 74 False, 'No cont
2880: 65 6e 74 2d 6c 65 6e 67 74 68 20 6f 72 20 43 6f ent-length or Co
2890: 6e 74 65 6e 74 2d 52 61 6e 67 65 20 68 65 61 64 ntent-Range head
28a0: 65 72 2e 27 0a 0a 09 09 09 09 6e 65 77 5f 72 65 er.'......new_re
28b0: 63 6f 72 64 5b 27 5f 74 69 6d 65 27 5d 20 3d 20 cord['_time'] =
28c0: 64 61 74 65 74 69 6d 65 2e 64 61 74 65 74 69 6d datetime.datetim
28d0: 65 2e 6e 6f 77 28 29 0a 09 09 09 09 69 66 20 73 e.now().....if s
28e0: 65 6c 66 2e 63 6f 6d 6d 61 6e 64 20 6e 6f 74 20 elf.command not
28f0: 69 6e 20 28 27 48 45 41 44 27 29 3a 0a 09 09 09 in ('HEAD'):....
2900: 09 09 23 20 66 69 6c 65 20 69 73 20 63 72 65 61 ..# file is crea
2910: 74 65 64 20 61 74 20 74 65 6d 70 6f 72 61 72 79 ted at temporary
2920: 20 6c 6f 63 61 74 69 6f 6e 20 61 6e 64 20 6d 6f location and mo
2930: 76 65 64 20 69 6e 20 70 6c 61 63 65 20 6f 6e 6c ved in place onl
2940: 79 20 77 68 65 6e 20 64 6f 77 6e 6c 6f 61 64 20 y when download
2950: 63 6f 6d 70 6c 65 74 65 73 0a 09 09 09 09 09 69 completes......i
2960: 66 20 6e 6f 74 20 6f 73 2e 61 63 63 65 73 73 28 f not os.access(
2970: 74 65 6d 70 5f 6e 61 6d 65 2c 20 6f 73 2e 52 5f temp_name, os.R_
2980: 4f 4b 29 3a 0a 09 09 09 09 09 09 65 6d 70 74 79 OK):.......empty
2990: 5f 6e 61 6d 65 20 3d 20 63 6f 6e 66 69 67 5f 68 _name = config_h
29a0: 6f 73 74 5b 27 64 69 72 27 5d 20 2b 20 6f 73 2e ost['dir'] + os.
29b0: 73 65 70 20 2b 20 27 2e 74 6d 70 27 0a 09 09 09 sep + '.tmp'....
29c0: 09 09 09 77 69 74 68 20 6f 70 65 6e 28 65 6d 70 ...with open(emp
29d0: 74 79 5f 6e 61 6d 65 2c 20 27 77 2b 62 27 29 20 ty_name, 'w+b')
29e0: 61 73 20 73 6f 6d 65 5f 66 69 6c 65 3a 0a 09 09 as some_file:...
29f0: 09 09 09 09 09 70 61 73 73 0a 09 09 09 09 09 09 .....pass.......
2a00: 6f 73 2e 72 65 6e 61 6d 65 73 28 65 6d 70 74 79 os.renames(empty
2a10: 5f 6e 61 6d 65 2c 20 74 65 6d 70 5f 6e 61 6d 65 _name, temp_name
2a20: 29 0a 09 09 09 09 09 74 65 6d 70 5f 66 69 6c 65 )......temp_file
2a30: 20 3d 20 6f 70 65 6e 28 74 65 6d 70 5f 6e 61 6d = open(temp_nam
2a40: 65 2c 20 27 72 2b 62 27 29 0a 09 09 09 09 09 69 e, 'r+b')......i
2a50: 66 20 72 65 71 75 65 73 74 65 64 5f 72 61 6e 67 f requested_rang
2a60: 65 73 20 3d 3d 20 4e 6f 6e 65 20 61 6e 64 20 6e es == None and n
2a70: 65 65 64 65 64 20 3d 3d 20 4e 6f 6e 65 3a 0a 09 eeded == None:..
2a80: 09 09 09 09 09 6e 65 65 64 65 64 20 3d 20 6e 65 .....needed = ne
2a90: 77 5f 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 w_record['_parts
2aa0: 27 5d 0a 09 09 09 09 09 6e 65 65 64 65 64 2e 72 ']......needed.r
2ab0: 65 77 69 6e 64 28 29 0a 09 09 09 09 09 77 68 69 ewind()......whi
2ac0: 6c 65 20 54 72 75 65 3a 0a 09 09 09 09 09 09 23 le True:.......#
2ad0: 20 58 58 58 20 63 61 6e 20 6d 61 6b 65 20 74 68 XXX can make th
2ae0: 69 73 20 69 6d 70 6c 69 63 69 74 20 2d 20 6f 6e is implicit - on
2af0: 65 20 72 65 71 75 65 73 74 20 70 65 72 20 72 61 e request per ra
2b00: 6e 67 65 0a 09 09 09 09 09 09 28 73 74 61 72 74 nge.......(start
2b10: 2c 20 65 6e 64 29 20 3d 20 6e 65 65 64 65 64 2e , end) = needed.
2b20: 70 6f 70 28 29 0a 09 09 09 09 09 09 69 66 20 73 pop().......if s
2b30: 74 61 72 74 20 3d 3d 20 4e 6f 6e 65 3a 0a 09 09 tart == None:...
2b40: 09 09 09 09 09 62 72 65 61 6b 0a 09 09 09 09 09 .....break......
2b50: 09 73 74 72 65 61 6d 5f 6c 61 73 74 20 3d 20 73 .stream_last = s
2b60: 74 61 72 74 0a 09 09 09 09 09 09 6f 6c 64 5f 72 tart.......old_r
2b70: 65 63 6f 72 64 20 3d 20 63 6f 70 79 2e 63 6f 70 ecord = copy.cop
2b80: 79 28 6e 65 77 5f 72 65 63 6f 72 64 29 0a 09 09 y(new_record)...
2b90: 09 09 09 09 69 66 20 65 6e 64 20 2d 20 73 74 61 ....if end - sta
2ba0: 72 74 20 3c 20 62 6c 6f 63 6b 5f 73 69 7a 65 3a rt < block_size:
2bb0: 0a 09 09 09 09 09 09 09 72 65 71 5f 62 6c 6f 63 ........req_bloc
2bc0: 6b 5f 73 69 7a 65 20 3d 20 65 6e 64 20 2d 20 73 k_size = end - s
2bd0: 74 61 72 74 0a 09 09 09 09 09 09 65 6c 73 65 3a tart.......else:
2be0: 0a 09 09 09 09 09 09 09 72 65 71 5f 62 6c 6f 63 ........req_bloc
2bf0: 6b 5f 73 69 7a 65 20 3d 20 62 6c 6f 63 6b 5f 73 k_size = block_s
2c00: 69 7a 65 0a 09 09 09 09 09 09 62 75 66 66 65 72 ize.......buffer
2c10: 20 3d 20 73 6f 75 72 63 65 2e 72 65 61 64 28 72 = source.read(r
2c20: 65 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 29 0a 09 eq_block_size)..
2c30: 09 09 09 09 09 6c 65 6e 67 74 68 20 3d 20 6c 65 .....length = le
2c40: 6e 28 62 75 66 66 65 72 29 0a 09 09 09 09 09 09 n(buffer).......
2c50: 77 68 69 6c 65 20 6c 65 6e 67 74 68 20 3e 20 30 while length > 0
2c60: 20 61 6e 64 20 73 74 72 65 61 6d 5f 6c 61 73 74 and stream_last
2c70: 20 3c 20 65 6e 64 3a 0a 09 09 09 09 09 09 09 73 < end:........s
2c80: 74 72 65 61 6d 5f 70 6f 73 20 3d 20 73 74 72 65 tream_pos = stre
2c90: 61 6d 5f 6c 61 73 74 20 2b 20 6c 65 6e 67 74 68 am_last + length
2ca0: 0a 09 09 09 09 09 09 09 61 73 73 65 72 74 20 73 ........assert s
2cb0: 74 72 65 61 6d 5f 70 6f 73 20 3c 3d 20 65 6e 64 tream_pos <= end
2cc0: 2c 20 27 52 65 63 65 69 76 65 64 20 6d 6f 72 65 , 'Received more
2cd0: 20 64 61 74 61 20 74 68 65 6e 20 72 65 71 75 65 data then reque
2ce0: 73 74 65 64 3a 20 70 6f 73 3a 7b 7d 20 73 74 61 sted: pos:{} sta
2cf0: 72 74 3a 7b 7d 20 65 6e 64 3a 7b 7d 2e 27 2e 66 rt:{} end:{}.'.f
2d00: 6f 72 6d 61 74 28 73 74 72 65 61 6d 5f 70 6f 73 ormat(stream_pos
2d10: 2c 20 73 74 61 72 74 2c 20 65 6e 64 29 0a 09 09 , start, end)...
2d20: 09 09 09 09 09 74 65 6d 70 5f 66 69 6c 65 2e 73 .....temp_file.s
2d30: 65 65 6b 28 73 74 72 65 61 6d 5f 6c 61 73 74 29 eek(stream_last)
2d40: 0a 09 09 09 09 09 09 09 74 65 6d 70 5f 66 69 6c ........temp_fil
2d50: 65 2e 77 72 69 74 65 28 62 75 66 66 65 72 29 0a e.write(buffer).
2d60: 09 09 09 09 09 09 09 78 20 3d 20 6e 65 77 5f 72 .......x = new_r
2d70: 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d 20 ecord['_parts']
2d80: 2d 20 73 70 61 63 65 6d 61 70 2e 53 70 61 63 65 - spacemap.Space
2d90: 4d 61 70 28 7b 73 74 72 65 61 6d 5f 6c 61 73 74 Map({stream_last
2da0: 3a 20 73 74 72 65 61 6d 5f 70 6f 73 7d 29 0a 09 : stream_pos})..
2db0: 09 09 09 09 09 09 6e 65 77 5f 72 65 63 6f 72 64 ......new_record
2dc0: 5b 27 5f 70 61 72 74 73 27 5d 20 3d 20 6e 65 77 ['_parts'] = new
2dd0: 5f 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 _record['_parts'
2de0: 5d 20 2d 20 73 70 61 63 65 6d 61 70 2e 53 70 61 ] - spacemap.Spa
2df0: 63 65 4d 61 70 28 7b 73 74 72 65 61 6d 5f 6c 61 ceMap({stream_la
2e00: 73 74 3a 20 73 74 72 65 61 6d 5f 70 6f 73 7d 29 st: stream_pos})
2e10: 0a 09 09 09 09 09 09 09 69 6e 64 65 78 5b 6d 79 ........index[my
2e20: 5f 70 61 74 68 5f 62 5d 20 3d 20 6f 6c 64 5f 72 _path_b] = old_r
2e30: 65 63 6f 72 64 0a 09 09 09 09 09 09 09 69 6e 64 ecord........ind
2e40: 65 78 2e 73 79 6e 63 28 29 0a 09 09 09 09 09 09 ex.sync().......
2e50: 09 6f 6c 64 5f 72 65 63 6f 72 64 20 3d 20 63 6f .old_record = co
2e60: 70 79 2e 63 6f 70 79 28 6e 65 77 5f 72 65 63 6f py.copy(new_reco
2e70: 72 64 29 0a 09 09 09 09 09 09 09 73 74 72 65 61 rd)........strea
2e80: 6d 5f 6c 61 73 74 20 3d 20 73 74 72 65 61 6d 5f m_last = stream_
2e90: 70 6f 73 0a 09 09 09 09 09 09 09 69 66 20 65 6e pos........if en
2ea0: 64 20 2d 20 73 74 72 65 61 6d 5f 6c 61 73 74 20 d - stream_last
2eb0: 3c 20 62 6c 6f 63 6b 5f 73 69 7a 65 3a 0a 09 09 < block_size:...
2ec0: 09 09 09 09 09 09 72 65 71 5f 62 6c 6f 63 6b 5f ......req_block_
2ed0: 73 69 7a 65 20 3d 20 65 6e 64 20 2d 20 73 74 72 size = end - str
2ee0: 65 61 6d 5f 6c 61 73 74 0a 09 09 09 09 09 09 09 eam_last........
2ef0: 62 75 66 66 65 72 20 3d 20 73 6f 75 72 63 65 2e buffer = source.
2f00: 72 65 61 64 28 72 65 71 5f 62 6c 6f 63 6b 5f 73 read(req_block_s
2f10: 69 7a 65 29 0a 09 09 09 09 09 09 09 6c 65 6e 67 ize)........leng
2f20: 74 68 20 3d 20 6c 65 6e 28 62 75 66 66 65 72 29 th = len(buffer)
2f30: 0a 09 09 09 09 09 23 20 6d 6f 76 69 6e 67 20 64 ......# moving d
2f40: 6f 77 6e 6c 6f 61 64 65 64 20 64 61 74 61 20 74 ownloaded data t
2f50: 6f 20 72 65 61 6c 20 66 69 6c 65 0a 09 09 09 09 o real file.....
2f60: 09 74 65 6d 70 5f 66 69 6c 65 2e 63 6c 6f 73 65 .temp_file.close
2f70: 28 29 0a 0a 09 09 09 09 69 6e 64 65 78 5b 6d 79 ()......index[my
2f80: 5f 70 61 74 68 5f 62 5d 20 3d 20 6e 65 77 5f 72 _path_b] = new_r
2f90: 65 63 6f 72 64 0a 09 09 09 09 69 6e 64 65 78 2e ecord.....index.
2fa0: 73 79 6e 63 28 29 0a 0a 09 09 09 65 78 63 65 70 sync().....excep
2fb0: 74 20 75 72 6c 6c 69 62 2e 65 72 72 6f 72 2e 48 t urllib.error.H
2fc0: 54 54 50 45 72 72 6f 72 20 61 73 20 65 72 72 6f TTPError as erro
2fd0: 72 3a 0a 09 09 09 09 23 20 69 6e 20 63 61 73 65 r:.....# in case
2fe0: 20 6f 66 20 65 72 72 6f 72 20 77 65 20 64 6f 6e of error we don
2ff0: 27 74 20 6e 65 65 64 20 74 6f 20 64 6f 20 61 6e 't need to do an
3000: 79 74 68 69 6e 67 20 61 63 74 75 61 6c 6c 79 2c ything actually,
3010: 0a 09 09 09 09 23 20 69 66 20 66 69 6c 65 20 64 .....# if file d
3020: 6f 77 6e 6c 6f 61 64 20 73 74 61 6c 6c 73 20 6f ownload stalls o
3030: 72 20 66 61 69 6c 73 20 74 68 65 20 66 69 6c 65 r fails the file
3040: 20 77 6f 75 6c 64 20 6e 6f 74 20 62 65 20 6d 6f would not be mo
3050: 76 65 64 20 74 6f 20 69 74 27 73 20 6c 6f 63 61 ved to it's loca
3060: 74 69 6f 6e 0a 09 09 09 09 70 72 69 6e 74 28 65 tion.....print(e
3070: 72 72 6f 72 2c 20 72 65 70 72 28 6d 79 5f 68 65 rror, repr(my_he
3080: 61 64 65 72 73 29 29 0a 0a 09 09 70 72 69 6e 74 aders))....print
3090: 28 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5f 62 (index[my_path_b
30a0: 5d 29 0a 0a 09 09 69 66 20 6e 6f 74 20 6f 73 2e ])....if not os.
30b0: 61 63 63 65 73 73 28 66 69 6c 65 5f 6e 61 6d 65 access(file_name
30c0: 2c 20 6f 73 2e 52 5f 4f 4b 29 20 61 6e 64 20 6f , os.R_OK) and o
30d0: 73 2e 61 63 63 65 73 73 28 74 65 6d 70 5f 6e 61 s.access(temp_na
30e0: 6d 65 2c 20 6f 73 2e 52 5f 4f 4b 29 20 61 6e 64 me, os.R_OK) and
30f0: 20 27 5f 70 61 72 74 73 27 20 69 6e 20 69 6e 64 '_parts' in ind
3100: 65 78 5b 6d 79 5f 70 61 74 68 5f 62 5d 20 61 6e ex[my_path_b] an
3110: 64 20 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5f d index[my_path_
3120: 62 5d 5b 27 5f 70 61 72 74 73 27 5d 20 3d 3d 20 b]['_parts'] ==
3130: 73 70 61 63 65 6d 61 70 2e 53 70 61 63 65 4d 61 spacemap.SpaceMa
3140: 70 28 29 3a 0a 09 09 09 23 20 6a 75 73 74 20 6d p():....# just m
3150: 6f 76 69 6e 67 0a 09 09 09 23 20 64 72 6f 70 20 oving....# drop
3160: 6f 6c 64 20 64 69 72 73 20 58 58 58 0a 09 09 09 old dirs XXX....
3170: 70 72 69 6e 74 28 27 4d 6f 76 69 6e 67 20 74 65 print('Moving te
3180: 6d 70 6f 72 61 72 79 20 66 69 6c 65 20 74 6f 20 mporary file to
3190: 6e 65 77 20 64 65 73 74 69 6e 61 74 69 6f 6e 2e new destination.
31a0: 27 29 0a 09 09 09 6f 73 2e 72 65 6e 61 6d 65 73 ')....os.renames
31b0: 28 74 65 6d 70 5f 6e 61 6d 65 2c 20 66 69 6c 65 (temp_name, file
31c0: 5f 6e 61 6d 65 29 0a 0a 09 09 69 66 20 6e 6f 74 _name)....if not
31d0: 20 6d 79 5f 70 61 74 68 5f 62 20 69 6e 20 69 6e my_path_b in in
31e0: 64 65 78 3a 0a 09 09 09 73 65 6c 66 2e 73 65 6e dex:....self.sen
31f0: 64 5f 72 65 73 70 6f 6e 73 65 28 35 30 32 29 0a d_response(502).
3200: 09 09 09 73 65 6c 66 2e 65 6e 64 5f 68 65 61 64 ...self.end_head
3210: 65 72 73 28 29 0a 09 09 09 72 65 74 75 72 6e 0a ers()....return.
3220: 0a 09 09 69 66 20 73 65 6c 66 2e 63 6f 6d 6d 61 ...if self.comma
3230: 6e 64 20 3d 3d 20 27 48 45 41 44 27 3a 0a 09 09 nd == 'HEAD':...
3240: 09 73 65 6c 66 2e 73 65 6e 64 5f 72 65 73 70 6f .self.send_respo
3250: 6e 73 65 28 32 30 30 29 0a 09 09 09 69 66 20 27 nse(200)....if '
3260: 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 20 Content-Length'
3270: 69 6e 20 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 in index[my_path
3280: 5f 62 5d 3a 0a 09 09 09 09 73 65 6c 66 2e 73 65 _b]:.....self.se
3290: 6e 64 5f 68 65 61 64 65 72 28 27 43 6f 6e 74 65 nd_header('Conte
32a0: 6e 74 2d 4c 65 6e 67 74 68 27 2c 20 69 6e 64 65 nt-Length', inde
32b0: 78 5b 6d 79 5f 70 61 74 68 5f 62 5d 5b 27 43 6f x[my_path_b]['Co
32c0: 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 5d 29 0a ntent-Length']).
32d0: 09 09 09 73 65 6c 66 2e 73 65 6e 64 5f 68 65 61 ...self.send_hea
32e0: 64 65 72 28 27 41 63 63 65 70 74 2d 52 61 6e 67 der('Accept-Rang
32f0: 65 73 27 2c 20 27 62 79 74 65 73 27 29 0a 09 09 es', 'bytes')...
3300: 09 73 65 6c 66 2e 73 65 6e 64 5f 68 65 61 64 65 .self.send_heade
3310: 72 28 27 43 6f 6e 74 65 6e 74 2d 54 79 70 65 27 r('Content-Type'
3320: 2c 20 27 61 70 70 6c 69 63 61 74 69 6f 6e 2f 6f , 'application/o
3330: 63 74 65 74 2d 73 74 72 65 61 6d 27 29 0a 09 09 ctet-stream')...
3340: 09 69 66 20 27 4c 61 73 74 2d 4d 6f 64 69 66 69 .if 'Last-Modifi
3350: 65 64 27 20 69 6e 20 69 6e 64 65 78 5b 6d 79 5f ed' in index[my_
3360: 70 61 74 68 5f 62 5d 3a 0a 09 09 09 09 73 65 6c path_b]:.....sel
3370: 66 2e 73 65 6e 64 5f 68 65 61 64 65 72 28 27 4c f.send_header('L
3380: 61 73 74 2d 4d 6f 64 69 66 69 65 64 27 2c 20 69 ast-Modified', i
3390: 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5f 62 5d 5b ndex[my_path_b][
33a0: 27 4c 61 73 74 2d 4d 6f 64 69 66 69 65 64 27 5d 'Last-Modified']
33b0: 29 0a 09 09 09 73 65 6c 66 2e 65 6e 64 5f 68 65 )....self.end_he
33c0: 61 64 65 72 73 28 29 0a 09 09 65 6c 73 65 3a 0a aders()...else:.
33d0: 09 09 09 69 66 20 28 27 5f 70 61 72 74 73 27 20 ...if ('_parts'
33e0: 69 6e 20 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 in index[my_path
33f0: 5f 62 5d 20 61 6e 64 20 69 6e 64 65 78 5b 6d 79 _b] and index[my
3400: 5f 70 61 74 68 5f 62 5d 5b 27 5f 70 61 72 74 73 _path_b]['_parts
3410: 27 5d 20 21 3d 20 73 70 61 63 65 6d 61 70 2e 53 '] != spacemap.S
3420: 70 61 63 65 4d 61 70 28 29 29 20 6f 72 20 6e 6f paceMap()) or no
3430: 74 20 6f 73 2e 61 63 63 65 73 73 28 66 69 6c 65 t os.access(file
3440: 5f 6e 61 6d 65 2c 20 6f 73 2e 52 5f 4f 4b 29 3a _name, os.R_OK):
3450: 0a 09 09 09 09 66 69 6c 65 5f 6e 61 6d 65 20 3d .....file_name =
3460: 20 74 65 6d 70 5f 6e 61 6d 65 0a 0a 09 09 09 77 temp_name.....w
3470: 69 74 68 20 6f 70 65 6e 28 66 69 6c 65 5f 6e 61 ith open(file_na
3480: 6d 65 2c 20 27 72 62 27 29 20 61 73 20 72 65 61 me, 'rb') as rea
3490: 6c 5f 66 69 6c 65 3a 0a 09 09 09 09 66 69 6c 65 l_file:.....file
34a0: 5f 73 74 61 74 20 3d 20 6f 73 2e 73 74 61 74 28 _stat = os.stat(
34b0: 66 69 6c 65 5f 6e 61 6d 65 29 0a 09 09 09 09 69 file_name).....i
34c0: 66 20 27 52 61 6e 67 65 27 20 69 6e 20 73 65 6c f 'Range' in sel
34d0: 66 2e 68 65 61 64 65 72 73 3a 0a 09 09 09 09 09 f.headers:......
34e0: 73 65 6c 66 2e 73 65 6e 64 5f 72 65 73 70 6f 6e self.send_respon
34f0: 73 65 28 32 30 36 29 0a 09 09 09 09 09 72 61 6e se(206)......ran
3500: 67 65 73 20 3d 20 28 29 0a 09 09 09 09 09 72 65 ges = ()......re
3510: 71 75 65 73 74 65 64 5f 72 61 6e 67 65 73 2e 72 quested_ranges.r
3520: 65 77 69 6e 64 28 29 0a 09 09 09 09 09 77 68 69 ewind()......whi
3530: 6c 65 20 54 72 75 65 3a 0a 09 09 09 09 09 09 70 le True:.......p
3540: 61 69 72 20 3d 20 72 65 71 75 65 73 74 65 64 5f air = requested_
3550: 72 61 6e 67 65 73 2e 70 6f 70 28 29 0a 09 09 09 ranges.pop()....
3560: 09 09 09 69 66 20 70 61 69 72 5b 30 5d 20 3d 3d ...if pair[0] ==
3570: 20 4e 6f 6e 65 3a 0a 09 09 09 09 09 09 09 62 72 None:........br
3580: 65 61 6b 0a 09 09 09 09 09 09 72 61 6e 67 65 73 eak.......ranges
3590: 20 2b 3d 20 27 7b 7d 2d 7b 7d 27 2e 66 6f 72 6d += '{}-{}'.form
35a0: 61 74 28 70 61 69 72 5b 30 5d 2c 20 73 74 72 28 at(pair[0], str(
35b0: 70 61 69 72 5b 31 5d 20 2d 20 31 29 29 2c 0a 09 pair[1] - 1)),..
35c0: 09 09 09 09 73 65 6c 66 2e 73 65 6e 64 5f 68 65 ....self.send_he
35d0: 61 64 65 72 28 27 43 6f 6e 74 65 6e 74 2d 52 61 ader('Content-Ra
35e0: 6e 67 65 27 2c 20 27 62 79 74 65 73 20 7b 7d 2f nge', 'bytes {}/
35f0: 7b 7d 27 2e 66 6f 72 6d 61 74 28 27 2c 27 2e 6a {}'.format(','.j
3600: 6f 69 6e 28 72 61 6e 67 65 73 29 2c 20 69 6e 64 oin(ranges), ind
3610: 65 78 5b 6d 79 5f 70 61 74 68 5f 62 5d 5b 27 43 ex[my_path_b]['C
3620: 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 5d 29 ontent-Length'])
3630: 29 0a 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 ).....else:.....
3640: 09 73 65 6c 66 2e 73 65 6e 64 5f 72 65 73 70 6f .self.send_respo
3650: 6e 73 65 28 32 30 30 29 0a 09 09 09 09 09 73 65 nse(200)......se
3660: 6c 66 2e 73 65 6e 64 5f 68 65 61 64 65 72 28 27 lf.send_header('
3670: 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 2c Content-Length',
3680: 20 73 74 72 28 66 69 6c 65 5f 73 74 61 74 2e 73 str(file_stat.s
3690: 74 5f 73 69 7a 65 29 29 0a 09 09 09 09 09 72 65 t_size))......re
36a0: 71 75 65 73 74 65 64 5f 72 61 6e 67 65 73 20 3d quested_ranges =
36b0: 20 73 70 61 63 65 6d 61 70 2e 53 70 61 63 65 4d spacemap.SpaceM
36c0: 61 70 28 7b 30 3a 20 66 69 6c 65 5f 73 74 61 74 ap({0: file_stat
36d0: 2e 73 74 5f 73 69 7a 65 7d 29 0a 09 09 09 09 69 .st_size}).....i
36e0: 66 20 27 4c 61 73 74 2d 4d 6f 64 69 66 69 65 64 f 'Last-Modified
36f0: 27 20 69 6e 20 69 6e 64 65 78 5b 6d 79 5f 70 61 ' in index[my_pa
3700: 74 68 5f 62 5d 3a 0a 09 09 09 09 09 73 65 6c 66 th_b]:......self
3710: 2e 73 65 6e 64 5f 68 65 61 64 65 72 28 27 4c 61 .send_header('La
3720: 73 74 2d 4d 6f 64 69 66 69 65 64 27 2c 20 69 6e st-Modified', in
3730: 64 65 78 5b 6d 79 5f 70 61 74 68 5f 62 5d 5b 27 dex[my_path_b]['
3740: 4c 61 73 74 2d 4d 6f 64 69 66 69 65 64 27 5d 29 Last-Modified'])
3750: 0a 09 09 09 09 73 65 6c 66 2e 73 65 6e 64 5f 68 .....self.send_h
3760: 65 61 64 65 72 28 27 43 6f 6e 74 65 6e 74 2d 54 eader('Content-T
3770: 79 70 65 27 2c 20 27 61 70 70 6c 69 63 61 74 69 ype', 'applicati
3780: 6f 6e 2f 6f 63 74 65 74 2d 73 74 72 65 61 6d 27 on/octet-stream'
3790: 29 0a 09 09 09 09 73 65 6c 66 2e 65 6e 64 5f 68 ).....self.end_h
37a0: 65 61 64 65 72 73 28 29 0a 09 09 09 09 69 66 20 eaders().....if
37b0: 73 65 6c 66 2e 63 6f 6d 6d 61 6e 64 20 69 6e 20 self.command in
37c0: 28 27 47 45 54 27 29 3a 0a 09 09 09 09 09 69 66 ('GET'):......if
37d0: 20 6c 65 6e 28 72 65 71 75 65 73 74 65 64 5f 72 len(requested_r
37e0: 61 6e 67 65 73 29 20 3e 20 30 3a 0a 09 09 09 09 anges) > 0:.....
37f0: 09 09 72 65 71 75 65 73 74 65 64 5f 72 61 6e 67 ..requested_rang
3800: 65 73 2e 72 65 77 69 6e 64 28 29 0a 09 09 09 09 es.rewind().....
3810: 09 09 28 73 74 61 72 74 2c 20 65 6e 64 29 20 3d ..(start, end) =
3820: 20 72 65 71 75 65 73 74 65 64 5f 72 61 6e 67 65 requested_range
3830: 73 2e 70 6f 70 28 29 0a 09 09 09 09 09 65 6c 73 s.pop()......els
3840: 65 3a 0a 09 09 09 09 09 09 73 74 61 72 74 20 3d e:.......start =
3850: 20 30 0a 09 09 09 09 09 09 23 20 58 58 58 20 75 0.......# XXX u
3860: 67 6c 79 20 68 61 63 6b 0a 09 09 09 09 09 09 69 gly hack.......i
3870: 66 20 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 f 'Content-Lengt
3880: 68 27 20 69 6e 20 69 6e 64 65 78 5b 6d 79 5f 70 h' in index[my_p
3890: 61 74 68 5f 62 5d 3a 0a 09 09 09 09 09 09 09 65 ath_b]:........e
38a0: 6e 64 20 3d 20 69 6e 64 65 78 5b 6d 79 5f 70 61 nd = index[my_pa
38b0: 74 68 5f 62 5d 5b 27 43 6f 6e 74 65 6e 74 2d 4c th_b]['Content-L
38c0: 65 6e 67 74 68 27 5d 0a 09 09 09 09 09 09 65 6c ength'].......el
38d0: 73 65 3a 0a 09 09 09 09 09 09 09 65 6e 64 20 3d se:........end =
38e0: 20 30 0a 09 09 09 09 09 72 65 61 6c 5f 66 69 6c 0......real_fil
38f0: 65 2e 73 65 65 6b 28 73 74 61 72 74 29 0a 09 09 e.seek(start)...
3900: 09 09 09 69 66 20 62 6c 6f 63 6b 5f 73 69 7a 65 ...if block_size
3910: 20 3e 20 65 6e 64 20 2d 20 73 74 61 72 74 3a 0a > end - start:.
3920: 09 09 09 09 09 09 72 65 71 5f 62 6c 6f 63 6b 5f ......req_block_
3930: 73 69 7a 65 20 3d 20 65 6e 64 20 2d 20 73 74 61 size = end - sta
3940: 72 74 0a 09 09 09 09 09 65 6c 73 65 3a 0a 09 09 rt......else:...
3950: 09 09 09 09 72 65 71 5f 62 6c 6f 63 6b 5f 73 69 ....req_block_si
3960: 7a 65 20 3d 20 62 6c 6f 63 6b 5f 73 69 7a 65 0a ze = block_size.
3970: 09 09 09 09 09 62 75 66 66 65 72 20 3d 20 72 65 .....buffer = re
3980: 61 6c 5f 66 69 6c 65 2e 72 65 61 64 28 72 65 71 al_file.read(req
3990: 5f 62 6c 6f 63 6b 5f 73 69 7a 65 29 0a 09 09 09 _block_size)....
39a0: 09 09 6c 65 6e 67 74 68 20 3d 20 6c 65 6e 28 62 ..length = len(b
39b0: 75 66 66 65 72 29 0a 09 09 09 09 09 77 68 69 6c uffer)......whil
39c0: 65 20 6c 65 6e 67 74 68 20 3e 20 30 3a 0a 09 09 e length > 0:...
39d0: 09 09 09 09 73 65 6c 66 2e 77 66 69 6c 65 2e 77 ....self.wfile.w
39e0: 72 69 74 65 28 62 75 66 66 65 72 29 0a 09 09 09 rite(buffer)....
39f0: 09 09 09 73 74 61 72 74 20 2b 3d 20 6c 65 6e 28 ...start += len(
3a00: 62 75 66 66 65 72 29 0a 09 09 09 09 09 09 69 66 buffer).......if
3a10: 20 72 65 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 20 req_block_size
3a20: 3e 20 65 6e 64 20 2d 20 73 74 61 72 74 3a 0a 09 > end - start:..
3a30: 09 09 09 09 09 09 72 65 71 5f 62 6c 6f 63 6b 5f ......req_block_
3a40: 73 69 7a 65 20 3d 20 65 6e 64 20 2d 20 73 74 61 size = end - sta
3a50: 72 74 0a 09 09 09 09 09 09 69 66 20 72 65 71 5f rt.......if req_
3a60: 62 6c 6f 63 6b 5f 73 69 7a 65 20 3d 3d 20 30 3a block_size == 0:
3a70: 0a 09 09 09 09 09 09 09 62 72 65 61 6b 0a 09 09 ........break...
3a80: 09 09 09 09 62 75 66 66 65 72 20 3d 20 72 65 61 ....buffer = rea
3a90: 6c 5f 66 69 6c 65 2e 72 65 61 64 28 72 65 71 5f l_file.read(req_
3aa0: 62 6c 6f 63 6b 5f 73 69 7a 65 29 0a 09 09 09 09 block_size).....
3ab0: 09 09 6c 65 6e 67 74 68 20 3d 20 6c 65 6e 28 62 ..length = len(b
3ac0: 75 66 66 65 72 29 0a 09 09 09 09 0a 09 64 65 66 uffer).......def
3ad0: 20 64 6f 5f 48 45 41 44 28 73 65 6c 66 29 3a 0a do_HEAD(self):.
3ae0: 09 09 72 65 74 75 72 6e 20 73 65 6c 66 2e 5f 5f ..return self.__
3af0: 70 72 6f 63 65 73 73 28 29 0a 09 64 65 66 20 64 process()..def d
3b00: 6f 5f 47 45 54 28 73 65 6c 66 29 3a 0a 09 09 72 o_GET(self):...r
3b10: 65 74 75 72 6e 20 73 65 6c 66 2e 5f 5f 70 72 6f eturn self.__pro
3b20: 63 65 73 73 28 29 0a 0a 73 65 72 76 65 72 20 3d cess()..server =
3b30: 20 68 74 74 70 2e 73 65 72 76 65 72 2e 48 54 54 http.server.HTT
3b40: 50 53 65 72 76 65 72 28 28 27 31 32 37 2e 30 2e PServer(('127.0.
3b50: 30 2e 31 27 2c 20 69 6e 74 28 63 6f 6e 66 69 67 0.1', int(config
3b60: 5b 27 44 45 46 41 55 4c 54 27 5d 5b 27 70 6f 72 ['DEFAULT']['por
3b70: 74 27 5d 29 29 2c 20 4d 79 52 65 71 75 65 73 74 t'])), MyRequest
3b80: 48 61 6e 64 6c 65 72 29 0a 73 65 72 76 65 72 2e Handler).server.
3b90: 73 65 72 76 65 5f 66 6f 72 65 76 65 72 28 29 0a serve_forever().
3ba0: 0a 23 67 65 76 65 6e 74 2e 6a 6f 69 6e 61 6c 6c .#gevent.joinall
3bb0: 28 29 0a ().