0000: 23 21 2f 75 73 72 2f 62 69 6e 2f 65 6e 76 20 70 #!/usr/bin/env p
0010: 79 74 68 6f 6e 33 2e 32 0a 0a 66 72 6f 6d 20 5f ython3.2..from _
0020: 5f 66 75 74 75 72 65 5f 5f 20 69 6d 70 6f 72 74 _future__ import
0030: 20 75 6e 69 63 6f 64 65 5f 6c 69 74 65 72 61 6c unicode_literal
0040: 73 2c 20 70 72 69 6e 74 5f 66 75 6e 63 74 69 6f s, print_functio
0050: 6e 0a 0a 23 69 6d 70 6f 72 74 20 67 65 76 65 6e n..#import geven
0060: 74 2e 6d 6f 6e 6b 65 79 0a 23 67 65 76 65 6e 74 t.monkey.#gevent
0070: 2e 6d 6f 6e 6b 65 79 2e 70 61 74 63 68 5f 61 6c .monkey.patch_al
0080: 6c 28 29 0a 0a 69 6d 70 6f 72 74 20 61 72 67 70 l()..import argp
0090: 61 72 73 65 2c 20 6f 73 0a 70 61 72 73 65 72 20 arse, os.parser
00a0: 3d 20 61 72 67 70 61 72 73 65 2e 41 72 67 75 6d = argparse.Argum
00b0: 65 6e 74 50 61 72 73 65 72 28 29 0a 70 61 72 73 entParser().pars
00c0: 65 72 2e 61 64 64 5f 61 72 67 75 6d 65 6e 74 28 er.add_argument(
00d0: 27 2d 63 27 2c 20 27 2d 2d 63 6f 6e 66 69 67 27 '-c', '--config'
00e0: 2c 20 64 65 73 74 20 3d 20 27 63 6f 6e 66 69 67 , dest = 'config
00f0: 27 2c 20 68 65 6c 70 20 3d 20 27 63 6f 6e 66 69 ', help = 'confi
0100: 67 20 66 69 6c 65 20 6c 6f 63 61 74 69 6f 6e 27 g file location'
0110: 2c 20 6d 65 74 61 76 61 72 20 3d 20 27 46 49 4c , metavar = 'FIL
0120: 45 27 2c 20 64 65 66 61 75 6c 74 20 3d 20 27 73 E', default = 's
0130: 61 6d 65 73 69 74 65 2e 63 6f 6e 66 27 29 0a 61 amesite.conf').a
0140: 72 67 73 20 3d 20 70 61 72 73 65 72 2e 70 61 72 rgs = parser.par
0150: 73 65 5f 61 72 67 73 28 29 0a 61 73 73 65 72 74 se_args().assert
0160: 20 6f 73 2e 61 63 63 65 73 73 28 61 72 67 73 2e os.access(args.
0170: 63 6f 6e 66 69 67 2c 20 6f 73 2e 52 5f 4f 4b 29 config, os.R_OK)
0180: 2c 20 22 46 61 74 61 6c 20 65 72 72 6f 72 3a 20 , "Fatal error:
0190: 63 61 6e 27 74 20 72 65 61 64 20 7b 7d 22 2e 66 can't read {}".f
01a0: 6f 72 6d 61 74 28 61 72 67 73 2e 63 6f 6e 66 69 ormat(args.confi
01b0: 67 29 0a 0a 69 6d 70 6f 72 74 20 63 6f 6e 66 69 g)..import confi
01c0: 67 70 61 72 73 65 72 0a 63 6f 6e 66 69 67 20 3d gparser.config =
01d0: 20 63 6f 6e 66 69 67 70 61 72 73 65 72 2e 43 6f configparser.Co
01e0: 6e 66 69 67 50 61 72 73 65 72 28 7b 0a 09 27 70 nfigParser({..'p
01f0: 6f 72 74 27 3a 20 27 38 30 30 38 27 2c 0a 09 27 ort': '8008',..'
0200: 76 65 72 62 6f 73 65 27 3a 20 27 6e 6f 27 2c 0a verbose': 'no',.
0210: 09 27 6e 6f 65 74 61 67 27 3a 20 27 6e 6f 27 2c .'noetag': 'no',
0220: 0a 09 27 6e 6f 70 61 72 74 73 27 3a 20 27 6e 6f ..'noparts': 'no
0230: 27 2c 0a 09 27 73 74 72 69 70 27 3a 20 27 27 2c ',..'strip': '',
0240: 0a 09 27 73 75 62 27 3a 20 27 27 2c 0a 09 27 70 ..'sub': '',..'p
0250: 72 6f 74 6f 27 3a 20 27 68 74 74 70 27 2c 0a 7d roto': 'http',.}
0260: 29 0a 63 6f 6e 66 69 67 2e 72 65 61 64 28 61 72 ).config.read(ar
0270: 67 73 2e 63 6f 6e 66 69 67 29 0a 0a 63 61 63 68 gs.config)..cach
0280: 65 5f 64 69 72 20 3d 20 6f 73 2e 70 61 74 68 2e e_dir = os.path.
0290: 72 65 61 6c 70 61 74 68 28 6f 73 2e 70 61 74 68 realpath(os.path
02a0: 2e 64 69 72 6e 61 6d 65 28 61 72 67 73 2e 63 6f .dirname(args.co
02b0: 6e 66 69 67 29 29 0a 0a 69 6d 70 6f 72 74 20 72 nfig))..import r
02c0: 65 0a 66 6f 72 20 73 65 63 74 69 6f 6e 20 69 6e e.for section in
02d0: 20 63 6f 6e 66 69 67 2e 73 65 63 74 69 6f 6e 73 config.sections
02e0: 28 29 3a 0a 09 69 66 20 73 65 63 74 69 6f 6e 20 ():..if section
02f0: 21 3d 20 27 44 45 46 41 55 4c 54 27 3a 0a 09 09 != 'DEFAULT':...
0300: 69 66 20 27 64 69 72 27 20 69 6e 20 63 6f 6e 66 if 'dir' in conf
0310: 69 67 5b 73 65 63 74 69 6f 6e 5d 3a 0a 09 09 09 ig[section]:....
0320: 69 66 20 6e 6f 74 20 72 65 2e 63 6f 6d 70 69 6c if not re.compil
0330: 65 28 27 5e 2f 2e 2a 27 29 2e 6d 61 74 63 68 28 e('^/.*').match(
0340: 63 6f 6e 66 69 67 5b 73 65 63 74 69 6f 6e 5d 5b config[section][
0350: 27 64 69 72 27 5d 29 3a 0a 09 09 09 09 63 6f 6e 'dir']):.....con
0360: 66 69 67 5b 73 65 63 74 69 6f 6e 5d 5b 27 64 69 fig[section]['di
0370: 72 27 5d 20 3d 20 63 61 63 68 65 5f 64 69 72 20 r'] = cache_dir
0380: 2b 20 6f 73 2e 73 65 70 20 2b 20 73 65 63 74 69 + os.sep + secti
0390: 6f 6e 0a 09 09 09 74 68 69 73 44 69 72 20 3d 20 on....thisDir =
03a0: 72 65 2e 63 6f 6d 70 69 6c 65 28 27 5e 28 2e 2a re.compile('^(.*
03b0: 29 2f 24 27 29 2e 6d 61 74 63 68 28 63 6f 6e 66 )/$').match(conf
03c0: 69 67 5b 73 65 63 74 69 6f 6e 5d 5b 27 64 69 72 ig[section]['dir
03d0: 27 5d 29 0a 09 09 09 69 66 20 74 68 69 73 44 69 '])....if thisDi
03e0: 72 3a 0a 09 09 09 09 63 6f 6e 66 69 67 5b 73 65 r:.....config[se
03f0: 63 74 69 6f 6e 5d 5b 27 64 69 72 27 5d 20 3d 20 ction]['dir'] =
0400: 74 68 69 73 44 69 72 2e 67 72 6f 75 70 28 31 29 thisDir.group(1)
0410: 0a 09 09 09 69 66 20 6e 6f 74 20 72 65 2e 63 6f ....if not re.co
0420: 6d 70 69 6c 65 28 27 5e 2f 28 2e 2a 29 24 27 29 mpile('^/(.*)$')
0430: 2e 6d 61 74 63 68 28 63 6f 6e 66 69 67 5b 73 65 .match(config[se
0440: 63 74 69 6f 6e 5d 5b 27 64 69 72 27 5d 29 3a 0a ction]['dir']):.
0450: 09 09 09 09 63 6f 6e 66 69 67 5b 73 65 63 74 69 ....config[secti
0460: 6f 6e 5d 5b 27 64 69 72 27 5d 20 3d 20 63 61 63 on]['dir'] = cac
0470: 68 65 5f 64 69 72 20 2b 20 6f 73 2e 73 65 70 20 he_dir + os.sep
0480: 2b 20 63 6f 6e 66 69 67 5b 73 65 63 74 69 6f 6e + config[section
0490: 5d 5b 27 64 69 72 27 5d 0a 09 09 65 6c 73 65 3a ]['dir']...else:
04a0: 0a 09 09 09 63 6f 6e 66 69 67 5b 73 65 63 74 69 ....config[secti
04b0: 6f 6e 5d 5b 27 64 69 72 27 5d 20 3d 20 63 61 63 on]['dir'] = cac
04c0: 68 65 5f 64 69 72 20 2b 20 6f 73 2e 73 65 70 20 he_dir + os.sep
04d0: 2b 20 73 65 63 74 69 6f 6e 0a 0a 09 09 69 66 20 + section....if
04e0: 6e 6f 74 20 27 72 6f 6f 74 27 20 69 6e 20 63 6f not 'root' in co
04f0: 6e 66 69 67 5b 73 65 63 74 69 6f 6e 5d 3a 0a 09 nfig[section]:..
0500: 09 09 63 6f 6e 66 69 67 5b 73 65 63 74 69 6f 6e ..config[section
0510: 5d 5b 27 72 6f 6f 74 27 5d 20 3d 20 73 65 63 74 ]['root'] = sect
0520: 69 6f 6e 0a 0a 23 61 73 73 65 72 74 20 6f 70 74 ion..#assert opt
0530: 69 6f 6e 73 2e 70 6f 72 74 20 6f 72 20 6f 73 2e ions.port or os.
0540: 61 63 63 65 73 73 28 6f 70 74 69 6f 6e 73 2e 6c access(options.l
0550: 6f 67 2c 20 6f 73 2e 52 5f 4f 4b 29 2c 20 27 4c og, os.R_OK), 'L
0560: 6f 67 20 66 69 6c 65 20 75 6e 72 65 61 64 61 62 og file unreadab
0570: 6c 65 27 0a 0a 63 6f 6e 73 74 5f 64 65 73 63 5f le'..const_desc_
0580: 66 69 65 6c 64 73 20 3d 20 73 65 74 28 5b 27 43 fields = set(['C
0590: 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 2c 20 ontent-Length',
05a0: 27 4c 61 73 74 2d 4d 6f 64 69 66 69 65 64 27 2c 'Last-Modified',
05b0: 20 27 50 72 61 67 6d 61 27 5d 29 0a 63 6f 6e 73 'Pragma']).cons
05c0: 74 5f 69 67 6e 6f 72 65 5f 66 69 65 6c 64 73 20 t_ignore_fields
05d0: 3d 20 73 65 74 28 5b 0a 09 27 41 63 63 65 70 74 = set([..'Accept
05e0: 2d 52 61 6e 67 65 73 27 2c 20 27 41 67 65 27 2c -Ranges', 'Age',
05f0: 0a 09 27 43 61 63 68 65 2d 43 6f 6e 74 72 6f 6c ..'Cache-Control
0600: 27 2c 20 27 43 6f 6e 6e 65 63 74 69 6f 6e 27 2c ', 'Connection',
0610: 20 27 43 6f 6e 74 65 6e 74 2d 54 79 70 65 27 2c 'Content-Type',
0620: 0a 09 27 44 61 74 65 27 2c 0a 09 27 45 78 70 69 ..'Date',..'Expi
0630: 72 65 73 27 2c 0a 09 27 52 65 66 65 72 65 72 27 res',..'Referer'
0640: 2c 0a 09 27 53 65 72 76 65 72 27 2c 0a 09 27 56 ,..'Server',..'V
0650: 69 61 27 2c 0a 09 27 58 2d 43 61 63 68 65 27 2c ia',..'X-Cache',
0660: 20 27 58 2d 43 61 63 68 65 2d 4c 6f 6f 6b 75 70 'X-Cache-Lookup
0670: 27 2c 20 27 58 2d 4c 69 76 65 74 6f 6f 6c 27 2c ', 'X-Livetool',
0680: 20 27 58 2d 50 6f 77 65 72 65 64 2d 42 79 27 2c 'X-Powered-By',
0690: 0a 5d 29 0a 0a 62 6c 6f 63 6b 5f 73 69 7a 65 20 .])..block_size
06a0: 3d 20 38 31 39 32 0a 0a 69 6d 70 6f 72 74 20 62 = 8192..import b
06b0: 73 64 64 62 33 2e 64 62 73 68 65 6c 76 65 2c 20 sddb3.dbshelve,
06c0: 63 6f 70 79 2c 20 64 61 74 65 74 69 6d 65 2c 20 copy, datetime,
06d0: 68 74 74 70 2e 73 65 72 76 65 72 2c 20 73 70 61 http.server, spa
06e0: 63 65 6d 61 70 2c 20 75 72 6c 6c 69 62 2e 72 65 cemap, urllib.re
06f0: 71 75 65 73 74 2c 20 75 72 6c 6c 69 62 2e 65 72 quest, urllib.er
0700: 72 6f 72 0a 0a 63 6c 61 73 73 20 4d 79 52 65 71 ror..class MyReq
0710: 75 65 73 74 48 61 6e 64 6c 65 72 28 68 74 74 70 uestHandler(http
0720: 2e 73 65 72 76 65 72 2e 42 61 73 65 48 54 54 50 .server.BaseHTTP
0730: 52 65 71 75 65 73 74 48 61 6e 64 6c 65 72 29 3a RequestHandler):
0740: 0a 09 64 65 66 20 5f 5f 70 72 6f 63 65 73 73 28 ..def __process(
0750: 73 65 6c 66 29 3a 0a 09 09 23 20 72 65 6c 6f 61 self):...# reloa
0760: 64 20 6d 65 61 6e 73 20 66 69 6c 65 20 6e 65 65 d means file nee
0770: 64 73 20 74 6f 20 62 65 20 72 65 6c 6f 61 64 65 ds to be reloade
0780: 64 20 74 6f 20 73 65 72 76 65 20 72 65 71 75 65 d to serve reque
0790: 73 74 0a 09 09 72 65 6c 6f 61 64 20 3d 20 46 61 st...reload = Fa
07a0: 6c 73 65 0a 09 09 23 20 72 65 63 68 65 63 6b 20 lse...# recheck
07b0: 6d 65 61 6e 73 20 66 69 6c 65 20 6e 65 65 64 73 means file needs
07c0: 20 74 6f 20 62 65 20 63 68 65 63 6b 65 64 2c 20 to be checked,
07d0: 74 68 69 73 20 61 6c 73 6f 20 6d 65 61 6e 73 20 this also means
07e0: 74 68 61 74 20 69 66 20 66 69 6c 65 20 68 61 76 that if file hav
07f0: 20 62 65 65 6e 20 6d 6f 64 69 66 69 65 64 20 77 been modified w
0800: 65 20 63 61 6e 20 73 65 72 76 65 20 6f 6c 64 65 e can serve olde
0810: 72 20 63 6f 70 79 0a 09 09 72 65 63 68 65 63 6b r copy...recheck
0820: 20 3d 20 46 61 6c 73 65 0a 09 09 23 20 66 69 6c = False...# fil
0830: 65 5f 73 74 61 74 20 6d 65 61 6e 73 20 66 69 6c e_stat means fil
0840: 65 20 64 65 66 69 6e 69 74 65 6c 79 20 65 78 69 e definitely exi
0850: 73 74 73 0a 09 09 66 69 6c 65 5f 73 74 61 74 20 sts...file_stat
0860: 3d 20 4e 6f 6e 65 0a 09 09 23 20 72 65 71 75 65 = None...# reque
0870: 73 74 65 64 5f 72 61 6e 67 65 73 20 68 6f 6c 64 sted_ranges hold
0880: 73 20 64 61 74 61 20 61 62 6f 75 74 20 61 6e 79 s data about any
0890: 20 72 61 6e 67 65 20 72 65 71 75 65 73 74 65 64 range requested
08a0: 0a 09 09 72 65 71 75 65 73 74 65 64 5f 72 61 6e ...requested_ran
08b0: 67 65 73 20 3d 20 4e 6f 6e 65 0a 09 09 23 20 72 ges = None...# r
08c0: 65 63 6f 72 64 73 20 68 6f 6c 64 73 20 64 61 74 ecords holds dat
08d0: 61 20 66 72 6f 6d 20 69 6e 64 65 78 20 6c 6f 63 a from index loc
08e0: 61 6c 6c 79 2c 20 73 68 6f 75 6c 64 20 62 65 20 ally, should be
08f0: 77 72 69 74 74 65 6e 20 62 61 63 6b 20 75 70 6f written back upo
0900: 6e 20 73 75 63 63 65 73 73 66 75 6c 6c 20 63 6f n successfull co
0910: 6d 70 6c 65 74 69 6f 6e 0a 09 09 72 65 63 6f 72 mpletion...recor
0920: 64 20 3d 20 4e 6f 6e 65 0a 0a 09 09 6d 79 50 61 d = None....myPa
0930: 74 68 20 3d 20 72 65 2e 63 6f 6d 70 69 6c 65 28 th = re.compile(
0940: 27 5e 28 2e 2a 3f 29 28 5c 3f 2e 2a 29 24 27 29 '^(.*?)(\?.*)$')
0950: 2e 6d 61 74 63 68 28 73 65 6c 66 2e 70 61 74 68 .match(self.path
0960: 29 0a 09 09 69 66 20 6d 79 50 61 74 68 3a 0a 09 )...if myPath:..
0970: 09 09 6d 79 5f 70 61 74 68 20 3d 20 6d 79 50 61 ..my_path = myPa
0980: 74 68 2e 67 72 6f 75 70 28 31 29 0a 09 09 65 6c th.group(1)...el
0990: 73 65 3a 0a 09 09 09 6d 79 5f 70 61 74 68 20 3d se:....my_path =
09a0: 20 73 65 6c 66 2e 70 61 74 68 0a 0a 09 09 63 6f self.path....co
09b0: 6e 66 69 67 5f 68 6f 73 74 20 3d 20 63 6f 6e 66 nfig_host = conf
09c0: 69 67 5b 73 65 6c 66 2e 68 65 61 64 65 72 73 5b ig[self.headers[
09d0: 27 48 6f 73 74 27 5d 5d 0a 0a 09 09 69 66 20 63 'Host']]....if c
09e0: 6f 6e 66 69 67 5f 68 6f 73 74 5b 27 73 75 62 27 onfig_host['sub'
09f0: 5d 20 21 3d 20 4e 6f 6e 65 20 61 6e 64 20 63 6f ] != None and co
0a00: 6e 66 69 67 5f 68 6f 73 74 5b 27 73 74 72 69 70 nfig_host['strip
0a10: 27 5d 20 21 3d 20 4e 6f 6e 65 20 61 6e 64 20 6c '] != None and l
0a20: 65 6e 28 63 6f 6e 66 69 67 5f 68 6f 73 74 5b 27 en(config_host['
0a30: 73 74 72 69 70 27 5d 29 20 3e 20 30 3a 0a 09 09 strip']) > 0:...
0a40: 09 73 74 72 69 6e 67 20 3d 20 72 65 2e 63 6f 6d .string = re.com
0a50: 70 69 6c 65 28 63 6f 6e 66 69 67 5f 68 6f 73 74 pile(config_host
0a60: 5b 27 73 74 72 69 70 27 5d 29 2e 73 75 62 28 63 ['strip']).sub(c
0a70: 6f 6e 66 69 67 5f 68 6f 73 74 5b 27 73 75 62 27 onfig_host['sub'
0a80: 5d 2c 20 6d 79 5f 70 61 74 68 29 0a 09 09 09 6d ], my_path)....m
0a90: 79 5f 70 61 74 68 20 3d 20 73 74 72 69 6e 67 0a y_path = string.
0aa0: 0a 09 09 6d 79 5f 70 61 74 68 5f 62 20 3d 20 6d ...my_path_b = m
0ab0: 79 5f 70 61 74 68 2e 65 6e 63 6f 64 65 28 27 75 y_path.encode('u
0ac0: 74 66 2d 38 27 29 0a 09 09 69 6e 66 6f 20 3d 20 tf-8')...info =
0ad0: 27 43 68 65 63 6b 69 6e 67 20 66 69 6c 65 3a 20 'Checking file:
0ae0: 27 20 2b 20 6d 79 5f 70 61 74 68 0a 0a 09 09 69 ' + my_path....i
0af0: 66 20 6e 6f 74 20 6f 73 2e 61 63 63 65 73 73 28 f not os.access(
0b00: 63 6f 6e 66 69 67 5f 68 6f 73 74 5b 27 64 69 72 config_host['dir
0b10: 27 5d 2c 20 6f 73 2e 58 5f 4f 4b 29 3a 0a 09 09 '], os.X_OK):...
0b20: 09 6f 73 2e 6d 6b 64 69 72 28 63 6f 6e 66 69 67 .os.mkdir(config
0b30: 5f 68 6f 73 74 5b 27 64 69 72 27 5d 29 0a 09 09 _host['dir'])...
0b40: 23 20 74 68 69 73 20 69 73 20 66 69 6c 65 20 69 # this is file i
0b50: 6e 64 65 78 20 2d 20 65 76 65 72 79 74 68 69 6e ndex - everythin
0b60: 67 20 69 73 20 73 74 6f 72 65 64 20 69 6e 20 74 g is stored in t
0b70: 68 69 73 20 66 69 6c 65 0a 09 09 23 20 5f 70 61 his file...# _pa
0b80: 72 74 73 20 2d 20 6c 69 73 74 20 6f 66 20 73 74 rts - list of st
0b90: 6f 72 65 64 20 70 61 72 74 73 20 6f 66 20 66 69 ored parts of fi
0ba0: 6c 65 0a 09 09 23 20 5f 74 69 6d 65 20 2d 20 6c le...# _time - l
0bb0: 61 73 74 20 74 69 6d 65 20 74 68 65 20 66 69 6c ast time the fil
0bc0: 65 20 77 61 73 20 63 68 65 63 6b 65 64 0a 09 09 e was checked...
0bd0: 23 20 65 76 65 72 79 74 68 69 6e 67 20 65 6c 73 # everything els
0be0: 65 20 69 73 20 6a 75 73 74 20 74 68 65 20 68 65 e is just the he
0bf0: 61 64 65 72 73 0a 09 09 69 6e 64 65 78 20 3d 20 aders...index =
0c00: 62 73 64 64 62 33 2e 64 62 73 68 65 6c 76 65 2e bsddb3.dbshelve.
0c10: 6f 70 65 6e 28 63 6f 6e 66 69 67 5f 68 6f 73 74 open(config_host
0c20: 5b 27 64 69 72 27 5d 20 2b 20 6f 73 2e 73 65 70 ['dir'] + os.sep
0c30: 20 2b 20 27 2e 69 6e 64 65 78 27 29 0a 0a 09 09 + '.index')....
0c40: 64 65 73 63 5f 66 69 65 6c 64 73 20 3d 20 63 6f desc_fields = co
0c50: 6e 73 74 5f 64 65 73 63 5f 66 69 65 6c 64 73 2e nst_desc_fields.
0c60: 63 6f 70 79 28 29 0a 09 09 69 67 6e 6f 72 65 5f copy()...ignore_
0c70: 66 69 65 6c 64 73 20 3d 20 63 6f 6e 73 74 5f 69 fields = const_i
0c80: 67 6e 6f 72 65 5f 66 69 65 6c 64 73 2e 63 6f 70 gnore_fields.cop
0c90: 79 28 29 0a 09 09 69 66 20 63 6f 6e 66 69 67 5f y()...if config_
0ca0: 68 6f 73 74 5b 27 6e 6f 65 74 61 67 27 5d 20 3d host['noetag'] =
0cb0: 3d 20 27 6e 6f 27 3a 0a 09 09 09 64 65 73 63 5f = 'no':....desc_
0cc0: 66 69 65 6c 64 73 2e 61 64 64 28 27 65 74 61 67 fields.add('etag
0cd0: 27 29 0a 09 09 65 6c 73 65 3a 0a 09 09 09 69 67 ')...else:....ig
0ce0: 6e 6f 72 65 5f 66 69 65 6c 64 73 2e 61 64 64 28 nore_fields.add(
0cf0: 27 65 74 61 67 27 29 0a 0a 09 09 70 72 6f 78 79 'etag')....proxy
0d00: 5f 69 67 6e 6f 72 65 64 20 3d 20 73 65 74 28 5b _ignored = set([
0d10: 0a 09 09 09 27 41 63 63 65 70 74 27 2c 20 27 41 ....'Accept', 'A
0d20: 63 63 65 70 74 2d 43 68 61 72 73 65 74 27 2c 20 ccept-Charset',
0d30: 27 41 63 63 65 70 74 2d 45 6e 63 6f 64 69 6e 67 'Accept-Encoding
0d40: 27 2c 20 27 41 63 63 65 70 74 2d 4c 61 6e 67 75 ', 'Accept-Langu
0d50: 61 67 65 27 2c 0a 09 09 09 27 43 61 63 68 65 2d age',....'Cache-
0d60: 43 6f 6e 74 72 6f 6c 27 2c 20 27 43 6f 6e 6e 65 Control', 'Conne
0d70: 63 74 69 6f 6e 27 2c 20 27 43 6f 6e 74 65 6e 74 ction', 'Content
0d80: 2d 4c 65 6e 67 74 68 27 2c 20 27 43 6f 6f 6b 69 -Length', 'Cooki
0d90: 65 27 2c 0a 09 09 09 27 48 6f 73 74 27 2c 0a 09 e',....'Host',..
0da0: 09 09 27 49 66 2d 4d 6f 64 69 66 69 65 64 2d 53 ..'If-Modified-S
0db0: 69 6e 63 65 27 2c 20 27 49 66 2d 55 6e 6d 6f 64 ince', 'If-Unmod
0dc0: 69 66 69 65 64 2d 53 69 6e 63 65 27 2c 0a 09 09 ified-Since',...
0dd0: 09 27 52 65 66 65 72 65 72 27 2c 0a 09 09 09 27 .'Referer',....'
0de0: 55 61 2d 43 70 75 27 2c 20 27 55 73 65 72 2d 41 Ua-Cpu', 'User-A
0df0: 67 65 6e 74 27 2c 0a 09 09 09 27 56 69 61 27 2c gent',....'Via',
0e00: 0a 09 09 09 27 58 2d 46 6f 72 77 61 72 64 65 64 ....'X-Forwarded
0e10: 2d 46 6f 72 27 2c 20 27 58 2d 4c 61 73 74 2d 48 -For', 'X-Last-H
0e20: 52 27 2c 20 27 58 2d 4c 61 73 74 2d 48 54 54 50 R', 'X-Last-HTTP
0e30: 2d 53 74 61 74 75 73 2d 43 6f 64 65 27 2c 20 27 -Status-Code', '
0e40: 58 2d 4f 6c 64 2d 55 49 44 27 2c 20 27 58 2d 52 X-Old-UID', 'X-R
0e50: 65 6d 6f 76 65 64 27 2c 20 27 58 2d 52 65 61 6c emoved', 'X-Real
0e60: 2d 49 50 27 2c 20 27 58 2d 52 65 74 72 79 2d 43 -IP', 'X-Retry-C
0e70: 6f 75 6e 74 27 2c 0a 09 09 5d 29 0a 0a 09 09 70 ount',...])....p
0e80: 72 69 6e 74 28 27 3d 3d 3d 3d 3d 3d 3d 3d 3d 3d rint('==========
0e90: 3d 3d 3d 3d 3d 5b 20 7b 7d 20 72 65 71 75 65 73 =====[ {} reques
0ea0: 74 20 5d 3d 3d 3d 27 2e 66 6f 72 6d 61 74 28 73 t ]==='.format(s
0eb0: 65 6c 66 2e 63 6f 6d 6d 61 6e 64 29 29 0a 0a 09 elf.command))...
0ec0: 09 66 6f 72 20 68 65 61 64 65 72 20 69 6e 20 73 .for header in s
0ed0: 65 6c 66 2e 68 65 61 64 65 72 73 3a 0a 09 09 09 elf.headers:....
0ee0: 69 66 20 68 65 61 64 65 72 20 69 6e 20 70 72 6f if header in pro
0ef0: 78 79 5f 69 67 6e 6f 72 65 64 3a 0a 09 09 09 09 xy_ignored:.....
0f00: 70 61 73 73 0a 09 09 09 65 6c 69 66 20 68 65 61 pass....elif hea
0f10: 64 65 72 20 69 6e 20 28 27 52 61 6e 67 65 27 29 der in ('Range')
0f20: 3a 0a 09 09 09 09 69 73 52 61 6e 67 65 20 3d 20 :.....isRange =
0f30: 72 65 2e 63 6f 6d 70 69 6c 65 28 27 62 79 74 65 re.compile('byte
0f40: 73 3d 28 5c 64 2b 29 2d 28 5c 64 2b 29 27 29 2e s=(\d+)-(\d+)').
0f50: 6d 61 74 63 68 28 73 65 6c 66 2e 68 65 61 64 65 match(self.heade
0f60: 72 73 5b 68 65 61 64 65 72 5d 29 0a 09 09 09 09 rs[header]).....
0f70: 69 66 20 69 73 52 61 6e 67 65 3a 0a 09 09 09 09 if isRange:.....
0f80: 09 72 65 71 75 65 73 74 65 64 5f 72 61 6e 67 65 .requested_range
0f90: 73 20 3d 20 73 70 61 63 65 6d 61 70 2e 53 70 61 s = spacemap.Spa
0fa0: 63 65 4d 61 70 28 7b 69 6e 74 28 69 73 52 61 6e ceMap({int(isRan
0fb0: 67 65 2e 67 72 6f 75 70 28 31 29 29 3a 20 69 6e ge.group(1)): in
0fc0: 74 28 69 73 52 61 6e 67 65 2e 67 72 6f 75 70 28 t(isRange.group(
0fd0: 32 29 29 20 2b 20 31 7d 29 0a 09 09 09 09 65 6c 2)) + 1}).....el
0fe0: 73 65 3a 0a 09 09 09 09 09 72 65 74 75 72 6e 28 se:......return(
0ff0: 29 0a 09 09 09 65 6c 69 66 20 68 65 61 64 65 72 )....elif header
1000: 20 69 6e 20 28 27 50 72 61 67 6d 61 27 29 3a 0a in ('Pragma'):.
1010: 09 09 09 09 69 66 20 6d 79 5f 70 61 74 68 5f 62 ....if my_path_b
1020: 20 69 6e 20 69 6e 64 65 78 3a 0a 09 09 09 09 09 in index:......
1030: 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5f 62 5d index[my_path_b]
1040: 5b 68 65 61 64 65 72 5d 20 3d 20 73 65 6c 66 2e [header] = self.
1050: 68 65 61 64 65 72 73 5b 68 65 61 64 65 72 5d 0a headers[header].
1060: 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 70 72 69 ...else:.....pri
1070: 6e 74 28 27 55 6e 6b 6e 6f 77 6e 20 68 65 61 64 nt('Unknown head
1080: 65 72 20 2d 20 27 2c 20 68 65 61 64 65 72 2c 20 er - ', header,
1090: 27 3a 20 27 2c 20 73 65 6c 66 2e 68 65 61 64 65 ': ', self.heade
10a0: 72 73 5b 68 65 61 64 65 72 5d 2c 20 73 65 70 3d rs[header], sep=
10b0: 27 27 29 0a 09 09 09 09 72 65 74 75 72 6e 28 29 '').....return()
10c0: 0a 09 09 09 70 72 69 6e 74 28 68 65 61 64 65 72 ....print(header
10d0: 2c 20 73 65 6c 66 2e 68 65 61 64 65 72 73 5b 68 , self.headers[h
10e0: 65 61 64 65 72 5d 29 0a 0a 09 09 23 20 63 72 65 eader])....# cre
10f0: 61 74 69 6e 67 20 66 69 6c 65 20 6e 61 6d 65 20 ating file name
1100: 66 72 6f 6d 20 6d 79 5f 70 61 74 68 0a 09 09 66 from my_path...f
1110: 69 6c 65 5f 6e 61 6d 65 20 3d 20 63 6f 6e 66 69 ile_name = confi
1120: 67 5f 68 6f 73 74 5b 27 64 69 72 27 5d 20 2b 20 g_host['dir'] +
1130: 6f 73 2e 73 65 70 20 2b 20 72 65 2e 63 6f 6d 70 os.sep + re.comp
1140: 69 6c 65 28 27 25 32 30 27 29 2e 73 75 62 28 27 ile('%20').sub('
1150: 20 27 2c 20 6d 79 5f 70 61 74 68 29 0a 09 09 23 ', my_path)...#
1160: 20 70 61 72 74 69 61 6c 20 66 69 6c 65 20 6f 72 partial file or
1170: 20 75 6e 66 69 6e 69 73 68 65 64 20 64 6f 77 6e unfinished down
1180: 6c 6f 61 64 0a 09 09 74 65 6d 70 5f 6e 61 6d 65 load...temp_name
1190: 20 3d 20 63 6f 6e 66 69 67 5f 68 6f 73 74 5b 27 = config_host['
11a0: 64 69 72 27 5d 20 2b 20 6f 73 2e 73 65 70 20 2b dir'] + os.sep +
11b0: 20 27 2e 70 61 72 74 73 27 20 2b 20 72 65 2e 63 '.parts' + re.c
11c0: 6f 6d 70 69 6c 65 28 27 25 32 30 27 29 2e 73 75 ompile('%20').su
11d0: 62 28 27 20 27 2c 20 6d 79 5f 70 61 74 68 29 0a b(' ', my_path).
11e0: 0a 09 09 23 20 63 72 65 61 74 69 6e 67 20 65 6d ...# creating em
11f0: 70 74 79 20 70 6c 61 63 65 68 6f 6c 64 65 72 20 pty placeholder
1200: 69 6e 20 69 6e 64 65 78 0a 09 09 23 20 69 66 20 in index...# if
1210: 74 68 65 72 65 27 73 20 6e 6f 20 73 70 61 63 65 there's no space
1220: 20 6d 61 70 20 61 6e 64 20 74 68 65 72 65 27 73 map and there's
1230: 20 6e 6f 20 66 69 6c 65 20 69 6e 20 72 65 61 6c no file in real
1240: 20 64 69 72 65 63 74 6f 72 79 20 2d 20 77 65 20 directory - we
1250: 68 61 76 65 20 6e 6f 20 66 69 6c 65 0a 09 09 23 have no file...#
1260: 20 69 66 20 74 68 65 72 65 27 73 20 61 6e 20 65 if there's an e
1270: 6d 70 74 79 20 73 70 61 63 65 20 6d 61 70 20 2d mpty space map -
1280: 20 66 69 6c 65 20 69 73 20 66 75 6c 6c 0a 09 09 file is full...
1290: 23 20 73 70 61 63 65 20 6d 61 70 20 67 65 6e 65 # space map gene
12a0: 72 61 6c 6c 79 20 63 6f 76 65 72 73 20 65 76 65 rally covers eve
12b0: 72 79 20 62 69 74 20 6f 66 20 66 69 6c 65 20 77 ry bit of file w
12c0: 65 20 64 6f 6e 27 74 20 70 6f 73 65 73 73 20 63 e don't posess c
12d0: 75 72 72 65 6e 74 6c 79 0a 09 09 69 66 20 6e 6f urrently...if no
12e0: 74 20 6d 79 5f 70 61 74 68 5f 62 20 69 6e 20 69 t my_path_b in i
12f0: 6e 64 65 78 3a 0a 09 09 09 69 6e 66 6f 20 2b 3d ndex:....info +=
1300: 20 27 5c 6e 54 68 69 73 20 6f 6e 65 20 69 73 20 '\nThis one is
1310: 6e 65 77 2e 27 0a 09 09 09 72 65 6c 6f 61 64 20 new.'....reload
1320: 3d 20 54 72 75 65 0a 09 09 09 72 65 63 6f 72 64 = True....record
1330: 20 3d 20 7b 7d 0a 09 09 65 6c 73 65 3a 0a 09 09 = {}...else:...
1340: 09 23 20 66 6f 72 63 69 62 6c 79 20 63 68 65 63 .# forcibly chec
1350: 6b 69 6e 67 20 66 69 6c 65 20 69 66 20 6e 6f 20 king file if no
1360: 66 69 6c 65 20 70 72 65 73 65 6e 74 0a 09 09 09 file present....
1370: 72 65 63 6f 72 64 20 3d 20 69 6e 64 65 78 5b 6d record = index[m
1380: 79 5f 70 61 74 68 5f 62 5d 0a 09 09 09 69 66 20 y_path_b]....if
1390: 6f 73 2e 61 63 63 65 73 73 28 66 69 6c 65 5f 6e os.access(file_n
13a0: 61 6d 65 2c 20 6f 73 2e 52 5f 4f 4b 29 3a 0a 09 ame, os.R_OK):..
13b0: 09 09 09 69 6e 66 6f 20 2b 3d 20 27 5c 6e 46 75 ...info += '\nFu
13c0: 6c 6c 20 66 69 6c 65 20 66 6f 75 6e 64 2e 27 0a ll file found.'.
13d0: 09 09 09 09 66 69 6c 65 5f 73 74 61 74 20 3d 20 ....file_stat =
13e0: 6f 73 2e 73 74 61 74 28 66 69 6c 65 5f 6e 61 6d os.stat(file_nam
13f0: 65 29 0a 09 09 09 65 6c 69 66 20 27 5f 70 61 72 e)....elif '_par
1400: 74 73 27 20 69 6e 20 69 6e 64 65 78 5b 6d 79 5f ts' in index[my_
1410: 70 61 74 68 5f 62 5d 20 61 6e 64 20 6f 73 2e 61 path_b] and os.a
1420: 63 63 65 73 73 28 74 65 6d 70 5f 6e 61 6d 65 2c ccess(temp_name,
1430: 20 6f 73 2e 52 5f 4f 4b 29 3a 0a 09 09 09 09 69 os.R_OK):.....i
1440: 6e 66 6f 20 2b 3d 20 27 5c 6e 50 61 72 74 69 61 nfo += '\nPartia
1450: 6c 20 66 69 6c 65 20 66 6f 75 6e 64 2e 27 0a 09 l file found.'..
1460: 09 09 09 66 69 6c 65 5f 73 74 61 74 20 3d 20 6f ...file_stat = o
1470: 73 2e 73 74 61 74 28 74 65 6d 70 5f 6e 61 6d 65 s.stat(temp_name
1480: 29 0a 09 09 09 09 72 65 63 68 65 63 6b 20 3d 20 ).....recheck =
1490: 54 72 75 65 0a 09 09 09 65 6c 73 65 3a 0a 09 09 True....else:...
14a0: 09 09 69 6e 66 6f 20 2b 3d 20 27 5c 6e 46 69 6c ..info += '\nFil
14b0: 65 20 6e 6f 74 20 66 6f 75 6e 64 20 6f 72 20 69 e not found or i
14c0: 6e 61 63 63 65 73 73 69 62 6c 65 2e 27 0a 09 09 naccessible.'...
14d0: 09 09 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 ..record['_parts
14e0: 27 5d 20 3d 20 4e 6f 6e 65 0a 09 09 09 09 72 65 '] = None.....re
14f0: 6c 6f 61 64 20 3d 20 54 72 75 65 0a 0a 09 09 69 load = True....i
1500: 66 20 6e 6f 74 20 27 5f 70 61 72 74 73 27 20 69 f not '_parts' i
1510: 6e 20 72 65 63 6f 72 64 3a 0a 09 09 09 72 65 63 n record:....rec
1520: 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d 20 3d 20 ord['_parts'] =
1530: 4e 6f 6e 65 0a 0a 09 09 69 66 20 72 65 63 6f 72 None....if recor
1540: 64 5b 27 5f 70 61 72 74 73 27 5d 20 3d 3d 20 4e d['_parts'] == N
1550: 6f 6e 65 3a 0a 09 09 09 72 65 63 68 65 63 6b 20 one:....recheck
1560: 3d 20 54 72 75 65 0a 0a 09 09 23 20 66 6f 72 63 = True....# forc
1570: 69 62 6c 79 20 63 68 65 63 6b 69 6e 67 20 66 69 ibly checking fi
1580: 6c 65 20 69 66 20 66 69 6c 65 20 73 69 7a 65 20 le if file size
1590: 64 6f 65 73 6e 27 74 20 6d 61 74 63 68 20 77 69 doesn't match wi
15a0: 74 68 20 69 6e 64 65 78 20 64 61 74 61 0a 09 09 th index data...
15b0: 69 66 20 6e 6f 74 20 72 65 6c 6f 61 64 3a 0a 09 if not reload:..
15c0: 09 09 69 66 20 27 5f 70 61 72 74 73 27 20 69 6e ..if '_parts' in
15d0: 20 72 65 63 6f 72 64 20 61 6e 64 20 72 65 63 6f record and reco
15e0: 72 64 5b 27 5f 70 61 72 74 73 27 5d 20 3d 3d 20 rd['_parts'] ==
15f0: 73 70 61 63 65 6d 61 70 2e 53 70 61 63 65 4d 61 spacemap.SpaceMa
1600: 70 28 29 3a 0a 09 09 09 09 69 66 20 27 63 6f 6e p():.....if 'con
1610: 74 65 6e 74 2d 6c 65 6e 67 74 68 27 20 69 6e 20 tent-length' in
1620: 72 65 63 6f 72 64 20 61 6e 64 20 66 69 6c 65 5f record and file_
1630: 73 74 61 74 20 61 6e 64 20 66 69 6c 65 5f 73 74 stat and file_st
1640: 61 74 2e 73 74 5f 73 69 7a 65 20 21 3d 20 69 6e at.st_size != in
1650: 74 28 72 65 63 6f 72 64 5b 27 63 6f 6e 74 65 6e t(record['conten
1660: 74 2d 6c 65 6e 67 74 68 27 5d 29 3a 0a 09 09 09 t-length']):....
1670: 09 09 69 6e 66 6f 20 2b 3d 20 27 5c 6e 46 69 6c ..info += '\nFil
1680: 65 20 73 69 7a 65 20 69 73 20 7b 7d 20 61 6e 64 e size is {} and
1690: 20 73 74 6f 72 65 64 20 66 69 6c 65 20 73 69 7a stored file siz
16a0: 65 20 69 73 20 7b 7d 2e 27 2e 66 6f 72 6d 61 74 e is {}.'.format
16b0: 28 66 69 6c 65 5f 73 74 61 74 2e 73 74 5f 73 69 (file_stat.st_si
16c0: 7a 65 2c 20 72 65 63 6f 72 64 5b 27 63 6f 6e 74 ze, record['cont
16d0: 65 6e 74 2d 6c 65 6e 67 74 68 27 5d 29 0a 09 09 ent-length'])...
16e0: 09 09 09 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 ...record['_part
16f0: 73 27 5d 20 3d 20 4e 6f 6e 65 0a 09 09 09 09 09 s'] = None......
1700: 72 65 6c 6f 61 64 20 3d 20 54 72 75 65 0a 0a 09 reload = True...
1710: 09 23 20 66 6f 72 63 69 62 6c 79 20 63 68 65 63 .# forcibly chec
1720: 6b 69 6e 67 20 66 69 6c 65 20 69 66 20 69 6e 64 king file if ind
1730: 65 78 20 68 6f 6c 64 73 20 50 72 61 67 6d 61 20 ex holds Pragma
1740: 68 65 61 64 65 72 0a 09 09 69 66 20 6e 6f 74 20 header...if not
1750: 72 65 6c 6f 61 64 20 61 6e 64 20 27 70 72 61 67 reload and 'prag
1760: 6d 61 27 20 69 6e 20 72 65 63 6f 72 64 20 61 6e ma' in record an
1770: 64 20 72 65 63 6f 72 64 5b 27 70 72 61 67 6d 61 d record['pragma
1780: 27 5d 20 3d 3d 20 27 6e 6f 2d 63 61 63 68 65 27 '] == 'no-cache'
1790: 3a 0a 09 09 09 69 6e 66 6f 20 2b 3d 27 5c 6e 50 :....info +='\nP
17a0: 72 61 67 6d 61 20 6f 6e 3a 20 72 65 63 68 65 63 ragma on: rechec
17b0: 6b 20 69 6d 6d 69 6e 65 6e 74 2e 27 0a 09 09 09 k imminent.'....
17c0: 72 65 63 68 65 63 6b 20 3d 20 54 72 75 65 0a 0a recheck = True..
17d0: 09 09 23 20 73 6b 69 70 70 69 6e 67 20 66 69 6c ..# skipping fil
17e0: 65 20 70 72 6f 63 65 73 73 69 6e 67 20 69 66 20 e processing if
17f0: 74 68 65 72 65 27 73 20 6e 6f 20 6e 65 65 64 20 there's no need
1800: 74 6f 20 72 65 63 68 65 63 6b 20 69 74 20 61 6e to recheck it an
1810: 64 20 77 65 20 68 61 76 65 20 63 68 65 63 6b 65 d we have checke
1820: 64 20 69 74 20 61 74 20 6c 65 61 73 74 20 34 20 d it at least 4
1830: 68 6f 75 72 73 20 61 67 6f 0a 09 09 69 66 20 6e hours ago...if n
1840: 6f 74 20 72 65 63 68 65 63 6b 20 61 6e 64 20 6e ot recheck and n
1850: 6f 74 20 72 65 6c 6f 61 64 20 61 6e 64 20 27 5f ot reload and '_
1860: 74 69 6d 65 27 20 69 6e 20 72 65 63 6f 72 64 20 time' in record
1870: 61 6e 64 20 28 72 65 63 6f 72 64 5b 27 5f 74 69 and (record['_ti
1880: 6d 65 27 5d 20 2d 20 64 61 74 65 74 69 6d 65 2e me'] - datetime.
1890: 64 61 74 65 74 69 6d 65 2e 6e 6f 77 28 29 20 2b datetime.now() +
18a0: 20 64 61 74 65 74 69 6d 65 2e 74 69 6d 65 64 65 datetime.timede
18b0: 6c 74 61 28 68 6f 75 72 73 20 3d 20 34 29 29 2e lta(hours = 4)).
18c0: 64 61 79 73 20 3c 20 30 3a 0a 09 09 09 69 6e 66 days < 0:....inf
18d0: 6f 20 2b 3d 20 27 5c 6e 46 69 6c 65 20 69 73 20 o += '\nFile is
18e0: 6f 6c 64 20 2d 20 72 65 63 68 65 63 6b 69 6e 67 old - rechecking
18f0: 2e 27 0a 09 09 09 72 65 63 68 65 63 6b 20 3d 20 .'....recheck =
1900: 54 72 75 65 0a 0a 09 09 70 72 69 6e 74 28 69 6e True....print(in
1910: 66 6f 29 0a 09 09 69 66 20 72 65 6c 6f 61 64 20 fo)...if reload
1920: 6f 72 20 72 65 63 68 65 63 6b 3a 0a 0a 09 09 09 or recheck:.....
1930: 74 72 79 3a 0a 09 09 09 09 72 65 71 75 65 73 74 try:.....request
1940: 20 3d 20 63 6f 6e 66 69 67 5f 68 6f 73 74 5b 27 = config_host['
1950: 70 72 6f 74 6f 27 5d 20 2b 20 27 3a 2f 2f 27 20 proto'] + '://'
1960: 2b 20 63 6f 6e 66 69 67 5f 68 6f 73 74 5b 27 72 + config_host['r
1970: 6f 6f 74 27 5d 20 2b 20 73 65 6c 66 2e 70 61 74 oot'] + self.pat
1980: 68 0a 09 09 09 09 6d 79 5f 68 65 61 64 65 72 73 h.....my_headers
1990: 20 3d 20 7b 7d 0a 09 09 09 09 66 6f 72 20 68 65 = {}.....for he
19a0: 61 64 65 72 20 69 6e 20 28 27 41 63 63 65 70 74 ader in ('Accept
19b0: 27 2c 20 27 43 61 63 68 65 2d 43 6f 6e 74 72 6f ', 'Cache-Contro
19c0: 6c 27 2c 20 27 43 6f 6f 6b 69 65 27 2c 20 27 52 l', 'Cookie', 'R
19d0: 65 66 65 72 65 72 27 2c 20 27 55 73 65 72 2d 41 eferer', 'User-A
19e0: 67 65 6e 74 27 29 3a 0a 09 09 09 09 09 69 66 20 gent'):......if
19f0: 68 65 61 64 65 72 20 69 6e 20 73 65 6c 66 2e 68 header in self.h
1a00: 65 61 64 65 72 73 3a 0a 09 09 09 09 09 09 6d 79 eaders:.......my
1a10: 5f 68 65 61 64 65 72 73 5b 68 65 61 64 65 72 5d _headers[header]
1a20: 20 3d 20 73 65 6c 66 2e 68 65 61 64 65 72 73 5b = self.headers[
1a30: 68 65 61 64 65 72 5d 0a 0a 09 09 09 09 6e 65 65 header]......nee
1a40: 64 65 64 20 3d 20 4e 6f 6e 65 0a 09 09 09 09 69 ded = None.....i
1a50: 66 20 73 65 6c 66 2e 63 6f 6d 6d 61 6e 64 20 6e f self.command n
1a60: 6f 74 20 69 6e 20 28 27 48 45 41 44 27 29 3a 0a ot in ('HEAD'):.
1a70: 09 09 09 09 09 69 66 20 27 5f 70 61 72 74 73 27 .....if '_parts'
1a80: 20 69 6e 20 72 65 63 6f 72 64 20 61 6e 64 20 72 in record and r
1a90: 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d 20 ecord['_parts']
1aa0: 21 3d 20 4e 6f 6e 65 3a 0a 09 09 09 09 09 09 69 != None:.......i
1ab0: 66 20 63 6f 6e 66 69 67 5f 68 6f 73 74 5b 27 6e f config_host['n
1ac0: 6f 70 61 72 74 73 27 5d 20 21 3d 20 27 6e 6f 27 oparts'] != 'no'
1ad0: 20 6f 72 20 72 65 71 75 65 73 74 65 64 5f 72 61 or requested_ra
1ae0: 6e 67 65 73 20 3d 3d 20 4e 6f 6e 65 20 6f 72 20 nges == None or
1af0: 72 65 71 75 65 73 74 65 64 5f 72 61 6e 67 65 73 requested_ranges
1b00: 20 3d 3d 20 73 70 61 63 65 6d 61 70 2e 53 70 61 == spacemap.Spa
1b10: 63 65 4d 61 70 28 29 3a 0a 09 09 09 09 09 09 09 ceMap():........
1b20: 6e 65 65 64 65 64 20 3d 20 72 65 63 6f 72 64 5b needed = record[
1b30: 27 5f 70 61 72 74 73 27 5d 0a 09 09 09 09 09 09 '_parts'].......
1b40: 65 6c 73 65 3a 0a 09 09 09 09 09 09 09 6e 65 65 else:........nee
1b50: 64 65 64 20 3d 20 72 65 63 6f 72 64 5b 27 5f 70 ded = record['_p
1b60: 61 72 74 73 27 5d 20 26 20 72 65 71 75 65 73 74 arts'] & request
1b70: 65 64 5f 72 61 6e 67 65 73 0a 09 09 09 09 09 65 ed_ranges......e
1b80: 6c 69 66 20 63 6f 6e 66 69 67 5f 68 6f 73 74 5b lif config_host[
1b90: 27 6e 6f 70 61 72 74 73 27 5d 20 3d 3d 27 6e 6f 'noparts'] =='no
1ba0: 27 20 61 6e 64 20 72 65 71 75 65 73 74 65 64 5f ' and requested_
1bb0: 72 61 6e 67 65 73 20 21 3d 20 4e 6f 6e 65 20 61 ranges != None a
1bc0: 6e 64 20 72 65 71 75 65 73 74 65 64 5f 72 61 6e nd requested_ran
1bd0: 67 65 73 20 21 3d 20 73 70 61 63 65 6d 61 70 2e ges != spacemap.
1be0: 53 70 61 63 65 4d 61 70 28 29 3a 0a 09 09 09 09 SpaceMap():.....
1bf0: 09 09 6e 65 65 64 65 64 20 3d 20 72 65 71 75 65 ..needed = reque
1c00: 73 74 65 64 5f 72 61 6e 67 65 73 0a 09 09 09 09 sted_ranges.....
1c10: 09 72 61 6e 67 65 73 20 3d 20 28 29 0a 09 09 09 .ranges = ()....
1c20: 09 09 70 72 69 6e 74 28 27 4d 69 73 73 69 6e 67 ..print('Missing
1c30: 20 72 61 6e 67 65 73 3a 20 7b 7d 2c 20 72 65 71 ranges: {}, req
1c40: 75 65 73 74 65 64 20 72 61 6e 67 65 73 3a 20 7b uested ranges: {
1c50: 7d 2c 20 6e 65 65 64 65 64 20 72 61 6e 67 65 73 }, needed ranges
1c60: 3a 20 7b 7d 2e 27 2e 66 6f 72 6d 61 74 28 72 65 : {}.'.format(re
1c70: 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d 2c 20 cord['_parts'],
1c80: 72 65 71 75 65 73 74 65 64 5f 72 61 6e 67 65 73 requested_ranges
1c90: 2c 20 6e 65 65 64 65 64 29 29 0a 09 09 09 09 09 , needed))......
1ca0: 69 66 20 6e 65 65 64 65 64 20 21 3d 20 4e 6f 6e if needed != Non
1cb0: 65 20 61 6e 64 20 6c 65 6e 28 6e 65 65 64 65 64 e and len(needed
1cc0: 29 20 3e 20 30 3a 0a 09 09 09 09 09 09 6e 65 65 ) > 0:.......nee
1cd0: 64 65 64 2e 72 65 77 69 6e 64 28 29 0a 09 09 09 ded.rewind()....
1ce0: 09 09 09 77 68 69 6c 65 20 54 72 75 65 3a 0a 09 ...while True:..
1cf0: 09 09 09 09 09 09 72 61 6e 67 65 20 3d 20 6e 65 ......range = ne
1d00: 65 64 65 64 2e 70 6f 70 28 29 0a 09 09 09 09 09 eded.pop()......
1d10: 09 09 69 66 20 72 61 6e 67 65 5b 30 5d 20 3d 3d ..if range[0] ==
1d20: 20 4e 6f 6e 65 3a 0a 09 09 09 09 09 09 09 09 62 None:.........b
1d30: 72 65 61 6b 0a 09 09 09 09 09 09 09 72 61 6e 67 reak........rang
1d40: 65 73 20 2b 3d 20 27 7b 7d 2d 7b 7d 27 2e 66 6f es += '{}-{}'.fo
1d50: 72 6d 61 74 28 72 61 6e 67 65 5b 30 5d 2c 20 72 rmat(range[0], r
1d60: 61 6e 67 65 5b 31 5d 20 2d 20 31 29 2c 0a 09 09 ange[1] - 1),...
1d70: 09 09 09 09 6d 79 5f 68 65 61 64 65 72 73 5b 27 ....my_headers['
1d80: 52 61 6e 67 65 27 5d 20 3d 20 27 62 79 74 65 73 Range'] = 'bytes
1d90: 3d 27 20 2b 20 27 2c 27 2e 6a 6f 69 6e 28 72 61 =' + ','.join(ra
1da0: 6e 67 65 73 29 0a 0a 09 09 09 09 6d 79 5f 68 65 nges)......my_he
1db0: 61 64 65 72 73 5b 27 41 63 63 65 70 74 2d 45 6e aders['Accept-En
1dc0: 63 6f 64 69 6e 67 27 5d 20 3d 20 27 67 7a 69 70 coding'] = 'gzip
1dd0: 2c 20 63 6f 6d 70 72 65 73 73 2c 20 64 65 66 6c , compress, defl
1de0: 61 74 65 2c 20 69 64 65 6e 74 69 74 79 3b 20 71 ate, identity; q
1df0: 3d 30 27 0a 09 09 09 09 72 65 71 75 65 73 74 20 =0'.....request
1e00: 3d 20 75 72 6c 6c 69 62 2e 72 65 71 75 65 73 74 = urllib.request
1e10: 2e 52 65 71 75 65 73 74 28 72 65 71 75 65 73 74 .Request(request
1e20: 2c 20 68 65 61 64 65 72 73 20 3d 20 6d 79 5f 68 , headers = my_h
1e30: 65 61 64 65 72 73 29 0a 0a 09 09 09 09 73 6f 75 eaders)......sou
1e40: 72 63 65 20 3d 20 75 72 6c 6c 69 62 2e 72 65 71 rce = urllib.req
1e50: 75 65 73 74 2e 75 72 6c 6f 70 65 6e 28 72 65 71 uest.urlopen(req
1e60: 75 65 73 74 2c 20 74 69 6d 65 6f 75 74 20 3d 20 uest, timeout =
1e70: 36 30 29 0a 09 09 09 09 6e 65 77 5f 72 65 63 6f 60).....new_reco
1e80: 72 64 20 3d 20 7b 7d 0a 09 09 09 09 6e 65 77 5f rd = {}.....new_
1e90: 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d record['_parts']
1ea0: 20 3d 20 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 = record['_part
1eb0: 73 27 5d 0a 09 09 09 09 68 65 61 64 65 72 73 20 s'].....headers
1ec0: 3d 20 73 6f 75 72 63 65 2e 69 6e 66 6f 28 29 0a = source.info().
1ed0: 0a 09 09 09 09 69 66 20 27 43 6f 6e 74 65 6e 74 .....if 'Content
1ee0: 2d 45 6e 63 6f 64 69 6e 67 27 20 69 6e 20 68 65 -Encoding' in he
1ef0: 61 64 65 72 73 20 61 6e 64 20 68 65 61 64 65 72 aders and header
1f00: 73 5b 27 43 6f 6e 74 65 6e 74 2d 45 6e 63 6f 64 s['Content-Encod
1f10: 69 6e 67 27 5d 20 3d 3d 20 27 67 7a 69 70 27 3a ing'] == 'gzip':
1f20: 0a 09 09 09 09 09 69 6d 70 6f 72 74 20 67 7a 69 ......import gzi
1f30: 70 0a 09 09 09 09 09 73 6f 75 72 63 65 20 3d 20 p......source =
1f40: 67 7a 69 70 2e 47 7a 69 70 46 69 6c 65 28 66 69 gzip.GzipFile(fi
1f50: 6c 65 6f 62 6a 3d 73 6f 75 72 63 65 29 0a 0a 09 leobj=source)...
1f60: 09 09 09 23 20 73 74 72 69 70 70 69 6e 67 20 75 ...# stripping u
1f70: 6e 6e 65 65 64 65 64 20 68 65 61 64 65 72 73 20 nneeded headers
1f80: 28 58 58 58 20 6d 61 6b 65 20 74 68 69 73 20 69 (XXX make this i
1f90: 6e 70 6c 61 63 65 3f 29 0a 09 09 09 09 66 6f 72 nplace?).....for
1fa0: 20 68 65 61 64 65 72 20 69 6e 20 68 65 61 64 65 header in heade
1fb0: 72 73 3a 0a 09 09 09 09 09 69 66 20 68 65 61 64 rs:......if head
1fc0: 65 72 20 69 6e 20 64 65 73 63 5f 66 69 65 6c 64 er in desc_field
1fd0: 73 3a 0a 09 09 09 09 09 09 23 69 66 20 68 65 61 s:.......#if hea
1fe0: 64 65 72 20 3d 3d 20 27 50 72 61 67 6d 61 27 20 der == 'Pragma'
1ff0: 61 6e 64 20 68 65 61 64 65 72 73 5b 68 65 61 64 and headers[head
2000: 65 72 5d 20 21 3d 20 27 6e 6f 2d 63 61 63 68 65 er] != 'no-cache
2010: 27 3a 0a 09 09 09 09 09 09 69 66 20 68 65 61 64 ':.......if head
2020: 65 72 20 3d 3d 20 27 43 6f 6e 74 65 6e 74 2d 4c er == 'Content-L
2030: 65 6e 67 74 68 27 3a 0a 09 09 09 09 09 09 09 69 ength':........i
2040: 66 20 27 43 6f 6e 74 65 6e 74 2d 52 61 6e 67 65 f 'Content-Range
2050: 27 20 6e 6f 74 20 69 6e 20 68 65 61 64 65 72 73 ' not in headers
2060: 3a 0a 09 09 09 09 09 09 09 09 6e 65 77 5f 72 65 :.........new_re
2070: 63 6f 72 64 5b 68 65 61 64 65 72 5d 20 3d 20 69 cord[header] = i
2080: 6e 74 28 68 65 61 64 65 72 73 5b 68 65 61 64 65 nt(headers[heade
2090: 72 5d 29 0a 09 09 09 09 09 09 65 6c 73 65 3a 0a r]).......else:.
20a0: 09 09 09 09 09 09 09 6e 65 77 5f 72 65 63 6f 72 .......new_recor
20b0: 64 5b 68 65 61 64 65 72 5d 20 3d 20 68 65 61 64 d[header] = head
20c0: 65 72 73 5b 68 65 61 64 65 72 5d 0a 09 09 09 09 ers[header].....
20d0: 09 65 6c 69 66 20 68 65 61 64 65 72 20 3d 3d 20 .elif header ==
20e0: 27 43 6f 6e 74 65 6e 74 2d 52 61 6e 67 65 27 3a 'Content-Range':
20f0: 0a 09 09 09 09 09 09 72 61 6e 67 65 20 3d 20 72 .......range = r
2100: 65 2e 63 6f 6d 70 69 6c 65 28 27 5e 62 79 74 65 e.compile('^byte
2110: 73 20 28 5c 64 2b 29 2d 28 5c 64 2b 29 2f 28 5c s (\d+)-(\d+)/(\
2120: 64 2b 29 24 27 29 2e 6d 61 74 63 68 28 68 65 61 d+)$').match(hea
2130: 64 65 72 73 5b 68 65 61 64 65 72 5d 29 0a 09 09 ders[header])...
2140: 09 09 09 09 69 66 20 72 61 6e 67 65 3a 0a 09 09 ....if range:...
2150: 09 09 09 09 09 6e 65 77 5f 72 65 63 6f 72 64 5b .....new_record[
2160: 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 'Content-Length'
2170: 5d 20 3d 20 69 6e 74 28 72 61 6e 67 65 2e 67 72 ] = int(range.gr
2180: 6f 75 70 28 33 29 29 0a 09 09 09 09 09 09 65 6c oup(3)).......el
2190: 73 65 3a 09 0a 09 09 09 09 09 09 09 61 73 73 65 se:.........asse
21a0: 72 74 20 46 61 6c 73 65 2c 20 27 43 6f 6e 74 65 rt False, 'Conte
21b0: 6e 74 2d 52 61 6e 67 65 20 75 6e 72 65 63 6f 67 nt-Range unrecog
21c0: 6e 69 7a 65 64 2e 27 0a 09 09 09 09 09 65 6c 69 nized.'......eli
21d0: 66 20 6e 6f 74 20 68 65 61 64 65 72 20 69 6e 20 f not header in
21e0: 69 67 6e 6f 72 65 5f 66 69 65 6c 64 73 3a 0a 09 ignore_fields:..
21f0: 09 09 09 09 09 70 72 69 6e 74 28 27 55 6e 64 65 .....print('Unde
2200: 66 69 6e 65 64 20 68 65 61 64 65 72 20 22 27 2c fined header "',
2210: 20 68 65 61 64 65 72 2c 20 27 22 3a 20 27 2c 20 header, '": ',
2220: 68 65 61 64 65 72 73 5b 68 65 61 64 65 72 5d 2c headers[header],
2230: 20 73 65 70 3d 27 27 29 0a 0a 09 09 09 09 23 20 sep='')......#
2240: 63 6f 6d 70 61 72 69 6e 67 20 68 65 61 64 65 72 comparing header
2250: 73 20 77 69 74 68 20 64 61 74 61 20 66 6f 75 6e s with data foun
2260: 64 20 69 6e 20 69 6e 64 65 78 0a 09 09 09 09 23 d in index.....#
2270: 20 69 66 20 61 6e 79 20 68 65 61 64 65 72 20 68 if any header h
2280: 61 73 20 63 68 61 6e 67 65 64 20 28 65 78 63 65 as changed (exce
2290: 70 74 20 50 72 61 67 6d 61 29 20 66 69 6c 65 20 pt Pragma) file
22a0: 69 73 20 66 75 6c 6c 79 20 64 6f 77 6e 6c 6f 61 is fully downloa
22b0: 64 65 64 0a 09 09 09 09 23 20 73 61 6d 65 20 69 ded.....# same i
22c0: 66 20 77 65 20 67 65 74 20 6d 6f 72 65 20 6f 72 f we get more or
22d0: 20 6c 65 73 73 20 68 65 61 64 65 72 73 0a 09 09 less headers...
22e0: 09 09 6f 6c 64 5f 6b 65 79 73 20 3d 20 73 65 74 ..old_keys = set
22f0: 28 72 65 63 6f 72 64 2e 6b 65 79 73 28 29 29 0a (record.keys()).
2300: 09 09 09 09 6f 6c 64 5f 6b 65 79 73 2e 64 69 73 ....old_keys.dis
2310: 63 61 72 64 28 27 5f 74 69 6d 65 27 29 0a 09 09 card('_time')...
2320: 09 09 6f 6c 64 5f 6b 65 79 73 2e 64 69 73 63 61 ..old_keys.disca
2330: 72 64 28 27 50 72 61 67 6d 61 27 29 0a 09 09 09 rd('Pragma')....
2340: 09 6d 6f 72 65 5f 6b 65 79 73 20 3d 20 73 65 74 .more_keys = set
2350: 28 6e 65 77 5f 72 65 63 6f 72 64 2e 6b 65 79 73 (new_record.keys
2360: 28 29 29 20 2d 20 6f 6c 64 5f 6b 65 79 73 0a 09 ()) - old_keys..
2370: 09 09 09 6d 6f 72 65 5f 6b 65 79 73 2e 64 69 73 ...more_keys.dis
2380: 63 61 72 64 28 27 50 72 61 67 6d 61 27 29 0a 09 card('Pragma')..
2390: 09 09 09 6c 65 73 73 5f 6b 65 79 73 20 3d 20 6f ...less_keys = o
23a0: 6c 64 5f 6b 65 79 73 20 2d 20 73 65 74 28 6e 65 ld_keys - set(ne
23b0: 77 5f 72 65 63 6f 72 64 2e 6b 65 79 73 28 29 29 w_record.keys())
23c0: 0a 09 09 09 09 69 66 20 6c 65 6e 28 6d 6f 72 65 .....if len(more
23d0: 5f 6b 65 79 73 29 20 3e 20 30 3a 0a 09 09 09 09 _keys) > 0:.....
23e0: 09 69 66 20 6c 65 6e 28 6f 6c 64 5f 6b 65 79 73 .if len(old_keys
23f0: 29 20 21 3d 20 30 3a 0a 09 09 09 09 09 09 70 72 ) != 0:.......pr
2400: 69 6e 74 28 27 4d 6f 72 65 20 68 65 61 64 65 72 int('More header
2410: 73 20 61 70 70 65 61 72 3a 27 2c 20 6d 6f 72 65 s appear:', more
2420: 5f 6b 65 79 73 29 0a 09 09 09 09 09 72 65 6c 6f _keys)......relo
2430: 61 64 20 3d 20 54 72 75 65 0a 09 09 09 09 65 6c ad = True.....el
2440: 69 66 20 6c 65 6e 28 6c 65 73 73 5f 6b 65 79 73 if len(less_keys
2450: 29 20 3e 20 30 3a 0a 09 09 09 09 09 70 72 69 6e ) > 0:......prin
2460: 74 28 27 4c 65 73 73 20 68 65 61 64 65 72 73 20 t('Less headers
2470: 61 70 70 65 61 72 3a 27 2c 20 6c 65 73 73 5f 6b appear:', less_k
2480: 65 79 73 29 0a 09 09 09 09 65 6c 73 65 3a 0a 09 eys).....else:..
2490: 09 09 09 09 66 6f 72 20 6b 65 79 20 69 6e 20 72 ....for key in r
24a0: 65 63 6f 72 64 2e 6b 65 79 73 28 29 3a 0a 09 09 ecord.keys():...
24b0: 09 09 09 09 69 66 20 6b 65 79 5b 30 5d 20 21 3d ....if key[0] !=
24c0: 20 27 5f 27 20 61 6e 64 20 6b 65 79 20 21 3d 20 '_' and key !=
24d0: 27 50 72 61 67 6d 61 27 20 61 6e 64 20 72 65 63 'Pragma' and rec
24e0: 6f 72 64 5b 6b 65 79 5d 20 21 3d 20 6e 65 77 5f ord[key] != new_
24f0: 72 65 63 6f 72 64 5b 6b 65 79 5d 3a 0a 09 09 09 record[key]:....
2500: 09 09 09 09 70 72 69 6e 74 28 27 48 65 61 64 65 ....print('Heade
2510: 72 20 22 27 2c 20 6b 65 79 2c 20 27 22 20 63 68 r "', key, '" ch
2520: 61 6e 67 65 64 20 66 72 6f 6d 20 5b 27 2c 20 72 anged from [', r
2530: 65 63 6f 72 64 5b 6b 65 79 5d 2c 20 27 5d 20 74 ecord[key], '] t
2540: 6f 20 5b 27 2c 20 6e 65 77 5f 72 65 63 6f 72 64 o [', new_record
2550: 5b 6b 65 79 5d 2c 20 27 5d 27 2c 20 73 65 70 3d [key], ']', sep=
2560: 27 27 29 0a 09 09 09 09 09 09 09 70 72 69 6e 74 '')........print
2570: 28 74 79 70 65 28 72 65 63 6f 72 64 5b 6b 65 79 (type(record[key
2580: 5d 29 2c 20 74 79 70 65 28 6e 65 77 5f 72 65 63 ]), type(new_rec
2590: 6f 72 64 5b 6b 65 79 5d 29 29 0a 09 09 09 09 09 ord[key]))......
25a0: 09 09 72 65 6c 6f 61 64 20 3d 20 54 72 75 65 0a ..reload = True.
25b0: 0a 09 09 09 09 69 66 20 72 65 6c 6f 61 64 3a 0a .....if reload:.
25c0: 09 09 09 09 09 70 72 69 6e 74 28 27 52 65 6c 6f .....print('Relo
25d0: 61 64 69 6e 67 2e 27 29 0a 09 09 09 09 09 69 66 ading.')......if
25e0: 20 6f 73 2e 61 63 63 65 73 73 28 74 65 6d 70 5f os.access(temp_
25f0: 6e 61 6d 65 2c 20 6f 73 2e 52 5f 4f 4b 29 3a 0a name, os.R_OK):.
2600: 09 09 09 09 09 09 6f 73 2e 75 6e 6c 69 6e 6b 28 ......os.unlink(
2610: 74 65 6d 70 5f 6e 61 6d 65 29 0a 09 09 09 09 09 temp_name)......
2620: 69 66 20 6f 73 2e 61 63 63 65 73 73 28 66 69 6c if os.access(fil
2630: 65 5f 6e 61 6d 65 2c 20 6f 73 2e 52 5f 4f 4b 29 e_name, os.R_OK)
2640: 3a 0a 09 09 09 09 09 09 6f 73 2e 75 6e 6c 69 6e :.......os.unlin
2650: 6b 28 66 69 6c 65 5f 6e 61 6d 65 29 0a 09 09 09 k(file_name)....
2660: 09 09 69 66 20 27 43 6f 6e 74 65 6e 74 2d 4c 65 ..if 'Content-Le
2670: 6e 67 74 68 27 20 69 6e 20 6e 65 77 5f 72 65 63 ngth' in new_rec
2680: 6f 72 64 3a 0a 09 09 09 09 09 09 6e 65 77 5f 72 ord:.......new_r
2690: 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d 20 ecord['_parts']
26a0: 3d 20 73 70 61 63 65 6d 61 70 2e 53 70 61 63 65 = spacemap.Space
26b0: 4d 61 70 28 7b 30 3a 20 69 6e 74 28 6e 65 77 5f Map({0: int(new_
26c0: 72 65 63 6f 72 64 5b 27 43 6f 6e 74 65 6e 74 2d record['Content-
26d0: 4c 65 6e 67 74 68 27 5d 29 7d 29 0a 09 09 09 09 Length'])}).....
26e0: 69 66 20 6e 6f 74 20 6e 65 77 5f 72 65 63 6f 72 if not new_recor
26f0: 64 5b 27 5f 70 61 72 74 73 27 5d 3a 0a 09 09 09 d['_parts']:....
2700: 09 09 6e 65 77 5f 72 65 63 6f 72 64 5b 27 5f 70 ..new_record['_p
2710: 61 72 74 73 27 5d 20 3d 20 73 70 61 63 65 6d 61 arts'] = spacema
2720: 70 2e 53 70 61 63 65 4d 61 70 28 29 0a 09 09 09 p.SpaceMap()....
2730: 09 70 72 69 6e 74 28 6e 65 77 5f 72 65 63 6f 72 .print(new_recor
2740: 64 29 0a 0a 09 09 09 09 23 20 64 6f 77 6e 6c 6f d)......# downlo
2750: 61 64 69 6e 67 20 66 69 6c 65 20 6f 72 20 73 65 ading file or se
2760: 67 6d 65 6e 74 0a 09 09 09 09 69 66 20 27 43 6f gment.....if 'Co
2770: 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 20 69 6e ntent-Length' in
2780: 20 6e 65 77 5f 72 65 63 6f 72 64 3a 0a 09 09 09 new_record:....
2790: 09 09 69 66 20 6e 65 65 64 65 64 20 3d 3d 20 4e ..if needed == N
27a0: 6f 6e 65 3a 0a 09 09 09 09 09 09 6e 65 65 64 65 one:.......neede
27b0: 64 20 3d 20 6e 65 77 5f 72 65 63 6f 72 64 5b 27 d = new_record['
27c0: 5f 70 61 72 74 73 27 5d 0a 09 09 09 09 09 65 6c _parts']......el
27d0: 73 65 3a 0a 09 09 09 09 09 09 69 66 20 6c 65 6e se:.......if len
27e0: 28 6e 65 65 64 65 64 29 20 3e 20 31 3a 0a 09 09 (needed) > 1:...
27f0: 09 09 09 09 09 70 72 69 6e 74 28 22 4d 75 6c 74 .....print("Mult
2800: 69 70 61 72 74 20 72 65 71 75 65 73 74 73 20 63 ipart requests c
2810: 75 72 72 65 6e 74 6c 79 20 6e 6f 74 20 73 75 70 urrently not sup
2820: 70 6f 72 74 65 64 2e 22 29 0a 09 09 09 09 09 09 ported.").......
2830: 09 61 73 73 65 72 74 20 46 61 6c 73 65 2c 20 27 .assert False, '
2840: 53 6b 69 70 20 74 68 69 73 20 6f 6e 65 20 66 6f Skip this one fo
2850: 72 20 6e 6f 77 2e 27 0a 09 09 09 09 23 65 6c 73 r now.'.....#els
2860: 65 3a 0a 09 09 09 09 09 23 61 73 73 65 72 74 20 e:......#assert
2870: 46 61 6c 73 65 2c 20 27 4e 6f 20 63 6f 6e 74 65 False, 'No conte
2880: 6e 74 2d 6c 65 6e 67 74 68 20 6f 72 20 43 6f 6e nt-length or Con
2890: 74 65 6e 74 2d 52 61 6e 67 65 20 68 65 61 64 65 tent-Range heade
28a0: 72 2e 27 0a 0a 09 09 09 09 6e 65 77 5f 72 65 63 r.'......new_rec
28b0: 6f 72 64 5b 27 5f 74 69 6d 65 27 5d 20 3d 20 64 ord['_time'] = d
28c0: 61 74 65 74 69 6d 65 2e 64 61 74 65 74 69 6d 65 atetime.datetime
28d0: 2e 6e 6f 77 28 29 0a 09 09 09 09 69 66 20 73 65 .now().....if se
28e0: 6c 66 2e 63 6f 6d 6d 61 6e 64 20 6e 6f 74 20 69 lf.command not i
28f0: 6e 20 28 27 48 45 41 44 27 29 3a 0a 09 09 09 09 n ('HEAD'):.....
2900: 09 23 20 66 69 6c 65 20 69 73 20 63 72 65 61 74 .# file is creat
2910: 65 64 20 61 74 20 74 65 6d 70 6f 72 61 72 79 20 ed at temporary
2920: 6c 6f 63 61 74 69 6f 6e 20 61 6e 64 20 6d 6f 76 location and mov
2930: 65 64 20 69 6e 20 70 6c 61 63 65 20 6f 6e 6c 79 ed in place only
2940: 20 77 68 65 6e 20 64 6f 77 6e 6c 6f 61 64 20 63 when download c
2950: 6f 6d 70 6c 65 74 65 73 0a 09 09 09 09 09 69 66 ompletes......if
2960: 20 6e 6f 74 20 6f 73 2e 61 63 63 65 73 73 28 74 not os.access(t
2970: 65 6d 70 5f 6e 61 6d 65 2c 20 6f 73 2e 52 5f 4f emp_name, os.R_O
2980: 4b 29 3a 0a 09 09 09 09 09 09 65 6d 70 74 79 5f K):.......empty_
2990: 6e 61 6d 65 20 3d 20 63 6f 6e 66 69 67 5f 68 6f name = config_ho
29a0: 73 74 5b 27 64 69 72 27 5d 20 2b 20 6f 73 2e 73 st['dir'] + os.s
29b0: 65 70 20 2b 20 27 2e 74 6d 70 27 0a 09 09 09 09 ep + '.tmp'.....
29c0: 09 09 77 69 74 68 20 6f 70 65 6e 28 65 6d 70 74 ..with open(empt
29d0: 79 5f 6e 61 6d 65 2c 20 27 77 2b 62 27 29 20 61 y_name, 'w+b') a
29e0: 73 20 73 6f 6d 65 5f 66 69 6c 65 3a 0a 09 09 09 s some_file:....
29f0: 09 09 09 09 70 61 73 73 0a 09 09 09 09 09 09 6f ....pass.......o
2a00: 73 2e 72 65 6e 61 6d 65 73 28 65 6d 70 74 79 5f s.renames(empty_
2a10: 6e 61 6d 65 2c 20 74 65 6d 70 5f 6e 61 6d 65 29 name, temp_name)
2a20: 0a 09 09 09 09 09 74 65 6d 70 5f 66 69 6c 65 20 ......temp_file
2a30: 3d 20 6f 70 65 6e 28 74 65 6d 70 5f 6e 61 6d 65 = open(temp_name
2a40: 2c 20 27 72 2b 62 27 29 0a 09 09 09 09 09 69 66 , 'r+b')......if
2a50: 20 72 65 71 75 65 73 74 65 64 5f 72 61 6e 67 65 requested_range
2a60: 73 20 3d 3d 20 4e 6f 6e 65 20 61 6e 64 20 6e 65 s == None and ne
2a70: 65 64 65 64 20 3d 3d 20 4e 6f 6e 65 3a 0a 09 09 eded == None:...
2a80: 09 09 09 09 6e 65 65 64 65 64 20 3d 20 6e 65 77 ....needed = new
2a90: 5f 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 _record['_parts'
2aa0: 5d 0a 09 09 09 09 09 6e 65 65 64 65 64 2e 72 65 ]......needed.re
2ab0: 77 69 6e 64 28 29 0a 09 09 09 09 09 77 68 69 6c wind()......whil
2ac0: 65 20 54 72 75 65 3a 0a 09 09 09 09 09 09 23 20 e True:.......#
2ad0: 58 58 58 20 63 61 6e 20 6d 61 6b 65 20 74 68 69 XXX can make thi
2ae0: 73 20 69 6d 70 6c 69 63 69 74 20 2d 20 6f 6e 65 s implicit - one
2af0: 20 72 65 71 75 65 73 74 20 70 65 72 20 72 61 6e request per ran
2b00: 67 65 0a 09 09 09 09 09 09 28 73 74 61 72 74 2c ge.......(start,
2b10: 20 65 6e 64 29 20 3d 20 6e 65 65 64 65 64 2e 70 end) = needed.p
2b20: 6f 70 28 29 0a 09 09 09 09 09 09 69 66 20 73 74 op().......if st
2b30: 61 72 74 20 3d 3d 20 4e 6f 6e 65 3a 0a 09 09 09 art == None:....
2b40: 09 09 09 09 62 72 65 61 6b 0a 09 09 09 09 09 09 ....break.......
2b50: 73 74 72 65 61 6d 5f 6c 61 73 74 20 3d 20 73 74 stream_last = st
2b60: 61 72 74 0a 09 09 09 09 09 09 6f 6c 64 5f 72 65 art.......old_re
2b70: 63 6f 72 64 20 3d 20 63 6f 70 79 2e 63 6f 70 79 cord = copy.copy
2b80: 28 6e 65 77 5f 72 65 63 6f 72 64 29 0a 09 09 09 (new_record)....
2b90: 09 09 09 69 66 20 65 6e 64 20 2d 20 73 74 61 72 ...if end - star
2ba0: 74 20 3c 20 62 6c 6f 63 6b 5f 73 69 7a 65 3a 0a t < block_size:.
2bb0: 09 09 09 09 09 09 09 72 65 71 5f 62 6c 6f 63 6b .......req_block
2bc0: 5f 73 69 7a 65 20 3d 20 65 6e 64 20 2d 20 73 74 _size = end - st
2bd0: 61 72 74 0a 09 09 09 09 09 09 65 6c 73 65 3a 0a art.......else:.
2be0: 09 09 09 09 09 09 09 72 65 71 5f 62 6c 6f 63 6b .......req_block
2bf0: 5f 73 69 7a 65 20 3d 20 62 6c 6f 63 6b 5f 73 69 _size = block_si
2c00: 7a 65 0a 09 09 09 09 09 09 62 75 66 66 65 72 20 ze.......buffer
2c10: 3d 20 73 6f 75 72 63 65 2e 72 65 61 64 28 72 65 = source.read(re
2c20: 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 29 0a 09 09 q_block_size)...
2c30: 09 09 09 09 6c 65 6e 67 74 68 20 3d 20 6c 65 6e ....length = len
2c40: 28 62 75 66 66 65 72 29 0a 09 09 09 09 09 09 77 (buffer).......w
2c50: 68 69 6c 65 20 6c 65 6e 67 74 68 20 3e 20 30 20 hile length > 0
2c60: 61 6e 64 20 73 74 72 65 61 6d 5f 6c 61 73 74 20 and stream_last
2c70: 3c 20 65 6e 64 3a 0a 09 09 09 09 09 09 09 73 74 < end:........st
2c80: 72 65 61 6d 5f 70 6f 73 20 3d 20 73 74 72 65 61 ream_pos = strea
2c90: 6d 5f 6c 61 73 74 20 2b 20 6c 65 6e 67 74 68 0a m_last + length.
2ca0: 09 09 09 09 09 09 09 61 73 73 65 72 74 20 73 74 .......assert st
2cb0: 72 65 61 6d 5f 70 6f 73 20 3c 3d 20 65 6e 64 2c ream_pos <= end,
2cc0: 20 27 52 65 63 65 69 76 65 64 20 6d 6f 72 65 20 'Received more
2cd0: 64 61 74 61 20 74 68 65 6e 20 72 65 71 75 65 73 data then reques
2ce0: 74 65 64 3a 20 70 6f 73 3a 7b 7d 20 73 74 61 72 ted: pos:{} star
2cf0: 74 3a 7b 7d 20 65 6e 64 3a 7b 7d 2e 27 2e 66 6f t:{} end:{}.'.fo
2d00: 72 6d 61 74 28 73 74 72 65 61 6d 5f 70 6f 73 2c rmat(stream_pos,
2d10: 20 73 74 61 72 74 2c 20 65 6e 64 29 0a 09 09 09 start, end)....
2d20: 09 09 09 09 74 65 6d 70 5f 66 69 6c 65 2e 73 65 ....temp_file.se
2d30: 65 6b 28 73 74 72 65 61 6d 5f 6c 61 73 74 29 0a ek(stream_last).
2d40: 09 09 09 09 09 09 09 74 65 6d 70 5f 66 69 6c 65 .......temp_file
2d50: 2e 77 72 69 74 65 28 62 75 66 66 65 72 29 0a 09 .write(buffer)..
2d60: 09 09 09 09 09 09 78 20 3d 20 6e 65 77 5f 72 65 ......x = new_re
2d70: 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d 20 2d cord['_parts'] -
2d80: 20 73 70 61 63 65 6d 61 70 2e 53 70 61 63 65 4d spacemap.SpaceM
2d90: 61 70 28 7b 73 74 72 65 61 6d 5f 6c 61 73 74 3a ap({stream_last:
2da0: 20 73 74 72 65 61 6d 5f 70 6f 73 7d 29 0a 09 09 stream_pos})...
2db0: 09 09 09 09 09 6e 65 77 5f 72 65 63 6f 72 64 5b .....new_record[
2dc0: 27 5f 70 61 72 74 73 27 5d 20 3d 20 6e 65 77 5f '_parts'] = new_
2dd0: 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d record['_parts']
2de0: 20 2d 20 73 70 61 63 65 6d 61 70 2e 53 70 61 63 - spacemap.Spac
2df0: 65 4d 61 70 28 7b 73 74 72 65 61 6d 5f 6c 61 73 eMap({stream_las
2e00: 74 3a 20 73 74 72 65 61 6d 5f 70 6f 73 7d 29 0a t: stream_pos}).
2e10: 09 09 09 09 09 09 09 69 6e 64 65 78 5b 6d 79 5f .......index[my_
2e20: 70 61 74 68 5f 62 5d 20 3d 20 6f 6c 64 5f 72 65 path_b] = old_re
2e30: 63 6f 72 64 0a 09 09 09 09 09 09 09 69 6e 64 65 cord........inde
2e40: 78 2e 73 79 6e 63 28 29 0a 09 09 09 09 09 09 09 x.sync()........
2e50: 6f 6c 64 5f 72 65 63 6f 72 64 20 3d 20 63 6f 70 old_record = cop
2e60: 79 2e 63 6f 70 79 28 6e 65 77 5f 72 65 63 6f 72 y.copy(new_recor
2e70: 64 29 0a 09 09 09 09 09 09 09 73 74 72 65 61 6d d)........stream
2e80: 5f 6c 61 73 74 20 3d 20 73 74 72 65 61 6d 5f 70 _last = stream_p
2e90: 6f 73 0a 09 09 09 09 09 09 09 69 66 20 65 6e 64 os........if end
2ea0: 20 2d 20 73 74 72 65 61 6d 5f 6c 61 73 74 20 3c - stream_last <
2eb0: 20 62 6c 6f 63 6b 5f 73 69 7a 65 3a 0a 09 09 09 block_size:....
2ec0: 09 09 09 09 09 72 65 71 5f 62 6c 6f 63 6b 5f 73 .....req_block_s
2ed0: 69 7a 65 20 3d 20 65 6e 64 20 2d 20 73 74 72 65 ize = end - stre
2ee0: 61 6d 5f 6c 61 73 74 0a 09 09 09 09 09 09 09 62 am_last........b
2ef0: 75 66 66 65 72 20 3d 20 73 6f 75 72 63 65 2e 72 uffer = source.r
2f00: 65 61 64 28 72 65 71 5f 62 6c 6f 63 6b 5f 73 69 ead(req_block_si
2f10: 7a 65 29 0a 09 09 09 09 09 09 09 6c 65 6e 67 74 ze)........lengt
2f20: 68 20 3d 20 6c 65 6e 28 62 75 66 66 65 72 29 0a h = len(buffer).
2f30: 09 09 09 09 09 23 20 6d 6f 76 69 6e 67 20 64 6f .....# moving do
2f40: 77 6e 6c 6f 61 64 65 64 20 64 61 74 61 20 74 6f wnloaded data to
2f50: 20 72 65 61 6c 20 66 69 6c 65 0a 09 09 09 09 09 real file......
2f60: 74 65 6d 70 5f 66 69 6c 65 2e 63 6c 6f 73 65 28 temp_file.close(
2f70: 29 0a 0a 09 09 09 09 69 6e 64 65 78 5b 6d 79 5f )......index[my_
2f80: 70 61 74 68 5f 62 5d 20 3d 20 6e 65 77 5f 72 65 path_b] = new_re
2f90: 63 6f 72 64 0a 09 09 09 09 69 6e 64 65 78 2e 73 cord.....index.s
2fa0: 79 6e 63 28 29 0a 0a 09 09 09 65 78 63 65 70 74 ync().....except
2fb0: 20 75 72 6c 6c 69 62 2e 65 72 72 6f 72 2e 48 54 urllib.error.HT
2fc0: 54 50 45 72 72 6f 72 20 61 73 20 65 72 72 6f 72 TPError as error
2fd0: 3a 0a 09 09 09 09 23 20 69 6e 20 63 61 73 65 20 :.....# in case
2fe0: 6f 66 20 65 72 72 6f 72 20 77 65 20 64 6f 6e 27 of error we don'
2ff0: 74 20 6e 65 65 64 20 74 6f 20 64 6f 20 61 6e 79 t need to do any
3000: 74 68 69 6e 67 20 61 63 74 75 61 6c 6c 79 2c 0a thing actually,.
3010: 09 09 09 09 23 20 69 66 20 66 69 6c 65 20 64 6f ....# if file do
3020: 77 6e 6c 6f 61 64 20 73 74 61 6c 6c 73 20 6f 72 wnload stalls or
3030: 20 66 61 69 6c 73 20 74 68 65 20 66 69 6c 65 20 fails the file
3040: 77 6f 75 6c 64 20 6e 6f 74 20 62 65 20 6d 6f 76 would not be mov
3050: 65 64 20 74 6f 20 69 74 27 73 20 6c 6f 63 61 74 ed to it's locat
3060: 69 6f 6e 0a 09 09 09 09 70 72 69 6e 74 28 65 72 ion.....print(er
3070: 72 6f 72 2c 20 72 65 70 72 28 6d 79 5f 68 65 61 ror, repr(my_hea
3080: 64 65 72 73 29 29 0a 0a 09 09 70 72 69 6e 74 28 ders))....print(
3090: 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5f 62 5d index[my_path_b]
30a0: 29 0a 0a 09 09 69 66 20 6e 6f 74 20 6f 73 2e 61 )....if not os.a
30b0: 63 63 65 73 73 28 66 69 6c 65 5f 6e 61 6d 65 2c ccess(file_name,
30c0: 20 6f 73 2e 52 5f 4f 4b 29 20 61 6e 64 20 6f 73 os.R_OK) and os
30d0: 2e 61 63 63 65 73 73 28 74 65 6d 70 5f 6e 61 6d .access(temp_nam
30e0: 65 2c 20 6f 73 2e 52 5f 4f 4b 29 20 61 6e 64 20 e, os.R_OK) and
30f0: 27 5f 70 61 72 74 73 27 20 69 6e 20 69 6e 64 65 '_parts' in inde
3100: 78 5b 6d 79 5f 70 61 74 68 5f 62 5d 20 61 6e 64 x[my_path_b] and
3110: 20 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5f 62 index[my_path_b
3120: 5d 5b 27 5f 70 61 72 74 73 27 5d 20 3d 3d 20 73 ]['_parts'] == s
3130: 70 61 63 65 6d 61 70 2e 53 70 61 63 65 4d 61 70 pacemap.SpaceMap
3140: 28 29 3a 0a 09 09 09 23 20 6a 75 73 74 20 6d 6f ():....# just mo
3150: 76 69 6e 67 0a 09 09 09 23 20 64 72 6f 70 20 6f ving....# drop o
3160: 6c 64 20 64 69 72 73 20 58 58 58 0a 09 09 09 70 ld dirs XXX....p
3170: 72 69 6e 74 28 27 4d 6f 76 69 6e 67 20 74 65 6d rint('Moving tem
3180: 70 6f 72 61 72 79 20 66 69 6c 65 20 74 6f 20 6e porary file to n
3190: 65 77 20 64 65 73 74 69 6e 61 74 69 6f 6e 2e 27 ew destination.'
31a0: 29 0a 09 09 09 6f 73 2e 72 65 6e 61 6d 65 73 28 )....os.renames(
31b0: 74 65 6d 70 5f 6e 61 6d 65 2c 20 66 69 6c 65 5f temp_name, file_
31c0: 6e 61 6d 65 29 0a 0a 09 09 69 66 20 6e 6f 74 20 name)....if not
31d0: 6d 79 5f 70 61 74 68 5f 62 20 69 6e 20 69 6e 64 my_path_b in ind
31e0: 65 78 3a 0a 09 09 09 73 65 6c 66 2e 73 65 6e 64 ex:....self.send
31f0: 5f 72 65 73 70 6f 6e 73 65 28 35 30 32 29 0a 09 _response(502)..
3200: 09 09 73 65 6c 66 2e 65 6e 64 5f 68 65 61 64 65 ..self.end_heade
3210: 72 73 28 29 0a 09 09 09 72 65 74 75 72 6e 0a 0a rs()....return..
3220: 09 09 69 66 20 73 65 6c 66 2e 63 6f 6d 6d 61 6e ..if self.comman
3230: 64 20 3d 3d 20 27 48 45 41 44 27 3a 0a 09 09 09 d == 'HEAD':....
3240: 73 65 6c 66 2e 73 65 6e 64 5f 72 65 73 70 6f 6e self.send_respon
3250: 73 65 28 32 30 30 29 0a 09 09 09 69 66 20 27 43 se(200)....if 'C
3260: 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 20 69 ontent-Length' i
3270: 6e 20 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5f n index[my_path_
3280: 62 5d 3a 0a 09 09 09 09 73 65 6c 66 2e 73 65 6e b]:.....self.sen
3290: 64 5f 68 65 61 64 65 72 28 27 43 6f 6e 74 65 6e d_header('Conten
32a0: 74 2d 4c 65 6e 67 74 68 27 2c 20 69 6e 64 65 78 t-Length', index
32b0: 5b 6d 79 5f 70 61 74 68 5f 62 5d 5b 27 43 6f 6e [my_path_b]['Con
32c0: 74 65 6e 74 2d 4c 65 6e 67 74 68 27 5d 29 0a 09 tent-Length'])..
32d0: 09 09 73 65 6c 66 2e 73 65 6e 64 5f 68 65 61 64 ..self.send_head
32e0: 65 72 28 27 41 63 63 65 70 74 2d 52 61 6e 67 65 er('Accept-Range
32f0: 73 27 2c 20 27 62 79 74 65 73 27 29 0a 09 09 09 s', 'bytes')....
3300: 73 65 6c 66 2e 73 65 6e 64 5f 68 65 61 64 65 72 self.send_header
3310: 28 27 43 6f 6e 74 65 6e 74 2d 54 79 70 65 27 2c ('Content-Type',
3320: 20 27 61 70 70 6c 69 63 61 74 69 6f 6e 2f 6f 63 'application/oc
3330: 74 65 74 2d 73 74 72 65 61 6d 27 29 0a 09 09 09 tet-stream')....
3340: 69 66 20 27 4c 61 73 74 2d 4d 6f 64 69 66 69 65 if 'Last-Modifie
3350: 64 27 20 69 6e 20 69 6e 64 65 78 5b 6d 79 5f 70 d' in index[my_p
3360: 61 74 68 5f 62 5d 3a 0a 09 09 09 09 73 65 6c 66 ath_b]:.....self
3370: 2e 73 65 6e 64 5f 68 65 61 64 65 72 28 27 4c 61 .send_header('La
3380: 73 74 2d 4d 6f 64 69 66 69 65 64 27 2c 20 69 6e st-Modified', in
3390: 64 65 78 5b 6d 79 5f 70 61 74 68 5f 62 5d 5b 27 dex[my_path_b]['
33a0: 4c 61 73 74 2d 4d 6f 64 69 66 69 65 64 27 5d 29 Last-Modified'])
33b0: 0a 09 09 09 73 65 6c 66 2e 65 6e 64 5f 68 65 61 ....self.end_hea
33c0: 64 65 72 73 28 29 0a 09 09 65 6c 73 65 3a 0a 09 ders()...else:..
33d0: 09 09 69 66 20 28 27 5f 70 61 72 74 73 27 20 69 ..if ('_parts' i
33e0: 6e 20 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5f n index[my_path_
33f0: 62 5d 20 61 6e 64 20 69 6e 64 65 78 5b 6d 79 5f b] and index[my_
3400: 70 61 74 68 5f 62 5d 5b 27 5f 70 61 72 74 73 27 path_b]['_parts'
3410: 5d 20 21 3d 20 73 70 61 63 65 6d 61 70 2e 53 70 ] != spacemap.Sp
3420: 61 63 65 4d 61 70 28 29 29 20 6f 72 20 6e 6f 74 aceMap()) or not
3430: 20 6f 73 2e 61 63 63 65 73 73 28 66 69 6c 65 5f os.access(file_
3440: 6e 61 6d 65 2c 20 6f 73 2e 52 5f 4f 4b 29 3a 0a name, os.R_OK):.
3450: 09 09 09 09 66 69 6c 65 5f 6e 61 6d 65 20 3d 20 ....file_name =
3460: 74 65 6d 70 5f 6e 61 6d 65 0a 0a 09 09 09 77 69 temp_name.....wi
3470: 74 68 20 6f 70 65 6e 28 66 69 6c 65 5f 6e 61 6d th open(file_nam
3480: 65 2c 20 27 72 62 27 29 20 61 73 20 72 65 61 6c e, 'rb') as real
3490: 5f 66 69 6c 65 3a 0a 09 09 09 09 66 69 6c 65 5f _file:.....file_
34a0: 73 74 61 74 20 3d 20 6f 73 2e 73 74 61 74 28 66 stat = os.stat(f
34b0: 69 6c 65 5f 6e 61 6d 65 29 0a 09 09 09 09 69 66 ile_name).....if
34c0: 20 27 52 61 6e 67 65 27 20 69 6e 20 73 65 6c 66 'Range' in self
34d0: 2e 68 65 61 64 65 72 73 3a 0a 09 09 09 09 09 73 .headers:......s
34e0: 65 6c 66 2e 73 65 6e 64 5f 72 65 73 70 6f 6e 73 elf.send_respons
34f0: 65 28 32 30 36 29 0a 09 09 09 09 09 72 61 6e 67 e(206)......rang
3500: 65 73 20 3d 20 28 29 0a 09 09 09 09 09 72 65 71 es = ()......req
3510: 75 65 73 74 65 64 5f 72 61 6e 67 65 73 2e 72 65 uested_ranges.re
3520: 77 69 6e 64 28 29 0a 09 09 09 09 09 77 68 69 6c wind()......whil
3530: 65 20 54 72 75 65 3a 0a 09 09 09 09 09 09 70 61 e True:.......pa
3540: 69 72 20 3d 20 72 65 71 75 65 73 74 65 64 5f 72 ir = requested_r
3550: 61 6e 67 65 73 2e 70 6f 70 28 29 0a 09 09 09 09 anges.pop().....
3560: 09 09 69 66 20 70 61 69 72 5b 30 5d 20 3d 3d 20 ..if pair[0] ==
3570: 4e 6f 6e 65 3a 0a 09 09 09 09 09 09 09 62 72 65 None:........bre
3580: 61 6b 0a 09 09 09 09 09 09 72 61 6e 67 65 73 20 ak.......ranges
3590: 2b 3d 20 27 7b 7d 2d 7b 7d 27 2e 66 6f 72 6d 61 += '{}-{}'.forma
35a0: 74 28 70 61 69 72 5b 30 5d 2c 20 73 74 72 28 70 t(pair[0], str(p
35b0: 61 69 72 5b 31 5d 20 2d 20 31 29 29 2c 0a 09 09 air[1] - 1)),...
35c0: 09 09 09 73 65 6c 66 2e 73 65 6e 64 5f 68 65 61 ...self.send_hea
35d0: 64 65 72 28 27 43 6f 6e 74 65 6e 74 2d 52 61 6e der('Content-Ran
35e0: 67 65 27 2c 20 27 62 79 74 65 73 20 7b 7d 2f 7b ge', 'bytes {}/{
35f0: 7d 27 2e 66 6f 72 6d 61 74 28 27 2c 27 2e 6a 6f }'.format(','.jo
3600: 69 6e 28 72 61 6e 67 65 73 29 2c 20 69 6e 64 65 in(ranges), inde
3610: 78 5b 6d 79 5f 70 61 74 68 5f 62 5d 5b 27 43 6f x[my_path_b]['Co
3620: 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 5d 29 29 ntent-Length']))
3630: 0a 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 .....else:......
3640: 73 65 6c 66 2e 73 65 6e 64 5f 72 65 73 70 6f 6e self.send_respon
3650: 73 65 28 32 30 30 29 0a 09 09 09 09 09 73 65 6c se(200)......sel
3660: 66 2e 73 65 6e 64 5f 68 65 61 64 65 72 28 27 43 f.send_header('C
3670: 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 2c 20 ontent-Length',
3680: 73 74 72 28 66 69 6c 65 5f 73 74 61 74 2e 73 74 str(file_stat.st
3690: 5f 73 69 7a 65 29 29 0a 09 09 09 09 09 72 65 71 _size))......req
36a0: 75 65 73 74 65 64 5f 72 61 6e 67 65 73 20 3d 20 uested_ranges =
36b0: 73 70 61 63 65 6d 61 70 2e 53 70 61 63 65 4d 61 spacemap.SpaceMa
36c0: 70 28 7b 30 3a 20 66 69 6c 65 5f 73 74 61 74 2e p({0: file_stat.
36d0: 73 74 5f 73 69 7a 65 7d 29 0a 09 09 09 09 69 66 st_size}).....if
36e0: 20 27 4c 61 73 74 2d 4d 6f 64 69 66 69 65 64 27 'Last-Modified'
36f0: 20 69 6e 20 69 6e 64 65 78 5b 6d 79 5f 70 61 74 in index[my_pat
3700: 68 5f 62 5d 3a 0a 09 09 09 09 09 73 65 6c 66 2e h_b]:......self.
3710: 73 65 6e 64 5f 68 65 61 64 65 72 28 27 4c 61 73 send_header('Las
3720: 74 2d 4d 6f 64 69 66 69 65 64 27 2c 20 69 6e 64 t-Modified', ind
3730: 65 78 5b 6d 79 5f 70 61 74 68 5f 62 5d 5b 27 4c ex[my_path_b]['L
3740: 61 73 74 2d 4d 6f 64 69 66 69 65 64 27 5d 29 0a ast-Modified']).
3750: 09 09 09 09 73 65 6c 66 2e 73 65 6e 64 5f 68 65 ....self.send_he
3760: 61 64 65 72 28 27 43 6f 6e 74 65 6e 74 2d 54 79 ader('Content-Ty
3770: 70 65 27 2c 20 27 61 70 70 6c 69 63 61 74 69 6f pe', 'applicatio
3780: 6e 2f 6f 63 74 65 74 2d 73 74 72 65 61 6d 27 29 n/octet-stream')
3790: 0a 09 09 09 09 73 65 6c 66 2e 65 6e 64 5f 68 65 .....self.end_he
37a0: 61 64 65 72 73 28 29 0a 09 09 09 09 69 66 20 73 aders().....if s
37b0: 65 6c 66 2e 63 6f 6d 6d 61 6e 64 20 69 6e 20 28 elf.command in (
37c0: 27 47 45 54 27 29 3a 0a 09 09 09 09 09 69 66 20 'GET'):......if
37d0: 6c 65 6e 28 72 65 71 75 65 73 74 65 64 5f 72 61 len(requested_ra
37e0: 6e 67 65 73 29 20 3e 20 30 3a 0a 09 09 09 09 09 nges) > 0:......
37f0: 09 72 65 71 75 65 73 74 65 64 5f 72 61 6e 67 65 .requested_range
3800: 73 2e 72 65 77 69 6e 64 28 29 0a 09 09 09 09 09 s.rewind()......
3810: 09 28 73 74 61 72 74 2c 20 65 6e 64 29 20 3d 20 .(start, end) =
3820: 72 65 71 75 65 73 74 65 64 5f 72 61 6e 67 65 73 requested_ranges
3830: 2e 70 6f 70 28 29 0a 09 09 09 09 09 65 6c 73 65 .pop()......else
3840: 3a 0a 09 09 09 09 09 09 73 74 61 72 74 20 3d 20 :.......start =
3850: 30 0a 09 09 09 09 09 09 23 20 58 58 58 20 75 67 0.......# XXX ug
3860: 6c 79 20 68 61 63 6b 0a 09 09 09 09 09 09 69 66 ly hack.......if
3870: 20 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 'Content-Length
3880: 27 20 69 6e 20 69 6e 64 65 78 5b 6d 79 5f 70 61 ' in index[my_pa
3890: 74 68 5f 62 5d 3a 0a 09 09 09 09 09 09 09 65 6e th_b]:........en
38a0: 64 20 3d 20 69 6e 64 65 78 5b 6d 79 5f 70 61 74 d = index[my_pat
38b0: 68 5f 62 5d 5b 27 43 6f 6e 74 65 6e 74 2d 4c 65 h_b]['Content-Le
38c0: 6e 67 74 68 27 5d 0a 09 09 09 09 09 09 65 6c 73 ngth'].......els
38d0: 65 3a 0a 09 09 09 09 09 09 09 65 6e 64 20 3d 20 e:........end =
38e0: 30 0a 09 09 09 09 09 72 65 61 6c 5f 66 69 6c 65 0......real_file
38f0: 2e 73 65 65 6b 28 73 74 61 72 74 29 0a 09 09 09 .seek(start)....
3900: 09 09 69 66 20 62 6c 6f 63 6b 5f 73 69 7a 65 20 ..if block_size
3910: 3e 20 65 6e 64 20 2d 20 73 74 61 72 74 3a 0a 09 > end - start:..
3920: 09 09 09 09 09 72 65 71 5f 62 6c 6f 63 6b 5f 73 .....req_block_s
3930: 69 7a 65 20 3d 20 65 6e 64 20 2d 20 73 74 61 72 ize = end - star
3940: 74 0a 09 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 t......else:....
3950: 09 09 09 72 65 71 5f 62 6c 6f 63 6b 5f 73 69 7a ...req_block_siz
3960: 65 20 3d 20 62 6c 6f 63 6b 5f 73 69 7a 65 0a 09 e = block_size..
3970: 09 09 09 09 62 75 66 66 65 72 20 3d 20 72 65 61 ....buffer = rea
3980: 6c 5f 66 69 6c 65 2e 72 65 61 64 28 72 65 71 5f l_file.read(req_
3990: 62 6c 6f 63 6b 5f 73 69 7a 65 29 0a 09 09 09 09 block_size).....
39a0: 09 6c 65 6e 67 74 68 20 3d 20 6c 65 6e 28 62 75 .length = len(bu
39b0: 66 66 65 72 29 0a 09 09 09 09 09 77 68 69 6c 65 ffer)......while
39c0: 20 6c 65 6e 67 74 68 20 3e 20 30 3a 0a 09 09 09 length > 0:....
39d0: 09 09 09 73 65 6c 66 2e 77 66 69 6c 65 2e 77 72 ...self.wfile.wr
39e0: 69 74 65 28 62 75 66 66 65 72 29 0a 09 09 09 09 ite(buffer).....
39f0: 09 09 73 74 61 72 74 20 2b 3d 20 6c 65 6e 28 62 ..start += len(b
3a00: 75 66 66 65 72 29 0a 09 09 09 09 09 09 69 66 20 uffer).......if
3a10: 72 65 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 20 3e req_block_size >
3a20: 20 65 6e 64 20 2d 20 73 74 61 72 74 3a 0a 09 09 end - start:...
3a30: 09 09 09 09 09 72 65 71 5f 62 6c 6f 63 6b 5f 73 .....req_block_s
3a40: 69 7a 65 20 3d 20 65 6e 64 20 2d 20 73 74 61 72 ize = end - star
3a50: 74 0a 09 09 09 09 09 09 69 66 20 72 65 71 5f 62 t.......if req_b
3a60: 6c 6f 63 6b 5f 73 69 7a 65 20 3d 3d 20 30 3a 0a lock_size == 0:.
3a70: 09 09 09 09 09 09 09 62 72 65 61 6b 0a 09 09 09 .......break....
3a80: 09 09 09 62 75 66 66 65 72 20 3d 20 72 65 61 6c ...buffer = real
3a90: 5f 66 69 6c 65 2e 72 65 61 64 28 72 65 71 5f 62 _file.read(req_b
3aa0: 6c 6f 63 6b 5f 73 69 7a 65 29 0a 09 09 09 09 09 lock_size)......
3ab0: 09 6c 65 6e 67 74 68 20 3d 20 6c 65 6e 28 62 75 .length = len(bu
3ac0: 66 66 65 72 29 0a 09 09 09 09 0a 09 64 65 66 20 ffer).......def
3ad0: 64 6f 5f 48 45 41 44 28 73 65 6c 66 29 3a 0a 09 do_HEAD(self):..
3ae0: 09 72 65 74 75 72 6e 20 73 65 6c 66 2e 5f 5f 70 .return self.__p
3af0: 72 6f 63 65 73 73 28 29 0a 09 64 65 66 20 64 6f rocess()..def do
3b00: 5f 47 45 54 28 73 65 6c 66 29 3a 0a 09 09 72 65 _GET(self):...re
3b10: 74 75 72 6e 20 73 65 6c 66 2e 5f 5f 70 72 6f 63 turn self.__proc
3b20: 65 73 73 28 29 0a 0a 73 65 72 76 65 72 20 3d 20 ess()..server =
3b30: 68 74 74 70 2e 73 65 72 76 65 72 2e 48 54 54 50 http.server.HTTP
3b40: 53 65 72 76 65 72 28 28 27 31 32 37 2e 30 2e 30 Server(('127.0.0
3b50: 2e 31 27 2c 20 69 6e 74 28 63 6f 6e 66 69 67 5b .1', int(config[
3b60: 27 44 45 46 41 55 4c 54 27 5d 5b 27 70 6f 72 74 'DEFAULT']['port
3b70: 27 5d 29 29 2c 20 4d 79 52 65 71 75 65 73 74 48 '])), MyRequestH
3b80: 61 6e 64 6c 65 72 29 0a 73 65 72 76 65 72 2e 73 andler).server.s
3b90: 65 72 76 65 5f 66 6f 72 65 76 65 72 28 29 0a 0a erve_forever()..
3ba0: 23 67 65 76 65 6e 74 2e 6a 6f 69 6e 61 6c 6c 28 #gevent.joinall(
3bb0: 29 0a ).