0000: 23 21 2f 75 73 72 2f 62 69 6e 2f 65 6e 76 20 70 #!/usr/bin/env p
0010: 79 74 68 6f 6e 33 2e 32 0a 0a 66 72 6f 6d 20 5f ython3.2..from _
0020: 5f 66 75 74 75 72 65 5f 5f 20 69 6d 70 6f 72 74 _future__ import
0030: 20 75 6e 69 63 6f 64 65 5f 6c 69 74 65 72 61 6c unicode_literal
0040: 73 2c 20 70 72 69 6e 74 5f 66 75 6e 63 74 69 6f s, print_functio
0050: 6e 0a 0a 23 69 6d 70 6f 72 74 20 67 65 76 65 6e n..#import geven
0060: 74 2e 6d 6f 6e 6b 65 79 0a 23 67 65 76 65 6e 74 t.monkey.#gevent
0070: 2e 6d 6f 6e 6b 65 79 2e 70 61 74 63 68 5f 61 6c .monkey.patch_al
0080: 6c 28 29 0a 0a 69 6d 70 6f 72 74 20 61 72 67 70 l()..import argp
0090: 61 72 73 65 2c 20 6f 73 0a 70 61 72 73 65 72 20 arse, os.parser
00a0: 3d 20 61 72 67 70 61 72 73 65 2e 41 72 67 75 6d = argparse.Argum
00b0: 65 6e 74 50 61 72 73 65 72 28 29 0a 70 61 72 73 entParser().pars
00c0: 65 72 2e 61 64 64 5f 61 72 67 75 6d 65 6e 74 28 er.add_argument(
00d0: 27 2d 63 27 2c 20 27 2d 2d 63 6f 6e 66 69 67 27 '-c', '--config'
00e0: 2c 20 64 65 73 74 20 3d 20 27 63 6f 6e 66 69 67 , dest = 'config
00f0: 27 2c 20 68 65 6c 70 20 3d 20 27 63 6f 6e 66 69 ', help = 'confi
0100: 67 20 66 69 6c 65 20 6c 6f 63 61 74 69 6f 6e 27 g file location'
0110: 2c 20 6d 65 74 61 76 61 72 20 3d 20 27 46 49 4c , metavar = 'FIL
0120: 45 27 2c 20 64 65 66 61 75 6c 74 20 3d 20 27 73 E', default = 's
0130: 61 6d 65 73 69 74 65 2e 63 6f 6e 66 27 29 0a 61 amesite.conf').a
0140: 72 67 73 20 3d 20 70 61 72 73 65 72 2e 70 61 72 rgs = parser.par
0150: 73 65 5f 61 72 67 73 28 29 0a 61 73 73 65 72 74 se_args().assert
0160: 20 6f 73 2e 61 63 63 65 73 73 28 61 72 67 73 2e os.access(args.
0170: 63 6f 6e 66 69 67 2c 20 6f 73 2e 52 5f 4f 4b 29 config, os.R_OK)
0180: 2c 20 22 46 61 74 61 6c 20 65 72 72 6f 72 3a 20 , "Fatal error:
0190: 63 61 6e 27 74 20 72 65 61 64 20 7b 7d 22 2e 66 can't read {}".f
01a0: 6f 72 6d 61 74 28 61 72 67 73 2e 63 6f 6e 66 69 ormat(args.confi
01b0: 67 29 0a 0a 69 6d 70 6f 72 74 20 63 6f 6e 66 69 g)..import confi
01c0: 67 70 61 72 73 65 72 0a 63 6f 6e 66 69 67 20 3d gparser.config =
01d0: 20 63 6f 6e 66 69 67 70 61 72 73 65 72 2e 43 6f configparser.Co
01e0: 6e 66 69 67 50 61 72 73 65 72 28 7b 0a 09 27 70 nfigParser({..'p
01f0: 6f 72 74 27 3a 20 27 38 30 30 38 27 2c 0a 09 27 ort': '8008',..'
0200: 76 65 72 62 6f 73 65 27 3a 20 27 6e 6f 27 2c 0a verbose': 'no',.
0210: 09 27 6e 6f 65 74 61 67 27 3a 20 27 6e 6f 27 2c .'noetag': 'no',
0220: 0a 09 27 6e 6f 70 61 72 74 73 27 3a 20 27 6e 6f ..'noparts': 'no
0230: 27 2c 0a 09 27 73 74 72 69 70 27 3a 20 27 27 2c ',..'strip': '',
0240: 0a 09 27 73 75 62 27 3a 20 27 27 2c 0a 09 27 70 ..'sub': '',..'p
0250: 72 6f 74 6f 27 3a 20 27 68 74 74 70 27 2c 0a 7d roto': 'http',.}
0260: 29 0a 63 6f 6e 66 69 67 2e 72 65 61 64 28 61 72 ).config.read(ar
0270: 67 73 2e 63 6f 6e 66 69 67 29 0a 0a 63 61 63 68 gs.config)..cach
0280: 65 5f 64 69 72 20 3d 20 6f 73 2e 70 61 74 68 2e e_dir = os.path.
0290: 72 65 61 6c 70 61 74 68 28 6f 73 2e 70 61 74 68 realpath(os.path
02a0: 2e 64 69 72 6e 61 6d 65 28 61 72 67 73 2e 63 6f .dirname(args.co
02b0: 6e 66 69 67 29 29 0a 0a 69 6d 70 6f 72 74 20 72 nfig))..import r
02c0: 65 0a 66 6f 72 20 73 65 63 74 69 6f 6e 20 69 6e e.for section in
02d0: 20 63 6f 6e 66 69 67 2e 73 65 63 74 69 6f 6e 73 config.sections
02e0: 28 29 3a 0a 09 69 66 20 73 65 63 74 69 6f 6e 20 ():..if section
02f0: 21 3d 20 27 44 45 46 41 55 4c 54 27 3a 0a 09 09 != 'DEFAULT':...
0300: 69 66 20 27 64 69 72 27 20 69 6e 20 63 6f 6e 66 if 'dir' in conf
0310: 69 67 5b 73 65 63 74 69 6f 6e 5d 3a 0a 09 09 09 ig[section]:....
0320: 69 66 20 6e 6f 74 20 72 65 2e 63 6f 6d 70 69 6c if not re.compil
0330: 65 28 27 5e 2f 2e 2a 27 29 2e 6d 61 74 63 68 28 e('^/.*').match(
0340: 63 6f 6e 66 69 67 5b 73 65 63 74 69 6f 6e 5d 5b config[section][
0350: 27 64 69 72 27 5d 29 3a 0a 09 09 09 09 63 6f 6e 'dir']):.....con
0360: 66 69 67 5b 73 65 63 74 69 6f 6e 5d 5b 27 64 69 fig[section]['di
0370: 72 27 5d 20 3d 20 63 61 63 68 65 5f 64 69 72 20 r'] = cache_dir
0380: 2b 20 6f 73 2e 73 65 70 20 2b 20 73 65 63 74 69 + os.sep + secti
0390: 6f 6e 0a 09 09 09 74 68 69 73 44 69 72 20 3d 20 on....thisDir =
03a0: 72 65 2e 63 6f 6d 70 69 6c 65 28 27 5e 28 2e 2a re.compile('^(.*
03b0: 29 2f 24 27 29 2e 6d 61 74 63 68 28 63 6f 6e 66 )/$').match(conf
03c0: 69 67 5b 73 65 63 74 69 6f 6e 5d 5b 27 64 69 72 ig[section]['dir
03d0: 27 5d 29 0a 09 09 09 69 66 20 74 68 69 73 44 69 '])....if thisDi
03e0: 72 3a 0a 09 09 09 09 63 6f 6e 66 69 67 5b 73 65 r:.....config[se
03f0: 63 74 69 6f 6e 5d 5b 27 64 69 72 27 5d 20 3d 20 ction]['dir'] =
0400: 74 68 69 73 44 69 72 2e 67 72 6f 75 70 28 31 29 thisDir.group(1)
0410: 0a 09 09 09 69 66 20 6e 6f 74 20 72 65 2e 63 6f ....if not re.co
0420: 6d 70 69 6c 65 28 27 5e 2f 28 2e 2a 29 24 27 29 mpile('^/(.*)$')
0430: 2e 6d 61 74 63 68 28 63 6f 6e 66 69 67 5b 73 65 .match(config[se
0440: 63 74 69 6f 6e 5d 5b 27 64 69 72 27 5d 29 3a 0a ction]['dir']):.
0450: 09 09 09 09 63 6f 6e 66 69 67 5b 73 65 63 74 69 ....config[secti
0460: 6f 6e 5d 5b 27 64 69 72 27 5d 20 3d 20 63 61 63 on]['dir'] = cac
0470: 68 65 5f 64 69 72 20 2b 20 6f 73 2e 73 65 70 20 he_dir + os.sep
0480: 2b 20 63 6f 6e 66 69 67 5b 73 65 63 74 69 6f 6e + config[section
0490: 5d 5b 27 64 69 72 27 5d 0a 09 09 65 6c 73 65 3a ]['dir']...else:
04a0: 0a 09 09 09 63 6f 6e 66 69 67 5b 73 65 63 74 69 ....config[secti
04b0: 6f 6e 5d 5b 27 64 69 72 27 5d 20 3d 20 63 61 63 on]['dir'] = cac
04c0: 68 65 5f 64 69 72 20 2b 20 6f 73 2e 73 65 70 20 he_dir + os.sep
04d0: 2b 20 73 65 63 74 69 6f 6e 0a 0a 09 09 69 66 20 + section....if
04e0: 6e 6f 74 20 27 72 6f 6f 74 27 20 69 6e 20 63 6f not 'root' in co
04f0: 6e 66 69 67 5b 73 65 63 74 69 6f 6e 5d 3a 0a 09 nfig[section]:..
0500: 09 09 63 6f 6e 66 69 67 5b 73 65 63 74 69 6f 6e ..config[section
0510: 5d 5b 27 72 6f 6f 74 27 5d 20 3d 20 73 65 63 74 ]['root'] = sect
0520: 69 6f 6e 0a 0a 23 61 73 73 65 72 74 20 6f 70 74 ion..#assert opt
0530: 69 6f 6e 73 2e 70 6f 72 74 20 6f 72 20 6f 73 2e ions.port or os.
0540: 61 63 63 65 73 73 28 6f 70 74 69 6f 6e 73 2e 6c access(options.l
0550: 6f 67 2c 20 6f 73 2e 52 5f 4f 4b 29 2c 20 27 4c og, os.R_OK), 'L
0560: 6f 67 20 66 69 6c 65 20 75 6e 72 65 61 64 61 62 og file unreadab
0570: 6c 65 27 0a 0a 63 6f 6e 73 74 5f 64 65 73 63 5f le'..const_desc_
0580: 66 69 65 6c 64 73 20 3d 20 73 65 74 28 5b 27 43 fields = set(['C
0590: 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 2c 20 ontent-Length',
05a0: 27 4c 61 73 74 2d 4d 6f 64 69 66 69 65 64 27 2c 'Last-Modified',
05b0: 20 27 50 72 61 67 6d 61 27 5d 29 0a 63 6f 6e 73 'Pragma']).cons
05c0: 74 5f 69 67 6e 6f 72 65 5f 66 69 65 6c 64 73 20 t_ignore_fields
05d0: 3d 20 73 65 74 28 5b 0a 09 27 41 63 63 65 70 74 = set([..'Accept
05e0: 2d 52 61 6e 67 65 73 27 2c 20 27 41 67 65 27 2c -Ranges', 'Age',
05f0: 0a 09 27 43 61 63 68 65 2d 43 6f 6e 74 72 6f 6c ..'Cache-Control
0600: 27 2c 20 27 43 6f 6e 6e 65 63 74 69 6f 6e 27 2c ', 'Connection',
0610: 20 27 43 6f 6e 74 65 6e 74 2d 54 79 70 65 27 2c 'Content-Type',
0620: 0a 09 27 44 61 74 65 27 2c 0a 09 27 45 78 70 69 ..'Date',..'Expi
0630: 72 65 73 27 2c 0a 09 27 52 65 66 65 72 65 72 27 res',..'Referer'
0640: 2c 0a 09 27 53 65 72 76 65 72 27 2c 0a 09 27 56 ,..'Server',..'V
0650: 69 61 27 2c 0a 09 27 58 2d 43 61 63 68 65 27 2c ia',..'X-Cache',
0660: 20 27 58 2d 43 61 63 68 65 2d 4c 6f 6f 6b 75 70 'X-Cache-Lookup
0670: 27 2c 20 27 58 2d 4c 69 76 65 74 6f 6f 6c 27 2c ', 'X-Livetool',
0680: 20 27 58 2d 50 6f 77 65 72 65 64 2d 42 79 27 2c 'X-Powered-By',
0690: 0a 5d 29 0a 0a 62 6c 6f 63 6b 5f 73 69 7a 65 20 .])..block_size
06a0: 3d 20 38 31 39 32 0a 0a 69 6d 70 6f 72 74 20 62 = 8192..import b
06b0: 73 64 64 62 33 2e 64 62 73 68 65 6c 76 65 2c 20 sddb3.dbshelve,
06c0: 63 6f 70 79 2c 20 64 61 74 65 74 69 6d 65 2c 20 copy, datetime,
06d0: 68 74 74 70 2e 73 65 72 76 65 72 2c 20 73 70 61 http.server, spa
06e0: 63 65 6d 61 70 2c 20 75 72 6c 6c 69 62 2e 72 65 cemap, urllib.re
06f0: 71 75 65 73 74 2c 20 75 72 6c 6c 69 62 2e 65 72 quest, urllib.er
0700: 72 6f 72 0a 0a 63 6c 61 73 73 20 4d 79 52 65 71 ror..class MyReq
0710: 75 65 73 74 48 61 6e 64 6c 65 72 28 68 74 74 70 uestHandler(http
0720: 2e 73 65 72 76 65 72 2e 42 61 73 65 48 54 54 50 .server.BaseHTTP
0730: 52 65 71 75 65 73 74 48 61 6e 64 6c 65 72 29 3a RequestHandler):
0740: 0a 09 64 65 66 20 5f 5f 70 72 6f 63 65 73 73 28 ..def __process(
0750: 73 65 6c 66 29 3a 0a 09 09 23 20 72 65 6c 6f 61 self):...# reloa
0760: 64 20 6d 65 61 6e 73 20 66 69 6c 65 20 6e 65 65 d means file nee
0770: 64 73 20 74 6f 20 62 65 20 72 65 6c 6f 61 64 65 ds to be reloade
0780: 64 20 74 6f 20 73 65 72 76 65 20 72 65 71 75 65 d to serve reque
0790: 73 74 0a 09 09 72 65 6c 6f 61 64 20 3d 20 46 61 st...reload = Fa
07a0: 6c 73 65 0a 09 09 23 20 72 65 63 68 65 63 6b 20 lse...# recheck
07b0: 6d 65 61 6e 73 20 66 69 6c 65 20 6e 65 65 64 73 means file needs
07c0: 20 74 6f 20 62 65 20 63 68 65 63 6b 65 64 2c 20 to be checked,
07d0: 74 68 69 73 20 61 6c 73 6f 20 6d 65 61 6e 73 20 this also means
07e0: 74 68 61 74 20 69 66 20 66 69 6c 65 20 68 61 76 that if file hav
07f0: 20 62 65 65 6e 20 6d 6f 64 69 66 69 65 64 20 77 been modified w
0800: 65 20 63 61 6e 20 73 65 72 76 65 20 6f 6c 64 65 e can serve olde
0810: 72 20 63 6f 70 79 0a 09 09 72 65 63 68 65 63 6b r copy...recheck
0820: 20 3d 20 46 61 6c 73 65 0a 09 09 23 20 66 69 6c = False...# fil
0830: 65 5f 73 74 61 74 20 6d 65 61 6e 73 20 66 69 6c e_stat means fil
0840: 65 20 64 65 66 69 6e 69 74 65 6c 79 20 65 78 69 e definitely exi
0850: 73 74 73 0a 09 09 66 69 6c 65 5f 73 74 61 74 20 sts...file_stat
0860: 3d 20 4e 6f 6e 65 0a 09 09 23 20 72 65 71 75 65 = None...# reque
0870: 73 74 65 64 5f 72 61 6e 67 65 73 20 68 6f 6c 64 sted_ranges hold
0880: 73 20 64 61 74 61 20 61 62 6f 75 74 20 61 6e 79 s data about any
0890: 20 72 61 6e 67 65 20 72 65 71 75 65 73 74 65 64 range requested
08a0: 0a 09 09 72 65 71 75 65 73 74 65 64 5f 72 61 6e ...requested_ran
08b0: 67 65 73 20 3d 20 4e 6f 6e 65 0a 09 09 23 20 72 ges = None...# r
08c0: 65 63 6f 72 64 73 20 68 6f 6c 64 73 20 64 61 74 ecords holds dat
08d0: 61 20 66 72 6f 6d 20 69 6e 64 65 78 20 6c 6f 63 a from index loc
08e0: 61 6c 6c 79 2c 20 73 68 6f 75 6c 64 20 62 65 20 ally, should be
08f0: 77 72 69 74 74 65 6e 20 62 61 63 6b 20 75 70 6f written back upo
0900: 6e 20 73 75 63 63 65 73 73 66 75 6c 6c 20 63 6f n successfull co
0910: 6d 70 6c 65 74 69 6f 6e 0a 09 09 72 65 63 6f 72 mpletion...recor
0920: 64 20 3d 20 4e 6f 6e 65 0a 0a 09 09 6d 79 50 61 d = None....myPa
0930: 74 68 20 3d 20 72 65 2e 63 6f 6d 70 69 6c 65 28 th = re.compile(
0940: 27 5e 28 2e 2a 3f 29 28 5c 3f 2e 2a 29 24 27 29 '^(.*?)(\?.*)$')
0950: 2e 6d 61 74 63 68 28 73 65 6c 66 2e 70 61 74 68 .match(self.path
0960: 29 0a 09 09 69 66 20 6d 79 50 61 74 68 3a 0a 09 )...if myPath:..
0970: 09 09 6d 79 5f 70 61 74 68 20 3d 20 6d 79 50 61 ..my_path = myPa
0980: 74 68 2e 67 72 6f 75 70 28 31 29 0a 09 09 65 6c th.group(1)...el
0990: 73 65 3a 0a 09 09 09 6d 79 5f 70 61 74 68 20 3d se:....my_path =
09a0: 20 73 65 6c 66 2e 70 61 74 68 0a 0a 09 09 63 6f self.path....co
09b0: 6e 66 69 67 5f 68 6f 73 74 20 3d 20 63 6f 6e 66 nfig_host = conf
09c0: 69 67 5b 73 65 6c 66 2e 68 65 61 64 65 72 73 5b ig[self.headers[
09d0: 27 48 6f 73 74 27 5d 5d 0a 0a 09 09 69 66 20 63 'Host']]....if c
09e0: 6f 6e 66 69 67 5f 68 6f 73 74 5b 27 73 75 62 27 onfig_host['sub'
09f0: 5d 20 21 3d 20 4e 6f 6e 65 20 61 6e 64 20 63 6f ] != None and co
0a00: 6e 66 69 67 5f 68 6f 73 74 5b 27 73 74 72 69 70 nfig_host['strip
0a10: 27 5d 20 21 3d 20 4e 6f 6e 65 20 61 6e 64 20 6c '] != None and l
0a20: 65 6e 28 63 6f 6e 66 69 67 5f 68 6f 73 74 5b 27 en(config_host['
0a30: 73 74 72 69 70 27 5d 29 20 3e 20 30 3a 0a 09 09 strip']) > 0:...
0a40: 09 73 74 72 69 6e 67 20 3d 20 72 65 2e 63 6f 6d .string = re.com
0a50: 70 69 6c 65 28 63 6f 6e 66 69 67 5f 68 6f 73 74 pile(config_host
0a60: 5b 27 73 74 72 69 70 27 5d 29 2e 73 75 62 28 63 ['strip']).sub(c
0a70: 6f 6e 66 69 67 5f 68 6f 73 74 5b 27 73 75 62 27 onfig_host['sub'
0a80: 5d 2c 20 6d 79 5f 70 61 74 68 29 0a 09 09 09 6d ], my_path)....m
0a90: 79 5f 70 61 74 68 20 3d 20 73 74 72 69 6e 67 0a y_path = string.
0aa0: 0a 09 09 6d 79 5f 70 61 74 68 5f 62 20 3d 20 6d ...my_path_b = m
0ab0: 79 5f 70 61 74 68 2e 65 6e 63 6f 64 65 28 27 75 y_path.encode('u
0ac0: 74 66 2d 38 27 29 0a 09 09 69 6e 66 6f 20 3d 20 tf-8')...info =
0ad0: 27 43 68 65 63 6b 69 6e 67 20 66 69 6c 65 3a 20 'Checking file:
0ae0: 27 20 2b 20 6d 79 5f 70 61 74 68 0a 0a 09 09 69 ' + my_path....i
0af0: 66 20 6e 6f 74 20 6f 73 2e 61 63 63 65 73 73 28 f not os.access(
0b00: 63 6f 6e 66 69 67 5f 68 6f 73 74 5b 27 64 69 72 config_host['dir
0b10: 27 5d 2c 20 6f 73 2e 58 5f 4f 4b 29 3a 0a 09 09 '], os.X_OK):...
0b20: 09 6f 73 2e 6d 6b 64 69 72 28 63 6f 6e 66 69 67 .os.mkdir(config
0b30: 5f 68 6f 73 74 5b 27 64 69 72 27 5d 29 0a 09 09 _host['dir'])...
0b40: 23 20 74 68 69 73 20 69 73 20 66 69 6c 65 20 69 # this is file i
0b50: 6e 64 65 78 20 2d 20 65 76 65 72 79 74 68 69 6e ndex - everythin
0b60: 67 20 69 73 20 73 74 6f 72 65 64 20 69 6e 20 74 g is stored in t
0b70: 68 69 73 20 66 69 6c 65 0a 09 09 23 20 5f 70 61 his file...# _pa
0b80: 72 74 73 20 2d 20 6c 69 73 74 20 6f 66 20 73 74 rts - list of st
0b90: 6f 72 65 64 20 70 61 72 74 73 20 6f 66 20 66 69 ored parts of fi
0ba0: 6c 65 0a 09 09 23 20 5f 74 69 6d 65 20 2d 20 6c le...# _time - l
0bb0: 61 73 74 20 74 69 6d 65 20 74 68 65 20 66 69 6c ast time the fil
0bc0: 65 20 77 61 73 20 63 68 65 63 6b 65 64 0a 09 09 e was checked...
0bd0: 23 20 65 76 65 72 79 74 68 69 6e 67 20 65 6c 73 # everything els
0be0: 65 20 69 73 20 6a 75 73 74 20 74 68 65 20 68 65 e is just the he
0bf0: 61 64 65 72 73 0a 09 09 69 6e 64 65 78 20 3d 20 aders...index =
0c00: 62 73 64 64 62 33 2e 64 62 73 68 65 6c 76 65 2e bsddb3.dbshelve.
0c10: 6f 70 65 6e 28 63 6f 6e 66 69 67 5f 68 6f 73 74 open(config_host
0c20: 5b 27 64 69 72 27 5d 20 2b 20 6f 73 2e 73 65 70 ['dir'] + os.sep
0c30: 20 2b 20 27 2e 69 6e 64 65 78 27 29 0a 0a 09 09 + '.index')....
0c40: 64 65 73 63 5f 66 69 65 6c 64 73 20 3d 20 63 6f desc_fields = co
0c50: 6e 73 74 5f 64 65 73 63 5f 66 69 65 6c 64 73 2e nst_desc_fields.
0c60: 63 6f 70 79 28 29 0a 09 09 69 67 6e 6f 72 65 5f copy()...ignore_
0c70: 66 69 65 6c 64 73 20 3d 20 63 6f 6e 73 74 5f 69 fields = const_i
0c80: 67 6e 6f 72 65 5f 66 69 65 6c 64 73 2e 63 6f 70 gnore_fields.cop
0c90: 79 28 29 0a 09 09 69 66 20 63 6f 6e 66 69 67 5f y()...if config_
0ca0: 68 6f 73 74 5b 27 6e 6f 65 74 61 67 27 5d 20 3d host['noetag'] =
0cb0: 3d 20 27 6e 6f 27 3a 0a 09 09 09 64 65 73 63 5f = 'no':....desc_
0cc0: 66 69 65 6c 64 73 2e 61 64 64 28 27 65 74 61 67 fields.add('etag
0cd0: 27 29 0a 09 09 65 6c 73 65 3a 0a 09 09 09 69 67 ')...else:....ig
0ce0: 6e 6f 72 65 5f 66 69 65 6c 64 73 2e 61 64 64 28 nore_fields.add(
0cf0: 27 65 74 61 67 27 29 0a 0a 09 09 70 72 6f 78 79 'etag')....proxy
0d00: 5f 69 67 6e 6f 72 65 64 20 3d 20 73 65 74 28 5b _ignored = set([
0d10: 0a 09 09 09 27 41 63 63 65 70 74 27 2c 20 27 41 ....'Accept', 'A
0d20: 63 63 65 70 74 2d 43 68 61 72 73 65 74 27 2c 20 ccept-Charset',
0d30: 27 41 63 63 65 70 74 2d 45 6e 63 6f 64 69 6e 67 'Accept-Encoding
0d40: 27 2c 20 27 41 63 63 65 70 74 2d 4c 61 6e 67 75 ', 'Accept-Langu
0d50: 61 67 65 27 2c 0a 09 09 09 27 43 61 63 68 65 2d age',....'Cache-
0d60: 43 6f 6e 74 72 6f 6c 27 2c 20 27 43 6f 6e 6e 65 Control', 'Conne
0d70: 63 74 69 6f 6e 27 2c 20 27 43 6f 6e 74 65 6e 74 ction', 'Content
0d80: 2d 4c 65 6e 67 74 68 27 2c 20 27 43 6f 6f 6b 69 -Length', 'Cooki
0d90: 65 27 2c 0a 09 09 09 27 48 6f 73 74 27 2c 0a 09 e',....'Host',..
0da0: 09 09 27 49 66 2d 4d 6f 64 69 66 69 65 64 2d 53 ..'If-Modified-S
0db0: 69 6e 63 65 27 2c 20 27 49 66 2d 55 6e 6d 6f 64 ince', 'If-Unmod
0dc0: 69 66 69 65 64 2d 53 69 6e 63 65 27 2c 0a 09 09 ified-Since',...
0dd0: 09 27 52 65 66 65 72 65 72 27 2c 0a 09 09 09 27 .'Referer',....'
0de0: 55 61 2d 43 70 75 27 2c 20 27 55 73 65 72 2d 41 Ua-Cpu', 'User-A
0df0: 67 65 6e 74 27 2c 0a 09 09 09 27 56 69 61 27 2c gent',....'Via',
0e00: 0a 09 09 09 27 58 2d 46 6f 72 77 61 72 64 65 64 ....'X-Forwarded
0e10: 2d 46 6f 72 27 2c 20 27 58 2d 4c 61 73 74 2d 48 -For', 'X-Last-H
0e20: 72 27 2c 20 27 58 2d 4c 61 73 74 2d 48 74 74 70 r', 'X-Last-Http
0e30: 2d 53 74 61 74 75 73 2d 43 6f 64 65 27 2c 20 27 -Status-Code', '
0e40: 58 2d 52 65 6d 6f 76 65 64 27 2c 20 27 58 2d 52 X-Removed', 'X-R
0e50: 65 61 6c 2d 49 70 27 2c 20 27 58 2d 52 65 74 72 eal-Ip', 'X-Retr
0e60: 79 2d 43 6f 75 6e 74 27 2c 0a 09 09 5d 29 0a 0a y-Count',...])..
0e70: 09 09 70 72 69 6e 74 28 27 3d 3d 3d 3d 3d 3d 3d ..print('=======
0e80: 3d 3d 3d 3d 3d 3d 3d 3d 5b 20 7b 7d 20 72 65 71 ========[ {} req
0e90: 75 65 73 74 20 5d 3d 3d 3d 27 2e 66 6f 72 6d 61 uest ]==='.forma
0ea0: 74 28 73 65 6c 66 2e 63 6f 6d 6d 61 6e 64 29 29 t(self.command))
0eb0: 0a 0a 09 09 66 6f 72 20 68 65 61 64 65 72 20 69 ....for header i
0ec0: 6e 20 73 65 6c 66 2e 68 65 61 64 65 72 73 3a 0a n self.headers:.
0ed0: 09 09 09 69 66 20 68 65 61 64 65 72 20 69 6e 20 ...if header in
0ee0: 70 72 6f 78 79 5f 69 67 6e 6f 72 65 64 3a 0a 09 proxy_ignored:..
0ef0: 09 09 09 70 61 73 73 0a 09 09 09 65 6c 69 66 20 ...pass....elif
0f00: 68 65 61 64 65 72 20 69 6e 20 28 27 52 61 6e 67 header in ('Rang
0f10: 65 27 29 3a 0a 09 09 09 09 69 73 52 61 6e 67 65 e'):.....isRange
0f20: 20 3d 20 72 65 2e 63 6f 6d 70 69 6c 65 28 27 62 = re.compile('b
0f30: 79 74 65 73 3d 28 5c 64 2b 29 2d 28 5c 64 2b 29 ytes=(\d+)-(\d+)
0f40: 27 29 2e 6d 61 74 63 68 28 73 65 6c 66 2e 68 65 ').match(self.he
0f50: 61 64 65 72 73 5b 68 65 61 64 65 72 5d 29 0a 09 aders[header])..
0f60: 09 09 09 69 66 20 69 73 52 61 6e 67 65 3a 0a 09 ...if isRange:..
0f70: 09 09 09 09 72 65 71 75 65 73 74 65 64 5f 72 61 ....requested_ra
0f80: 6e 67 65 73 20 3d 20 73 70 61 63 65 6d 61 70 2e nges = spacemap.
0f90: 53 70 61 63 65 4d 61 70 28 7b 69 6e 74 28 69 73 SpaceMap({int(is
0fa0: 52 61 6e 67 65 2e 67 72 6f 75 70 28 31 29 29 3a Range.group(1)):
0fb0: 20 69 6e 74 28 69 73 52 61 6e 67 65 2e 67 72 6f int(isRange.gro
0fc0: 75 70 28 32 29 29 20 2b 20 31 7d 29 0a 09 09 09 up(2)) + 1})....
0fd0: 09 65 6c 73 65 3a 0a 09 09 09 09 09 72 65 74 75 .else:......retu
0fe0: 72 6e 28 29 0a 09 09 09 65 6c 69 66 20 68 65 61 rn()....elif hea
0ff0: 64 65 72 20 69 6e 20 28 27 50 72 61 67 6d 61 27 der in ('Pragma'
1000: 29 3a 0a 09 09 09 09 69 66 20 6d 79 5f 70 61 74 ):.....if my_pat
1010: 68 5f 62 20 69 6e 20 69 6e 64 65 78 3a 0a 09 09 h_b in index:...
1020: 09 09 09 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 ...index[my_path
1030: 5f 62 5d 5b 68 65 61 64 65 72 5d 20 3d 20 73 65 _b][header] = se
1040: 6c 66 2e 68 65 61 64 65 72 73 5b 68 65 61 64 65 lf.headers[heade
1050: 72 5d 0a 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 r]....else:.....
1060: 70 72 69 6e 74 28 27 55 6e 6b 6e 6f 77 6e 20 68 print('Unknown h
1070: 65 61 64 65 72 20 2d 20 27 2c 20 68 65 61 64 65 eader - ', heade
1080: 72 2c 20 27 3a 20 27 2c 20 73 65 6c 66 2e 68 65 r, ': ', self.he
1090: 61 64 65 72 73 5b 68 65 61 64 65 72 5d 2c 20 73 aders[header], s
10a0: 65 70 3d 27 27 29 0a 09 09 09 09 72 65 74 75 72 ep='').....retur
10b0: 6e 28 29 0a 09 09 09 70 72 69 6e 74 28 68 65 61 n()....print(hea
10c0: 64 65 72 2c 20 73 65 6c 66 2e 68 65 61 64 65 72 der, self.header
10d0: 73 5b 68 65 61 64 65 72 5d 29 0a 0a 09 09 23 20 s[header])....#
10e0: 63 72 65 61 74 69 6e 67 20 66 69 6c 65 20 6e 61 creating file na
10f0: 6d 65 20 66 72 6f 6d 20 6d 79 5f 70 61 74 68 0a me from my_path.
1100: 09 09 66 69 6c 65 5f 6e 61 6d 65 20 3d 20 63 6f ..file_name = co
1110: 6e 66 69 67 5f 68 6f 73 74 5b 27 64 69 72 27 5d nfig_host['dir']
1120: 20 2b 20 6f 73 2e 73 65 70 20 2b 20 72 65 2e 63 + os.sep + re.c
1130: 6f 6d 70 69 6c 65 28 27 25 32 30 27 29 2e 73 75 ompile('%20').su
1140: 62 28 27 20 27 2c 20 6d 79 5f 70 61 74 68 29 0a b(' ', my_path).
1150: 09 09 23 20 70 61 72 74 69 61 6c 20 66 69 6c 65 ..# partial file
1160: 20 6f 72 20 75 6e 66 69 6e 69 73 68 65 64 20 64 or unfinished d
1170: 6f 77 6e 6c 6f 61 64 0a 09 09 74 65 6d 70 5f 6e ownload...temp_n
1180: 61 6d 65 20 3d 20 63 6f 6e 66 69 67 5f 68 6f 73 ame = config_hos
1190: 74 5b 27 64 69 72 27 5d 20 2b 20 6f 73 2e 73 65 t['dir'] + os.se
11a0: 70 20 2b 20 27 2e 70 61 72 74 73 27 20 2b 20 72 p + '.parts' + r
11b0: 65 2e 63 6f 6d 70 69 6c 65 28 27 25 32 30 27 29 e.compile('%20')
11c0: 2e 73 75 62 28 27 20 27 2c 20 6d 79 5f 70 61 74 .sub(' ', my_pat
11d0: 68 29 0a 0a 09 09 23 20 63 72 65 61 74 69 6e 67 h)....# creating
11e0: 20 65 6d 70 74 79 20 70 6c 61 63 65 68 6f 6c 64 empty placehold
11f0: 65 72 20 69 6e 20 69 6e 64 65 78 0a 09 09 23 20 er in index...#
1200: 69 66 20 74 68 65 72 65 27 73 20 6e 6f 20 73 70 if there's no sp
1210: 61 63 65 20 6d 61 70 20 61 6e 64 20 74 68 65 72 ace map and ther
1220: 65 27 73 20 6e 6f 20 66 69 6c 65 20 69 6e 20 72 e's no file in r
1230: 65 61 6c 20 64 69 72 65 63 74 6f 72 79 20 2d 20 eal directory -
1240: 77 65 20 68 61 76 65 20 6e 6f 20 66 69 6c 65 0a we have no file.
1250: 09 09 23 20 69 66 20 74 68 65 72 65 27 73 20 61 ..# if there's a
1260: 6e 20 65 6d 70 74 79 20 73 70 61 63 65 20 6d 61 n empty space ma
1270: 70 20 2d 20 66 69 6c 65 20 69 73 20 66 75 6c 6c p - file is full
1280: 0a 09 09 23 20 73 70 61 63 65 20 6d 61 70 20 67 ...# space map g
1290: 65 6e 65 72 61 6c 6c 79 20 63 6f 76 65 72 73 20 enerally covers
12a0: 65 76 65 72 79 20 62 69 74 20 6f 66 20 66 69 6c every bit of fil
12b0: 65 20 77 65 20 64 6f 6e 27 74 20 70 6f 73 65 73 e we don't poses
12c0: 73 20 63 75 72 72 65 6e 74 6c 79 0a 09 09 69 66 s currently...if
12d0: 20 6e 6f 74 20 6d 79 5f 70 61 74 68 5f 62 20 69 not my_path_b i
12e0: 6e 20 69 6e 64 65 78 3a 0a 09 09 09 69 6e 66 6f n index:....info
12f0: 20 2b 3d 20 27 5c 6e 54 68 69 73 20 6f 6e 65 20 += '\nThis one
1300: 69 73 20 6e 65 77 2e 27 0a 09 09 09 72 65 6c 6f is new.'....relo
1310: 61 64 20 3d 20 54 72 75 65 0a 09 09 09 72 65 63 ad = True....rec
1320: 6f 72 64 20 3d 20 7b 7d 0a 09 09 65 6c 73 65 3a ord = {}...else:
1330: 0a 09 09 09 23 20 66 6f 72 63 69 62 6c 79 20 63 ....# forcibly c
1340: 68 65 63 6b 69 6e 67 20 66 69 6c 65 20 69 66 20 hecking file if
1350: 6e 6f 20 66 69 6c 65 20 70 72 65 73 65 6e 74 0a no file present.
1360: 09 09 09 72 65 63 6f 72 64 20 3d 20 69 6e 64 65 ...record = inde
1370: 78 5b 6d 79 5f 70 61 74 68 5f 62 5d 0a 09 09 09 x[my_path_b]....
1380: 69 66 20 6f 73 2e 61 63 63 65 73 73 28 66 69 6c if os.access(fil
1390: 65 5f 6e 61 6d 65 2c 20 6f 73 2e 52 5f 4f 4b 29 e_name, os.R_OK)
13a0: 3a 0a 09 09 09 09 69 6e 66 6f 20 2b 3d 20 27 5c :.....info += '\
13b0: 6e 46 75 6c 6c 20 66 69 6c 65 20 66 6f 75 6e 64 nFull file found
13c0: 2e 27 0a 09 09 09 09 66 69 6c 65 5f 73 74 61 74 .'.....file_stat
13d0: 20 3d 20 6f 73 2e 73 74 61 74 28 66 69 6c 65 5f = os.stat(file_
13e0: 6e 61 6d 65 29 0a 09 09 09 65 6c 69 66 20 27 5f name)....elif '_
13f0: 70 61 72 74 73 27 20 69 6e 20 69 6e 64 65 78 5b parts' in index[
1400: 6d 79 5f 70 61 74 68 5f 62 5d 20 61 6e 64 20 6f my_path_b] and o
1410: 73 2e 61 63 63 65 73 73 28 74 65 6d 70 5f 6e 61 s.access(temp_na
1420: 6d 65 2c 20 6f 73 2e 52 5f 4f 4b 29 3a 0a 09 09 me, os.R_OK):...
1430: 09 09 69 6e 66 6f 20 2b 3d 20 27 5c 6e 50 61 72 ..info += '\nPar
1440: 74 69 61 6c 20 66 69 6c 65 20 66 6f 75 6e 64 2e tial file found.
1450: 27 0a 09 09 09 09 66 69 6c 65 5f 73 74 61 74 20 '.....file_stat
1460: 3d 20 6f 73 2e 73 74 61 74 28 74 65 6d 70 5f 6e = os.stat(temp_n
1470: 61 6d 65 29 0a 09 09 09 09 72 65 63 68 65 63 6b ame).....recheck
1480: 20 3d 20 54 72 75 65 0a 09 09 09 65 6c 73 65 3a = True....else:
1490: 0a 09 09 09 09 69 6e 66 6f 20 2b 3d 20 27 5c 6e .....info += '\n
14a0: 46 69 6c 65 20 6e 6f 74 20 66 6f 75 6e 64 20 6f File not found o
14b0: 72 20 69 6e 61 63 63 65 73 73 69 62 6c 65 2e 27 r inaccessible.'
14c0: 0a 09 09 09 09 72 65 63 6f 72 64 5b 27 5f 70 61 .....record['_pa
14d0: 72 74 73 27 5d 20 3d 20 4e 6f 6e 65 0a 09 09 09 rts'] = None....
14e0: 09 72 65 6c 6f 61 64 20 3d 20 54 72 75 65 0a 0a .reload = True..
14f0: 09 09 69 66 20 6e 6f 74 20 27 5f 70 61 72 74 73 ..if not '_parts
1500: 27 20 69 6e 20 72 65 63 6f 72 64 3a 0a 09 09 09 ' in record:....
1510: 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d record['_parts']
1520: 20 3d 20 4e 6f 6e 65 0a 0a 09 09 69 66 20 72 65 = None....if re
1530: 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d 20 3d cord['_parts'] =
1540: 3d 20 4e 6f 6e 65 3a 0a 09 09 09 72 65 63 68 65 = None:....reche
1550: 63 6b 20 3d 20 54 72 75 65 0a 0a 09 09 23 20 66 ck = True....# f
1560: 6f 72 63 69 62 6c 79 20 63 68 65 63 6b 69 6e 67 orcibly checking
1570: 20 66 69 6c 65 20 69 66 20 66 69 6c 65 20 73 69 file if file si
1580: 7a 65 20 64 6f 65 73 6e 27 74 20 6d 61 74 63 68 ze doesn't match
1590: 20 77 69 74 68 20 69 6e 64 65 78 20 64 61 74 61 with index data
15a0: 0a 09 09 69 66 20 6e 6f 74 20 72 65 6c 6f 61 64 ...if not reload
15b0: 3a 0a 09 09 09 69 66 20 27 5f 70 61 72 74 73 27 :....if '_parts'
15c0: 20 69 6e 20 72 65 63 6f 72 64 20 61 6e 64 20 72 in record and r
15d0: 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d 20 ecord['_parts']
15e0: 3d 3d 20 73 70 61 63 65 6d 61 70 2e 53 70 61 63 == spacemap.Spac
15f0: 65 4d 61 70 28 29 3a 0a 09 09 09 09 69 66 20 27 eMap():.....if '
1600: 63 6f 6e 74 65 6e 74 2d 6c 65 6e 67 74 68 27 20 content-length'
1610: 69 6e 20 72 65 63 6f 72 64 20 61 6e 64 20 66 69 in record and fi
1620: 6c 65 5f 73 74 61 74 20 61 6e 64 20 66 69 6c 65 le_stat and file
1630: 5f 73 74 61 74 2e 73 74 5f 73 69 7a 65 20 21 3d _stat.st_size !=
1640: 20 69 6e 74 28 72 65 63 6f 72 64 5b 27 63 6f 6e int(record['con
1650: 74 65 6e 74 2d 6c 65 6e 67 74 68 27 5d 29 3a 0a tent-length']):.
1660: 09 09 09 09 09 69 6e 66 6f 20 2b 3d 20 27 5c 6e .....info += '\n
1670: 46 69 6c 65 20 73 69 7a 65 20 69 73 20 7b 7d 20 File size is {}
1680: 61 6e 64 20 73 74 6f 72 65 64 20 66 69 6c 65 20 and stored file
1690: 73 69 7a 65 20 69 73 20 7b 7d 2e 27 2e 66 6f 72 size is {}.'.for
16a0: 6d 61 74 28 66 69 6c 65 5f 73 74 61 74 2e 73 74 mat(file_stat.st
16b0: 5f 73 69 7a 65 2c 20 72 65 63 6f 72 64 5b 27 63 _size, record['c
16c0: 6f 6e 74 65 6e 74 2d 6c 65 6e 67 74 68 27 5d 29 ontent-length'])
16d0: 0a 09 09 09 09 09 72 65 63 6f 72 64 5b 27 5f 70 ......record['_p
16e0: 61 72 74 73 27 5d 20 3d 20 4e 6f 6e 65 0a 09 09 arts'] = None...
16f0: 09 09 09 72 65 6c 6f 61 64 20 3d 20 54 72 75 65 ...reload = True
1700: 0a 0a 09 09 23 20 66 6f 72 63 69 62 6c 79 20 63 ....# forcibly c
1710: 68 65 63 6b 69 6e 67 20 66 69 6c 65 20 69 66 20 hecking file if
1720: 69 6e 64 65 78 20 68 6f 6c 64 73 20 50 72 61 67 index holds Prag
1730: 6d 61 20 68 65 61 64 65 72 0a 09 09 69 66 20 6e ma header...if n
1740: 6f 74 20 72 65 6c 6f 61 64 20 61 6e 64 20 27 70 ot reload and 'p
1750: 72 61 67 6d 61 27 20 69 6e 20 72 65 63 6f 72 64 ragma' in record
1760: 20 61 6e 64 20 72 65 63 6f 72 64 5b 27 70 72 61 and record['pra
1770: 67 6d 61 27 5d 20 3d 3d 20 27 6e 6f 2d 63 61 63 gma'] == 'no-cac
1780: 68 65 27 3a 0a 09 09 09 69 6e 66 6f 20 2b 3d 27 he':....info +='
1790: 5c 6e 50 72 61 67 6d 61 20 6f 6e 3a 20 72 65 63 \nPragma on: rec
17a0: 68 65 63 6b 20 69 6d 6d 69 6e 65 6e 74 2e 27 0a heck imminent.'.
17b0: 09 09 09 72 65 63 68 65 63 6b 20 3d 20 54 72 75 ...recheck = Tru
17c0: 65 0a 0a 09 09 23 20 73 6b 69 70 70 69 6e 67 20 e....# skipping
17d0: 66 69 6c 65 20 70 72 6f 63 65 73 73 69 6e 67 20 file processing
17e0: 69 66 20 74 68 65 72 65 27 73 20 6e 6f 20 6e 65 if there's no ne
17f0: 65 64 20 74 6f 20 72 65 63 68 65 63 6b 20 69 74 ed to recheck it
1800: 20 61 6e 64 20 77 65 20 68 61 76 65 20 63 68 65 and we have che
1810: 63 6b 65 64 20 69 74 20 61 74 20 6c 65 61 73 74 cked it at least
1820: 20 34 20 68 6f 75 72 73 20 61 67 6f 0a 09 09 69 4 hours ago...i
1830: 66 20 6e 6f 74 20 72 65 63 68 65 63 6b 20 61 6e f not recheck an
1840: 64 20 6e 6f 74 20 72 65 6c 6f 61 64 20 61 6e 64 d not reload and
1850: 20 27 5f 74 69 6d 65 27 20 69 6e 20 72 65 63 6f '_time' in reco
1860: 72 64 20 61 6e 64 20 28 72 65 63 6f 72 64 5b 27 rd and (record['
1870: 5f 74 69 6d 65 27 5d 20 2d 20 64 61 74 65 74 69 _time'] - dateti
1880: 6d 65 2e 64 61 74 65 74 69 6d 65 2e 6e 6f 77 28 me.datetime.now(
1890: 29 20 2b 20 64 61 74 65 74 69 6d 65 2e 74 69 6d ) + datetime.tim
18a0: 65 64 65 6c 74 61 28 68 6f 75 72 73 20 3d 20 34 edelta(hours = 4
18b0: 29 29 2e 64 61 79 73 20 3c 20 30 3a 0a 09 09 09 )).days < 0:....
18c0: 69 6e 66 6f 20 2b 3d 20 27 5c 6e 46 69 6c 65 20 info += '\nFile
18d0: 69 73 20 6f 6c 64 20 2d 20 72 65 63 68 65 63 6b is old - recheck
18e0: 69 6e 67 2e 27 0a 09 09 09 72 65 63 68 65 63 6b ing.'....recheck
18f0: 20 3d 20 54 72 75 65 0a 0a 09 09 70 72 69 6e 74 = True....print
1900: 28 69 6e 66 6f 29 0a 09 09 69 66 20 72 65 6c 6f (info)...if relo
1910: 61 64 20 6f 72 20 72 65 63 68 65 63 6b 3a 0a 0a ad or recheck:..
1920: 09 09 09 74 72 79 3a 0a 09 09 09 09 72 65 71 75 ...try:.....requ
1930: 65 73 74 20 3d 20 63 6f 6e 66 69 67 5f 68 6f 73 est = config_hos
1940: 74 5b 27 70 72 6f 74 6f 27 5d 20 2b 20 27 3a 2f t['proto'] + ':/
1950: 2f 27 20 2b 20 63 6f 6e 66 69 67 5f 68 6f 73 74 /' + config_host
1960: 5b 27 72 6f 6f 74 27 5d 20 2b 20 73 65 6c 66 2e ['root'] + self.
1970: 70 61 74 68 0a 09 09 09 09 6d 79 5f 68 65 61 64 path.....my_head
1980: 65 72 73 20 3d 20 7b 7d 0a 09 09 09 09 66 6f 72 ers = {}.....for
1990: 20 68 65 61 64 65 72 20 69 6e 20 28 27 43 61 63 header in ('Cac
19a0: 68 65 2d 43 6f 6e 74 72 6f 6c 27 2c 20 27 43 6f he-Control', 'Co
19b0: 6f 6b 69 65 27 2c 20 27 52 65 66 65 72 65 72 27 okie', 'Referer'
19c0: 2c 20 27 55 73 65 72 2d 41 67 65 6e 74 27 29 3a , 'User-Agent'):
19d0: 0a 09 09 09 09 09 69 66 20 68 65 61 64 65 72 20 ......if header
19e0: 69 6e 20 73 65 6c 66 2e 68 65 61 64 65 72 73 3a in self.headers:
19f0: 0a 09 09 09 09 09 09 6d 79 5f 68 65 61 64 65 72 .......my_header
1a00: 73 5b 68 65 61 64 65 72 5d 20 3d 20 73 65 6c 66 s[header] = self
1a10: 2e 68 65 61 64 65 72 73 5b 68 65 61 64 65 72 5d .headers[header]
1a20: 0a 0a 09 09 09 09 6e 65 65 64 65 64 20 3d 20 4e ......needed = N
1a30: 6f 6e 65 0a 09 09 09 09 69 66 20 73 65 6c 66 2e one.....if self.
1a40: 63 6f 6d 6d 61 6e 64 20 6e 6f 74 20 69 6e 20 28 command not in (
1a50: 27 48 45 41 44 27 29 3a 0a 09 09 09 09 09 69 66 'HEAD'):......if
1a60: 20 27 5f 70 61 72 74 73 27 20 69 6e 20 72 65 63 '_parts' in rec
1a70: 6f 72 64 20 61 6e 64 20 72 65 63 6f 72 64 5b 27 ord and record['
1a80: 5f 70 61 72 74 73 27 5d 20 21 3d 20 4e 6f 6e 65 _parts'] != None
1a90: 3a 0a 09 09 09 09 09 09 69 66 20 63 6f 6e 66 69 :.......if confi
1aa0: 67 5f 68 6f 73 74 5b 27 6e 6f 70 61 72 74 73 27 g_host['noparts'
1ab0: 5d 20 21 3d 20 27 6e 6f 27 20 6f 72 20 72 65 71 ] != 'no' or req
1ac0: 75 65 73 74 65 64 5f 72 61 6e 67 65 73 20 3d 3d uested_ranges ==
1ad0: 20 4e 6f 6e 65 20 6f 72 20 72 65 71 75 65 73 74 None or request
1ae0: 65 64 5f 72 61 6e 67 65 73 20 3d 3d 20 73 70 61 ed_ranges == spa
1af0: 63 65 6d 61 70 2e 53 70 61 63 65 4d 61 70 28 29 cemap.SpaceMap()
1b00: 3a 0a 09 09 09 09 09 09 09 6e 65 65 64 65 64 20 :........needed
1b10: 3d 20 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 = record['_parts
1b20: 27 5d 0a 09 09 09 09 09 09 65 6c 73 65 3a 0a 09 '].......else:..
1b30: 09 09 09 09 09 09 6e 65 65 64 65 64 20 3d 20 72 ......needed = r
1b40: 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d 20 ecord['_parts']
1b50: 26 20 72 65 71 75 65 73 74 65 64 5f 72 61 6e 67 & requested_rang
1b60: 65 73 0a 09 09 09 09 09 65 6c 69 66 20 63 6f 6e es......elif con
1b70: 66 69 67 5f 68 6f 73 74 5b 27 6e 6f 70 61 72 74 fig_host['nopart
1b80: 73 27 5d 20 3d 3d 27 6e 6f 27 20 61 6e 64 20 72 s'] =='no' and r
1b90: 65 71 75 65 73 74 65 64 5f 72 61 6e 67 65 73 20 equested_ranges
1ba0: 21 3d 20 4e 6f 6e 65 20 61 6e 64 20 72 65 71 75 != None and requ
1bb0: 65 73 74 65 64 5f 72 61 6e 67 65 73 20 21 3d 20 ested_ranges !=
1bc0: 73 70 61 63 65 6d 61 70 2e 53 70 61 63 65 4d 61 spacemap.SpaceMa
1bd0: 70 28 29 3a 0a 09 09 09 09 09 09 6e 65 65 64 65 p():.......neede
1be0: 64 20 3d 20 72 65 71 75 65 73 74 65 64 5f 72 61 d = requested_ra
1bf0: 6e 67 65 73 0a 09 09 09 09 09 72 61 6e 67 65 73 nges......ranges
1c00: 20 3d 20 28 29 0a 09 09 09 09 09 70 72 69 6e 74 = ()......print
1c10: 28 27 4d 69 73 73 69 6e 67 20 72 61 6e 67 65 73 ('Missing ranges
1c20: 3a 20 7b 7d 2c 20 72 65 71 75 65 73 74 65 64 20 : {}, requested
1c30: 72 61 6e 67 65 73 3a 20 7b 7d 2c 20 6e 65 65 64 ranges: {}, need
1c40: 65 64 20 72 61 6e 67 65 73 3a 20 7b 7d 2e 27 2e ed ranges: {}.'.
1c50: 66 6f 72 6d 61 74 28 72 65 63 6f 72 64 5b 27 5f format(record['_
1c60: 70 61 72 74 73 27 5d 2c 20 72 65 71 75 65 73 74 parts'], request
1c70: 65 64 5f 72 61 6e 67 65 73 2c 20 6e 65 65 64 65 ed_ranges, neede
1c80: 64 29 29 0a 09 09 09 09 09 69 66 20 6e 65 65 64 d))......if need
1c90: 65 64 20 21 3d 20 4e 6f 6e 65 20 61 6e 64 20 6c ed != None and l
1ca0: 65 6e 28 6e 65 65 64 65 64 29 20 3e 20 30 3a 0a en(needed) > 0:.
1cb0: 09 09 09 09 09 09 6e 65 65 64 65 64 2e 72 65 77 ......needed.rew
1cc0: 69 6e 64 28 29 0a 09 09 09 09 09 09 77 68 69 6c ind().......whil
1cd0: 65 20 54 72 75 65 3a 0a 09 09 09 09 09 09 09 72 e True:........r
1ce0: 61 6e 67 65 20 3d 20 6e 65 65 64 65 64 2e 70 6f ange = needed.po
1cf0: 70 28 29 0a 09 09 09 09 09 09 09 69 66 20 72 61 p()........if ra
1d00: 6e 67 65 5b 30 5d 20 3d 3d 20 4e 6f 6e 65 3a 0a nge[0] == None:.
1d10: 09 09 09 09 09 09 09 09 62 72 65 61 6b 0a 09 09 ........break...
1d20: 09 09 09 09 09 72 61 6e 67 65 73 20 2b 3d 20 27 .....ranges += '
1d30: 7b 7d 2d 7b 7d 27 2e 66 6f 72 6d 61 74 28 72 61 {}-{}'.format(ra
1d40: 6e 67 65 5b 30 5d 2c 20 72 61 6e 67 65 5b 31 5d nge[0], range[1]
1d50: 20 2d 20 31 29 2c 0a 09 09 09 09 09 09 6d 79 5f - 1),.......my_
1d60: 68 65 61 64 65 72 73 5b 27 52 61 6e 67 65 27 5d headers['Range']
1d70: 20 3d 20 27 62 79 74 65 73 3d 27 20 2b 20 27 2c = 'bytes=' + ',
1d80: 27 2e 6a 6f 69 6e 28 72 61 6e 67 65 73 29 0a 0a '.join(ranges)..
1d90: 09 09 09 09 6d 79 5f 68 65 61 64 65 72 73 5b 27 ....my_headers['
1da0: 41 63 63 65 70 74 2d 45 6e 63 6f 64 69 6e 67 27 Accept-Encoding'
1db0: 5d 20 3d 20 27 67 7a 69 70 2c 20 63 6f 6d 70 72 ] = 'gzip, compr
1dc0: 65 73 73 2c 20 64 65 66 6c 61 74 65 2c 20 69 64 ess, deflate, id
1dd0: 65 6e 74 69 74 79 3b 20 71 3d 30 27 0a 09 09 09 entity; q=0'....
1de0: 09 72 65 71 75 65 73 74 20 3d 20 75 72 6c 6c 69 .request = urlli
1df0: 62 2e 72 65 71 75 65 73 74 2e 52 65 71 75 65 73 b.request.Reques
1e00: 74 28 72 65 71 75 65 73 74 2c 20 68 65 61 64 65 t(request, heade
1e10: 72 73 20 3d 20 6d 79 5f 68 65 61 64 65 72 73 29 rs = my_headers)
1e20: 0a 0a 09 09 09 09 73 6f 75 72 63 65 20 3d 20 75 ......source = u
1e30: 72 6c 6c 69 62 2e 72 65 71 75 65 73 74 2e 75 72 rllib.request.ur
1e40: 6c 6f 70 65 6e 28 72 65 71 75 65 73 74 2c 20 74 lopen(request, t
1e50: 69 6d 65 6f 75 74 20 3d 20 36 30 29 0a 09 09 09 imeout = 60)....
1e60: 09 6e 65 77 5f 72 65 63 6f 72 64 20 3d 20 7b 7d .new_record = {}
1e70: 0a 09 09 09 09 6e 65 77 5f 72 65 63 6f 72 64 5b .....new_record[
1e80: 27 5f 70 61 72 74 73 27 5d 20 3d 20 72 65 63 6f '_parts'] = reco
1e90: 72 64 5b 27 5f 70 61 72 74 73 27 5d 0a 09 09 09 rd['_parts']....
1ea0: 09 68 65 61 64 65 72 73 20 3d 20 73 6f 75 72 63 .headers = sourc
1eb0: 65 2e 69 6e 66 6f 28 29 0a 0a 09 09 09 09 69 66 e.info()......if
1ec0: 20 27 43 6f 6e 74 65 6e 74 2d 45 6e 63 6f 64 69 'Content-Encodi
1ed0: 6e 67 27 20 69 6e 20 68 65 61 64 65 72 73 20 61 ng' in headers a
1ee0: 6e 64 20 68 65 61 64 65 72 73 5b 27 43 6f 6e 74 nd headers['Cont
1ef0: 65 6e 74 2d 45 6e 63 6f 64 69 6e 67 27 5d 20 3d ent-Encoding'] =
1f00: 3d 20 27 67 7a 69 70 27 3a 0a 09 09 09 09 09 69 = 'gzip':......i
1f10: 6d 70 6f 72 74 20 67 7a 69 70 0a 09 09 09 09 09 mport gzip......
1f20: 73 6f 75 72 63 65 20 3d 20 67 7a 69 70 2e 47 7a source = gzip.Gz
1f30: 69 70 46 69 6c 65 28 66 69 6c 65 6f 62 6a 3d 73 ipFile(fileobj=s
1f40: 6f 75 72 63 65 29 0a 0a 09 09 09 09 23 20 73 74 ource)......# st
1f50: 72 69 70 70 69 6e 67 20 75 6e 6e 65 65 64 65 64 ripping unneeded
1f60: 20 68 65 61 64 65 72 73 20 28 58 58 58 20 6d 61 headers (XXX ma
1f70: 6b 65 20 74 68 69 73 20 69 6e 70 6c 61 63 65 3f ke this inplace?
1f80: 29 0a 09 09 09 09 66 6f 72 20 68 65 61 64 65 72 ).....for header
1f90: 20 69 6e 20 68 65 61 64 65 72 73 3a 0a 09 09 09 in headers:....
1fa0: 09 09 69 66 20 68 65 61 64 65 72 20 69 6e 20 64 ..if header in d
1fb0: 65 73 63 5f 66 69 65 6c 64 73 3a 0a 09 09 09 09 esc_fields:.....
1fc0: 09 09 23 69 66 20 68 65 61 64 65 72 20 3d 3d 20 ..#if header ==
1fd0: 27 50 72 61 67 6d 61 27 20 61 6e 64 20 68 65 61 'Pragma' and hea
1fe0: 64 65 72 73 5b 68 65 61 64 65 72 5d 20 21 3d 20 ders[header] !=
1ff0: 27 6e 6f 2d 63 61 63 68 65 27 3a 0a 09 09 09 09 'no-cache':.....
2000: 09 09 69 66 20 68 65 61 64 65 72 20 3d 3d 20 27 ..if header == '
2010: 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 3a Content-Length':
2020: 0a 09 09 09 09 09 09 09 69 66 20 27 43 6f 6e 74 ........if 'Cont
2030: 65 6e 74 2d 52 61 6e 67 65 27 20 6e 6f 74 20 69 ent-Range' not i
2040: 6e 20 68 65 61 64 65 72 73 3a 0a 09 09 09 09 09 n headers:......
2050: 09 09 09 6e 65 77 5f 72 65 63 6f 72 64 5b 68 65 ...new_record[he
2060: 61 64 65 72 5d 20 3d 20 69 6e 74 28 68 65 61 64 ader] = int(head
2070: 65 72 73 5b 68 65 61 64 65 72 5d 29 0a 09 09 09 ers[header])....
2080: 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 09 ...else:........
2090: 6e 65 77 5f 72 65 63 6f 72 64 5b 68 65 61 64 65 new_record[heade
20a0: 72 5d 20 3d 20 68 65 61 64 65 72 73 5b 68 65 61 r] = headers[hea
20b0: 64 65 72 5d 0a 09 09 09 09 09 65 6c 69 66 20 68 der]......elif h
20c0: 65 61 64 65 72 20 3d 3d 20 27 43 6f 6e 74 65 6e eader == 'Conten
20d0: 74 2d 52 61 6e 67 65 27 3a 0a 09 09 09 09 09 09 t-Range':.......
20e0: 72 61 6e 67 65 20 3d 20 72 65 2e 63 6f 6d 70 69 range = re.compi
20f0: 6c 65 28 27 5e 62 79 74 65 73 20 28 5c 64 2b 29 le('^bytes (\d+)
2100: 2d 28 5c 64 2b 29 2f 28 5c 64 2b 29 24 27 29 2e -(\d+)/(\d+)$').
2110: 6d 61 74 63 68 28 68 65 61 64 65 72 73 5b 68 65 match(headers[he
2120: 61 64 65 72 5d 29 0a 09 09 09 09 09 09 69 66 20 ader]).......if
2130: 72 61 6e 67 65 3a 0a 09 09 09 09 09 09 09 6e 65 range:........ne
2140: 77 5f 72 65 63 6f 72 64 5b 27 43 6f 6e 74 65 6e w_record['Conten
2150: 74 2d 4c 65 6e 67 74 68 27 5d 20 3d 20 69 6e 74 t-Length'] = int
2160: 28 72 61 6e 67 65 2e 67 72 6f 75 70 28 33 29 29 (range.group(3))
2170: 0a 09 09 09 09 09 09 65 6c 73 65 3a 09 0a 09 09 .......else:....
2180: 09 09 09 09 09 61 73 73 65 72 74 20 46 61 6c 73 .....assert Fals
2190: 65 2c 20 27 43 6f 6e 74 65 6e 74 2d 52 61 6e 67 e, 'Content-Rang
21a0: 65 20 75 6e 72 65 63 6f 67 6e 69 7a 65 64 2e 27 e unrecognized.'
21b0: 0a 09 09 09 09 09 65 6c 69 66 20 6e 6f 74 20 68 ......elif not h
21c0: 65 61 64 65 72 20 69 6e 20 69 67 6e 6f 72 65 5f eader in ignore_
21d0: 66 69 65 6c 64 73 3a 0a 09 09 09 09 09 09 70 72 fields:.......pr
21e0: 69 6e 74 28 27 55 6e 64 65 66 69 6e 65 64 20 68 int('Undefined h
21f0: 65 61 64 65 72 20 22 27 2c 20 68 65 61 64 65 72 eader "', header
2200: 2c 20 27 22 3a 20 27 2c 20 68 65 61 64 65 72 73 , '": ', headers
2210: 5b 68 65 61 64 65 72 5d 2c 20 73 65 70 3d 27 27 [header], sep=''
2220: 29 0a 0a 09 09 09 09 23 20 63 6f 6d 70 61 72 69 )......# compari
2230: 6e 67 20 68 65 61 64 65 72 73 20 77 69 74 68 20 ng headers with
2240: 64 61 74 61 20 66 6f 75 6e 64 20 69 6e 20 69 6e data found in in
2250: 64 65 78 0a 09 09 09 09 23 20 69 66 20 61 6e 79 dex.....# if any
2260: 20 68 65 61 64 65 72 20 68 61 73 20 63 68 61 6e header has chan
2270: 67 65 64 20 28 65 78 63 65 70 74 20 50 72 61 67 ged (except Prag
2280: 6d 61 29 20 66 69 6c 65 20 69 73 20 66 75 6c 6c ma) file is full
2290: 79 20 64 6f 77 6e 6c 6f 61 64 65 64 0a 09 09 09 y downloaded....
22a0: 09 23 20 73 61 6d 65 20 69 66 20 77 65 20 67 65 .# same if we ge
22b0: 74 20 6d 6f 72 65 20 6f 72 20 6c 65 73 73 20 68 t more or less h
22c0: 65 61 64 65 72 73 0a 09 09 09 09 6f 6c 64 5f 6b eaders.....old_k
22d0: 65 79 73 20 3d 20 73 65 74 28 72 65 63 6f 72 64 eys = set(record
22e0: 2e 6b 65 79 73 28 29 29 0a 09 09 09 09 6f 6c 64 .keys()).....old
22f0: 5f 6b 65 79 73 2e 64 69 73 63 61 72 64 28 27 5f _keys.discard('_
2300: 74 69 6d 65 27 29 0a 09 09 09 09 6f 6c 64 5f 6b time').....old_k
2310: 65 79 73 2e 64 69 73 63 61 72 64 28 27 50 72 61 eys.discard('Pra
2320: 67 6d 61 27 29 0a 09 09 09 09 6d 6f 72 65 5f 6b gma').....more_k
2330: 65 79 73 20 3d 20 73 65 74 28 6e 65 77 5f 72 65 eys = set(new_re
2340: 63 6f 72 64 2e 6b 65 79 73 28 29 29 20 2d 20 6f cord.keys()) - o
2350: 6c 64 5f 6b 65 79 73 0a 09 09 09 09 6d 6f 72 65 ld_keys.....more
2360: 5f 6b 65 79 73 2e 64 69 73 63 61 72 64 28 27 50 _keys.discard('P
2370: 72 61 67 6d 61 27 29 0a 09 09 09 09 6c 65 73 73 ragma').....less
2380: 5f 6b 65 79 73 20 3d 20 6f 6c 64 5f 6b 65 79 73 _keys = old_keys
2390: 20 2d 20 73 65 74 28 6e 65 77 5f 72 65 63 6f 72 - set(new_recor
23a0: 64 2e 6b 65 79 73 28 29 29 0a 09 09 09 09 69 66 d.keys()).....if
23b0: 20 6c 65 6e 28 6d 6f 72 65 5f 6b 65 79 73 29 20 len(more_keys)
23c0: 3e 20 30 3a 0a 09 09 09 09 09 69 66 20 6c 65 6e > 0:......if len
23d0: 28 6f 6c 64 5f 6b 65 79 73 29 20 21 3d 20 30 3a (old_keys) != 0:
23e0: 0a 09 09 09 09 09 09 70 72 69 6e 74 28 27 4d 6f .......print('Mo
23f0: 72 65 20 68 65 61 64 65 72 73 20 61 70 70 65 61 re headers appea
2400: 72 3a 27 2c 20 6d 6f 72 65 5f 6b 65 79 73 29 0a r:', more_keys).
2410: 09 09 09 09 09 72 65 6c 6f 61 64 20 3d 20 54 72 .....reload = Tr
2420: 75 65 0a 09 09 09 09 65 6c 69 66 20 6c 65 6e 28 ue.....elif len(
2430: 6c 65 73 73 5f 6b 65 79 73 29 20 3e 20 30 3a 0a less_keys) > 0:.
2440: 09 09 09 09 09 70 72 69 6e 74 28 27 4c 65 73 73 .....print('Less
2450: 20 68 65 61 64 65 72 73 20 61 70 70 65 61 72 3a headers appear:
2460: 27 2c 20 6c 65 73 73 5f 6b 65 79 73 29 0a 09 09 ', less_keys)...
2470: 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 66 6f 72 ..else:......for
2480: 20 6b 65 79 20 69 6e 20 72 65 63 6f 72 64 2e 6b key in record.k
2490: 65 79 73 28 29 3a 0a 09 09 09 09 09 09 69 66 20 eys():.......if
24a0: 6b 65 79 5b 30 5d 20 21 3d 20 27 5f 27 20 61 6e key[0] != '_' an
24b0: 64 20 6b 65 79 20 21 3d 20 27 50 72 61 67 6d 61 d key != 'Pragma
24c0: 27 20 61 6e 64 20 72 65 63 6f 72 64 5b 6b 65 79 ' and record[key
24d0: 5d 20 21 3d 20 6e 65 77 5f 72 65 63 6f 72 64 5b ] != new_record[
24e0: 6b 65 79 5d 3a 0a 09 09 09 09 09 09 09 70 72 69 key]:........pri
24f0: 6e 74 28 27 48 65 61 64 65 72 20 22 27 2c 20 6b nt('Header "', k
2500: 65 79 2c 20 27 22 20 63 68 61 6e 67 65 64 20 66 ey, '" changed f
2510: 72 6f 6d 20 5b 27 2c 20 72 65 63 6f 72 64 5b 6b rom [', record[k
2520: 65 79 5d 2c 20 27 5d 20 74 6f 20 5b 27 2c 20 6e ey], '] to [', n
2530: 65 77 5f 72 65 63 6f 72 64 5b 6b 65 79 5d 2c 20 ew_record[key],
2540: 27 5d 27 2c 20 73 65 70 3d 27 27 29 0a 09 09 09 ']', sep='')....
2550: 09 09 09 09 70 72 69 6e 74 28 74 79 70 65 28 72 ....print(type(r
2560: 65 63 6f 72 64 5b 6b 65 79 5d 29 2c 20 74 79 70 ecord[key]), typ
2570: 65 28 6e 65 77 5f 72 65 63 6f 72 64 5b 6b 65 79 e(new_record[key
2580: 5d 29 29 0a 09 09 09 09 09 09 09 72 65 6c 6f 61 ]))........reloa
2590: 64 20 3d 20 54 72 75 65 0a 0a 09 09 09 09 69 66 d = True......if
25a0: 20 72 65 6c 6f 61 64 3a 0a 09 09 09 09 09 70 72 reload:......pr
25b0: 69 6e 74 28 27 52 65 6c 6f 61 64 69 6e 67 2e 27 int('Reloading.'
25c0: 29 0a 09 09 09 09 09 69 66 20 6f 73 2e 61 63 63 )......if os.acc
25d0: 65 73 73 28 74 65 6d 70 5f 6e 61 6d 65 2c 20 6f ess(temp_name, o
25e0: 73 2e 52 5f 4f 4b 29 3a 0a 09 09 09 09 09 09 6f s.R_OK):.......o
25f0: 73 2e 75 6e 6c 69 6e 6b 28 74 65 6d 70 5f 6e 61 s.unlink(temp_na
2600: 6d 65 29 0a 09 09 09 09 09 69 66 20 6f 73 2e 61 me)......if os.a
2610: 63 63 65 73 73 28 66 69 6c 65 5f 6e 61 6d 65 2c ccess(file_name,
2620: 20 6f 73 2e 52 5f 4f 4b 29 3a 0a 09 09 09 09 09 os.R_OK):......
2630: 09 6f 73 2e 75 6e 6c 69 6e 6b 28 66 69 6c 65 5f .os.unlink(file_
2640: 6e 61 6d 65 29 0a 09 09 09 09 09 69 66 20 27 43 name)......if 'C
2650: 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 20 69 ontent-Length' i
2660: 6e 20 6e 65 77 5f 72 65 63 6f 72 64 3a 0a 09 09 n new_record:...
2670: 09 09 09 09 6e 65 77 5f 72 65 63 6f 72 64 5b 27 ....new_record['
2680: 5f 70 61 72 74 73 27 5d 20 3d 20 73 70 61 63 65 _parts'] = space
2690: 6d 61 70 2e 53 70 61 63 65 4d 61 70 28 7b 30 3a map.SpaceMap({0:
26a0: 20 69 6e 74 28 6e 65 77 5f 72 65 63 6f 72 64 5b int(new_record[
26b0: 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 'Content-Length'
26c0: 5d 29 7d 29 0a 09 09 09 09 69 66 20 6e 6f 74 20 ])}).....if not
26d0: 6e 65 77 5f 72 65 63 6f 72 64 5b 27 5f 70 61 72 new_record['_par
26e0: 74 73 27 5d 3a 0a 09 09 09 09 09 6e 65 77 5f 72 ts']:......new_r
26f0: 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d 20 ecord['_parts']
2700: 3d 20 73 70 61 63 65 6d 61 70 2e 53 70 61 63 65 = spacemap.Space
2710: 4d 61 70 28 29 0a 09 09 09 09 70 72 69 6e 74 28 Map().....print(
2720: 6e 65 77 5f 72 65 63 6f 72 64 29 0a 0a 09 09 09 new_record).....
2730: 09 23 20 64 6f 77 6e 6c 6f 61 64 69 6e 67 20 66 .# downloading f
2740: 69 6c 65 20 6f 72 20 73 65 67 6d 65 6e 74 0a 09 ile or segment..
2750: 09 09 09 69 66 20 27 43 6f 6e 74 65 6e 74 2d 4c ...if 'Content-L
2760: 65 6e 67 74 68 27 20 69 6e 20 6e 65 77 5f 72 65 ength' in new_re
2770: 63 6f 72 64 3a 0a 09 09 09 09 09 69 66 20 6e 65 cord:......if ne
2780: 65 64 65 64 20 3d 3d 20 4e 6f 6e 65 3a 0a 09 09 eded == None:...
2790: 09 09 09 09 6e 65 65 64 65 64 20 3d 20 6e 65 77 ....needed = new
27a0: 5f 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 _record['_parts'
27b0: 5d 0a 09 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 ]......else:....
27c0: 09 09 09 69 66 20 6c 65 6e 28 6e 65 65 64 65 64 ...if len(needed
27d0: 29 20 3e 20 31 3a 0a 09 09 09 09 09 09 09 70 72 ) > 1:........pr
27e0: 69 6e 74 28 22 4d 75 6c 74 69 70 61 72 74 20 72 int("Multipart r
27f0: 65 71 75 65 73 74 73 20 63 75 72 72 65 6e 74 6c equests currentl
2800: 79 20 6e 6f 74 20 73 75 70 70 6f 72 74 65 64 2e y not supported.
2810: 22 29 0a 09 09 09 09 09 09 09 61 73 73 65 72 74 ")........assert
2820: 20 46 61 6c 73 65 2c 20 27 53 6b 69 70 20 74 68 False, 'Skip th
2830: 69 73 20 6f 6e 65 20 66 6f 72 20 6e 6f 77 2e 27 is one for now.'
2840: 0a 09 09 09 09 23 65 6c 73 65 3a 0a 09 09 09 09 .....#else:.....
2850: 09 23 61 73 73 65 72 74 20 46 61 6c 73 65 2c 20 .#assert False,
2860: 27 4e 6f 20 63 6f 6e 74 65 6e 74 2d 6c 65 6e 67 'No content-leng
2870: 74 68 20 6f 72 20 43 6f 6e 74 65 6e 74 2d 52 61 th or Content-Ra
2880: 6e 67 65 20 68 65 61 64 65 72 2e 27 0a 0a 09 09 nge header.'....
2890: 09 09 6e 65 77 5f 72 65 63 6f 72 64 5b 27 5f 74 ..new_record['_t
28a0: 69 6d 65 27 5d 20 3d 20 64 61 74 65 74 69 6d 65 ime'] = datetime
28b0: 2e 64 61 74 65 74 69 6d 65 2e 6e 6f 77 28 29 0a .datetime.now().
28c0: 09 09 09 09 69 66 20 73 65 6c 66 2e 63 6f 6d 6d ....if self.comm
28d0: 61 6e 64 20 6e 6f 74 20 69 6e 20 28 27 48 45 41 and not in ('HEA
28e0: 44 27 29 3a 0a 09 09 09 09 09 23 20 66 69 6c 65 D'):......# file
28f0: 20 69 73 20 63 72 65 61 74 65 64 20 61 74 20 74 is created at t
2900: 65 6d 70 6f 72 61 72 79 20 6c 6f 63 61 74 69 6f emporary locatio
2910: 6e 20 61 6e 64 20 6d 6f 76 65 64 20 69 6e 20 70 n and moved in p
2920: 6c 61 63 65 20 6f 6e 6c 79 20 77 68 65 6e 20 64 lace only when d
2930: 6f 77 6e 6c 6f 61 64 20 63 6f 6d 70 6c 65 74 65 ownload complete
2940: 73 0a 09 09 09 09 09 69 66 20 6e 6f 74 20 6f 73 s......if not os
2950: 2e 61 63 63 65 73 73 28 74 65 6d 70 5f 6e 61 6d .access(temp_nam
2960: 65 2c 20 6f 73 2e 52 5f 4f 4b 29 3a 0a 09 09 09 e, os.R_OK):....
2970: 09 09 09 65 6d 70 74 79 5f 6e 61 6d 65 20 3d 20 ...empty_name =
2980: 63 6f 6e 66 69 67 5f 68 6f 73 74 5b 27 64 69 72 config_host['dir
2990: 27 5d 20 2b 20 6f 73 2e 73 65 70 20 2b 20 27 2e '] + os.sep + '.
29a0: 74 6d 70 27 0a 09 09 09 09 09 09 77 69 74 68 20 tmp'.......with
29b0: 6f 70 65 6e 28 65 6d 70 74 79 5f 6e 61 6d 65 2c open(empty_name,
29c0: 20 27 77 2b 62 27 29 20 61 73 20 73 6f 6d 65 5f 'w+b') as some_
29d0: 66 69 6c 65 3a 0a 09 09 09 09 09 09 09 70 61 73 file:........pas
29e0: 73 0a 09 09 09 09 09 09 6f 73 2e 72 65 6e 61 6d s.......os.renam
29f0: 65 73 28 65 6d 70 74 79 5f 6e 61 6d 65 2c 20 74 es(empty_name, t
2a00: 65 6d 70 5f 6e 61 6d 65 29 0a 09 09 09 09 09 74 emp_name)......t
2a10: 65 6d 70 5f 66 69 6c 65 20 3d 20 6f 70 65 6e 28 emp_file = open(
2a20: 74 65 6d 70 5f 6e 61 6d 65 2c 20 27 72 2b 62 27 temp_name, 'r+b'
2a30: 29 0a 09 09 09 09 09 69 66 20 72 65 71 75 65 73 )......if reques
2a40: 74 65 64 5f 72 61 6e 67 65 73 20 3d 3d 20 4e 6f ted_ranges == No
2a50: 6e 65 20 61 6e 64 20 6e 65 65 64 65 64 20 3d 3d ne and needed ==
2a60: 20 4e 6f 6e 65 3a 0a 09 09 09 09 09 09 6e 65 65 None:.......nee
2a70: 64 65 64 20 3d 20 6e 65 77 5f 72 65 63 6f 72 64 ded = new_record
2a80: 5b 27 5f 70 61 72 74 73 27 5d 0a 09 09 09 09 09 ['_parts']......
2a90: 6e 65 65 64 65 64 2e 72 65 77 69 6e 64 28 29 0a needed.rewind().
2aa0: 09 09 09 09 09 77 68 69 6c 65 20 54 72 75 65 3a .....while True:
2ab0: 0a 09 09 09 09 09 09 23 20 58 58 58 20 63 61 6e .......# XXX can
2ac0: 20 6d 61 6b 65 20 74 68 69 73 20 69 6d 70 6c 69 make this impli
2ad0: 63 69 74 20 2d 20 6f 6e 65 20 72 65 71 75 65 73 cit - one reques
2ae0: 74 20 70 65 72 20 72 61 6e 67 65 0a 09 09 09 09 t per range.....
2af0: 09 09 28 73 74 61 72 74 2c 20 65 6e 64 29 20 3d ..(start, end) =
2b00: 20 6e 65 65 64 65 64 2e 70 6f 70 28 29 0a 09 09 needed.pop()...
2b10: 09 09 09 09 69 66 20 73 74 61 72 74 20 3d 3d 20 ....if start ==
2b20: 4e 6f 6e 65 3a 0a 09 09 09 09 09 09 09 62 72 65 None:........bre
2b30: 61 6b 0a 09 09 09 09 09 09 73 74 72 65 61 6d 5f ak.......stream_
2b40: 6c 61 73 74 20 3d 20 73 74 61 72 74 0a 09 09 09 last = start....
2b50: 09 09 09 6f 6c 64 5f 72 65 63 6f 72 64 20 3d 20 ...old_record =
2b60: 63 6f 70 79 2e 63 6f 70 79 28 6e 65 77 5f 72 65 copy.copy(new_re
2b70: 63 6f 72 64 29 0a 09 09 09 09 09 09 69 66 20 65 cord).......if e
2b80: 6e 64 20 2d 20 73 74 61 72 74 20 3c 20 62 6c 6f nd - start < blo
2b90: 63 6b 5f 73 69 7a 65 3a 0a 09 09 09 09 09 09 09 ck_size:........
2ba0: 72 65 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 20 3d req_block_size =
2bb0: 20 65 6e 64 20 2d 20 73 74 61 72 74 0a 09 09 09 end - start....
2bc0: 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 09 ...else:........
2bd0: 72 65 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 20 3d req_block_size =
2be0: 20 62 6c 6f 63 6b 5f 73 69 7a 65 0a 09 09 09 09 block_size.....
2bf0: 09 09 62 75 66 66 65 72 20 3d 20 73 6f 75 72 63 ..buffer = sourc
2c00: 65 2e 72 65 61 64 28 72 65 71 5f 62 6c 6f 63 6b e.read(req_block
2c10: 5f 73 69 7a 65 29 0a 09 09 09 09 09 09 6c 65 6e _size).......len
2c20: 67 74 68 20 3d 20 6c 65 6e 28 62 75 66 66 65 72 gth = len(buffer
2c30: 29 0a 09 09 09 09 09 09 77 68 69 6c 65 20 6c 65 ).......while le
2c40: 6e 67 74 68 20 3e 20 30 20 61 6e 64 20 73 74 72 ngth > 0 and str
2c50: 65 61 6d 5f 6c 61 73 74 20 3c 20 65 6e 64 3a 0a eam_last < end:.
2c60: 09 09 09 09 09 09 09 73 74 72 65 61 6d 5f 70 6f .......stream_po
2c70: 73 20 3d 20 73 74 72 65 61 6d 5f 6c 61 73 74 20 s = stream_last
2c80: 2b 20 6c 65 6e 67 74 68 0a 09 09 09 09 09 09 09 + length........
2c90: 61 73 73 65 72 74 20 73 74 72 65 61 6d 5f 70 6f assert stream_po
2ca0: 73 20 3c 3d 20 65 6e 64 2c 20 27 52 65 63 65 69 s <= end, 'Recei
2cb0: 76 65 64 20 6d 6f 72 65 20 64 61 74 61 20 74 68 ved more data th
2cc0: 65 6e 20 72 65 71 75 65 73 74 65 64 3a 20 70 6f en requested: po
2cd0: 73 3a 7b 7d 20 73 74 61 72 74 3a 7b 7d 20 65 6e s:{} start:{} en
2ce0: 64 3a 7b 7d 2e 27 2e 66 6f 72 6d 61 74 28 73 74 d:{}.'.format(st
2cf0: 72 65 61 6d 5f 70 6f 73 2c 20 73 74 61 72 74 2c ream_pos, start,
2d00: 20 65 6e 64 29 0a 09 09 09 09 09 09 09 74 65 6d end)........tem
2d10: 70 5f 66 69 6c 65 2e 73 65 65 6b 28 73 74 72 65 p_file.seek(stre
2d20: 61 6d 5f 6c 61 73 74 29 0a 09 09 09 09 09 09 09 am_last)........
2d30: 74 65 6d 70 5f 66 69 6c 65 2e 77 72 69 74 65 28 temp_file.write(
2d40: 62 75 66 66 65 72 29 0a 09 09 09 09 09 09 09 78 buffer)........x
2d50: 20 3d 20 6e 65 77 5f 72 65 63 6f 72 64 5b 27 5f = new_record['_
2d60: 70 61 72 74 73 27 5d 20 2d 20 73 70 61 63 65 6d parts'] - spacem
2d70: 61 70 2e 53 70 61 63 65 4d 61 70 28 7b 73 74 72 ap.SpaceMap({str
2d80: 65 61 6d 5f 6c 61 73 74 3a 20 73 74 72 65 61 6d eam_last: stream
2d90: 5f 70 6f 73 7d 29 0a 09 09 09 09 09 09 09 6e 65 _pos})........ne
2da0: 77 5f 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 w_record['_parts
2db0: 27 5d 20 3d 20 6e 65 77 5f 72 65 63 6f 72 64 5b '] = new_record[
2dc0: 27 5f 70 61 72 74 73 27 5d 20 2d 20 73 70 61 63 '_parts'] - spac
2dd0: 65 6d 61 70 2e 53 70 61 63 65 4d 61 70 28 7b 73 emap.SpaceMap({s
2de0: 74 72 65 61 6d 5f 6c 61 73 74 3a 20 73 74 72 65 tream_last: stre
2df0: 61 6d 5f 70 6f 73 7d 29 0a 09 09 09 09 09 09 09 am_pos})........
2e00: 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5f 62 5d index[my_path_b]
2e10: 20 3d 20 6f 6c 64 5f 72 65 63 6f 72 64 0a 09 09 = old_record...
2e20: 09 09 09 09 09 69 6e 64 65 78 2e 73 79 6e 63 28 .....index.sync(
2e30: 29 0a 09 09 09 09 09 09 09 6f 6c 64 5f 72 65 63 )........old_rec
2e40: 6f 72 64 20 3d 20 63 6f 70 79 2e 63 6f 70 79 28 ord = copy.copy(
2e50: 6e 65 77 5f 72 65 63 6f 72 64 29 0a 09 09 09 09 new_record).....
2e60: 09 09 09 73 74 72 65 61 6d 5f 6c 61 73 74 20 3d ...stream_last =
2e70: 20 73 74 72 65 61 6d 5f 70 6f 73 0a 09 09 09 09 stream_pos.....
2e80: 09 09 09 69 66 20 65 6e 64 20 2d 20 73 74 72 65 ...if end - stre
2e90: 61 6d 5f 6c 61 73 74 20 3c 20 62 6c 6f 63 6b 5f am_last < block_
2ea0: 73 69 7a 65 3a 0a 09 09 09 09 09 09 09 09 72 65 size:.........re
2eb0: 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 20 3d 20 65 q_block_size = e
2ec0: 6e 64 20 2d 20 73 74 72 65 61 6d 5f 6c 61 73 74 nd - stream_last
2ed0: 0a 09 09 09 09 09 09 09 62 75 66 66 65 72 20 3d ........buffer =
2ee0: 20 73 6f 75 72 63 65 2e 72 65 61 64 28 72 65 71 source.read(req
2ef0: 5f 62 6c 6f 63 6b 5f 73 69 7a 65 29 0a 09 09 09 _block_size)....
2f00: 09 09 09 09 6c 65 6e 67 74 68 20 3d 20 6c 65 6e ....length = len
2f10: 28 62 75 66 66 65 72 29 0a 09 09 09 09 09 23 20 (buffer)......#
2f20: 6d 6f 76 69 6e 67 20 64 6f 77 6e 6c 6f 61 64 65 moving downloade
2f30: 64 20 64 61 74 61 20 74 6f 20 72 65 61 6c 20 66 d data to real f
2f40: 69 6c 65 0a 09 09 09 09 09 74 65 6d 70 5f 66 69 ile......temp_fi
2f50: 6c 65 2e 63 6c 6f 73 65 28 29 0a 0a 09 09 09 09 le.close()......
2f60: 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5f 62 5d index[my_path_b]
2f70: 20 3d 20 6e 65 77 5f 72 65 63 6f 72 64 0a 09 09 = new_record...
2f80: 09 09 69 6e 64 65 78 2e 73 79 6e 63 28 29 0a 0a ..index.sync()..
2f90: 09 09 09 65 78 63 65 70 74 20 75 72 6c 6c 69 62 ...except urllib
2fa0: 2e 65 72 72 6f 72 2e 48 54 54 50 45 72 72 6f 72 .error.HTTPError
2fb0: 20 61 73 20 65 72 72 6f 72 3a 0a 09 09 09 09 23 as error:.....#
2fc0: 20 69 6e 20 63 61 73 65 20 6f 66 20 65 72 72 6f in case of erro
2fd0: 72 20 77 65 20 64 6f 6e 27 74 20 6e 65 65 64 20 r we don't need
2fe0: 74 6f 20 64 6f 20 61 6e 79 74 68 69 6e 67 20 61 to do anything a
2ff0: 63 74 75 61 6c 6c 79 2c 0a 09 09 09 09 23 20 69 ctually,.....# i
3000: 66 20 66 69 6c 65 20 64 6f 77 6e 6c 6f 61 64 20 f file download
3010: 73 74 61 6c 6c 73 20 6f 72 20 66 61 69 6c 73 20 stalls or fails
3020: 74 68 65 20 66 69 6c 65 20 77 6f 75 6c 64 20 6e the file would n
3030: 6f 74 20 62 65 20 6d 6f 76 65 64 20 74 6f 20 69 ot be moved to i
3040: 74 27 73 20 6c 6f 63 61 74 69 6f 6e 0a 09 09 09 t's location....
3050: 09 70 72 69 6e 74 28 65 72 72 6f 72 29 0a 0a 09 .print(error)...
3060: 09 70 72 69 6e 74 28 69 6e 64 65 78 5b 6d 79 5f .print(index[my_
3070: 70 61 74 68 5f 62 5d 29 0a 0a 09 09 69 66 20 6e path_b])....if n
3080: 6f 74 20 6f 73 2e 61 63 63 65 73 73 28 66 69 6c ot os.access(fil
3090: 65 5f 6e 61 6d 65 2c 20 6f 73 2e 52 5f 4f 4b 29 e_name, os.R_OK)
30a0: 20 61 6e 64 20 6f 73 2e 61 63 63 65 73 73 28 74 and os.access(t
30b0: 65 6d 70 5f 6e 61 6d 65 2c 20 6f 73 2e 52 5f 4f emp_name, os.R_O
30c0: 4b 29 20 61 6e 64 20 27 5f 70 61 72 74 73 27 20 K) and '_parts'
30d0: 69 6e 20 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 in index[my_path
30e0: 5f 62 5d 20 61 6e 64 20 69 6e 64 65 78 5b 6d 79 _b] and index[my
30f0: 5f 70 61 74 68 5f 62 5d 5b 27 5f 70 61 72 74 73 _path_b]['_parts
3100: 27 5d 20 3d 3d 20 73 70 61 63 65 6d 61 70 2e 53 '] == spacemap.S
3110: 70 61 63 65 4d 61 70 28 29 3a 0a 09 09 09 23 20 paceMap():....#
3120: 6a 75 73 74 20 6d 6f 76 69 6e 67 0a 09 09 09 23 just moving....#
3130: 20 64 72 6f 70 20 6f 6c 64 20 64 69 72 73 20 58 drop old dirs X
3140: 58 58 0a 09 09 09 70 72 69 6e 74 28 27 4d 6f 76 XX....print('Mov
3150: 69 6e 67 20 74 65 6d 70 6f 72 61 72 79 20 66 69 ing temporary fi
3160: 6c 65 20 74 6f 20 6e 65 77 20 64 65 73 74 69 6e le to new destin
3170: 61 74 69 6f 6e 2e 27 29 0a 09 09 09 6f 73 2e 72 ation.')....os.r
3180: 65 6e 61 6d 65 73 28 74 65 6d 70 5f 6e 61 6d 65 enames(temp_name
3190: 2c 20 66 69 6c 65 5f 6e 61 6d 65 29 0a 0a 09 09 , file_name)....
31a0: 69 66 20 6e 6f 74 20 6d 79 5f 70 61 74 68 5f 62 if not my_path_b
31b0: 20 69 6e 20 69 6e 64 65 78 3a 0a 09 09 09 73 65 in index:....se
31c0: 6c 66 2e 73 65 6e 64 5f 72 65 73 70 6f 6e 73 65 lf.send_response
31d0: 28 35 30 32 29 0a 09 09 09 73 65 6c 66 2e 65 6e (502)....self.en
31e0: 64 5f 68 65 61 64 65 72 73 28 29 0a 09 09 09 72 d_headers()....r
31f0: 65 74 75 72 6e 0a 0a 09 09 69 66 20 73 65 6c 66 eturn....if self
3200: 2e 63 6f 6d 6d 61 6e 64 20 3d 3d 20 27 48 45 41 .command == 'HEA
3210: 44 27 3a 0a 09 09 09 73 65 6c 66 2e 73 65 6e 64 D':....self.send
3220: 5f 72 65 73 70 6f 6e 73 65 28 32 30 30 29 0a 09 _response(200)..
3230: 09 09 69 66 20 27 43 6f 6e 74 65 6e 74 2d 4c 65 ..if 'Content-Le
3240: 6e 67 74 68 27 20 69 6e 20 69 6e 64 65 78 5b 6d ngth' in index[m
3250: 79 5f 70 61 74 68 5f 62 5d 3a 0a 09 09 09 09 73 y_path_b]:.....s
3260: 65 6c 66 2e 73 65 6e 64 5f 68 65 61 64 65 72 28 elf.send_header(
3270: 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 'Content-Length'
3280: 2c 20 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5f , index[my_path_
3290: 62 5d 5b 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 b]['Content-Leng
32a0: 74 68 27 5d 29 0a 09 09 09 73 65 6c 66 2e 73 65 th'])....self.se
32b0: 6e 64 5f 68 65 61 64 65 72 28 27 41 63 63 65 70 nd_header('Accep
32c0: 74 2d 52 61 6e 67 65 73 27 2c 20 27 62 79 74 65 t-Ranges', 'byte
32d0: 73 27 29 0a 09 09 09 73 65 6c 66 2e 73 65 6e 64 s')....self.send
32e0: 5f 68 65 61 64 65 72 28 27 43 6f 6e 74 65 6e 74 _header('Content
32f0: 2d 54 79 70 65 27 2c 20 27 61 70 70 6c 69 63 61 -Type', 'applica
3300: 74 69 6f 6e 2f 6f 63 74 65 74 2d 73 74 72 65 61 tion/octet-strea
3310: 6d 27 29 0a 09 09 09 69 66 20 27 4c 61 73 74 2d m')....if 'Last-
3320: 4d 6f 64 69 66 69 65 64 27 20 69 6e 20 69 6e 64 Modified' in ind
3330: 65 78 5b 6d 79 5f 70 61 74 68 5f 62 5d 3a 0a 09 ex[my_path_b]:..
3340: 09 09 09 73 65 6c 66 2e 73 65 6e 64 5f 68 65 61 ...self.send_hea
3350: 64 65 72 28 27 4c 61 73 74 2d 4d 6f 64 69 66 69 der('Last-Modifi
3360: 65 64 27 2c 20 69 6e 64 65 78 5b 6d 79 5f 70 61 ed', index[my_pa
3370: 74 68 5f 62 5d 5b 27 4c 61 73 74 2d 4d 6f 64 69 th_b]['Last-Modi
3380: 66 69 65 64 27 5d 29 0a 09 09 09 73 65 6c 66 2e fied'])....self.
3390: 65 6e 64 5f 68 65 61 64 65 72 73 28 29 0a 09 09 end_headers()...
33a0: 65 6c 73 65 3a 0a 09 09 09 69 66 20 28 27 5f 70 else:....if ('_p
33b0: 61 72 74 73 27 20 69 6e 20 69 6e 64 65 78 5b 6d arts' in index[m
33c0: 79 5f 70 61 74 68 5f 62 5d 20 61 6e 64 20 69 6e y_path_b] and in
33d0: 64 65 78 5b 6d 79 5f 70 61 74 68 5f 62 5d 5b 27 dex[my_path_b]['
33e0: 5f 70 61 72 74 73 27 5d 20 21 3d 20 73 70 61 63 _parts'] != spac
33f0: 65 6d 61 70 2e 53 70 61 63 65 4d 61 70 28 29 29 emap.SpaceMap())
3400: 20 6f 72 20 6e 6f 74 20 6f 73 2e 61 63 63 65 73 or not os.acces
3410: 73 28 66 69 6c 65 5f 6e 61 6d 65 2c 20 6f 73 2e s(file_name, os.
3420: 52 5f 4f 4b 29 3a 0a 09 09 09 09 66 69 6c 65 5f R_OK):.....file_
3430: 6e 61 6d 65 20 3d 20 74 65 6d 70 5f 6e 61 6d 65 name = temp_name
3440: 0a 0a 09 09 09 77 69 74 68 20 6f 70 65 6e 28 66 .....with open(f
3450: 69 6c 65 5f 6e 61 6d 65 2c 20 27 72 62 27 29 20 ile_name, 'rb')
3460: 61 73 20 72 65 61 6c 5f 66 69 6c 65 3a 0a 09 09 as real_file:...
3470: 09 09 66 69 6c 65 5f 73 74 61 74 20 3d 20 6f 73 ..file_stat = os
3480: 2e 73 74 61 74 28 66 69 6c 65 5f 6e 61 6d 65 29 .stat(file_name)
3490: 0a 09 09 09 09 69 66 20 27 52 61 6e 67 65 27 20 .....if 'Range'
34a0: 69 6e 20 73 65 6c 66 2e 68 65 61 64 65 72 73 3a in self.headers:
34b0: 0a 09 09 09 09 09 73 65 6c 66 2e 73 65 6e 64 5f ......self.send_
34c0: 72 65 73 70 6f 6e 73 65 28 32 30 36 29 0a 09 09 response(206)...
34d0: 09 09 09 72 61 6e 67 65 73 20 3d 20 28 29 0a 09 ...ranges = ()..
34e0: 09 09 09 09 72 65 71 75 65 73 74 65 64 5f 72 61 ....requested_ra
34f0: 6e 67 65 73 2e 72 65 77 69 6e 64 28 29 0a 09 09 nges.rewind()...
3500: 09 09 09 77 68 69 6c 65 20 54 72 75 65 3a 0a 09 ...while True:..
3510: 09 09 09 09 09 70 61 69 72 20 3d 20 72 65 71 75 .....pair = requ
3520: 65 73 74 65 64 5f 72 61 6e 67 65 73 2e 70 6f 70 ested_ranges.pop
3530: 28 29 0a 09 09 09 09 09 09 69 66 20 70 61 69 72 ().......if pair
3540: 5b 30 5d 20 3d 3d 20 4e 6f 6e 65 3a 0a 09 09 09 [0] == None:....
3550: 09 09 09 09 62 72 65 61 6b 0a 09 09 09 09 09 09 ....break.......
3560: 72 61 6e 67 65 73 20 2b 3d 20 27 7b 7d 2d 7b 7d ranges += '{}-{}
3570: 27 2e 66 6f 72 6d 61 74 28 70 61 69 72 5b 30 5d '.format(pair[0]
3580: 2c 20 73 74 72 28 70 61 69 72 5b 31 5d 20 2d 20 , str(pair[1] -
3590: 31 29 29 2c 0a 09 09 09 09 09 73 65 6c 66 2e 73 1)),......self.s
35a0: 65 6e 64 5f 68 65 61 64 65 72 28 27 43 6f 6e 74 end_header('Cont
35b0: 65 6e 74 2d 52 61 6e 67 65 27 2c 20 27 62 79 74 ent-Range', 'byt
35c0: 65 73 20 7b 7d 2f 7b 7d 27 2e 66 6f 72 6d 61 74 es {}/{}'.format
35d0: 28 27 2c 27 2e 6a 6f 69 6e 28 72 61 6e 67 65 73 (','.join(ranges
35e0: 29 2c 20 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 ), index[my_path
35f0: 5f 62 5d 5b 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e _b]['Content-Len
3600: 67 74 68 27 5d 29 29 0a 09 09 09 09 65 6c 73 65 gth'])).....else
3610: 3a 0a 09 09 09 09 09 73 65 6c 66 2e 73 65 6e 64 :......self.send
3620: 5f 72 65 73 70 6f 6e 73 65 28 32 30 30 29 0a 09 _response(200)..
3630: 09 09 09 09 73 65 6c 66 2e 73 65 6e 64 5f 68 65 ....self.send_he
3640: 61 64 65 72 28 27 43 6f 6e 74 65 6e 74 2d 4c 65 ader('Content-Le
3650: 6e 67 74 68 27 2c 20 73 74 72 28 66 69 6c 65 5f ngth', str(file_
3660: 73 74 61 74 2e 73 74 5f 73 69 7a 65 29 29 0a 09 stat.st_size))..
3670: 09 09 09 09 72 65 71 75 65 73 74 65 64 5f 72 61 ....requested_ra
3680: 6e 67 65 73 20 3d 20 73 70 61 63 65 6d 61 70 2e nges = spacemap.
3690: 53 70 61 63 65 4d 61 70 28 7b 30 3a 20 66 69 6c SpaceMap({0: fil
36a0: 65 5f 73 74 61 74 2e 73 74 5f 73 69 7a 65 7d 29 e_stat.st_size})
36b0: 0a 09 09 09 09 69 66 20 27 4c 61 73 74 2d 4d 6f .....if 'Last-Mo
36c0: 64 69 66 69 65 64 27 20 69 6e 20 69 6e 64 65 78 dified' in index
36d0: 5b 6d 79 5f 70 61 74 68 5f 62 5d 3a 0a 09 09 09 [my_path_b]:....
36e0: 09 09 73 65 6c 66 2e 73 65 6e 64 5f 68 65 61 64 ..self.send_head
36f0: 65 72 28 27 4c 61 73 74 2d 4d 6f 64 69 66 69 65 er('Last-Modifie
3700: 64 27 2c 20 69 6e 64 65 78 5b 6d 79 5f 70 61 74 d', index[my_pat
3710: 68 5f 62 5d 5b 27 4c 61 73 74 2d 4d 6f 64 69 66 h_b]['Last-Modif
3720: 69 65 64 27 5d 29 0a 09 09 09 09 73 65 6c 66 2e ied']).....self.
3730: 73 65 6e 64 5f 68 65 61 64 65 72 28 27 43 6f 6e send_header('Con
3740: 74 65 6e 74 2d 54 79 70 65 27 2c 20 27 61 70 70 tent-Type', 'app
3750: 6c 69 63 61 74 69 6f 6e 2f 6f 63 74 65 74 2d 73 lication/octet-s
3760: 74 72 65 61 6d 27 29 0a 09 09 09 09 73 65 6c 66 tream').....self
3770: 2e 65 6e 64 5f 68 65 61 64 65 72 73 28 29 0a 09 .end_headers()..
3780: 09 09 09 69 66 20 73 65 6c 66 2e 63 6f 6d 6d 61 ...if self.comma
3790: 6e 64 20 69 6e 20 28 27 47 45 54 27 29 3a 0a 09 nd in ('GET'):..
37a0: 09 09 09 09 69 66 20 6c 65 6e 28 72 65 71 75 65 ....if len(reque
37b0: 73 74 65 64 5f 72 61 6e 67 65 73 29 20 3e 20 30 sted_ranges) > 0
37c0: 3a 0a 09 09 09 09 09 09 72 65 71 75 65 73 74 65 :.......requeste
37d0: 64 5f 72 61 6e 67 65 73 2e 72 65 77 69 6e 64 28 d_ranges.rewind(
37e0: 29 0a 09 09 09 09 09 09 28 73 74 61 72 74 2c 20 ).......(start,
37f0: 65 6e 64 29 20 3d 20 72 65 71 75 65 73 74 65 64 end) = requested
3800: 5f 72 61 6e 67 65 73 2e 70 6f 70 28 29 0a 09 09 _ranges.pop()...
3810: 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 73 ...else:.......s
3820: 74 61 72 74 20 3d 20 30 0a 09 09 09 09 09 09 23 tart = 0.......#
3830: 20 58 58 58 20 75 67 6c 79 20 68 61 63 6b 0a 09 XXX ugly hack..
3840: 09 09 09 09 09 69 66 20 27 43 6f 6e 74 65 6e 74 .....if 'Content
3850: 2d 4c 65 6e 67 74 68 27 20 69 6e 20 69 6e 64 65 -Length' in inde
3860: 78 5b 6d 79 5f 70 61 74 68 5f 62 5d 3a 0a 09 09 x[my_path_b]:...
3870: 09 09 09 09 09 65 6e 64 20 3d 20 69 6e 64 65 78 .....end = index
3880: 5b 6d 79 5f 70 61 74 68 5f 62 5d 5b 27 43 6f 6e [my_path_b]['Con
3890: 74 65 6e 74 2d 4c 65 6e 67 74 68 27 5d 0a 09 09 tent-Length']...
38a0: 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 ....else:.......
38b0: 09 65 6e 64 20 3d 20 30 0a 09 09 09 09 09 72 65 .end = 0......re
38c0: 61 6c 5f 66 69 6c 65 2e 73 65 65 6b 28 73 74 61 al_file.seek(sta
38d0: 72 74 29 0a 09 09 09 09 09 69 66 20 62 6c 6f 63 rt)......if bloc
38e0: 6b 5f 73 69 7a 65 20 3e 20 65 6e 64 20 2d 20 73 k_size > end - s
38f0: 74 61 72 74 3a 0a 09 09 09 09 09 09 72 65 71 5f tart:.......req_
3900: 62 6c 6f 63 6b 5f 73 69 7a 65 20 3d 20 65 6e 64 block_size = end
3910: 20 2d 20 73 74 61 72 74 0a 09 09 09 09 09 65 6c - start......el
3920: 73 65 3a 0a 09 09 09 09 09 09 72 65 71 5f 62 6c se:.......req_bl
3930: 6f 63 6b 5f 73 69 7a 65 20 3d 20 62 6c 6f 63 6b ock_size = block
3940: 5f 73 69 7a 65 0a 09 09 09 09 09 62 75 66 66 65 _size......buffe
3950: 72 20 3d 20 72 65 61 6c 5f 66 69 6c 65 2e 72 65 r = real_file.re
3960: 61 64 28 72 65 71 5f 62 6c 6f 63 6b 5f 73 69 7a ad(req_block_siz
3970: 65 29 0a 09 09 09 09 09 6c 65 6e 67 74 68 20 3d e)......length =
3980: 20 6c 65 6e 28 62 75 66 66 65 72 29 0a 09 09 09 len(buffer)....
3990: 09 09 77 68 69 6c 65 20 6c 65 6e 67 74 68 20 3e ..while length >
39a0: 20 30 3a 0a 09 09 09 09 09 09 73 65 6c 66 2e 77 0:.......self.w
39b0: 66 69 6c 65 2e 77 72 69 74 65 28 62 75 66 66 65 file.write(buffe
39c0: 72 29 0a 09 09 09 09 09 09 73 74 61 72 74 20 2b r).......start +
39d0: 3d 20 6c 65 6e 28 62 75 66 66 65 72 29 0a 09 09 = len(buffer)...
39e0: 09 09 09 09 69 66 20 72 65 71 5f 62 6c 6f 63 6b ....if req_block
39f0: 5f 73 69 7a 65 20 3e 20 65 6e 64 20 2d 20 73 74 _size > end - st
3a00: 61 72 74 3a 0a 09 09 09 09 09 09 09 72 65 71 5f art:........req_
3a10: 62 6c 6f 63 6b 5f 73 69 7a 65 20 3d 20 65 6e 64 block_size = end
3a20: 20 2d 20 73 74 61 72 74 0a 09 09 09 09 09 09 69 - start.......i
3a30: 66 20 72 65 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 f req_block_size
3a40: 20 3d 3d 20 30 3a 0a 09 09 09 09 09 09 09 62 72 == 0:........br
3a50: 65 61 6b 0a 09 09 09 09 09 09 62 75 66 66 65 72 eak.......buffer
3a60: 20 3d 20 72 65 61 6c 5f 66 69 6c 65 2e 72 65 61 = real_file.rea
3a70: 64 28 72 65 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 d(req_block_size
3a80: 29 0a 09 09 09 09 09 09 6c 65 6e 67 74 68 20 3d ).......length =
3a90: 20 6c 65 6e 28 62 75 66 66 65 72 29 0a 09 09 09 len(buffer)....
3aa0: 09 0a 09 64 65 66 20 64 6f 5f 48 45 41 44 28 73 ...def do_HEAD(s
3ab0: 65 6c 66 29 3a 0a 09 09 72 65 74 75 72 6e 20 73 elf):...return s
3ac0: 65 6c 66 2e 5f 5f 70 72 6f 63 65 73 73 28 29 0a elf.__process().
3ad0: 09 64 65 66 20 64 6f 5f 47 45 54 28 73 65 6c 66 .def do_GET(self
3ae0: 29 3a 0a 09 09 72 65 74 75 72 6e 20 73 65 6c 66 ):...return self
3af0: 2e 5f 5f 70 72 6f 63 65 73 73 28 29 0a 0a 73 65 .__process()..se
3b00: 72 76 65 72 20 3d 20 68 74 74 70 2e 73 65 72 76 rver = http.serv
3b10: 65 72 2e 48 54 54 50 53 65 72 76 65 72 28 28 27 er.HTTPServer(('
3b20: 31 32 37 2e 30 2e 30 2e 31 27 2c 20 69 6e 74 28 127.0.0.1', int(
3b30: 63 6f 6e 66 69 67 5b 27 44 45 46 41 55 4c 54 27 config['DEFAULT'
3b40: 5d 5b 27 70 6f 72 74 27 5d 29 29 2c 20 4d 79 52 ]['port'])), MyR
3b50: 65 71 75 65 73 74 48 61 6e 64 6c 65 72 29 0a 73 equestHandler).s
3b60: 65 72 76 65 72 2e 73 65 72 76 65 5f 66 6f 72 65 erver.serve_fore
3b70: 76 65 72 28 29 0a 0a 23 67 65 76 65 6e 74 2e 6a ver()..#gevent.j
3b80: 6f 69 6e 61 6c 6c 28 29 0a oinall().