0000: 23 21 2f 75 73 72 2f 62 69 6e 2f 65 6e 76 20 70 #!/usr/bin/env p
0010: 79 74 68 6f 6e 33 2e 31 0a 0a 69 6d 70 6f 72 74 ython3.1..import
0020: 20 64 61 74 65 74 69 6d 65 2c 20 68 74 74 70 2e datetime, http.
0030: 63 6f 6f 6b 69 65 6a 61 72 2c 20 6f 73 2c 20 73 cookiejar, os, s
0040: 79 73 2c 20 73 68 65 6c 76 65 2c 20 73 70 61 63 ys, shelve, spac
0050: 65 6d 61 70 2c 20 72 65 2c 20 75 72 6c 6c 69 62 emap, re, urllib
0060: 2e 72 65 71 75 65 73 74 0a 0a 63 6c 61 73 73 20 .request..class
0070: 43 6f 6e 66 69 67 3a 0a 09 5f 5f 73 6c 6f 74 73 Config:..__slots
0080: 5f 5f 20 3d 20 66 72 6f 7a 65 6e 73 65 74 28 5b __ = frozenset([
0090: 27 5f 63 6f 6e 66 69 67 27 2c 20 27 5f 64 65 66 '_config', '_def
00a0: 61 75 6c 74 27 2c 20 27 5f 73 65 63 74 69 6f 6e ault', '_section
00b0: 27 2c 20 27 6f 70 74 69 6f 6e 73 27 2c 20 27 72 ', 'options', 'r
00c0: 6f 6f 74 27 5d 29 0a 09 5f 64 65 66 61 75 6c 74 oot']).._default
00d0: 20 3d 20 7b 0a 09 09 27 67 65 6e 65 72 61 6c 27 = {...'general'
00e0: 3a 20 7b 0a 09 09 09 27 70 6f 72 74 27 3a 20 27 : {....'port': '
00f0: 38 30 30 38 27 2c 0a 09 09 7d 2c 0a 09 09 27 5f 8008',...},...'_
0100: 6f 74 68 65 72 27 3a 20 7b 0a 09 09 09 27 76 65 other': {....'ve
0110: 72 62 6f 73 65 27 3a 20 27 6e 6f 27 2c 0a 09 09 rbose': 'no',...
0120: 09 27 6e 6f 65 74 61 67 27 3a 20 27 6e 6f 27 2c .'noetag': 'no',
0130: 0a 09 09 09 27 6e 6f 70 61 72 74 73 27 3a 20 27 ....'noparts': '
0140: 6e 6f 27 2c 0a 09 09 09 27 73 74 72 69 70 27 3a no',....'strip':
0150: 20 27 27 2c 0a 09 09 09 27 73 75 62 27 3a 20 27 '',....'sub': '
0160: 27 2c 0a 09 7d 2c 7d 0a 0a 09 23 20 66 75 6e 63 ',..},}...# func
0170: 74 69 6f 6e 20 74 6f 20 72 65 61 64 20 69 6e 20 tion to read in
0180: 63 6f 6e 66 69 67 20 66 69 6c 65 0a 09 64 65 66 config file..def
0190: 20 5f 5f 69 6e 69 74 5f 5f 28 73 65 6c 66 29 3a __init__(self):
01a0: 0a 09 09 69 6d 70 6f 72 74 20 63 6f 6e 66 69 67 ...import config
01b0: 70 61 72 73 65 72 2c 20 6f 70 74 70 61 72 73 65 parser, optparse
01c0: 0a 0a 09 09 70 61 72 73 65 72 20 3d 20 6f 70 74 ....parser = opt
01d0: 70 61 72 73 65 2e 4f 70 74 69 6f 6e 50 61 72 73 parse.OptionPars
01e0: 65 72 28 29 0a 09 09 70 61 72 73 65 72 2e 61 64 er()...parser.ad
01f0: 64 5f 6f 70 74 69 6f 6e 28 27 2d 63 27 2c 20 27 d_option('-c', '
0200: 2d 2d 63 6f 6e 66 69 67 27 2c 20 64 65 73 74 20 --config', dest
0210: 3d 20 27 63 6f 6e 66 69 67 27 2c 20 68 65 6c 70 = 'config', help
0220: 20 3d 20 27 63 6f 6e 66 69 67 20 66 69 6c 65 20 = 'config file
0230: 6c 6f 63 61 74 69 6f 6e 27 2c 20 6d 65 74 61 76 location', metav
0240: 61 72 20 3d 20 27 46 49 4c 45 27 2c 20 64 65 66 ar = 'FILE', def
0250: 61 75 6c 74 20 3d 20 27 73 61 6d 65 73 69 74 65 ault = 'samesite
0260: 2e 63 6f 6e 66 27 29 0a 09 09 28 73 65 6c 66 2e .conf')...(self.
0270: 6f 70 74 69 6f 6e 73 2c 20 61 72 67 73 29 20 3d options, args) =
0280: 20 70 61 72 73 65 72 2e 70 61 72 73 65 5f 61 72 parser.parse_ar
0290: 67 73 28 29 0a 0a 09 09 61 73 73 65 72 74 20 6f gs()....assert o
02a0: 73 2e 61 63 63 65 73 73 28 73 65 6c 66 2e 6f 70 s.access(self.op
02b0: 74 69 6f 6e 73 2e 63 6f 6e 66 69 67 2c 20 6f 73 tions.config, os
02c0: 2e 52 5f 4f 4b 29 2c 20 22 46 61 74 61 6c 20 65 .R_OK), "Fatal e
02d0: 72 72 6f 72 3a 20 63 61 6e 27 74 20 72 65 61 64 rror: can't read
02e0: 20 7b 7d 22 2e 66 6f 72 6d 61 74 28 73 65 6c 66 {}".format(self
02f0: 2e 6f 70 74 69 6f 6e 73 2e 63 6f 6e 66 69 67 29 .options.config)
0300: 0a 0a 09 09 63 6f 6e 66 69 67 44 69 72 20 3d 20 ....configDir =
0310: 72 65 2e 63 6f 6d 70 69 6c 65 28 27 5e 28 2e 2a re.compile('^(.*
0320: 29 2f 5b 5e 2f 5d 2b 24 27 29 2e 6d 61 74 63 68 )/[^/]+$').match
0330: 28 73 65 6c 66 2e 6f 70 74 69 6f 6e 73 2e 63 6f (self.options.co
0340: 6e 66 69 67 29 0a 09 09 69 66 20 63 6f 6e 66 69 nfig)...if confi
0350: 67 44 69 72 3a 0a 09 09 09 73 65 6c 66 2e 72 6f gDir:....self.ro
0360: 6f 74 20 3d 20 63 6f 6e 66 69 67 44 69 72 2e 67 ot = configDir.g
0370: 72 6f 75 70 28 31 29 0a 09 09 65 6c 73 65 3a 0a roup(1)...else:.
0380: 09 09 09 73 65 6c 66 2e 72 6f 6f 74 20 3d 20 6f ...self.root = o
0390: 73 2e 67 65 74 63 77 64 28 29 0a 0a 09 09 73 65 s.getcwd()....se
03a0: 6c 66 2e 5f 63 6f 6e 66 69 67 20 3d 20 63 6f 6e lf._config = con
03b0: 66 69 67 70 61 72 73 65 72 2e 43 6f 6e 66 69 67 figparser.Config
03c0: 50 61 72 73 65 72 28 29 0a 09 09 73 65 6c 66 2e Parser()...self.
03d0: 5f 63 6f 6e 66 69 67 2e 72 65 61 64 66 70 28 6f _config.readfp(o
03e0: 70 65 6e 28 73 65 6c 66 2e 6f 70 74 69 6f 6e 73 pen(self.options
03f0: 2e 63 6f 6e 66 69 67 29 29 0a 0a 09 09 66 6f 72 .config))....for
0400: 20 73 65 63 74 69 6f 6e 20 69 6e 20 73 65 6c 66 section in self
0410: 2e 5f 63 6f 6e 66 69 67 2e 73 65 63 74 69 6f 6e ._config.section
0420: 73 28 29 3a 0a 09 09 09 69 66 20 73 65 63 74 69 s():....if secti
0430: 6f 6e 20 21 3d 20 27 67 65 6e 65 72 61 6c 27 3a on != 'general':
0440: 0a 09 09 09 09 69 66 20 73 65 6c 66 2e 5f 63 6f .....if self._co
0450: 6e 66 69 67 2e 68 61 73 5f 6f 70 74 69 6f 6e 28 nfig.has_option(
0460: 73 65 63 74 69 6f 6e 2c 20 27 64 69 72 27 29 3a section, 'dir'):
0470: 0a 09 09 09 09 09 69 66 20 72 65 2e 63 6f 6d 70 ......if re.comp
0480: 69 6c 65 28 27 5e 2f 24 27 29 2e 6d 61 74 63 68 ile('^/$').match
0490: 28 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 67 65 (self._config.ge
04a0: 74 28 73 65 63 74 69 6f 6e 2c 20 27 64 69 72 27 t(section, 'dir'
04b0: 29 29 3a 0a 09 09 09 09 09 09 73 65 6c 66 2e 5f )):.......self._
04c0: 63 6f 6e 66 69 67 2e 73 65 74 28 73 65 63 74 69 config.set(secti
04d0: 6f 6e 2c 20 27 64 69 72 27 2c 20 73 65 6c 66 2e on, 'dir', self.
04e0: 72 6f 6f 74 20 2b 20 6f 73 2e 73 65 70 20 2b 20 root + os.sep +
04f0: 73 65 63 74 69 6f 6e 29 0a 09 09 09 09 09 74 68 section)......th
0500: 69 73 44 69 72 20 3d 20 72 65 2e 63 6f 6d 70 69 isDir = re.compi
0510: 6c 65 28 27 5e 28 2e 2a 29 2f 24 27 29 2e 6d 61 le('^(.*)/$').ma
0520: 74 63 68 28 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 tch(self._config
0530: 2e 67 65 74 28 73 65 63 74 69 6f 6e 2c 20 27 64 .get(section, 'd
0540: 69 72 27 29 29 0a 09 09 09 09 09 69 66 20 74 68 ir'))......if th
0550: 69 73 44 69 72 3a 0a 09 09 09 09 09 09 73 65 6c isDir:.......sel
0560: 66 2e 5f 63 6f 6e 66 69 67 2e 73 65 74 28 73 65 f._config.set(se
0570: 63 74 69 6f 6e 2c 20 27 64 69 72 27 2c 20 74 68 ction, 'dir', th
0580: 69 73 44 69 72 2e 67 72 6f 75 70 28 31 29 29 0a isDir.group(1)).
0590: 09 09 09 09 09 69 66 20 6e 6f 74 20 72 65 2e 63 .....if not re.c
05a0: 6f 6d 70 69 6c 65 28 27 5e 2f 28 2e 2a 29 24 27 ompile('^/(.*)$'
05b0: 29 2e 6d 61 74 63 68 28 73 65 6c 66 2e 5f 63 6f ).match(self._co
05c0: 6e 66 69 67 2e 67 65 74 28 73 65 63 74 69 6f 6e nfig.get(section
05d0: 2c 20 27 64 69 72 27 29 29 3a 0a 09 09 09 09 09 , 'dir')):......
05e0: 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 73 65 .self._config.se
05f0: 74 28 73 65 63 74 69 6f 6e 2c 20 27 64 69 72 27 t(section, 'dir'
0600: 2c 20 73 65 6c 66 2e 72 6f 6f 74 20 2b 20 6f 73 , self.root + os
0610: 2e 73 65 70 20 2b 20 73 65 6c 66 2e 5f 63 6f 6e .sep + self._con
0620: 66 69 67 2e 67 65 74 28 73 65 63 74 69 6f 6e 2c fig.get(section,
0630: 20 27 64 69 72 27 29 29 0a 09 09 09 09 65 6c 73 'dir')).....els
0640: 65 3a 0a 09 09 09 09 09 73 65 6c 66 2e 5f 63 6f e:......self._co
0650: 6e 66 69 67 2e 73 65 74 28 73 65 63 74 69 6f 6e nfig.set(section
0660: 2c 20 27 64 69 72 27 2c 20 73 65 6c 66 2e 72 6f , 'dir', self.ro
0670: 6f 74 20 2b 20 6f 73 2e 73 65 70 20 2b 20 73 65 ot + os.sep + se
0680: 63 74 69 6f 6e 29 0a 0a 09 09 09 09 69 66 20 6e ction)......if n
0690: 6f 74 20 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e ot self._config.
06a0: 68 61 73 5f 6f 70 74 69 6f 6e 28 73 65 63 74 69 has_option(secti
06b0: 6f 6e 2c 20 27 72 6f 6f 74 27 29 3a 0a 09 09 09 on, 'root'):....
06c0: 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 73 ..self._config.s
06d0: 65 74 28 73 65 63 74 69 6f 6e 2c 20 27 72 6f 6f et(section, 'roo
06e0: 74 27 2c 20 73 65 63 74 69 6f 6e 29 0a 0a 09 23 t', section)...#
06f0: 20 66 75 6e 63 74 69 6f 6e 20 74 6f 20 73 65 6c function to sel
0700: 65 63 74 20 63 6f 6e 66 69 67 20 66 69 6c 65 20 ect config file
0710: 73 65 63 74 69 6f 6e 20 6f 72 20 63 72 65 61 74 section or creat
0720: 65 20 6f 6e 65 0a 09 64 65 66 20 73 65 63 74 69 e one..def secti
0730: 6f 6e 28 73 65 6c 66 2c 20 73 65 63 74 69 6f 6e on(self, section
0740: 29 3a 0a 09 09 69 66 20 6e 6f 74 20 73 65 6c 66 ):...if not self
0750: 2e 5f 63 6f 6e 66 69 67 2e 68 61 73 5f 73 65 63 ._config.has_sec
0760: 74 69 6f 6e 28 73 65 63 74 69 6f 6e 29 3a 0a 09 tion(section):..
0770: 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 61 ..self._config.a
0780: 64 64 5f 73 65 63 74 69 6f 6e 28 73 65 63 74 69 dd_section(secti
0790: 6f 6e 29 0a 09 09 73 65 6c 66 2e 5f 73 65 63 74 on)...self._sect
07a0: 69 6f 6e 20 3d 20 73 65 63 74 69 6f 6e 0a 0a 09 ion = section...
07b0: 23 20 66 75 6e 63 74 69 6f 6e 20 74 6f 20 67 65 # function to ge
07c0: 74 20 63 6f 6e 66 69 67 20 70 61 72 61 6d 65 74 t config paramet
07d0: 65 72 2c 20 69 66 20 70 61 72 61 6d 65 74 65 72 er, if parameter
07e0: 20 64 6f 65 73 6e 27 74 20 65 78 69 73 74 73 20 doesn't exists
07f0: 74 68 65 20 64 65 66 61 75 6c 74 0a 09 23 20 76 the default..# v
0800: 61 6c 75 65 20 6f 72 20 4e 6f 6e 65 20 69 73 20 alue or None is
0810: 73 75 62 73 74 69 74 75 74 65 64 0a 09 64 65 66 substituted..def
0820: 20 5f 5f 67 65 74 69 74 65 6d 5f 5f 28 73 65 6c __getitem__(sel
0830: 66 2c 20 6e 61 6d 65 29 3a 0a 09 09 69 66 20 6e f, name):...if n
0840: 6f 74 20 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e ot self._config.
0850: 68 61 73 5f 6f 70 74 69 6f 6e 28 73 65 6c 66 2e has_option(self.
0860: 5f 73 65 63 74 69 6f 6e 2c 20 6e 61 6d 65 29 3a _section, name):
0870: 0a 09 09 09 69 66 20 73 65 6c 66 2e 5f 73 65 63 ....if self._sec
0880: 74 69 6f 6e 20 69 6e 20 73 65 6c 66 2e 5f 64 65 tion in self._de
0890: 66 61 75 6c 74 3a 0a 09 09 09 09 69 66 20 6e 61 fault:.....if na
08a0: 6d 65 20 69 6e 20 73 65 6c 66 2e 5f 64 65 66 61 me in self._defa
08b0: 75 6c 74 5b 73 65 6c 66 2e 5f 73 65 63 74 69 6f ult[self._sectio
08c0: 6e 5d 3a 0a 09 09 09 09 09 73 65 6c 66 2e 5f 63 n]:......self._c
08d0: 6f 6e 66 69 67 2e 73 65 74 28 73 65 6c 66 2e 5f onfig.set(self._
08e0: 73 65 63 74 69 6f 6e 2c 20 6e 61 6d 65 2c 20 73 section, name, s
08f0: 65 6c 66 2e 5f 64 65 66 61 75 6c 74 5b 73 65 6c elf._default[sel
0900: 66 2e 5f 73 65 63 74 69 6f 6e 5d 5b 6e 61 6d 65 f._section][name
0910: 5d 29 0a 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 ]).....else:....
0920: 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 73 ..self._config.s
0930: 65 74 28 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e et(self._section
0940: 2c 20 6e 61 6d 65 2c 20 4e 6f 6e 65 29 0a 09 09 , name, None)...
0950: 09 65 6c 69 66 20 6e 61 6d 65 20 69 6e 20 73 65 .elif name in se
0960: 6c 66 2e 5f 64 65 66 61 75 6c 74 5b 27 5f 6f 74 lf._default['_ot
0970: 68 65 72 27 5d 3a 0a 09 09 09 09 73 65 6c 66 2e her']:.....self.
0980: 5f 63 6f 6e 66 69 67 2e 73 65 74 28 73 65 6c 66 _config.set(self
0990: 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e 61 6d 65 2c ._section, name,
09a0: 20 73 65 6c 66 2e 5f 64 65 66 61 75 6c 74 5b 27 self._default['
09b0: 5f 6f 74 68 65 72 27 5d 5b 6e 61 6d 65 5d 29 0a _other'][name]).
09c0: 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 73 65 6c ...else:.....sel
09d0: 66 2e 5f 63 6f 6e 66 69 67 2e 73 65 74 28 73 65 f._config.set(se
09e0: 6c 66 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e 61 6d lf._section, nam
09f0: 65 2c 20 4e 6f 6e 65 29 0a 09 09 72 65 74 75 72 e, None)...retur
0a00: 6e 28 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 67 n(self._config.g
0a10: 65 74 28 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e et(self._section
0a20: 2c 20 6e 61 6d 65 29 29 0a 0a 63 6f 6e 66 69 67 , name))..config
0a30: 20 3d 20 43 6f 6e 66 69 67 28 29 0a 0a 23 61 73 = Config()..#as
0a40: 73 65 72 74 20 6f 70 74 69 6f 6e 73 2e 70 6f 72 sert options.por
0a50: 74 20 6f 72 20 6f 73 2e 61 63 63 65 73 73 28 6f t or os.access(o
0a60: 70 74 69 6f 6e 73 2e 6c 6f 67 2c 20 6f 73 2e 52 ptions.log, os.R
0a70: 5f 4f 4b 29 2c 20 27 4c 6f 67 20 66 69 6c 65 20 _OK), 'Log file
0a80: 75 6e 72 65 61 64 61 62 6c 65 27 0a 0a 63 6f 6e unreadable'..con
0a90: 73 74 5f 64 65 73 63 5f 66 69 65 6c 64 73 20 3d st_desc_fields =
0aa0: 20 73 65 74 28 5b 27 43 6f 6e 74 65 6e 74 2d 4c set(['Content-L
0ab0: 65 6e 67 74 68 27 2c 20 27 4c 61 73 74 2d 4d 6f ength', 'Last-Mo
0ac0: 64 69 66 69 65 64 27 2c 20 27 50 72 61 67 6d 61 dified', 'Pragma
0ad0: 27 5d 29 0a 63 6f 6e 73 74 5f 69 67 6e 6f 72 65 ']).const_ignore
0ae0: 5f 66 69 65 6c 64 73 20 3d 20 73 65 74 28 5b 0a _fields = set([.
0af0: 09 27 41 63 63 65 70 74 2d 52 61 6e 67 65 73 27 .'Accept-Ranges'
0b00: 2c 20 27 41 67 65 27 2c 0a 09 27 43 61 63 68 65 , 'Age',..'Cache
0b10: 2d 43 6f 6e 74 72 6f 6c 27 2c 20 27 43 6f 6e 6e -Control', 'Conn
0b20: 65 63 74 69 6f 6e 27 2c 20 27 43 6f 6e 74 65 6e ection', 'Conten
0b30: 74 2d 54 79 70 65 27 2c 0a 09 27 44 61 74 65 27 t-Type',..'Date'
0b40: 2c 0a 09 27 45 78 70 69 72 65 73 27 2c 0a 09 27 ,..'Expires',..'
0b50: 52 65 66 65 72 65 72 27 2c 0a 09 27 53 65 72 76 Referer',..'Serv
0b60: 65 72 27 2c 0a 09 27 56 69 61 27 2c 0a 09 27 58 er',..'Via',..'X
0b70: 2d 43 61 63 68 65 27 2c 20 27 58 2d 43 61 63 68 -Cache', 'X-Cach
0b80: 65 2d 4c 6f 6f 6b 75 70 27 2c 20 27 58 2d 50 6f e-Lookup', 'X-Po
0b90: 77 65 72 65 64 2d 42 79 27 0a 5d 29 0a 0a 62 6c wered-By'.])..bl
0ba0: 6f 63 6b 5f 73 69 7a 65 20 3d 20 34 30 39 36 0a ock_size = 4096.
0bb0: 0a 69 6d 70 6f 72 74 20 68 74 74 70 2e 73 65 72 .import http.ser
0bc0: 76 65 72 0a 0a 63 6c 61 73 73 20 4d 79 52 65 71 ver..class MyReq
0bd0: 75 65 73 74 48 61 6e 64 6c 65 72 28 68 74 74 70 uestHandler(http
0be0: 2e 73 65 72 76 65 72 2e 42 61 73 65 48 54 54 50 .server.BaseHTTP
0bf0: 52 65 71 75 65 73 74 48 61 6e 64 6c 65 72 29 3a RequestHandler):
0c00: 0a 09 64 65 66 20 5f 5f 70 72 6f 63 65 73 73 28 ..def __process(
0c10: 73 65 6c 66 29 3a 0a 09 09 23 20 72 65 6c 6f 61 self):...# reloa
0c20: 64 20 6d 65 61 6e 73 20 66 69 6c 65 20 6e 65 65 d means file nee
0c30: 64 73 20 74 6f 20 62 65 20 72 65 6c 6f 61 64 65 ds to be reloade
0c40: 64 20 74 6f 20 73 65 72 76 65 20 72 65 71 75 65 d to serve reque
0c50: 73 74 0a 09 09 72 65 6c 6f 61 64 20 3d 20 46 61 st...reload = Fa
0c60: 6c 73 65 0a 09 09 23 20 72 65 63 68 65 63 6b 20 lse...# recheck
0c70: 6d 65 61 6e 73 20 66 69 6c 65 20 6e 65 65 64 73 means file needs
0c80: 20 74 6f 20 62 65 20 63 68 65 63 6b 65 64 2c 20 to be checked,
0c90: 74 68 69 73 20 61 6c 73 6f 20 6d 65 61 6e 73 20 this also means
0ca0: 74 68 61 74 20 69 66 20 66 69 6c 65 20 68 61 76 that if file hav
0cb0: 20 62 65 65 6e 20 6d 6f 64 69 66 69 65 64 20 77 been modified w
0cc0: 65 20 63 61 6e 20 73 65 72 76 65 20 6f 6c 64 65 e can serve olde
0cd0: 72 20 63 6f 70 79 0a 09 09 72 65 63 68 65 63 6b r copy...recheck
0ce0: 20 3d 20 46 61 6c 73 65 0a 09 09 23 20 66 69 6c = False...# fil
0cf0: 65 5f 73 74 61 74 20 6d 65 61 6e 73 20 66 69 6c e_stat means fil
0d00: 65 20 64 65 66 69 6e 69 74 65 6c 79 20 65 78 69 e definitely exi
0d10: 73 74 73 0a 09 09 66 69 6c 65 5f 73 74 61 74 20 sts...file_stat
0d20: 3d 20 4e 6f 6e 65 0a 09 09 23 20 72 65 71 75 65 = None...# reque
0d30: 73 74 65 64 5f 72 61 6e 67 65 73 20 68 6f 6c 64 sted_ranges hold
0d40: 73 20 64 61 74 61 20 61 62 6f 75 74 20 61 6e 79 s data about any
0d50: 20 72 61 6e 67 65 20 72 65 71 75 65 73 74 65 64 range requested
0d60: 0a 09 09 72 65 71 75 65 73 74 65 64 5f 72 61 6e ...requested_ran
0d70: 67 65 73 20 3d 20 4e 6f 6e 65 0a 09 09 23 20 72 ges = None...# r
0d80: 65 63 6f 72 64 73 20 68 6f 6c 64 73 20 64 61 74 ecords holds dat
0d90: 61 20 66 72 6f 6d 20 69 6e 64 65 78 20 6c 6f 63 a from index loc
0da0: 61 6c 6c 79 2c 20 73 68 6f 75 6c 64 20 62 65 20 ally, should be
0db0: 77 72 69 74 74 65 6e 20 62 61 63 6b 20 75 70 6f written back upo
0dc0: 6e 20 73 75 63 63 65 73 73 66 75 6c 6c 20 63 6f n successfull co
0dd0: 6d 70 6c 65 74 69 6f 6e 0a 09 09 72 65 63 6f 72 mpletion...recor
0de0: 64 20 3d 20 4e 6f 6e 65 0a 0a 09 09 6d 79 50 61 d = None....myPa
0df0: 74 68 20 3d 20 72 65 2e 63 6f 6d 70 69 6c 65 28 th = re.compile(
0e00: 27 5e 28 2e 2a 3f 29 28 5c 3f 2e 2a 29 24 27 29 '^(.*?)(\?.*)$')
0e10: 2e 6d 61 74 63 68 28 73 65 6c 66 2e 70 61 74 68 .match(self.path
0e20: 29 0a 09 09 69 66 20 6d 79 50 61 74 68 3a 0a 09 )...if myPath:..
0e30: 09 09 6d 79 5f 70 61 74 68 20 3d 20 6d 79 50 61 ..my_path = myPa
0e40: 74 68 2e 67 72 6f 75 70 28 31 29 0a 09 09 65 6c th.group(1)...el
0e50: 73 65 3a 0a 09 09 09 6d 79 5f 70 61 74 68 20 3d se:....my_path =
0e60: 20 73 65 6c 66 2e 70 61 74 68 0a 0a 09 09 63 6f self.path....co
0e70: 6e 66 69 67 2e 73 65 63 74 69 6f 6e 28 73 65 6c nfig.section(sel
0e80: 66 2e 68 65 61 64 65 72 73 5b 27 48 6f 73 74 27 f.headers['Host'
0e90: 5d 29 0a 0a 09 09 69 66 20 63 6f 6e 66 69 67 5b ])....if config[
0ea0: 27 73 75 62 27 5d 20 21 3d 20 4e 6f 6e 65 20 61 'sub'] != None a
0eb0: 6e 64 20 63 6f 6e 66 69 67 5b 27 73 74 72 69 70 nd config['strip
0ec0: 27 5d 20 21 3d 20 4e 6f 6e 65 20 61 6e 64 20 6c '] != None and l
0ed0: 65 6e 28 63 6f 6e 66 69 67 5b 27 73 74 72 69 70 en(config['strip
0ee0: 27 5d 29 20 3e 20 30 3a 0a 09 09 09 73 74 72 69 ']) > 0:....stri
0ef0: 6e 67 20 3d 20 72 65 2e 63 6f 6d 70 69 6c 65 28 ng = re.compile(
0f00: 63 6f 6e 66 69 67 5b 27 73 74 72 69 70 27 5d 29 config['strip'])
0f10: 2e 73 75 62 28 63 6f 6e 66 69 67 5b 27 73 75 62 .sub(config['sub
0f20: 27 5d 2c 20 6d 79 5f 70 61 74 68 29 0a 09 09 09 '], my_path)....
0f30: 6d 79 5f 70 61 74 68 20 3d 20 73 74 72 69 6e 67 my_path = string
0f40: 0a 0a 09 09 69 6e 66 6f 20 3d 20 27 43 68 65 63 ....info = 'Chec
0f50: 6b 69 6e 67 20 66 69 6c 65 3a 20 27 20 2b 20 6d king file: ' + m
0f60: 79 5f 70 61 74 68 0a 0a 09 09 69 66 20 6e 6f 74 y_path....if not
0f70: 20 6f 73 2e 61 63 63 65 73 73 28 63 6f 6e 66 69 os.access(confi
0f80: 67 5b 27 64 69 72 27 5d 2c 20 6f 73 2e 58 5f 4f g['dir'], os.X_O
0f90: 4b 29 3a 0a 09 09 09 6f 73 2e 6d 6b 64 69 72 28 K):....os.mkdir(
0fa0: 63 6f 6e 66 69 67 5b 27 64 69 72 27 5d 29 0a 09 config['dir'])..
0fb0: 09 23 20 74 68 69 73 20 69 73 20 66 69 6c 65 20 .# this is file
0fc0: 69 6e 64 65 78 20 2d 20 65 76 65 72 79 74 68 69 index - everythi
0fd0: 6e 67 20 69 73 20 73 74 6f 72 65 64 20 69 6e 20 ng is stored in
0fe0: 74 68 69 73 20 66 69 6c 65 0a 09 09 23 20 5f 70 this file...# _p
0ff0: 61 72 74 73 20 2d 20 6c 69 73 74 20 6f 66 20 73 arts - list of s
1000: 74 6f 72 65 64 20 70 61 72 74 73 20 6f 66 20 66 tored parts of f
1010: 69 6c 65 0a 09 09 23 20 5f 74 69 6d 65 20 2d 20 ile...# _time -
1020: 6c 61 73 74 20 74 69 6d 65 20 74 68 65 20 66 69 last time the fi
1030: 6c 65 20 77 61 73 20 63 68 65 63 6b 65 64 0a 09 le was checked..
1040: 09 23 20 65 76 65 72 79 74 68 69 6e 67 20 65 6c .# everything el
1050: 73 65 20 69 73 20 6a 75 73 74 20 74 68 65 20 68 se is just the h
1060: 65 61 64 65 72 73 0a 09 09 69 6e 64 65 78 20 3d eaders...index =
1070: 20 73 68 65 6c 76 65 2e 6f 70 65 6e 28 63 6f 6e shelve.open(con
1080: 66 69 67 5b 27 64 69 72 27 5d 20 2b 20 6f 73 2e fig['dir'] + os.
1090: 73 65 70 20 2b 20 27 2e 69 6e 64 65 78 27 29 0a sep + '.index').
10a0: 0a 09 09 64 65 73 63 5f 66 69 65 6c 64 73 20 3d ...desc_fields =
10b0: 20 63 6f 6e 73 74 5f 64 65 73 63 5f 66 69 65 6c const_desc_fiel
10c0: 64 73 2e 63 6f 70 79 28 29 0a 09 09 69 67 6e 6f ds.copy()...igno
10d0: 72 65 5f 66 69 65 6c 64 73 20 3d 20 63 6f 6e 73 re_fields = cons
10e0: 74 5f 69 67 6e 6f 72 65 5f 66 69 65 6c 64 73 2e t_ignore_fields.
10f0: 63 6f 70 79 28 29 0a 09 09 69 66 20 63 6f 6e 66 copy()...if conf
1100: 69 67 5b 27 6e 6f 65 74 61 67 27 5d 20 3d 3d 20 ig['noetag'] ==
1110: 27 6e 6f 27 3a 0a 09 09 09 64 65 73 63 5f 66 69 'no':....desc_fi
1120: 65 6c 64 73 2e 61 64 64 28 27 45 54 61 67 27 29 elds.add('ETag')
1130: 0a 09 09 65 6c 73 65 3a 0a 09 09 09 69 67 6e 6f ...else:....igno
1140: 72 65 5f 66 69 65 6c 64 73 2e 61 64 64 28 27 45 re_fields.add('E
1150: 54 61 67 27 29 0a 0a 09 09 70 72 6f 78 79 5f 69 Tag')....proxy_i
1160: 67 6e 6f 72 65 64 20 3d 20 73 65 74 28 5b 0a 09 gnored = set([..
1170: 09 09 27 41 63 63 65 70 74 27 2c 20 27 41 63 63 ..'Accept', 'Acc
1180: 65 70 74 2d 43 68 61 72 73 65 74 27 2c 20 27 41 ept-Charset', 'A
1190: 63 63 65 70 74 2d 45 6e 63 6f 64 69 6e 67 27 2c ccept-Encoding',
11a0: 20 27 41 63 63 65 70 74 2d 4c 61 6e 67 75 61 67 'Accept-Languag
11b0: 65 27 2c 0a 09 09 09 27 43 61 63 68 65 2d 43 6f e',....'Cache-Co
11c0: 6e 74 72 6f 6c 27 2c 20 27 43 6f 6e 6e 65 63 74 ntrol', 'Connect
11d0: 69 6f 6e 27 2c 20 27 43 6f 6e 74 65 6e 74 2d 4c ion', 'Content-L
11e0: 65 6e 67 74 68 27 2c 20 27 43 6f 6f 6b 69 65 27 ength', 'Cookie'
11f0: 2c 0a 09 09 09 27 48 6f 73 74 27 2c 0a 09 09 09 ,....'Host',....
1200: 27 49 66 2d 4d 6f 64 69 66 69 65 64 2d 53 69 6e 'If-Modified-Sin
1210: 63 65 27 2c 20 27 49 66 2d 55 6e 6d 6f 64 69 66 ce', 'If-Unmodif
1220: 69 65 64 2d 53 69 6e 63 65 27 2c 0a 09 09 09 27 ied-Since',....'
1230: 52 65 66 65 72 65 72 27 2c 0a 09 09 09 27 55 73 Referer',....'Us
1240: 65 72 2d 41 67 65 6e 74 27 2c 0a 09 09 09 27 56 er-Agent',....'V
1250: 69 61 27 2c 0a 09 09 09 27 58 2d 46 6f 72 77 61 ia',....'X-Forwa
1260: 72 64 65 64 2d 46 6f 72 27 2c 20 27 58 2d 52 45 rded-For', 'X-RE
1270: 4d 4f 56 45 44 27 2c 0a 09 09 5d 29 0a 0a 09 09 MOVED',...])....
1280: 70 72 69 6e 74 28 27 3d 3d 3d 3d 3d 3d 3d 3d 3d print('=========
1290: 3d 3d 3d 3d 3d 3d 5b 20 7b 7d 20 72 65 71 75 65 ======[ {} reque
12a0: 73 74 20 5d 3d 3d 3d 27 2e 66 6f 72 6d 61 74 28 st ]==='.format(
12b0: 73 65 6c 66 2e 63 6f 6d 6d 61 6e 64 29 29 0a 0a self.command))..
12c0: 09 09 66 6f 72 20 68 65 61 64 65 72 20 69 6e 20 ..for header in
12d0: 73 65 6c 66 2e 68 65 61 64 65 72 73 3a 0a 09 09 self.headers:...
12e0: 09 69 66 20 68 65 61 64 65 72 20 69 6e 20 70 72 .if header in pr
12f0: 6f 78 79 5f 69 67 6e 6f 72 65 64 3a 0a 09 09 09 oxy_ignored:....
1300: 09 70 61 73 73 0a 09 09 09 65 6c 69 66 20 68 65 .pass....elif he
1310: 61 64 65 72 20 69 6e 20 28 27 52 61 6e 67 65 27 ader in ('Range'
1320: 29 3a 0a 09 09 09 09 69 73 52 61 6e 67 65 20 3d ):.....isRange =
1330: 20 72 65 2e 63 6f 6d 70 69 6c 65 28 27 62 79 74 re.compile('byt
1340: 65 73 3d 28 5c 64 2b 29 2d 28 5c 64 2b 29 27 29 es=(\d+)-(\d+)')
1350: 2e 6d 61 74 63 68 28 73 65 6c 66 2e 68 65 61 64 .match(self.head
1360: 65 72 73 5b 68 65 61 64 65 72 5d 29 0a 09 09 09 ers[header])....
1370: 09 69 66 20 69 73 52 61 6e 67 65 3a 0a 09 09 09 .if isRange:....
1380: 09 09 72 65 71 75 65 73 74 65 64 5f 72 61 6e 67 ..requested_rang
1390: 65 73 20 3d 20 73 70 61 63 65 6d 61 70 2e 53 70 es = spacemap.Sp
13a0: 61 63 65 4d 61 70 28 7b 69 6e 74 28 69 73 52 61 aceMap({int(isRa
13b0: 6e 67 65 2e 67 72 6f 75 70 28 31 29 29 3a 20 69 nge.group(1)): i
13c0: 6e 74 28 69 73 52 61 6e 67 65 2e 67 72 6f 75 70 nt(isRange.group
13d0: 28 32 29 29 20 2b 20 31 7d 29 0a 09 09 09 09 65 (2)) + 1}).....e
13e0: 6c 73 65 3a 0a 09 09 09 09 09 72 65 74 75 72 6e lse:......return
13f0: 28 29 0a 09 09 09 65 6c 69 66 20 68 65 61 64 65 ()....elif heade
1400: 72 20 69 6e 20 28 27 50 72 61 67 6d 61 27 29 3a r in ('Pragma'):
1410: 0a 09 09 09 09 69 66 20 6d 79 5f 70 61 74 68 20 .....if my_path
1420: 69 6e 20 69 6e 64 65 78 3a 0a 09 09 09 09 09 69 in index:......i
1430: 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5d 5b 68 65 ndex[my_path][he
1440: 61 64 65 72 5d 20 3d 20 73 65 6c 66 2e 68 65 61 ader] = self.hea
1450: 64 65 72 73 5b 68 65 61 64 65 72 5d 0a 09 09 09 ders[header]....
1460: 65 6c 73 65 3a 0a 09 09 09 09 70 72 69 6e 74 28 else:.....print(
1470: 27 55 6e 6b 6e 6f 77 6e 20 68 65 61 64 65 72 20 'Unknown header
1480: 2d 20 27 2c 20 68 65 61 64 65 72 2c 20 27 3a 20 - ', header, ':
1490: 27 2c 20 73 65 6c 66 2e 68 65 61 64 65 72 73 5b ', self.headers[
14a0: 68 65 61 64 65 72 5d 2c 20 73 65 70 3d 27 27 29 header], sep='')
14b0: 0a 09 09 09 09 72 65 74 75 72 6e 28 29 0a 09 09 .....return()...
14c0: 09 70 72 69 6e 74 28 68 65 61 64 65 72 2c 20 73 .print(header, s
14d0: 65 6c 66 2e 68 65 61 64 65 72 73 5b 68 65 61 64 elf.headers[head
14e0: 65 72 5d 29 0a 0a 09 09 23 20 63 72 65 61 74 69 er])....# creati
14f0: 6e 67 20 66 69 6c 65 20 6e 61 6d 65 20 66 72 6f ng file name fro
1500: 6d 20 6d 79 5f 70 61 74 68 0a 09 09 66 69 6c 65 m my_path...file
1510: 5f 6e 61 6d 65 20 3d 20 63 6f 6e 66 69 67 5b 27 _name = config['
1520: 64 69 72 27 5d 20 2b 20 6f 73 2e 73 65 70 20 2b dir'] + os.sep +
1530: 20 72 65 2e 63 6f 6d 70 69 6c 65 28 27 25 32 30 re.compile('%20
1540: 27 29 2e 73 75 62 28 27 20 27 2c 20 6d 79 5f 70 ').sub(' ', my_p
1550: 61 74 68 29 0a 09 09 23 20 70 61 72 74 69 61 6c ath)...# partial
1560: 20 66 69 6c 65 20 6f 72 20 75 6e 66 69 6e 69 73 file or unfinis
1570: 68 65 64 20 64 6f 77 6e 6c 6f 61 64 0a 09 09 74 hed download...t
1580: 65 6d 70 5f 6e 61 6d 65 20 3d 20 63 6f 6e 66 69 emp_name = confi
1590: 67 5b 27 64 69 72 27 5d 20 2b 20 6f 73 2e 73 65 g['dir'] + os.se
15a0: 70 20 2b 20 27 2e 70 61 72 74 73 27 20 2b 20 72 p + '.parts' + r
15b0: 65 2e 63 6f 6d 70 69 6c 65 28 27 25 32 30 27 29 e.compile('%20')
15c0: 2e 73 75 62 28 27 20 27 2c 20 6d 79 5f 70 61 74 .sub(' ', my_pat
15d0: 68 29 0a 0a 09 09 23 20 63 72 65 61 74 69 6e 67 h)....# creating
15e0: 20 65 6d 70 74 79 20 70 6c 61 63 65 68 6f 6c 64 empty placehold
15f0: 65 72 20 69 6e 20 69 6e 64 65 78 0a 09 09 23 20 er in index...#
1600: 69 66 20 74 68 65 72 65 27 73 20 6e 6f 20 73 70 if there's no sp
1610: 61 63 65 20 6d 61 70 20 61 6e 64 20 74 68 65 72 ace map and ther
1620: 65 27 73 20 6e 6f 20 66 69 6c 65 20 69 6e 20 72 e's no file in r
1630: 65 61 6c 20 64 69 72 65 63 74 6f 72 79 20 2d 20 eal directory -
1640: 77 65 20 68 61 76 65 20 6e 6f 20 66 69 6c 65 0a we have no file.
1650: 09 09 23 20 69 66 20 74 68 65 72 65 27 73 20 61 ..# if there's a
1660: 6e 20 65 6d 70 74 79 20 73 70 61 63 65 20 6d 61 n empty space ma
1670: 70 20 2d 20 66 69 6c 65 20 69 73 20 66 75 6c 6c p - file is full
1680: 0a 09 09 23 20 73 70 61 63 65 20 6d 61 70 20 67 ...# space map g
1690: 65 6e 65 72 61 6c 6c 79 20 63 6f 76 65 72 73 20 enerally covers
16a0: 65 76 65 72 79 20 62 69 74 20 6f 66 20 66 69 6c every bit of fil
16b0: 65 20 77 65 20 64 6f 6e 27 74 20 70 6f 73 65 73 e we don't poses
16c0: 73 20 63 75 72 72 65 6e 74 6c 79 0a 09 09 69 66 s currently...if
16d0: 20 6e 6f 74 20 6d 79 5f 70 61 74 68 20 69 6e 20 not my_path in
16e0: 69 6e 64 65 78 3a 0a 09 09 09 69 6e 66 6f 20 2b index:....info +
16f0: 3d 20 27 5c 6e 54 68 69 73 20 6f 6e 65 20 69 73 = '\nThis one is
1700: 20 6e 65 77 2e 27 0a 09 09 09 72 65 6c 6f 61 64 new.'....reload
1710: 20 3d 20 54 72 75 65 0a 09 09 09 72 65 63 6f 72 = True....recor
1720: 64 20 3d 20 7b 7d 0a 09 09 65 6c 73 65 3a 0a 09 d = {}...else:..
1730: 09 09 23 20 66 6f 72 63 69 62 6c 79 20 63 68 65 ..# forcibly che
1740: 63 6b 69 6e 67 20 66 69 6c 65 20 69 66 20 6e 6f cking file if no
1750: 20 66 69 6c 65 20 70 72 65 73 65 6e 74 0a 09 09 file present...
1760: 09 72 65 63 6f 72 64 20 3d 20 69 6e 64 65 78 5b .record = index[
1770: 6d 79 5f 70 61 74 68 5d 0a 09 09 09 69 66 20 6f my_path]....if o
1780: 73 2e 61 63 63 65 73 73 28 66 69 6c 65 5f 6e 61 s.access(file_na
1790: 6d 65 2c 20 6f 73 2e 52 5f 4f 4b 29 3a 0a 09 09 me, os.R_OK):...
17a0: 09 09 69 6e 66 6f 20 2b 3d 20 27 5c 6e 46 75 6c ..info += '\nFul
17b0: 6c 20 66 69 6c 65 20 66 6f 75 6e 64 2e 27 0a 09 l file found.'..
17c0: 09 09 09 66 69 6c 65 5f 73 74 61 74 20 3d 20 6f ...file_stat = o
17d0: 73 2e 73 74 61 74 28 66 69 6c 65 5f 6e 61 6d 65 s.stat(file_name
17e0: 29 0a 09 09 09 65 6c 69 66 20 27 5f 70 61 72 74 )....elif '_part
17f0: 73 27 20 69 6e 20 69 6e 64 65 78 5b 6d 79 5f 70 s' in index[my_p
1800: 61 74 68 5d 20 61 6e 64 20 6f 73 2e 61 63 63 65 ath] and os.acce
1810: 73 73 28 74 65 6d 70 5f 6e 61 6d 65 2c 20 6f 73 ss(temp_name, os
1820: 2e 52 5f 4f 4b 29 3a 0a 09 09 09 09 69 6e 66 6f .R_OK):.....info
1830: 20 2b 3d 20 27 5c 6e 50 61 72 74 69 61 6c 20 66 += '\nPartial f
1840: 69 6c 65 20 66 6f 75 6e 64 2e 27 0a 09 09 09 09 ile found.'.....
1850: 66 69 6c 65 5f 73 74 61 74 20 3d 20 6f 73 2e 73 file_stat = os.s
1860: 74 61 74 28 74 65 6d 70 5f 6e 61 6d 65 29 0a 09 tat(temp_name)..
1870: 09 09 09 72 65 63 68 65 63 6b 20 3d 20 54 72 75 ...recheck = Tru
1880: 65 0a 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 69 e....else:.....i
1890: 6e 66 6f 20 2b 3d 20 27 5c 6e 46 69 6c 65 20 6e nfo += '\nFile n
18a0: 6f 74 20 66 6f 75 6e 64 20 6f 72 20 69 6e 61 63 ot found or inac
18b0: 63 65 73 73 69 62 6c 65 2e 27 0a 09 09 09 09 72 cessible.'.....r
18c0: 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d 20 ecord['_parts']
18d0: 3d 20 4e 6f 6e 65 0a 09 09 09 09 72 65 6c 6f 61 = None.....reloa
18e0: 64 20 3d 20 54 72 75 65 0a 0a 09 09 69 66 20 6e d = True....if n
18f0: 6f 74 20 27 5f 70 61 72 74 73 27 20 69 6e 20 72 ot '_parts' in r
1900: 65 63 6f 72 64 3a 0a 09 09 09 72 65 63 6f 72 64 ecord:....record
1910: 5b 27 5f 70 61 72 74 73 27 5d 20 3d 20 4e 6f 6e ['_parts'] = Non
1920: 65 0a 0a 09 09 69 66 20 72 65 63 6f 72 64 5b 27 e....if record['
1930: 5f 70 61 72 74 73 27 5d 20 3d 3d 20 4e 6f 6e 65 _parts'] == None
1940: 3a 0a 09 09 09 72 65 63 68 65 63 6b 20 3d 20 54 :....recheck = T
1950: 72 75 65 0a 0a 09 09 23 20 66 6f 72 63 69 62 6c rue....# forcibl
1960: 79 20 63 68 65 63 6b 69 6e 67 20 66 69 6c 65 20 y checking file
1970: 69 66 20 66 69 6c 65 20 73 69 7a 65 20 64 6f 65 if file size doe
1980: 73 6e 27 74 20 6d 61 74 63 68 20 77 69 74 68 20 sn't match with
1990: 69 6e 64 65 78 20 64 61 74 61 0a 09 09 69 66 20 index data...if
19a0: 6e 6f 74 20 72 65 6c 6f 61 64 3a 0a 09 09 09 69 not reload:....i
19b0: 66 20 27 5f 70 61 72 74 73 27 20 69 6e 20 72 65 f '_parts' in re
19c0: 63 6f 72 64 20 61 6e 64 20 72 65 63 6f 72 64 5b cord and record[
19d0: 27 5f 70 61 72 74 73 27 5d 20 3d 3d 20 73 70 61 '_parts'] == spa
19e0: 63 65 6d 61 70 2e 53 70 61 63 65 4d 61 70 28 29 cemap.SpaceMap()
19f0: 3a 0a 09 09 09 09 69 66 20 27 43 6f 6e 74 65 6e :.....if 'Conten
1a00: 74 2d 4c 65 6e 67 74 68 27 20 69 6e 20 72 65 63 t-Length' in rec
1a10: 6f 72 64 20 61 6e 64 20 66 69 6c 65 5f 73 74 61 ord and file_sta
1a20: 74 20 61 6e 64 20 66 69 6c 65 5f 73 74 61 74 2e t and file_stat.
1a30: 73 74 5f 73 69 7a 65 20 21 3d 20 69 6e 74 28 72 st_size != int(r
1a40: 65 63 6f 72 64 5b 27 43 6f 6e 74 65 6e 74 2d 4c ecord['Content-L
1a50: 65 6e 67 74 68 27 5d 29 3a 0a 09 09 09 09 09 69 ength']):......i
1a60: 6e 66 6f 20 2b 3d 20 27 5c 6e 46 69 6c 65 20 73 nfo += '\nFile s
1a70: 69 7a 65 20 69 73 20 7b 7d 20 61 6e 64 20 73 74 ize is {} and st
1a80: 6f 72 65 64 20 66 69 6c 65 20 73 69 7a 65 20 69 ored file size i
1a90: 73 20 7b 7d 2e 27 2e 66 6f 72 6d 61 74 28 66 69 s {}.'.format(fi
1aa0: 6c 65 5f 73 74 61 74 2e 73 74 5f 73 69 7a 65 2c le_stat.st_size,
1ab0: 20 72 65 63 6f 72 64 5b 27 43 6f 6e 74 65 6e 74 record['Content
1ac0: 2d 4c 65 6e 67 74 68 27 5d 29 0a 09 09 09 09 09 -Length'])......
1ad0: 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d record['_parts']
1ae0: 20 3d 20 4e 6f 6e 65 0a 09 09 09 09 09 72 65 6c = None......rel
1af0: 6f 61 64 20 3d 20 54 72 75 65 0a 0a 09 09 23 20 oad = True....#
1b00: 66 6f 72 63 69 62 6c 79 20 63 68 65 63 6b 69 6e forcibly checkin
1b10: 67 20 66 69 6c 65 20 69 66 20 69 6e 64 65 78 20 g file if index
1b20: 68 6f 6c 64 73 20 50 72 61 67 6d 61 20 68 65 61 holds Pragma hea
1b30: 64 65 72 0a 09 09 69 66 20 6e 6f 74 20 72 65 6c der...if not rel
1b40: 6f 61 64 20 61 6e 64 20 27 50 72 61 67 6d 61 27 oad and 'Pragma'
1b50: 20 69 6e 20 72 65 63 6f 72 64 20 61 6e 64 20 72 in record and r
1b60: 65 63 6f 72 64 5b 27 50 72 61 67 6d 61 27 5d 20 ecord['Pragma']
1b70: 3d 3d 20 27 6e 6f 2d 63 61 63 68 65 27 3a 0a 09 == 'no-cache':..
1b80: 09 09 69 6e 66 6f 20 2b 3d 27 5c 6e 50 72 61 67 ..info +='\nPrag
1b90: 6d 61 20 6f 6e 3a 20 72 65 63 68 65 63 6b 20 69 ma on: recheck i
1ba0: 6d 6d 69 6e 65 6e 74 2e 27 0a 09 09 09 72 65 63 mminent.'....rec
1bb0: 68 65 63 6b 20 3d 20 54 72 75 65 0a 0a 09 09 23 heck = True....#
1bc0: 20 73 6b 69 70 70 69 6e 67 20 66 69 6c 65 20 70 skipping file p
1bd0: 72 6f 63 65 73 73 69 6e 67 20 69 66 20 74 68 65 rocessing if the
1be0: 72 65 27 73 20 6e 6f 20 6e 65 65 64 20 74 6f 20 re's no need to
1bf0: 72 65 63 68 65 63 6b 20 69 74 20 61 6e 64 20 77 recheck it and w
1c00: 65 20 68 61 76 65 20 63 68 65 63 6b 65 64 20 69 e have checked i
1c10: 74 20 61 74 20 6c 65 61 73 74 20 34 20 68 6f 75 t at least 4 hou
1c20: 72 73 20 61 67 6f 0a 09 09 69 66 20 6e 6f 74 20 rs ago...if not
1c30: 72 65 63 68 65 63 6b 20 61 6e 64 20 6e 6f 74 20 recheck and not
1c40: 72 65 6c 6f 61 64 20 61 6e 64 20 27 5f 74 69 6d reload and '_tim
1c50: 65 27 20 69 6e 20 72 65 63 6f 72 64 20 61 6e 64 e' in record and
1c60: 20 28 64 61 74 65 74 69 6d 65 2e 64 61 74 65 74 (datetime.datet
1c70: 69 6d 65 2e 6e 6f 77 28 29 20 2d 20 64 61 74 65 ime.now() - date
1c80: 74 69 6d 65 2e 74 69 6d 65 64 65 6c 74 61 28 68 time.timedelta(h
1c90: 6f 75 72 73 20 3d 20 34 29 20 2d 20 72 65 63 6f ours = 4) - reco
1ca0: 72 64 5b 27 5f 74 69 6d 65 27 5d 29 2e 64 61 79 rd['_time']).day
1cb0: 73 20 3c 20 30 3a 0a 09 09 09 72 65 63 68 65 63 s < 0:....rechec
1cc0: 6b 20 3d 20 54 72 75 65 0a 0a 09 09 70 72 69 6e k = True....prin
1cd0: 74 28 69 6e 66 6f 29 0a 09 09 69 66 20 72 65 6c t(info)...if rel
1ce0: 6f 61 64 20 6f 72 20 72 65 63 68 65 63 6b 3a 0a oad or recheck:.
1cf0: 0a 09 09 09 74 72 79 3a 0a 09 09 09 09 72 65 71 ....try:.....req
1d00: 75 65 73 74 20 3d 20 27 68 74 74 70 3a 2f 2f 27 uest = 'http://'
1d10: 20 2b 20 63 6f 6e 66 69 67 5b 27 72 6f 6f 74 27 + config['root'
1d20: 5d 20 2b 20 73 65 6c 66 2e 70 61 74 68 0a 09 09 ] + self.path...
1d30: 09 09 6d 79 5f 68 65 61 64 65 72 73 20 3d 20 7b ..my_headers = {
1d40: 7d 0a 09 09 09 09 66 6f 72 20 68 65 61 64 65 72 }.....for header
1d50: 20 69 6e 20 28 27 43 61 63 68 65 2d 43 6f 6e 74 in ('Cache-Cont
1d60: 72 6f 6c 27 2c 20 27 43 6f 6f 6b 69 65 27 2c 20 rol', 'Cookie',
1d70: 27 52 65 66 65 72 65 72 27 2c 20 27 55 73 65 72 'Referer', 'User
1d80: 2d 41 67 65 6e 74 27 29 3a 0a 09 09 09 09 09 69 -Agent'):......i
1d90: 66 20 68 65 61 64 65 72 20 69 6e 20 73 65 6c 66 f header in self
1da0: 2e 68 65 61 64 65 72 73 3a 0a 09 09 09 09 09 09 .headers:.......
1db0: 6d 79 5f 68 65 61 64 65 72 73 5b 68 65 61 64 65 my_headers[heade
1dc0: 72 5d 20 3d 20 73 65 6c 66 2e 68 65 61 64 65 72 r] = self.header
1dd0: 73 5b 68 65 61 64 65 72 5d 0a 0a 09 09 09 09 6e s[header]......n
1de0: 65 65 64 65 64 20 3d 20 4e 6f 6e 65 0a 09 09 09 eeded = None....
1df0: 09 69 66 20 27 5f 70 61 72 74 73 27 20 69 6e 20 .if '_parts' in
1e00: 72 65 63 6f 72 64 20 61 6e 64 20 72 65 63 6f 72 record and recor
1e10: 64 5b 27 5f 70 61 72 74 73 27 5d 20 21 3d 20 4e d['_parts'] != N
1e20: 6f 6e 65 3a 0a 09 09 09 09 09 69 66 20 63 6f 6e one:......if con
1e30: 66 69 67 5b 27 6e 6f 70 61 72 74 73 27 5d 20 21 fig['noparts'] !
1e40: 3d 20 27 6e 6f 27 20 6f 72 20 72 65 71 75 65 73 = 'no' or reques
1e50: 74 65 64 5f 72 61 6e 67 65 73 20 3d 3d 20 4e 6f ted_ranges == No
1e60: 6e 65 20 6f 72 20 72 65 71 75 65 73 74 65 64 5f ne or requested_
1e70: 72 61 6e 67 65 73 20 3d 3d 20 73 70 61 63 65 6d ranges == spacem
1e80: 61 70 2e 53 70 61 63 65 4d 61 70 28 29 3a 0a 09 ap.SpaceMap():..
1e90: 09 09 09 09 09 6e 65 65 64 65 64 20 3d 20 72 65 .....needed = re
1ea0: 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d 0a 09 cord['_parts']..
1eb0: 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 ....else:.......
1ec0: 6e 65 65 64 65 64 20 3d 20 72 65 63 6f 72 64 5b needed = record[
1ed0: 27 5f 70 61 72 74 73 27 5d 20 7c 20 72 65 71 75 '_parts'] | requ
1ee0: 65 73 74 65 64 5f 72 61 6e 67 65 73 0a 09 09 09 ested_ranges....
1ef0: 09 65 6c 69 66 20 63 6f 6e 66 69 67 5b 27 6e 6f .elif config['no
1f00: 70 61 72 74 73 27 5d 20 3d 3d 27 6e 6f 27 20 61 parts'] =='no' a
1f10: 6e 64 20 72 65 71 75 65 73 74 65 64 5f 72 61 6e nd requested_ran
1f20: 67 65 73 20 21 3d 20 4e 6f 6e 65 20 61 6e 64 20 ges != None and
1f30: 72 65 71 75 65 73 74 65 64 5f 72 61 6e 67 65 73 requested_ranges
1f40: 20 21 3d 20 73 70 61 63 65 6d 61 70 2e 53 70 61 != spacemap.Spa
1f50: 63 65 4d 61 70 28 29 3a 0a 09 09 09 09 09 6e 65 ceMap():......ne
1f60: 65 64 65 64 20 3d 20 72 65 71 75 65 73 74 65 64 eded = requested
1f70: 5f 72 61 6e 67 65 73 0a 09 09 09 09 72 61 6e 67 _ranges.....rang
1f80: 65 73 20 3d 20 28 29 0a 09 09 09 09 70 72 69 6e es = ().....prin
1f90: 74 28 27 4d 69 73 73 69 6e 67 20 72 61 6e 67 65 t('Missing range
1fa0: 73 3a 20 7b 7d 2c 20 72 65 71 75 65 73 74 65 64 s: {}, requested
1fb0: 20 72 61 6e 67 65 73 3a 20 7b 7d 2c 20 6e 65 65 ranges: {}, nee
1fc0: 64 65 64 20 72 61 6e 67 65 73 3a 20 7b 7d 2e 27 ded ranges: {}.'
1fd0: 2e 66 6f 72 6d 61 74 28 72 65 63 6f 72 64 5b 27 .format(record['
1fe0: 5f 70 61 72 74 73 27 5d 2c 20 72 65 71 75 65 73 _parts'], reques
1ff0: 74 65 64 5f 72 61 6e 67 65 73 2c 20 6e 65 65 64 ted_ranges, need
2000: 65 64 29 29 0a 09 09 09 09 69 66 20 6e 65 65 64 ed)).....if need
2010: 65 64 20 21 3d 20 4e 6f 6e 65 20 61 6e 64 20 6c ed != None and l
2020: 65 6e 28 6e 65 65 64 65 64 29 20 3e 20 30 3a 0a en(needed) > 0:.
2030: 09 09 09 09 09 6e 65 65 64 65 64 2e 72 65 77 69 .....needed.rewi
2040: 6e 64 28 29 0a 09 09 09 09 09 77 68 69 6c 65 20 nd()......while
2050: 54 72 75 65 3a 0a 09 09 09 09 09 09 72 61 6e 67 True:.......rang
2060: 65 20 3d 20 6e 65 65 64 65 64 2e 70 6f 70 28 29 e = needed.pop()
2070: 0a 09 09 09 09 09 09 69 66 20 72 61 6e 67 65 5b .......if range[
2080: 30 5d 20 3d 3d 20 4e 6f 6e 65 3a 0a 09 09 09 09 0] == None:.....
2090: 09 09 09 62 72 65 61 6b 0a 09 09 09 09 09 09 72 ...break.......r
20a0: 61 6e 67 65 73 20 2b 3d 20 27 7b 7d 2d 7b 7d 27 anges += '{}-{}'
20b0: 2e 66 6f 72 6d 61 74 28 72 61 6e 67 65 5b 30 5d .format(range[0]
20c0: 2c 20 72 61 6e 67 65 5b 31 5d 20 2d 20 31 29 2c , range[1] - 1),
20d0: 0a 09 09 09 09 09 6d 79 5f 68 65 61 64 65 72 73 ......my_headers
20e0: 5b 27 52 61 6e 67 65 27 5d 20 3d 20 27 62 79 74 ['Range'] = 'byt
20f0: 65 73 3d 27 20 2b 20 27 2c 27 2e 6a 6f 69 6e 28 es=' + ','.join(
2100: 72 61 6e 67 65 73 29 0a 0a 09 09 09 09 72 65 71 ranges)......req
2110: 75 65 73 74 20 3d 20 75 72 6c 6c 69 62 2e 72 65 uest = urllib.re
2120: 71 75 65 73 74 2e 52 65 71 75 65 73 74 28 72 65 quest.Request(re
2130: 71 75 65 73 74 2c 20 68 65 61 64 65 72 73 20 3d quest, headers =
2140: 20 6d 79 5f 68 65 61 64 65 72 73 29 0a 0a 09 09 my_headers)....
2150: 09 09 77 69 74 68 20 75 72 6c 6c 69 62 2e 72 65 ..with urllib.re
2160: 71 75 65 73 74 2e 75 72 6c 6f 70 65 6e 28 72 65 quest.urlopen(re
2170: 71 75 65 73 74 29 20 61 73 20 73 6f 75 72 63 65 quest) as source
2180: 3a 0a 09 09 09 09 09 6e 65 77 5f 72 65 63 6f 72 :......new_recor
2190: 64 20 3d 20 7b 7d 0a 09 09 09 09 09 6e 65 77 5f d = {}......new_
21a0: 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d record['_parts']
21b0: 20 3d 20 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 = record['_part
21c0: 73 27 5d 0a 09 09 09 09 09 68 65 61 64 65 72 73 s']......headers
21d0: 20 3d 20 73 6f 75 72 63 65 2e 69 6e 66 6f 28 29 = source.info()
21e0: 0a 0a 09 09 09 09 09 23 20 73 74 72 69 70 70 69 .......# strippi
21f0: 6e 67 20 75 6e 6e 65 65 64 65 64 20 68 65 61 64 ng unneeded head
2200: 65 72 73 20 28 58 58 58 20 6d 61 6b 65 20 74 68 ers (XXX make th
2210: 69 73 20 69 6e 70 6c 61 63 65 3f 29 0a 09 09 09 is inplace?)....
2220: 09 09 66 6f 72 20 68 65 61 64 65 72 20 69 6e 20 ..for header in
2230: 68 65 61 64 65 72 73 3a 0a 09 09 09 09 09 09 69 headers:.......i
2240: 66 20 68 65 61 64 65 72 20 69 6e 20 64 65 73 63 f header in desc
2250: 5f 66 69 65 6c 64 73 3a 0a 09 09 09 09 09 09 09 _fields:........
2260: 23 69 66 20 68 65 61 64 65 72 20 3d 3d 20 27 50 #if header == 'P
2270: 72 61 67 6d 61 27 20 61 6e 64 20 68 65 61 64 65 ragma' and heade
2280: 72 73 5b 68 65 61 64 65 72 5d 20 21 3d 20 27 6e rs[header] != 'n
2290: 6f 2d 63 61 63 68 65 27 3a 0a 09 09 09 09 09 09 o-cache':.......
22a0: 09 69 66 20 68 65 61 64 65 72 20 3d 3d 20 27 43 .if header == 'C
22b0: 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 3a 0a ontent-Length':.
22c0: 09 09 09 09 09 09 09 09 69 66 20 27 43 6f 6e 74 ........if 'Cont
22d0: 65 6e 74 2d 52 61 6e 67 65 27 20 6e 6f 74 20 69 ent-Range' not i
22e0: 6e 20 68 65 61 64 65 72 73 3a 0a 09 09 09 09 09 n headers:......
22f0: 09 09 09 09 6e 65 77 5f 72 65 63 6f 72 64 5b 68 ....new_record[h
2300: 65 61 64 65 72 5d 20 3d 20 69 6e 74 28 68 65 61 eader] = int(hea
2310: 64 65 72 73 5b 68 65 61 64 65 72 5d 29 0a 09 09 ders[header])...
2320: 09 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 .....else:......
2330: 09 09 09 6e 65 77 5f 72 65 63 6f 72 64 5b 68 65 ...new_record[he
2340: 61 64 65 72 5d 20 3d 20 68 65 61 64 65 72 73 5b ader] = headers[
2350: 68 65 61 64 65 72 5d 0a 09 09 09 09 09 09 65 6c header].......el
2360: 69 66 20 68 65 61 64 65 72 20 3d 3d 20 27 43 6f if header == 'Co
2370: 6e 74 65 6e 74 2d 52 61 6e 67 65 27 3a 0a 09 09 ntent-Range':...
2380: 09 09 09 09 09 72 61 6e 67 65 20 3d 20 72 65 2e .....range = re.
2390: 63 6f 6d 70 69 6c 65 28 27 5e 62 79 74 65 73 20 compile('^bytes
23a0: 28 5c 64 2b 29 2d 28 5c 64 2b 29 2f 28 5c 64 2b (\d+)-(\d+)/(\d+
23b0: 29 24 27 29 2e 6d 61 74 63 68 28 68 65 61 64 65 )$').match(heade
23c0: 72 73 5b 68 65 61 64 65 72 5d 29 0a 09 09 09 09 rs[header]).....
23d0: 09 09 09 69 66 20 72 61 6e 67 65 3a 0a 09 09 09 ...if range:....
23e0: 09 09 09 09 09 6e 65 77 5f 72 65 63 6f 72 64 5b .....new_record[
23f0: 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 'Content-Length'
2400: 5d 20 3d 20 69 6e 74 28 72 61 6e 67 65 2e 67 72 ] = int(range.gr
2410: 6f 75 70 28 33 29 29 0a 09 09 09 09 09 09 09 65 oup(3))........e
2420: 6c 73 65 3a 09 0a 09 09 09 09 09 09 09 09 61 73 lse:..........as
2430: 73 65 72 74 20 46 61 6c 73 65 2c 20 27 43 6f 6e sert False, 'Con
2440: 74 65 6e 74 2d 52 61 6e 67 65 20 75 6e 72 65 63 tent-Range unrec
2450: 6f 67 6e 69 7a 65 64 2e 27 0a 09 09 09 09 09 09 ognized.'.......
2460: 65 6c 69 66 20 6e 6f 74 20 68 65 61 64 65 72 20 elif not header
2470: 69 6e 20 69 67 6e 6f 72 65 5f 66 69 65 6c 64 73 in ignore_fields
2480: 3a 0a 09 09 09 09 09 09 09 70 72 69 6e 74 28 27 :........print('
2490: 55 6e 64 65 66 69 6e 65 64 20 68 65 61 64 65 72 Undefined header
24a0: 20 22 27 2c 20 68 65 61 64 65 72 2c 20 27 22 3a "', header, '":
24b0: 20 27 2c 20 68 65 61 64 65 72 73 5b 68 65 61 64 ', headers[head
24c0: 65 72 5d 2c 20 73 65 70 3d 27 27 29 0a 0a 09 09 er], sep='')....
24d0: 09 09 09 23 20 63 6f 6d 70 61 72 69 6e 67 20 68 ...# comparing h
24e0: 65 61 64 65 72 73 20 77 69 74 68 20 64 61 74 61 eaders with data
24f0: 20 66 6f 75 6e 64 20 69 6e 20 69 6e 64 65 78 0a found in index.
2500: 09 09 09 09 09 23 20 69 66 20 61 6e 79 20 68 65 .....# if any he
2510: 61 64 65 72 20 68 61 73 20 63 68 61 6e 67 65 64 ader has changed
2520: 20 28 65 78 63 65 70 74 20 50 72 61 67 6d 61 29 (except Pragma)
2530: 20 66 69 6c 65 20 69 73 20 66 75 6c 6c 79 20 64 file is fully d
2540: 6f 77 6e 6c 6f 61 64 65 64 0a 09 09 09 09 09 23 ownloaded......#
2550: 20 73 61 6d 65 20 69 66 20 77 65 20 67 65 74 20 same if we get
2560: 6d 6f 72 65 20 6f 72 20 6c 65 73 73 20 68 65 61 more or less hea
2570: 64 65 72 73 0a 09 09 09 09 09 6f 6c 64 5f 6b 65 ders......old_ke
2580: 79 73 20 3d 20 73 65 74 28 72 65 63 6f 72 64 2e ys = set(record.
2590: 6b 65 79 73 28 29 29 0a 09 09 09 09 09 6f 6c 64 keys())......old
25a0: 5f 6b 65 79 73 2e 64 69 73 63 61 72 64 28 27 5f _keys.discard('_
25b0: 74 69 6d 65 27 29 0a 09 09 09 09 09 6f 6c 64 5f time')......old_
25c0: 6b 65 79 73 2e 64 69 73 63 61 72 64 28 27 50 72 keys.discard('Pr
25d0: 61 67 6d 61 27 29 0a 09 09 09 09 09 6d 6f 72 65 agma')......more
25e0: 5f 6b 65 79 73 20 3d 20 73 65 74 28 6e 65 77 5f _keys = set(new_
25f0: 72 65 63 6f 72 64 2e 6b 65 79 73 28 29 29 20 2d record.keys()) -
2600: 20 6f 6c 64 5f 6b 65 79 73 0a 09 09 09 09 09 6d old_keys......m
2610: 6f 72 65 5f 6b 65 79 73 2e 64 69 73 63 61 72 64 ore_keys.discard
2620: 28 27 50 72 61 67 6d 61 27 29 0a 09 09 09 09 09 ('Pragma')......
2630: 6c 65 73 73 5f 6b 65 79 73 20 3d 20 6f 6c 64 5f less_keys = old_
2640: 6b 65 79 73 20 2d 20 73 65 74 28 6e 65 77 5f 72 keys - set(new_r
2650: 65 63 6f 72 64 2e 6b 65 79 73 28 29 29 0a 09 09 ecord.keys())...
2660: 09 09 09 69 66 20 6c 65 6e 28 6d 6f 72 65 5f 6b ...if len(more_k
2670: 65 79 73 29 20 3e 20 30 3a 0a 09 09 09 09 09 09 eys) > 0:.......
2680: 69 66 20 6e 6f 74 20 6c 65 6e 28 6f 6c 64 5f 6b if not len(old_k
2690: 65 79 73 29 20 3d 3d 20 30 3a 0a 09 09 09 09 09 eys) == 0:......
26a0: 09 09 70 72 69 6e 74 28 27 4d 6f 72 65 20 68 65 ..print('More he
26b0: 61 64 65 72 73 20 61 70 70 65 61 72 3a 27 2c 20 aders appear:',
26c0: 6d 6f 72 65 5f 6b 65 79 73 29 0a 09 09 09 09 09 more_keys)......
26d0: 09 72 65 6c 6f 61 64 20 3d 20 54 72 75 65 0a 09 .reload = True..
26e0: 09 09 09 09 65 6c 69 66 20 6c 65 6e 28 6c 65 73 ....elif len(les
26f0: 73 5f 6b 65 79 73 29 20 3e 20 30 3a 0a 09 09 09 s_keys) > 0:....
2700: 09 09 09 70 72 69 6e 74 28 27 4c 65 73 73 20 68 ...print('Less h
2710: 65 61 64 65 72 73 20 61 70 70 65 61 72 3a 27 2c eaders appear:',
2720: 20 6c 65 73 73 5f 6b 65 79 73 29 0a 09 09 09 09 less_keys).....
2730: 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 66 6f 72 .else:.......for
2740: 20 6b 65 79 20 69 6e 20 72 65 63 6f 72 64 2e 6b key in record.k
2750: 65 79 73 28 29 3a 0a 09 09 09 09 09 09 09 69 66 eys():........if
2760: 20 6b 65 79 5b 30 5d 20 21 3d 20 27 5f 27 20 61 key[0] != '_' a
2770: 6e 64 20 6b 65 79 20 21 3d 20 27 50 72 61 67 6d nd key != 'Pragm
2780: 61 27 20 61 6e 64 20 6e 6f 74 20 72 65 63 6f 72 a' and not recor
2790: 64 5b 6b 65 79 5d 20 3d 3d 20 6e 65 77 5f 72 65 d[key] == new_re
27a0: 63 6f 72 64 5b 6b 65 79 5d 3a 0a 09 09 09 09 09 cord[key]:......
27b0: 09 09 09 70 72 69 6e 74 28 27 48 65 61 64 65 72 ...print('Header
27c0: 20 22 27 2c 20 6b 65 79 2c 20 27 22 20 63 68 61 "', key, '" cha
27d0: 6e 67 65 64 20 66 72 6f 6d 20 5b 27 2c 20 72 65 nged from [', re
27e0: 63 6f 72 64 5b 6b 65 79 5d 2c 20 27 5d 20 74 6f cord[key], '] to
27f0: 20 5b 27 2c 20 6e 65 77 5f 72 65 63 6f 72 64 5b [', new_record[
2800: 6b 65 79 5d 2c 20 27 5d 27 2c 20 73 65 70 3d 27 key], ']', sep='
2810: 27 29 0a 09 09 09 09 09 09 09 09 70 72 69 6e 74 ').........print
2820: 28 74 79 70 65 28 72 65 63 6f 72 64 5b 6b 65 79 (type(record[key
2830: 5d 29 2c 20 74 79 70 65 28 6e 65 77 5f 72 65 63 ]), type(new_rec
2840: 6f 72 64 5b 6b 65 79 5d 29 29 0a 09 09 09 09 09 ord[key]))......
2850: 09 09 09 72 65 6c 6f 61 64 20 3d 20 54 72 75 65 ...reload = True
2860: 0a 0a 09 09 09 09 09 69 66 20 72 65 6c 6f 61 64 .......if reload
2870: 3a 0a 09 09 09 09 09 09 70 72 69 6e 74 28 27 52 :.......print('R
2880: 65 6c 6f 61 64 69 6e 67 2e 27 29 0a 09 09 09 09 eloading.').....
2890: 09 09 69 66 20 6f 73 2e 61 63 63 65 73 73 28 74 ..if os.access(t
28a0: 65 6d 70 5f 6e 61 6d 65 2c 20 6f 73 2e 52 5f 4f emp_name, os.R_O
28b0: 4b 29 3a 0a 09 09 09 09 09 09 09 6f 73 2e 75 6e K):........os.un
28c0: 6c 69 6e 6b 28 74 65 6d 70 5f 6e 61 6d 65 29 0a link(temp_name).
28d0: 09 09 09 09 09 09 69 66 20 6f 73 2e 61 63 63 65 ......if os.acce
28e0: 73 73 28 66 69 6c 65 5f 6e 61 6d 65 2c 20 6f 73 ss(file_name, os
28f0: 2e 52 5f 4f 4b 29 3a 0a 09 09 09 09 09 09 09 6f .R_OK):........o
2900: 73 2e 75 6e 6c 69 6e 6b 28 66 69 6c 65 5f 6e 61 s.unlink(file_na
2910: 6d 65 29 0a 09 09 09 09 09 09 6e 65 77 5f 72 65 me).......new_re
2920: 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d 20 3d cord['_parts'] =
2930: 20 73 70 61 63 65 6d 61 70 2e 53 70 61 63 65 4d spacemap.SpaceM
2940: 61 70 28 7b 30 3a 20 69 6e 74 28 6e 65 77 5f 72 ap({0: int(new_r
2950: 65 63 6f 72 64 5b 27 43 6f 6e 74 65 6e 74 2d 4c ecord['Content-L
2960: 65 6e 67 74 68 27 5d 29 7d 29 0a 09 09 09 09 09 ength'])})......
2970: 70 72 69 6e 74 28 6e 65 77 5f 72 65 63 6f 72 64 print(new_record
2980: 29 0a 0a 09 09 09 09 09 23 20 64 6f 77 6e 6c 6f ).......# downlo
2990: 61 64 69 6e 67 20 66 69 6c 65 20 6f 72 20 73 65 ading file or se
29a0: 67 6d 65 6e 74 0a 09 09 09 09 09 69 66 20 27 43 gment......if 'C
29b0: 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 20 69 ontent-Length' i
29c0: 6e 20 6e 65 77 5f 72 65 63 6f 72 64 3a 0a 09 09 n new_record:...
29d0: 09 09 09 09 69 66 20 6e 65 65 64 65 64 20 3d 3d ....if needed ==
29e0: 20 4e 6f 6e 65 3a 0a 09 09 09 09 09 09 09 6e 65 None:........ne
29f0: 65 64 65 64 20 3d 20 6e 65 77 5f 72 65 63 6f 72 eded = new_recor
2a00: 64 5b 27 5f 70 61 72 74 73 27 5d 0a 09 09 09 09 d['_parts'].....
2a10: 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 09 69 ..else:........i
2a20: 66 20 6c 65 6e 28 6e 65 65 64 65 64 29 20 3e 20 f len(needed) >
2a30: 31 3a 0a 09 09 09 09 09 09 09 09 70 72 69 6e 74 1:.........print
2a40: 28 22 4d 75 6c 74 69 70 61 72 74 20 72 65 71 75 ("Multipart requ
2a50: 65 73 74 73 20 63 75 72 72 65 6e 74 6c 79 20 6e ests currently n
2a60: 6f 74 20 73 75 70 70 6f 72 74 65 64 2e 22 29 0a ot supported.").
2a70: 09 09 09 09 09 09 09 09 61 73 73 65 72 74 20 46 ........assert F
2a80: 61 6c 73 65 2c 20 27 53 6b 69 70 20 74 68 69 73 alse, 'Skip this
2a90: 20 6f 6e 65 20 66 6f 72 20 6e 6f 77 2e 27 0a 09 one for now.'..
2aa0: 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 ....else:.......
2ab0: 61 73 73 65 72 74 20 46 61 6c 73 65 2c 20 27 4e assert False, 'N
2ac0: 6f 20 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 o Content-Length
2ad0: 20 6f 72 20 43 6f 6e 74 65 6e 74 2d 52 61 6e 67 or Content-Rang
2ae0: 65 20 68 65 61 64 65 72 2e 27 0a 0a 09 09 09 09 e header.'......
2af0: 09 6e 65 77 5f 72 65 63 6f 72 64 5b 27 5f 74 69 .new_record['_ti
2b00: 6d 65 27 5d 20 3d 20 64 61 74 65 74 69 6d 65 2e me'] = datetime.
2b10: 64 61 74 65 74 69 6d 65 2e 6e 6f 77 28 29 0a 09 datetime.now()..
2b20: 09 09 09 09 69 66 20 73 65 6c 66 2e 63 6f 6d 6d ....if self.comm
2b30: 61 6e 64 20 6e 6f 74 20 69 6e 20 28 27 48 45 41 and not in ('HEA
2b40: 44 27 29 3a 0a 09 09 09 09 09 09 23 20 66 69 6c D'):.......# fil
2b50: 65 20 69 73 20 63 72 65 61 74 65 64 20 61 74 20 e is created at
2b60: 74 65 6d 70 6f 72 61 72 79 20 6c 6f 63 61 74 69 temporary locati
2b70: 6f 6e 20 61 6e 64 20 6d 6f 76 65 64 20 69 6e 20 on and moved in
2b80: 70 6c 61 63 65 20 6f 6e 6c 79 20 77 68 65 6e 20 place only when
2b90: 64 6f 77 6e 6c 6f 61 64 20 63 6f 6d 70 6c 65 74 download complet
2ba0: 65 73 0a 09 09 09 09 09 09 69 66 20 6e 6f 74 20 es.......if not
2bb0: 6f 73 2e 61 63 63 65 73 73 28 74 65 6d 70 5f 6e os.access(temp_n
2bc0: 61 6d 65 2c 20 6f 73 2e 52 5f 4f 4b 29 3a 0a 09 ame, os.R_OK):..
2bd0: 09 09 09 09 09 09 65 6d 70 74 79 5f 6e 61 6d 65 ......empty_name
2be0: 20 3d 20 63 6f 6e 66 69 67 5b 27 64 69 72 27 5d = config['dir']
2bf0: 20 2b 20 6f 73 2e 73 65 70 20 2b 20 27 2e 74 6d + os.sep + '.tm
2c00: 70 27 0a 09 09 09 09 09 09 09 77 69 74 68 20 6f p'........with o
2c10: 70 65 6e 28 65 6d 70 74 79 5f 6e 61 6d 65 2c 20 pen(empty_name,
2c20: 27 77 2b 62 27 29 20 61 73 20 73 6f 6d 65 5f 66 'w+b') as some_f
2c30: 69 6c 65 3a 0a 09 09 09 09 09 09 09 09 70 61 73 ile:.........pas
2c40: 73 0a 09 09 09 09 09 09 09 6f 73 2e 72 65 6e 61 s........os.rena
2c50: 6d 65 73 28 65 6d 70 74 79 5f 6e 61 6d 65 2c 20 mes(empty_name,
2c60: 74 65 6d 70 5f 6e 61 6d 65 29 0a 09 09 09 09 09 temp_name)......
2c70: 09 74 65 6d 70 5f 66 69 6c 65 20 3d 20 6f 70 65 .temp_file = ope
2c80: 6e 28 74 65 6d 70 5f 6e 61 6d 65 2c 20 27 72 2b n(temp_name, 'r+
2c90: 62 27 29 0a 09 09 09 09 09 09 69 66 20 72 65 71 b').......if req
2ca0: 75 65 73 74 65 64 5f 72 61 6e 67 65 73 20 3d 3d uested_ranges ==
2cb0: 20 4e 6f 6e 65 20 61 6e 64 20 6e 65 65 64 65 64 None and needed
2cc0: 20 3d 3d 20 4e 6f 6e 65 3a 0a 09 09 09 09 09 09 == None:.......
2cd0: 09 6e 65 65 64 65 64 20 3d 20 6e 65 77 5f 72 65 .needed = new_re
2ce0: 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d 0a 09 cord['_parts']..
2cf0: 09 09 09 09 09 6e 65 65 64 65 64 2e 72 65 77 69 .....needed.rewi
2d00: 6e 64 28 29 0a 09 09 09 09 09 09 77 68 69 6c 65 nd().......while
2d10: 20 54 72 75 65 3a 0a 09 09 09 09 09 09 09 28 73 True:........(s
2d20: 74 61 72 74 2c 20 65 6e 64 29 20 3d 20 6e 65 65 tart, end) = nee
2d30: 64 65 64 2e 70 6f 70 28 29 0a 09 09 09 09 09 09 ded.pop().......
2d40: 09 69 66 20 73 74 61 72 74 20 3d 3d 20 4e 6f 6e .if start == Non
2d50: 65 3a 0a 09 09 09 09 09 09 09 09 62 72 65 61 6b e:.........break
2d60: 0a 09 09 09 09 09 09 09 73 74 72 65 61 6d 5f 6c ........stream_l
2d70: 61 73 74 20 3d 20 73 74 61 72 74 0a 09 09 09 09 ast = start.....
2d80: 09 09 09 6f 6c 64 5f 72 65 63 6f 72 64 20 3d 20 ...old_record =
2d90: 6e 65 77 5f 72 65 63 6f 72 64 0a 09 09 09 09 09 new_record......
2da0: 09 09 69 66 20 65 6e 64 20 2d 20 73 74 61 72 74 ..if end - start
2db0: 20 3c 20 62 6c 6f 63 6b 5f 73 69 7a 65 3a 0a 09 < block_size:..
2dc0: 09 09 09 09 09 09 09 72 65 71 5f 62 6c 6f 63 6b .......req_block
2dd0: 5f 73 69 7a 65 20 3d 20 65 6e 64 20 2d 20 73 74 _size = end - st
2de0: 61 72 74 0a 09 09 09 09 09 09 09 65 6c 73 65 3a art........else:
2df0: 0a 09 09 09 09 09 09 09 09 72 65 71 5f 62 6c 6f .........req_blo
2e00: 63 6b 5f 73 69 7a 65 20 3d 20 62 6c 6f 63 6b 5f ck_size = block_
2e10: 73 69 7a 65 0a 09 09 09 09 09 09 09 62 75 66 66 size........buff
2e20: 65 72 20 3d 20 73 6f 75 72 63 65 2e 72 65 61 64 er = source.read
2e30: 28 72 65 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 29 (req_block_size)
2e40: 0a 09 09 09 09 09 09 09 6c 65 6e 67 74 68 20 3d ........length =
2e50: 20 6c 65 6e 28 62 75 66 66 65 72 29 0a 09 09 09 len(buffer)....
2e60: 09 09 09 09 77 68 69 6c 65 20 6c 65 6e 67 74 68 ....while length
2e70: 20 3e 20 30 20 61 6e 64 20 73 74 72 65 61 6d 5f > 0 and stream_
2e80: 6c 61 73 74 20 3c 20 65 6e 64 3a 0a 09 09 09 09 last < end:.....
2e90: 09 09 09 09 73 74 72 65 61 6d 5f 70 6f 73 20 3d ....stream_pos =
2ea0: 20 73 74 72 65 61 6d 5f 6c 61 73 74 20 2b 20 6c stream_last + l
2eb0: 65 6e 67 74 68 0a 09 09 09 09 09 09 09 09 61 73 ength.........as
2ec0: 73 65 72 74 20 6e 6f 74 20 73 74 72 65 61 6d 5f sert not stream_
2ed0: 70 6f 73 20 3e 20 65 6e 64 2c 20 27 52 65 63 65 pos > end, 'Rece
2ee0: 69 76 65 64 20 6d 6f 72 65 20 64 61 74 61 20 74 ived more data t
2ef0: 68 65 6e 20 72 65 71 75 65 73 74 65 64 3a 20 70 hen requested: p
2f00: 6f 73 3a 7b 7d 20 73 74 61 72 74 3a 7b 7d 20 65 os:{} start:{} e
2f10: 6e 64 3a 7b 7d 2e 27 2e 66 6f 72 6d 61 74 28 73 nd:{}.'.format(s
2f20: 74 72 65 61 6d 5f 70 6f 73 2c 20 73 74 61 72 74 tream_pos, start
2f30: 2c 20 65 6e 64 29 0a 09 09 09 09 09 09 09 09 74 , end).........t
2f40: 65 6d 70 5f 66 69 6c 65 2e 73 65 65 6b 28 73 74 emp_file.seek(st
2f50: 72 65 61 6d 5f 6c 61 73 74 29 0a 09 09 09 09 09 ream_last)......
2f60: 09 09 09 74 65 6d 70 5f 66 69 6c 65 2e 77 72 69 ...temp_file.wri
2f70: 74 65 28 62 75 66 66 65 72 29 0a 09 09 09 09 09 te(buffer)......
2f80: 09 09 09 6e 65 77 5f 72 65 63 6f 72 64 5b 27 5f ...new_record['_
2f90: 70 61 72 74 73 27 5d 20 3d 20 6e 65 77 5f 72 65 parts'] = new_re
2fa0: 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d 20 2d cord['_parts'] -
2fb0: 20 73 70 61 63 65 6d 61 70 2e 53 70 61 63 65 4d spacemap.SpaceM
2fc0: 61 70 28 7b 73 74 72 65 61 6d 5f 6c 61 73 74 3a ap({stream_last:
2fd0: 20 73 74 72 65 61 6d 5f 70 6f 73 7d 29 0a 09 09 stream_pos})...
2fe0: 09 09 09 09 09 09 69 6e 64 65 78 5b 6d 79 5f 70 ......index[my_p
2ff0: 61 74 68 5d 20 3d 20 6f 6c 64 5f 72 65 63 6f 72 ath] = old_recor
3000: 64 0a 09 09 09 09 09 09 09 09 69 6e 64 65 78 2e d.........index.
3010: 73 79 6e 63 28 29 0a 09 09 09 09 09 09 09 09 6f sync().........o
3020: 6c 64 5f 72 65 63 6f 72 64 20 3d 20 6e 65 77 5f ld_record = new_
3030: 72 65 63 6f 72 64 0a 09 09 09 09 09 09 09 09 73 record.........s
3040: 74 72 65 61 6d 5f 6c 61 73 74 20 3d 20 73 74 72 tream_last = str
3050: 65 61 6d 5f 70 6f 73 0a 09 09 09 09 09 09 09 09 eam_pos.........
3060: 69 66 20 65 6e 64 20 2d 20 73 74 72 65 61 6d 5f if end - stream_
3070: 6c 61 73 74 20 3c 20 62 6c 6f 63 6b 5f 73 69 7a last < block_siz
3080: 65 3a 0a 09 09 09 09 09 09 09 09 09 72 65 71 5f e:..........req_
3090: 62 6c 6f 63 6b 5f 73 69 7a 65 20 3d 20 65 6e 64 block_size = end
30a0: 20 2d 20 73 74 72 65 61 6d 5f 6c 61 73 74 0a 09 - stream_last..
30b0: 09 09 09 09 09 09 09 62 75 66 66 65 72 20 3d 20 .......buffer =
30c0: 73 6f 75 72 63 65 2e 72 65 61 64 28 72 65 71 5f source.read(req_
30d0: 62 6c 6f 63 6b 5f 73 69 7a 65 29 0a 09 09 09 09 block_size).....
30e0: 09 09 09 09 6c 65 6e 67 74 68 20 3d 20 6c 65 6e ....length = len
30f0: 28 62 75 66 66 65 72 29 0a 09 09 09 09 09 09 23 (buffer).......#
3100: 20 6d 6f 76 69 6e 67 20 64 6f 77 6e 6c 6f 61 64 moving download
3110: 65 64 20 64 61 74 61 20 74 6f 20 72 65 61 6c 20 ed data to real
3120: 66 69 6c 65 0a 09 09 09 09 09 09 74 65 6d 70 5f file.......temp_
3130: 66 69 6c 65 2e 63 6c 6f 73 65 28 29 0a 0a 09 09 file.close()....
3140: 09 09 09 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 ...index[my_path
3150: 5d 20 3d 20 6e 65 77 5f 72 65 63 6f 72 64 0a 09 ] = new_record..
3160: 09 09 09 09 69 6e 64 65 78 2e 73 79 6e 63 28 29 ....index.sync()
3170: 0a 0a 09 09 09 65 78 63 65 70 74 20 75 72 6c 6c .....except urll
3180: 69 62 2e 65 72 72 6f 72 2e 48 54 54 50 45 72 72 ib.error.HTTPErr
3190: 6f 72 20 61 73 20 65 72 72 6f 72 3a 0a 09 09 09 or as error:....
31a0: 09 23 20 69 6e 20 63 61 73 65 20 6f 66 20 65 72 .# in case of er
31b0: 72 6f 72 20 77 65 20 64 6f 6e 27 74 20 6e 65 65 ror we don't nee
31c0: 64 20 74 6f 20 64 6f 20 61 6e 79 74 68 69 6e 67 d to do anything
31d0: 20 61 63 74 75 61 6c 6c 79 2c 0a 09 09 09 09 23 actually,.....#
31e0: 20 69 66 20 66 69 6c 65 20 64 6f 77 6e 6c 6f 61 if file downloa
31f0: 64 20 73 74 61 6c 6c 73 20 6f 72 20 66 61 69 6c d stalls or fail
3200: 73 20 74 68 65 20 66 69 6c 65 20 77 6f 75 6c 64 s the file would
3210: 20 6e 6f 74 20 62 65 20 6d 6f 76 65 64 20 74 6f not be moved to
3220: 20 69 74 27 73 20 6c 6f 63 61 74 69 6f 6e 0a 09 it's location..
3230: 09 09 09 70 72 69 6e 74 28 65 72 72 6f 72 29 0a ...print(error).
3240: 0a 09 09 70 72 69 6e 74 28 69 6e 64 65 78 5b 6d ...print(index[m
3250: 79 5f 70 61 74 68 5d 29 0a 0a 09 09 69 66 20 6e y_path])....if n
3260: 6f 74 20 6f 73 2e 61 63 63 65 73 73 28 66 69 6c ot os.access(fil
3270: 65 5f 6e 61 6d 65 2c 20 6f 73 2e 52 5f 4f 4b 29 e_name, os.R_OK)
3280: 20 61 6e 64 20 6f 73 2e 61 63 63 65 73 73 28 74 and os.access(t
3290: 65 6d 70 5f 6e 61 6d 65 2c 20 6f 73 2e 52 5f 4f emp_name, os.R_O
32a0: 4b 29 20 61 6e 64 20 27 5f 70 61 72 74 73 27 20 K) and '_parts'
32b0: 69 6e 20 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 in index[my_path
32c0: 5d 20 61 6e 64 20 69 6e 64 65 78 5b 6d 79 5f 70 ] and index[my_p
32d0: 61 74 68 5d 5b 27 5f 70 61 72 74 73 27 5d 20 3d ath]['_parts'] =
32e0: 3d 20 73 70 61 63 65 6d 61 70 2e 53 70 61 63 65 = spacemap.Space
32f0: 4d 61 70 28 29 3a 0a 09 09 09 23 20 6a 75 73 74 Map():....# just
3300: 20 6d 6f 76 69 6e 67 0a 09 09 09 23 20 64 72 6f moving....# dro
3310: 70 20 6f 6c 64 20 64 69 72 73 20 58 58 58 0a 09 p old dirs XXX..
3320: 09 09 70 72 69 6e 74 28 27 4d 6f 76 69 6e 67 20 ..print('Moving
3330: 74 65 6d 70 6f 72 61 72 79 20 66 69 6c 65 20 74 temporary file t
3340: 6f 20 6e 65 77 20 64 65 73 74 69 6e 61 74 69 6f o new destinatio
3350: 6e 2e 27 29 0a 09 09 09 6f 73 2e 72 65 6e 61 6d n.')....os.renam
3360: 65 73 28 74 65 6d 70 5f 6e 61 6d 65 2c 20 66 69 es(temp_name, fi
3370: 6c 65 5f 6e 61 6d 65 29 0a 0a 09 09 69 66 20 6e le_name)....if n
3380: 6f 74 20 6d 79 5f 70 61 74 68 20 69 6e 20 69 6e ot my_path in in
3390: 64 65 78 3a 0a 09 09 09 73 65 6c 66 2e 73 65 6e dex:....self.sen
33a0: 64 5f 72 65 73 70 6f 6e 73 65 28 35 30 32 29 0a d_response(502).
33b0: 09 09 09 73 65 6c 66 2e 65 6e 64 5f 68 65 61 64 ...self.end_head
33c0: 65 72 73 28 29 0a 09 09 09 72 65 74 75 72 6e 0a ers()....return.
33d0: 0a 09 09 69 66 20 73 65 6c 66 2e 63 6f 6d 6d 61 ...if self.comma
33e0: 6e 64 20 3d 3d 20 27 48 45 41 44 27 3a 0a 09 09 nd == 'HEAD':...
33f0: 09 73 65 6c 66 2e 73 65 6e 64 5f 72 65 73 70 6f .self.send_respo
3400: 6e 73 65 28 32 30 30 29 0a 09 09 09 69 66 20 27 nse(200)....if '
3410: 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 20 Content-Length'
3420: 69 6e 20 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 in index[my_path
3430: 5d 3a 0a 09 09 09 09 73 65 6c 66 2e 73 65 6e 64 ]:.....self.send
3440: 5f 68 65 61 64 65 72 28 27 43 6f 6e 74 65 6e 74 _header('Content
3450: 2d 4c 65 6e 67 74 68 27 2c 20 69 6e 64 65 78 5b -Length', index[
3460: 6d 79 5f 70 61 74 68 5d 5b 27 43 6f 6e 74 65 6e my_path]['Conten
3470: 74 2d 4c 65 6e 67 74 68 27 5d 29 0a 09 09 09 73 t-Length'])....s
3480: 65 6c 66 2e 73 65 6e 64 5f 68 65 61 64 65 72 28 elf.send_header(
3490: 27 41 63 63 65 70 74 2d 52 61 6e 67 65 73 27 2c 'Accept-Ranges',
34a0: 20 27 62 79 74 65 73 27 29 0a 09 09 09 73 65 6c 'bytes')....sel
34b0: 66 2e 73 65 6e 64 5f 68 65 61 64 65 72 28 27 43 f.send_header('C
34c0: 6f 6e 74 65 6e 74 2d 54 79 70 65 27 2c 20 27 61 ontent-Type', 'a
34d0: 70 70 6c 69 63 61 74 69 6f 6e 2f 6f 63 74 65 74 pplication/octet
34e0: 2d 73 74 72 65 61 6d 27 29 0a 09 09 09 69 66 20 -stream')....if
34f0: 27 4c 61 73 74 2d 4d 6f 64 69 66 69 65 64 27 20 'Last-Modified'
3500: 69 6e 20 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 in index[my_path
3510: 5d 3a 0a 09 09 09 09 73 65 6c 66 2e 73 65 6e 64 ]:.....self.send
3520: 5f 68 65 61 64 65 72 28 27 4c 61 73 74 2d 4d 6f _header('Last-Mo
3530: 64 69 66 69 65 64 27 2c 20 69 6e 64 65 78 5b 6d dified', index[m
3540: 79 5f 70 61 74 68 5d 5b 27 4c 61 73 74 2d 4d 6f y_path]['Last-Mo
3550: 64 69 66 69 65 64 27 5d 29 0a 09 09 09 73 65 6c dified'])....sel
3560: 66 2e 65 6e 64 5f 68 65 61 64 65 72 73 28 29 0a f.end_headers().
3570: 09 09 65 6c 73 65 3a 0a 09 09 09 69 66 20 28 27 ..else:....if ('
3580: 5f 70 61 72 74 73 27 20 69 6e 20 69 6e 64 65 78 _parts' in index
3590: 5b 6d 79 5f 70 61 74 68 5d 20 61 6e 64 20 69 6e [my_path] and in
35a0: 64 65 78 5b 6d 79 5f 70 61 74 68 5d 5b 27 5f 70 dex[my_path]['_p
35b0: 61 72 74 73 27 5d 20 21 3d 20 73 70 61 63 65 6d arts'] != spacem
35c0: 61 70 2e 53 70 61 63 65 4d 61 70 28 29 29 20 6f ap.SpaceMap()) o
35d0: 72 20 6e 6f 74 20 6f 73 2e 61 63 63 65 73 73 28 r not os.access(
35e0: 66 69 6c 65 5f 6e 61 6d 65 2c 20 6f 73 2e 52 5f file_name, os.R_
35f0: 4f 4b 29 3a 0a 09 09 09 09 66 69 6c 65 5f 6e 61 OK):.....file_na
3600: 6d 65 20 3d 20 74 65 6d 70 5f 6e 61 6d 65 0a 0a me = temp_name..
3610: 09 09 09 77 69 74 68 20 6f 70 65 6e 28 66 69 6c ...with open(fil
3620: 65 5f 6e 61 6d 65 2c 20 27 72 62 27 29 20 61 73 e_name, 'rb') as
3630: 20 72 65 61 6c 5f 66 69 6c 65 3a 0a 09 09 09 09 real_file:.....
3640: 66 69 6c 65 5f 73 74 61 74 20 3d 20 6f 73 2e 73 file_stat = os.s
3650: 74 61 74 28 66 69 6c 65 5f 6e 61 6d 65 29 0a 09 tat(file_name)..
3660: 09 09 09 69 66 20 27 52 61 6e 67 65 27 20 69 6e ...if 'Range' in
3670: 20 73 65 6c 66 2e 68 65 61 64 65 72 73 3a 0a 09 self.headers:..
3680: 09 09 09 09 73 65 6c 66 2e 73 65 6e 64 5f 72 65 ....self.send_re
3690: 73 70 6f 6e 73 65 28 32 30 36 29 0a 09 09 09 09 sponse(206).....
36a0: 09 72 61 6e 67 65 73 20 3d 20 28 29 0a 09 09 09 .ranges = ()....
36b0: 09 09 72 65 71 75 65 73 74 65 64 5f 72 61 6e 67 ..requested_rang
36c0: 65 73 2e 72 65 77 69 6e 64 28 29 0a 09 09 09 09 es.rewind().....
36d0: 09 77 68 69 6c 65 20 54 72 75 65 3a 0a 09 09 09 .while True:....
36e0: 09 09 09 70 61 69 72 20 3d 20 72 65 71 75 65 73 ...pair = reques
36f0: 74 65 64 5f 72 61 6e 67 65 73 2e 70 6f 70 28 29 ted_ranges.pop()
3700: 0a 09 09 09 09 09 09 69 66 20 70 61 69 72 5b 30 .......if pair[0
3710: 5d 20 3d 3d 20 4e 6f 6e 65 3a 0a 09 09 09 09 09 ] == None:......
3720: 09 09 62 72 65 61 6b 0a 09 09 09 09 09 09 72 61 ..break.......ra
3730: 6e 67 65 73 20 2b 3d 20 27 7b 7d 2d 7b 7d 27 2e nges += '{}-{}'.
3740: 66 6f 72 6d 61 74 28 70 61 69 72 5b 30 5d 2c 20 format(pair[0],
3750: 73 74 72 28 70 61 69 72 5b 31 5d 20 2d 20 31 29 str(pair[1] - 1)
3760: 29 2c 0a 09 09 09 09 09 73 65 6c 66 2e 73 65 6e ),......self.sen
3770: 64 5f 68 65 61 64 65 72 28 27 43 6f 6e 74 65 6e d_header('Conten
3780: 74 2d 52 61 6e 67 65 27 2c 20 27 62 79 74 65 73 t-Range', 'bytes
3790: 20 7b 7d 2f 7b 7d 27 2e 66 6f 72 6d 61 74 28 27 {}/{}'.format('
37a0: 2c 27 2e 6a 6f 69 6e 28 72 61 6e 67 65 73 29 2c ,'.join(ranges),
37b0: 20 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5d 5b index[my_path][
37c0: 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 'Content-Length'
37d0: 5d 29 29 0a 09 09 09 09 65 6c 73 65 3a 0a 09 09 ])).....else:...
37e0: 09 09 09 73 65 6c 66 2e 73 65 6e 64 5f 72 65 73 ...self.send_res
37f0: 70 6f 6e 73 65 28 32 30 30 29 0a 09 09 09 09 09 ponse(200)......
3800: 73 65 6c 66 2e 73 65 6e 64 5f 68 65 61 64 65 72 self.send_header
3810: 28 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 ('Content-Length
3820: 27 2c 20 73 74 72 28 66 69 6c 65 5f 73 74 61 74 ', str(file_stat
3830: 2e 73 74 5f 73 69 7a 65 29 29 0a 09 09 09 09 09 .st_size))......
3840: 72 65 71 75 65 73 74 65 64 5f 72 61 6e 67 65 73 requested_ranges
3850: 20 3d 20 73 70 61 63 65 6d 61 70 2e 53 70 61 63 = spacemap.Spac
3860: 65 4d 61 70 28 7b 30 3a 20 66 69 6c 65 5f 73 74 eMap({0: file_st
3870: 61 74 2e 73 74 5f 73 69 7a 65 7d 29 0a 09 09 09 at.st_size})....
3880: 09 69 66 20 27 4c 61 73 74 2d 4d 6f 64 69 66 69 .if 'Last-Modifi
3890: 65 64 27 20 69 6e 20 69 6e 64 65 78 5b 6d 79 5f ed' in index[my_
38a0: 70 61 74 68 5d 3a 0a 09 09 09 09 09 73 65 6c 66 path]:......self
38b0: 2e 73 65 6e 64 5f 68 65 61 64 65 72 28 27 4c 61 .send_header('La
38c0: 73 74 2d 4d 6f 64 69 66 69 65 64 27 2c 20 69 6e st-Modified', in
38d0: 64 65 78 5b 6d 79 5f 70 61 74 68 5d 5b 27 4c 61 dex[my_path]['La
38e0: 73 74 2d 4d 6f 64 69 66 69 65 64 27 5d 29 0a 09 st-Modified'])..
38f0: 09 09 09 73 65 6c 66 2e 73 65 6e 64 5f 68 65 61 ...self.send_hea
3900: 64 65 72 28 27 43 6f 6e 74 65 6e 74 2d 54 79 70 der('Content-Typ
3910: 65 27 2c 20 27 61 70 70 6c 69 63 61 74 69 6f 6e e', 'application
3920: 2f 6f 63 74 65 74 2d 73 74 72 65 61 6d 27 29 0a /octet-stream').
3930: 09 09 09 09 73 65 6c 66 2e 65 6e 64 5f 68 65 61 ....self.end_hea
3940: 64 65 72 73 28 29 0a 09 09 09 09 69 66 20 73 65 ders().....if se
3950: 6c 66 2e 63 6f 6d 6d 61 6e 64 20 69 6e 20 28 27 lf.command in ('
3960: 47 45 54 27 29 3a 0a 09 09 09 09 09 69 66 20 6c GET'):......if l
3970: 65 6e 28 72 65 71 75 65 73 74 65 64 5f 72 61 6e en(requested_ran
3980: 67 65 73 29 20 3e 20 30 3a 0a 09 09 09 09 09 09 ges) > 0:.......
3990: 72 65 71 75 65 73 74 65 64 5f 72 61 6e 67 65 73 requested_ranges
39a0: 2e 72 65 77 69 6e 64 28 29 0a 09 09 09 09 09 09 .rewind().......
39b0: 28 73 74 61 72 74 2c 20 65 6e 64 29 20 3d 20 72 (start, end) = r
39c0: 65 71 75 65 73 74 65 64 5f 72 61 6e 67 65 73 2e equested_ranges.
39d0: 70 6f 70 28 29 0a 09 09 09 09 09 65 6c 73 65 3a pop()......else:
39e0: 0a 09 09 09 09 09 09 73 74 61 72 74 20 3d 20 30 .......start = 0
39f0: 0a 09 09 09 09 09 09 65 6e 64 20 3d 20 69 6e 64 .......end = ind
3a00: 65 78 5b 6d 79 5f 70 61 74 68 5d 5b 27 43 6f 6e ex[my_path]['Con
3a10: 74 65 6e 74 2d 4c 65 6e 67 74 68 27 5d 0a 09 09 tent-Length']...
3a20: 09 09 09 72 65 61 6c 5f 66 69 6c 65 2e 73 65 65 ...real_file.see
3a30: 6b 28 73 74 61 72 74 29 0a 09 09 09 09 09 69 66 k(start)......if
3a40: 20 62 6c 6f 63 6b 5f 73 69 7a 65 20 3e 20 65 6e block_size > en
3a50: 64 20 2d 20 73 74 61 72 74 3a 0a 09 09 09 09 09 d - start:......
3a60: 09 72 65 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 20 .req_block_size
3a70: 3d 20 65 6e 64 20 2d 20 73 74 61 72 74 0a 09 09 = end - start...
3a80: 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 72 ...else:.......r
3a90: 65 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 20 3d 20 eq_block_size =
3aa0: 62 6c 6f 63 6b 5f 73 69 7a 65 0a 09 09 09 09 09 block_size......
3ab0: 62 75 66 66 65 72 20 3d 20 72 65 61 6c 5f 66 69 buffer = real_fi
3ac0: 6c 65 2e 72 65 61 64 28 72 65 71 5f 62 6c 6f 63 le.read(req_bloc
3ad0: 6b 5f 73 69 7a 65 29 0a 09 09 09 09 09 6c 65 6e k_size)......len
3ae0: 67 74 68 20 3d 20 6c 65 6e 28 62 75 66 66 65 72 gth = len(buffer
3af0: 29 0a 09 09 09 09 09 77 68 69 6c 65 20 6c 65 6e )......while len
3b00: 67 74 68 20 3e 20 30 3a 0a 09 09 09 09 09 09 73 gth > 0:.......s
3b10: 65 6c 66 2e 77 66 69 6c 65 2e 77 72 69 74 65 28 elf.wfile.write(
3b20: 62 75 66 66 65 72 29 0a 09 09 09 09 09 09 73 74 buffer).......st
3b30: 61 72 74 20 2b 3d 20 6c 65 6e 28 62 75 66 66 65 art += len(buffe
3b40: 72 29 0a 09 09 09 09 09 09 69 66 20 72 65 71 5f r).......if req_
3b50: 62 6c 6f 63 6b 5f 73 69 7a 65 20 3e 20 65 6e 64 block_size > end
3b60: 20 2d 20 73 74 61 72 74 3a 0a 09 09 09 09 09 09 - start:.......
3b70: 09 72 65 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 20 .req_block_size
3b80: 3d 20 65 6e 64 20 2d 20 73 74 61 72 74 0a 09 09 = end - start...
3b90: 09 09 09 09 69 66 20 72 65 71 5f 62 6c 6f 63 6b ....if req_block
3ba0: 5f 73 69 7a 65 20 3d 3d 20 30 3a 0a 09 09 09 09 _size == 0:.....
3bb0: 09 09 09 62 72 65 61 6b 0a 09 09 09 09 09 09 62 ...break.......b
3bc0: 75 66 66 65 72 20 3d 20 72 65 61 6c 5f 66 69 6c uffer = real_fil
3bd0: 65 2e 72 65 61 64 28 72 65 71 5f 62 6c 6f 63 6b e.read(req_block
3be0: 5f 73 69 7a 65 29 0a 09 09 09 09 09 09 6c 65 6e _size).......len
3bf0: 67 74 68 20 3d 20 6c 65 6e 28 62 75 66 66 65 72 gth = len(buffer
3c00: 29 0a 09 09 09 09 0a 09 64 65 66 20 64 6f 5f 48 ).......def do_H
3c10: 45 41 44 28 73 65 6c 66 29 3a 0a 09 09 72 65 74 EAD(self):...ret
3c20: 75 72 6e 20 73 65 6c 66 2e 5f 5f 70 72 6f 63 65 urn self.__proce
3c30: 73 73 28 29 0a 09 64 65 66 20 64 6f 5f 47 45 54 ss()..def do_GET
3c40: 28 73 65 6c 66 29 3a 0a 09 09 72 65 74 75 72 6e (self):...return
3c50: 20 73 65 6c 66 2e 5f 5f 70 72 6f 63 65 73 73 28 self.__process(
3c60: 29 0a 0a 63 6f 6e 66 69 67 2e 73 65 63 74 69 6f )..config.sectio
3c70: 6e 28 27 67 65 6e 65 72 61 6c 27 29 0a 73 65 72 n('general').ser
3c80: 76 65 72 20 3d 20 68 74 74 70 2e 73 65 72 76 65 ver = http.serve
3c90: 72 2e 48 54 54 50 53 65 72 76 65 72 28 28 27 31 r.HTTPServer(('1
3ca0: 32 37 2e 30 2e 30 2e 31 27 2c 20 69 6e 74 28 63 27.0.0.1', int(c
3cb0: 6f 6e 66 69 67 5b 27 70 6f 72 74 27 5d 29 29 2c onfig['port'])),
3cc0: 20 4d 79 52 65 71 75 65 73 74 48 61 6e 64 6c 65 MyRequestHandle
3cd0: 72 29 0a 73 65 72 76 65 72 2e 73 65 72 76 65 5f r).server.serve_
3ce0: 66 6f 72 65 76 65 72 28 29 0a forever().