0000: 23 21 2f 75 73 72 2f 62 69 6e 2f 65 6e 76 20 70 #!/usr/bin/env p
0010: 79 74 68 6f 6e 33 2e 32 0a 0a 69 6d 70 6f 72 74 ython3.2..import
0020: 20 64 61 74 65 74 69 6d 65 2c 20 68 74 74 70 2e datetime, http.
0030: 63 6f 6f 6b 69 65 6a 61 72 2c 20 6f 73 2c 20 73 cookiejar, os, s
0040: 79 73 2c 20 73 68 65 6c 76 65 2c 20 73 70 61 63 ys, shelve, spac
0050: 65 6d 61 70 2c 20 72 65 2c 20 75 72 6c 6c 69 62 emap, re, urllib
0060: 2e 72 65 71 75 65 73 74 0a 0a 63 6c 61 73 73 20 .request..class
0070: 43 6f 6e 66 69 67 3a 0a 09 5f 5f 73 6c 6f 74 73 Config:..__slots
0080: 5f 5f 20 3d 20 66 72 6f 7a 65 6e 73 65 74 28 5b __ = frozenset([
0090: 27 5f 63 6f 6e 66 69 67 27 2c 20 27 5f 64 65 66 '_config', '_def
00a0: 61 75 6c 74 27 2c 20 27 5f 73 65 63 74 69 6f 6e ault', '_section
00b0: 27 2c 20 27 6f 70 74 69 6f 6e 73 27 2c 20 27 72 ', 'options', 'r
00c0: 6f 6f 74 27 5d 29 0a 09 5f 64 65 66 61 75 6c 74 oot']).._default
00d0: 20 3d 20 7b 0a 09 09 27 67 65 6e 65 72 61 6c 27 = {...'general'
00e0: 3a 20 7b 0a 09 09 09 27 70 6f 72 74 27 3a 20 27 : {....'port': '
00f0: 38 30 30 38 27 2c 0a 09 09 7d 2c 0a 09 09 27 5f 8008',...},...'_
0100: 6f 74 68 65 72 27 3a 20 7b 0a 09 09 09 27 76 65 other': {....'ve
0110: 72 62 6f 73 65 27 3a 20 27 6e 6f 27 2c 0a 09 09 rbose': 'no',...
0120: 09 27 6e 6f 65 74 61 67 27 3a 20 27 6e 6f 27 2c .'noetag': 'no',
0130: 0a 09 09 09 27 6e 6f 70 61 72 74 73 27 3a 20 27 ....'noparts': '
0140: 6e 6f 27 2c 0a 09 09 09 27 73 74 72 69 70 27 3a no',....'strip':
0150: 20 27 27 2c 0a 09 09 09 27 73 75 62 27 3a 20 27 '',....'sub': '
0160: 27 2c 0a 09 7d 2c 7d 0a 0a 09 23 20 66 75 6e 63 ',..},}...# func
0170: 74 69 6f 6e 20 74 6f 20 72 65 61 64 20 69 6e 20 tion to read in
0180: 63 6f 6e 66 69 67 20 66 69 6c 65 0a 09 64 65 66 config file..def
0190: 20 5f 5f 69 6e 69 74 5f 5f 28 73 65 6c 66 29 3a __init__(self):
01a0: 0a 09 09 69 6d 70 6f 72 74 20 63 6f 6e 66 69 67 ...import config
01b0: 70 61 72 73 65 72 2c 20 6f 70 74 70 61 72 73 65 parser, optparse
01c0: 0a 0a 09 09 70 61 72 73 65 72 20 3d 20 6f 70 74 ....parser = opt
01d0: 70 61 72 73 65 2e 4f 70 74 69 6f 6e 50 61 72 73 parse.OptionPars
01e0: 65 72 28 29 0a 09 09 70 61 72 73 65 72 2e 61 64 er()...parser.ad
01f0: 64 5f 6f 70 74 69 6f 6e 28 27 2d 63 27 2c 20 27 d_option('-c', '
0200: 2d 2d 63 6f 6e 66 69 67 27 2c 20 64 65 73 74 20 --config', dest
0210: 3d 20 27 63 6f 6e 66 69 67 27 2c 20 68 65 6c 70 = 'config', help
0220: 20 3d 20 27 63 6f 6e 66 69 67 20 66 69 6c 65 20 = 'config file
0230: 6c 6f 63 61 74 69 6f 6e 27 2c 20 6d 65 74 61 76 location', metav
0240: 61 72 20 3d 20 27 46 49 4c 45 27 2c 20 64 65 66 ar = 'FILE', def
0250: 61 75 6c 74 20 3d 20 27 73 61 6d 65 73 69 74 65 ault = 'samesite
0260: 2e 63 6f 6e 66 27 29 0a 09 09 28 73 65 6c 66 2e .conf')...(self.
0270: 6f 70 74 69 6f 6e 73 2c 20 61 72 67 73 29 20 3d options, args) =
0280: 20 70 61 72 73 65 72 2e 70 61 72 73 65 5f 61 72 parser.parse_ar
0290: 67 73 28 29 0a 0a 09 09 61 73 73 65 72 74 20 6f gs()....assert o
02a0: 73 2e 61 63 63 65 73 73 28 73 65 6c 66 2e 6f 70 s.access(self.op
02b0: 74 69 6f 6e 73 2e 63 6f 6e 66 69 67 2c 20 6f 73 tions.config, os
02c0: 2e 52 5f 4f 4b 29 2c 20 22 46 61 74 61 6c 20 65 .R_OK), "Fatal e
02d0: 72 72 6f 72 3a 20 63 61 6e 27 74 20 72 65 61 64 rror: can't read
02e0: 20 7b 7d 22 2e 66 6f 72 6d 61 74 28 73 65 6c 66 {}".format(self
02f0: 2e 6f 70 74 69 6f 6e 73 2e 63 6f 6e 66 69 67 29 .options.config)
0300: 0a 0a 09 09 63 6f 6e 66 69 67 44 69 72 20 3d 20 ....configDir =
0310: 72 65 2e 63 6f 6d 70 69 6c 65 28 27 5e 28 2e 2a re.compile('^(.*
0320: 29 2f 5b 5e 2f 5d 2b 24 27 29 2e 6d 61 74 63 68 )/[^/]+$').match
0330: 28 73 65 6c 66 2e 6f 70 74 69 6f 6e 73 2e 63 6f (self.options.co
0340: 6e 66 69 67 29 0a 09 09 69 66 20 63 6f 6e 66 69 nfig)...if confi
0350: 67 44 69 72 3a 0a 09 09 09 73 65 6c 66 2e 72 6f gDir:....self.ro
0360: 6f 74 20 3d 20 63 6f 6e 66 69 67 44 69 72 2e 67 ot = configDir.g
0370: 72 6f 75 70 28 31 29 0a 09 09 65 6c 73 65 3a 0a roup(1)...else:.
0380: 09 09 09 73 65 6c 66 2e 72 6f 6f 74 20 3d 20 6f ...self.root = o
0390: 73 2e 67 65 74 63 77 64 28 29 0a 0a 09 09 73 65 s.getcwd()....se
03a0: 6c 66 2e 5f 63 6f 6e 66 69 67 20 3d 20 63 6f 6e lf._config = con
03b0: 66 69 67 70 61 72 73 65 72 2e 43 6f 6e 66 69 67 figparser.Config
03c0: 50 61 72 73 65 72 28 29 0a 09 09 73 65 6c 66 2e Parser()...self.
03d0: 5f 63 6f 6e 66 69 67 2e 72 65 61 64 66 70 28 6f _config.readfp(o
03e0: 70 65 6e 28 73 65 6c 66 2e 6f 70 74 69 6f 6e 73 pen(self.options
03f0: 2e 63 6f 6e 66 69 67 29 29 0a 0a 09 09 66 6f 72 .config))....for
0400: 20 73 65 63 74 69 6f 6e 20 69 6e 20 73 65 6c 66 section in self
0410: 2e 5f 63 6f 6e 66 69 67 2e 73 65 63 74 69 6f 6e ._config.section
0420: 73 28 29 3a 0a 09 09 09 69 66 20 73 65 63 74 69 s():....if secti
0430: 6f 6e 20 21 3d 20 27 67 65 6e 65 72 61 6c 27 3a on != 'general':
0440: 0a 09 09 09 09 69 66 20 73 65 6c 66 2e 5f 63 6f .....if self._co
0450: 6e 66 69 67 2e 68 61 73 5f 6f 70 74 69 6f 6e 28 nfig.has_option(
0460: 73 65 63 74 69 6f 6e 2c 20 27 64 69 72 27 29 3a section, 'dir'):
0470: 0a 09 09 09 09 09 69 66 20 72 65 2e 63 6f 6d 70 ......if re.comp
0480: 69 6c 65 28 27 5e 2f 24 27 29 2e 6d 61 74 63 68 ile('^/$').match
0490: 28 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 67 65 (self._config.ge
04a0: 74 28 73 65 63 74 69 6f 6e 2c 20 27 64 69 72 27 t(section, 'dir'
04b0: 29 29 3a 0a 09 09 09 09 09 09 73 65 6c 66 2e 5f )):.......self._
04c0: 63 6f 6e 66 69 67 2e 73 65 74 28 73 65 63 74 69 config.set(secti
04d0: 6f 6e 2c 20 27 64 69 72 27 2c 20 73 65 6c 66 2e on, 'dir', self.
04e0: 72 6f 6f 74 20 2b 20 6f 73 2e 73 65 70 20 2b 20 root + os.sep +
04f0: 73 65 63 74 69 6f 6e 29 0a 09 09 09 09 09 74 68 section)......th
0500: 69 73 44 69 72 20 3d 20 72 65 2e 63 6f 6d 70 69 isDir = re.compi
0510: 6c 65 28 27 5e 28 2e 2a 29 2f 24 27 29 2e 6d 61 le('^(.*)/$').ma
0520: 74 63 68 28 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 tch(self._config
0530: 2e 67 65 74 28 73 65 63 74 69 6f 6e 2c 20 27 64 .get(section, 'd
0540: 69 72 27 29 29 0a 09 09 09 09 09 69 66 20 74 68 ir'))......if th
0550: 69 73 44 69 72 3a 0a 09 09 09 09 09 09 73 65 6c isDir:.......sel
0560: 66 2e 5f 63 6f 6e 66 69 67 2e 73 65 74 28 73 65 f._config.set(se
0570: 63 74 69 6f 6e 2c 20 27 64 69 72 27 2c 20 74 68 ction, 'dir', th
0580: 69 73 44 69 72 2e 67 72 6f 75 70 28 31 29 29 0a isDir.group(1)).
0590: 09 09 09 09 09 69 66 20 6e 6f 74 20 72 65 2e 63 .....if not re.c
05a0: 6f 6d 70 69 6c 65 28 27 5e 2f 28 2e 2a 29 24 27 ompile('^/(.*)$'
05b0: 29 2e 6d 61 74 63 68 28 73 65 6c 66 2e 5f 63 6f ).match(self._co
05c0: 6e 66 69 67 2e 67 65 74 28 73 65 63 74 69 6f 6e nfig.get(section
05d0: 2c 20 27 64 69 72 27 29 29 3a 0a 09 09 09 09 09 , 'dir')):......
05e0: 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 73 65 .self._config.se
05f0: 74 28 73 65 63 74 69 6f 6e 2c 20 27 64 69 72 27 t(section, 'dir'
0600: 2c 20 73 65 6c 66 2e 72 6f 6f 74 20 2b 20 6f 73 , self.root + os
0610: 2e 73 65 70 20 2b 20 73 65 6c 66 2e 5f 63 6f 6e .sep + self._con
0620: 66 69 67 2e 67 65 74 28 73 65 63 74 69 6f 6e 2c fig.get(section,
0630: 20 27 64 69 72 27 29 29 0a 09 09 09 09 65 6c 73 'dir')).....els
0640: 65 3a 0a 09 09 09 09 09 73 65 6c 66 2e 5f 63 6f e:......self._co
0650: 6e 66 69 67 2e 73 65 74 28 73 65 63 74 69 6f 6e nfig.set(section
0660: 2c 20 27 64 69 72 27 2c 20 73 65 6c 66 2e 72 6f , 'dir', self.ro
0670: 6f 74 20 2b 20 6f 73 2e 73 65 70 20 2b 20 73 65 ot + os.sep + se
0680: 63 74 69 6f 6e 29 0a 0a 09 09 09 09 69 66 20 6e ction)......if n
0690: 6f 74 20 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e ot self._config.
06a0: 68 61 73 5f 6f 70 74 69 6f 6e 28 73 65 63 74 69 has_option(secti
06b0: 6f 6e 2c 20 27 72 6f 6f 74 27 29 3a 0a 09 09 09 on, 'root'):....
06c0: 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 73 ..self._config.s
06d0: 65 74 28 73 65 63 74 69 6f 6e 2c 20 27 72 6f 6f et(section, 'roo
06e0: 74 27 2c 20 73 65 63 74 69 6f 6e 29 0a 0a 09 23 t', section)...#
06f0: 20 66 75 6e 63 74 69 6f 6e 20 74 6f 20 73 65 6c function to sel
0700: 65 63 74 20 63 6f 6e 66 69 67 20 66 69 6c 65 20 ect config file
0710: 73 65 63 74 69 6f 6e 20 6f 72 20 63 72 65 61 74 section or creat
0720: 65 20 6f 6e 65 0a 09 64 65 66 20 73 65 63 74 69 e one..def secti
0730: 6f 6e 28 73 65 6c 66 2c 20 73 65 63 74 69 6f 6e on(self, section
0740: 29 3a 0a 09 09 69 66 20 6e 6f 74 20 73 65 6c 66 ):...if not self
0750: 2e 5f 63 6f 6e 66 69 67 2e 68 61 73 5f 73 65 63 ._config.has_sec
0760: 74 69 6f 6e 28 73 65 63 74 69 6f 6e 29 3a 0a 09 tion(section):..
0770: 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 61 ..self._config.a
0780: 64 64 5f 73 65 63 74 69 6f 6e 28 73 65 63 74 69 dd_section(secti
0790: 6f 6e 29 0a 09 09 73 65 6c 66 2e 5f 73 65 63 74 on)...self._sect
07a0: 69 6f 6e 20 3d 20 73 65 63 74 69 6f 6e 0a 0a 09 ion = section...
07b0: 23 20 66 75 6e 63 74 69 6f 6e 20 74 6f 20 67 65 # function to ge
07c0: 74 20 63 6f 6e 66 69 67 20 70 61 72 61 6d 65 74 t config paramet
07d0: 65 72 2c 20 69 66 20 70 61 72 61 6d 65 74 65 72 er, if parameter
07e0: 20 64 6f 65 73 6e 27 74 20 65 78 69 73 74 73 20 doesn't exists
07f0: 74 68 65 20 64 65 66 61 75 6c 74 0a 09 23 20 76 the default..# v
0800: 61 6c 75 65 20 6f 72 20 4e 6f 6e 65 20 69 73 20 alue or None is
0810: 73 75 62 73 74 69 74 75 74 65 64 0a 09 64 65 66 substituted..def
0820: 20 5f 5f 67 65 74 69 74 65 6d 5f 5f 28 73 65 6c __getitem__(sel
0830: 66 2c 20 6e 61 6d 65 29 3a 0a 09 09 69 66 20 6e f, name):...if n
0840: 6f 74 20 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e ot self._config.
0850: 68 61 73 5f 6f 70 74 69 6f 6e 28 73 65 6c 66 2e has_option(self.
0860: 5f 73 65 63 74 69 6f 6e 2c 20 6e 61 6d 65 29 3a _section, name):
0870: 0a 09 09 09 69 66 20 73 65 6c 66 2e 5f 73 65 63 ....if self._sec
0880: 74 69 6f 6e 20 69 6e 20 73 65 6c 66 2e 5f 64 65 tion in self._de
0890: 66 61 75 6c 74 3a 0a 09 09 09 09 69 66 20 6e 61 fault:.....if na
08a0: 6d 65 20 69 6e 20 73 65 6c 66 2e 5f 64 65 66 61 me in self._defa
08b0: 75 6c 74 5b 73 65 6c 66 2e 5f 73 65 63 74 69 6f ult[self._sectio
08c0: 6e 5d 3a 0a 09 09 09 09 09 73 65 6c 66 2e 5f 63 n]:......self._c
08d0: 6f 6e 66 69 67 2e 73 65 74 28 73 65 6c 66 2e 5f onfig.set(self._
08e0: 73 65 63 74 69 6f 6e 2c 20 6e 61 6d 65 2c 20 73 section, name, s
08f0: 65 6c 66 2e 5f 64 65 66 61 75 6c 74 5b 73 65 6c elf._default[sel
0900: 66 2e 5f 73 65 63 74 69 6f 6e 5d 5b 6e 61 6d 65 f._section][name
0910: 5d 29 0a 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 ]).....else:....
0920: 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 73 ..self._config.s
0930: 65 74 28 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e et(self._section
0940: 2c 20 6e 61 6d 65 2c 20 4e 6f 6e 65 29 0a 09 09 , name, None)...
0950: 09 65 6c 69 66 20 6e 61 6d 65 20 69 6e 20 73 65 .elif name in se
0960: 6c 66 2e 5f 64 65 66 61 75 6c 74 5b 27 5f 6f 74 lf._default['_ot
0970: 68 65 72 27 5d 3a 0a 09 09 09 09 73 65 6c 66 2e her']:.....self.
0980: 5f 63 6f 6e 66 69 67 2e 73 65 74 28 73 65 6c 66 _config.set(self
0990: 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e 61 6d 65 2c ._section, name,
09a0: 20 73 65 6c 66 2e 5f 64 65 66 61 75 6c 74 5b 27 self._default['
09b0: 5f 6f 74 68 65 72 27 5d 5b 6e 61 6d 65 5d 29 0a _other'][name]).
09c0: 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 73 65 6c ...else:.....sel
09d0: 66 2e 5f 63 6f 6e 66 69 67 2e 73 65 74 28 73 65 f._config.set(se
09e0: 6c 66 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e 61 6d lf._section, nam
09f0: 65 2c 20 4e 6f 6e 65 29 0a 09 09 72 65 74 75 72 e, None)...retur
0a00: 6e 28 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 67 n(self._config.g
0a10: 65 74 28 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e et(self._section
0a20: 2c 20 6e 61 6d 65 29 29 0a 0a 63 6f 6e 66 69 67 , name))..config
0a30: 20 3d 20 43 6f 6e 66 69 67 28 29 0a 0a 23 61 73 = Config()..#as
0a40: 73 65 72 74 20 6f 70 74 69 6f 6e 73 2e 70 6f 72 sert options.por
0a50: 74 20 6f 72 20 6f 73 2e 61 63 63 65 73 73 28 6f t or os.access(o
0a60: 70 74 69 6f 6e 73 2e 6c 6f 67 2c 20 6f 73 2e 52 ptions.log, os.R
0a70: 5f 4f 4b 29 2c 20 27 4c 6f 67 20 66 69 6c 65 20 _OK), 'Log file
0a80: 75 6e 72 65 61 64 61 62 6c 65 27 0a 0a 63 6f 6e unreadable'..con
0a90: 73 74 5f 64 65 73 63 5f 66 69 65 6c 64 73 20 3d st_desc_fields =
0aa0: 20 73 65 74 28 5b 27 43 6f 6e 74 65 6e 74 2d 4c set(['Content-L
0ab0: 65 6e 67 74 68 27 2c 20 27 4c 61 73 74 2d 4d 6f ength', 'Last-Mo
0ac0: 64 69 66 69 65 64 27 2c 20 27 50 72 61 67 6d 61 dified', 'Pragma
0ad0: 27 5d 29 0a 63 6f 6e 73 74 5f 69 67 6e 6f 72 65 ']).const_ignore
0ae0: 5f 66 69 65 6c 64 73 20 3d 20 73 65 74 28 5b 0a _fields = set([.
0af0: 09 27 41 63 63 65 70 74 2d 52 61 6e 67 65 73 27 .'Accept-Ranges'
0b00: 2c 20 27 41 67 65 27 2c 0a 09 27 43 61 63 68 65 , 'Age',..'Cache
0b10: 2d 43 6f 6e 74 72 6f 6c 27 2c 20 27 43 6f 6e 6e -Control', 'Conn
0b20: 65 63 74 69 6f 6e 27 2c 20 27 43 6f 6e 74 65 6e ection', 'Conten
0b30: 74 2d 54 79 70 65 27 2c 0a 09 27 44 61 74 65 27 t-Type',..'Date'
0b40: 2c 0a 09 27 45 78 70 69 72 65 73 27 2c 0a 09 27 ,..'Expires',..'
0b50: 52 65 66 65 72 65 72 27 2c 0a 09 27 53 65 72 76 Referer',..'Serv
0b60: 65 72 27 2c 0a 09 27 56 69 61 27 2c 0a 09 27 58 er',..'Via',..'X
0b70: 2d 43 61 63 68 65 27 2c 20 27 58 2d 43 61 63 68 -Cache', 'X-Cach
0b80: 65 2d 4c 6f 6f 6b 75 70 27 2c 20 27 58 2d 50 6f e-Lookup', 'X-Po
0b90: 77 65 72 65 64 2d 42 79 27 2c 0a 5d 29 0a 0a 62 wered-By',.])..b
0ba0: 6c 6f 63 6b 5f 73 69 7a 65 20 3d 20 34 30 39 36 lock_size = 4096
0bb0: 0a 0a 69 6d 70 6f 72 74 20 68 74 74 70 2e 73 65 ..import http.se
0bc0: 72 76 65 72 0a 0a 63 6c 61 73 73 20 4d 79 52 65 rver..class MyRe
0bd0: 71 75 65 73 74 48 61 6e 64 6c 65 72 28 68 74 74 questHandler(htt
0be0: 70 2e 73 65 72 76 65 72 2e 42 61 73 65 48 54 54 p.server.BaseHTT
0bf0: 50 52 65 71 75 65 73 74 48 61 6e 64 6c 65 72 29 PRequestHandler)
0c00: 3a 0a 09 64 65 66 20 5f 5f 70 72 6f 63 65 73 73 :..def __process
0c10: 28 73 65 6c 66 29 3a 0a 09 09 23 20 72 65 6c 6f (self):...# relo
0c20: 61 64 20 6d 65 61 6e 73 20 66 69 6c 65 20 6e 65 ad means file ne
0c30: 65 64 73 20 74 6f 20 62 65 20 72 65 6c 6f 61 64 eds to be reload
0c40: 65 64 20 74 6f 20 73 65 72 76 65 20 72 65 71 75 ed to serve requ
0c50: 65 73 74 0a 09 09 72 65 6c 6f 61 64 20 3d 20 46 est...reload = F
0c60: 61 6c 73 65 0a 09 09 23 20 72 65 63 68 65 63 6b alse...# recheck
0c70: 20 6d 65 61 6e 73 20 66 69 6c 65 20 6e 65 65 64 means file need
0c80: 73 20 74 6f 20 62 65 20 63 68 65 63 6b 65 64 2c s to be checked,
0c90: 20 74 68 69 73 20 61 6c 73 6f 20 6d 65 61 6e 73 this also means
0ca0: 20 74 68 61 74 20 69 66 20 66 69 6c 65 20 68 61 that if file ha
0cb0: 76 20 62 65 65 6e 20 6d 6f 64 69 66 69 65 64 20 v been modified
0cc0: 77 65 20 63 61 6e 20 73 65 72 76 65 20 6f 6c 64 we can serve old
0cd0: 65 72 20 63 6f 70 79 0a 09 09 72 65 63 68 65 63 er copy...rechec
0ce0: 6b 20 3d 20 46 61 6c 73 65 0a 09 09 23 20 66 69 k = False...# fi
0cf0: 6c 65 5f 73 74 61 74 20 6d 65 61 6e 73 20 66 69 le_stat means fi
0d00: 6c 65 20 64 65 66 69 6e 69 74 65 6c 79 20 65 78 le definitely ex
0d10: 69 73 74 73 0a 09 09 66 69 6c 65 5f 73 74 61 74 ists...file_stat
0d20: 20 3d 20 4e 6f 6e 65 0a 09 09 23 20 72 65 71 75 = None...# requ
0d30: 65 73 74 65 64 5f 72 61 6e 67 65 73 20 68 6f 6c ested_ranges hol
0d40: 64 73 20 64 61 74 61 20 61 62 6f 75 74 20 61 6e ds data about an
0d50: 79 20 72 61 6e 67 65 20 72 65 71 75 65 73 74 65 y range requeste
0d60: 64 0a 09 09 72 65 71 75 65 73 74 65 64 5f 72 61 d...requested_ra
0d70: 6e 67 65 73 20 3d 20 4e 6f 6e 65 0a 09 09 23 20 nges = None...#
0d80: 72 65 63 6f 72 64 73 20 68 6f 6c 64 73 20 64 61 records holds da
0d90: 74 61 20 66 72 6f 6d 20 69 6e 64 65 78 20 6c 6f ta from index lo
0da0: 63 61 6c 6c 79 2c 20 73 68 6f 75 6c 64 20 62 65 cally, should be
0db0: 20 77 72 69 74 74 65 6e 20 62 61 63 6b 20 75 70 written back up
0dc0: 6f 6e 20 73 75 63 63 65 73 73 66 75 6c 6c 20 63 on successfull c
0dd0: 6f 6d 70 6c 65 74 69 6f 6e 0a 09 09 72 65 63 6f ompletion...reco
0de0: 72 64 20 3d 20 4e 6f 6e 65 0a 0a 09 09 6d 79 50 rd = None....myP
0df0: 61 74 68 20 3d 20 72 65 2e 63 6f 6d 70 69 6c 65 ath = re.compile
0e00: 28 27 5e 28 2e 2a 3f 29 28 5c 3f 2e 2a 29 24 27 ('^(.*?)(\?.*)$'
0e10: 29 2e 6d 61 74 63 68 28 73 65 6c 66 2e 70 61 74 ).match(self.pat
0e20: 68 29 0a 09 09 69 66 20 6d 79 50 61 74 68 3a 0a h)...if myPath:.
0e30: 09 09 09 6d 79 5f 70 61 74 68 20 3d 20 6d 79 50 ...my_path = myP
0e40: 61 74 68 2e 67 72 6f 75 70 28 31 29 0a 09 09 65 ath.group(1)...e
0e50: 6c 73 65 3a 0a 09 09 09 6d 79 5f 70 61 74 68 20 lse:....my_path
0e60: 3d 20 73 65 6c 66 2e 70 61 74 68 0a 0a 09 09 63 = self.path....c
0e70: 6f 6e 66 69 67 2e 73 65 63 74 69 6f 6e 28 73 65 onfig.section(se
0e80: 6c 66 2e 68 65 61 64 65 72 73 5b 27 48 6f 73 74 lf.headers['Host
0e90: 27 5d 29 0a 0a 09 09 69 66 20 63 6f 6e 66 69 67 '])....if config
0ea0: 5b 27 73 75 62 27 5d 20 21 3d 20 4e 6f 6e 65 20 ['sub'] != None
0eb0: 61 6e 64 20 63 6f 6e 66 69 67 5b 27 73 74 72 69 and config['stri
0ec0: 70 27 5d 20 21 3d 20 4e 6f 6e 65 20 61 6e 64 20 p'] != None and
0ed0: 6c 65 6e 28 63 6f 6e 66 69 67 5b 27 73 74 72 69 len(config['stri
0ee0: 70 27 5d 29 20 3e 20 30 3a 0a 09 09 09 73 74 72 p']) > 0:....str
0ef0: 69 6e 67 20 3d 20 72 65 2e 63 6f 6d 70 69 6c 65 ing = re.compile
0f00: 28 63 6f 6e 66 69 67 5b 27 73 74 72 69 70 27 5d (config['strip']
0f10: 29 2e 73 75 62 28 63 6f 6e 66 69 67 5b 27 73 75 ).sub(config['su
0f20: 62 27 5d 2c 20 6d 79 5f 70 61 74 68 29 0a 09 09 b'], my_path)...
0f30: 09 6d 79 5f 70 61 74 68 20 3d 20 73 74 72 69 6e .my_path = strin
0f40: 67 0a 0a 09 09 69 6e 66 6f 20 3d 20 27 43 68 65 g....info = 'Che
0f50: 63 6b 69 6e 67 20 66 69 6c 65 3a 20 27 20 2b 20 cking file: ' +
0f60: 6d 79 5f 70 61 74 68 0a 0a 09 09 69 66 20 6e 6f my_path....if no
0f70: 74 20 6f 73 2e 61 63 63 65 73 73 28 63 6f 6e 66 t os.access(conf
0f80: 69 67 5b 27 64 69 72 27 5d 2c 20 6f 73 2e 58 5f ig['dir'], os.X_
0f90: 4f 4b 29 3a 0a 09 09 09 6f 73 2e 6d 6b 64 69 72 OK):....os.mkdir
0fa0: 28 63 6f 6e 66 69 67 5b 27 64 69 72 27 5d 29 0a (config['dir']).
0fb0: 09 09 23 20 74 68 69 73 20 69 73 20 66 69 6c 65 ..# this is file
0fc0: 20 69 6e 64 65 78 20 2d 20 65 76 65 72 79 74 68 index - everyth
0fd0: 69 6e 67 20 69 73 20 73 74 6f 72 65 64 20 69 6e ing is stored in
0fe0: 20 74 68 69 73 20 66 69 6c 65 0a 09 09 23 20 5f this file...# _
0ff0: 70 61 72 74 73 20 2d 20 6c 69 73 74 20 6f 66 20 parts - list of
1000: 73 74 6f 72 65 64 20 70 61 72 74 73 20 6f 66 20 stored parts of
1010: 66 69 6c 65 0a 09 09 23 20 5f 74 69 6d 65 20 2d file...# _time -
1020: 20 6c 61 73 74 20 74 69 6d 65 20 74 68 65 20 66 last time the f
1030: 69 6c 65 20 77 61 73 20 63 68 65 63 6b 65 64 0a ile was checked.
1040: 09 09 23 20 65 76 65 72 79 74 68 69 6e 67 20 65 ..# everything e
1050: 6c 73 65 20 69 73 20 6a 75 73 74 20 74 68 65 20 lse is just the
1060: 68 65 61 64 65 72 73 0a 09 09 69 6e 64 65 78 20 headers...index
1070: 3d 20 73 68 65 6c 76 65 2e 6f 70 65 6e 28 63 6f = shelve.open(co
1080: 6e 66 69 67 5b 27 64 69 72 27 5d 20 2b 20 6f 73 nfig['dir'] + os
1090: 2e 73 65 70 20 2b 20 27 2e 69 6e 64 65 78 27 29 .sep + '.index')
10a0: 0a 0a 09 09 64 65 73 63 5f 66 69 65 6c 64 73 20 ....desc_fields
10b0: 3d 20 63 6f 6e 73 74 5f 64 65 73 63 5f 66 69 65 = const_desc_fie
10c0: 6c 64 73 2e 63 6f 70 79 28 29 0a 09 09 69 67 6e lds.copy()...ign
10d0: 6f 72 65 5f 66 69 65 6c 64 73 20 3d 20 63 6f 6e ore_fields = con
10e0: 73 74 5f 69 67 6e 6f 72 65 5f 66 69 65 6c 64 73 st_ignore_fields
10f0: 2e 63 6f 70 79 28 29 0a 09 09 69 66 20 63 6f 6e .copy()...if con
1100: 66 69 67 5b 27 6e 6f 65 74 61 67 27 5d 20 3d 3d fig['noetag'] ==
1110: 20 27 6e 6f 27 3a 0a 09 09 09 64 65 73 63 5f 66 'no':....desc_f
1120: 69 65 6c 64 73 2e 61 64 64 28 27 45 54 61 67 27 ields.add('ETag'
1130: 29 0a 09 09 65 6c 73 65 3a 0a 09 09 09 69 67 6e )...else:....ign
1140: 6f 72 65 5f 66 69 65 6c 64 73 2e 61 64 64 28 27 ore_fields.add('
1150: 45 54 61 67 27 29 0a 0a 09 09 70 72 6f 78 79 5f ETag')....proxy_
1160: 69 67 6e 6f 72 65 64 20 3d 20 73 65 74 28 5b 0a ignored = set([.
1170: 09 09 09 27 41 63 63 65 70 74 27 2c 20 27 41 63 ...'Accept', 'Ac
1180: 63 65 70 74 2d 43 68 61 72 73 65 74 27 2c 20 27 cept-Charset', '
1190: 41 63 63 65 70 74 2d 45 6e 63 6f 64 69 6e 67 27 Accept-Encoding'
11a0: 2c 20 27 41 63 63 65 70 74 2d 4c 61 6e 67 75 61 , 'Accept-Langua
11b0: 67 65 27 2c 0a 09 09 09 27 43 61 63 68 65 2d 43 ge',....'Cache-C
11c0: 6f 6e 74 72 6f 6c 27 2c 20 27 43 6f 6e 6e 65 63 ontrol', 'Connec
11d0: 74 69 6f 6e 27 2c 20 27 43 6f 6e 74 65 6e 74 2d tion', 'Content-
11e0: 4c 65 6e 67 74 68 27 2c 20 27 43 6f 6f 6b 69 65 Length', 'Cookie
11f0: 27 2c 0a 09 09 09 27 48 6f 73 74 27 2c 0a 09 09 ',....'Host',...
1200: 09 27 49 66 2d 4d 6f 64 69 66 69 65 64 2d 53 69 .'If-Modified-Si
1210: 6e 63 65 27 2c 20 27 49 66 2d 55 6e 6d 6f 64 69 nce', 'If-Unmodi
1220: 66 69 65 64 2d 53 69 6e 63 65 27 2c 0a 09 09 09 fied-Since',....
1230: 27 52 65 66 65 72 65 72 27 2c 0a 09 09 09 27 55 'Referer',....'U
1240: 73 65 72 2d 41 67 65 6e 74 27 2c 0a 09 09 09 27 ser-Agent',....'
1250: 56 69 61 27 2c 0a 09 09 09 27 58 2d 46 6f 72 77 Via',....'X-Forw
1260: 61 72 64 65 64 2d 46 6f 72 27 2c 20 27 58 2d 4c arded-For', 'X-L
1270: 61 73 74 2d 48 52 27 2c 20 27 58 2d 4c 61 73 74 ast-HR', 'X-Last
1280: 2d 48 54 54 50 2d 53 74 61 74 75 73 2d 43 6f 64 -HTTP-Status-Cod
1290: 65 27 2c 20 27 58 2d 52 45 4d 4f 56 45 44 27 2c e', 'X-REMOVED',
12a0: 20 27 58 2d 52 65 61 6c 2d 49 50 27 2c 20 27 58 'X-Real-IP', 'X
12b0: 2d 52 65 74 72 79 2d 43 6f 75 6e 74 27 2c 0a 09 -Retry-Count',..
12c0: 09 5d 29 0a 0a 09 09 70 72 69 6e 74 28 27 3d 3d .])....print('==
12d0: 3d 3d 3d 3d 3d 3d 3d 3d 3d 3d 3d 3d 3d 5b 20 7b =============[ {
12e0: 7d 20 72 65 71 75 65 73 74 20 5d 3d 3d 3d 27 2e } request ]==='.
12f0: 66 6f 72 6d 61 74 28 73 65 6c 66 2e 63 6f 6d 6d format(self.comm
1300: 61 6e 64 29 29 0a 0a 09 09 66 6f 72 20 68 65 61 and))....for hea
1310: 64 65 72 20 69 6e 20 73 65 6c 66 2e 68 65 61 64 der in self.head
1320: 65 72 73 3a 0a 09 09 09 69 66 20 68 65 61 64 65 ers:....if heade
1330: 72 20 69 6e 20 70 72 6f 78 79 5f 69 67 6e 6f 72 r in proxy_ignor
1340: 65 64 3a 0a 09 09 09 09 70 61 73 73 0a 09 09 09 ed:.....pass....
1350: 65 6c 69 66 20 68 65 61 64 65 72 20 69 6e 20 28 elif header in (
1360: 27 52 61 6e 67 65 27 29 3a 0a 09 09 09 09 69 73 'Range'):.....is
1370: 52 61 6e 67 65 20 3d 20 72 65 2e 63 6f 6d 70 69 Range = re.compi
1380: 6c 65 28 27 62 79 74 65 73 3d 28 5c 64 2b 29 2d le('bytes=(\d+)-
1390: 28 5c 64 2b 29 27 29 2e 6d 61 74 63 68 28 73 65 (\d+)').match(se
13a0: 6c 66 2e 68 65 61 64 65 72 73 5b 68 65 61 64 65 lf.headers[heade
13b0: 72 5d 29 0a 09 09 09 09 69 66 20 69 73 52 61 6e r]).....if isRan
13c0: 67 65 3a 0a 09 09 09 09 09 72 65 71 75 65 73 74 ge:......request
13d0: 65 64 5f 72 61 6e 67 65 73 20 3d 20 73 70 61 63 ed_ranges = spac
13e0: 65 6d 61 70 2e 53 70 61 63 65 4d 61 70 28 7b 69 emap.SpaceMap({i
13f0: 6e 74 28 69 73 52 61 6e 67 65 2e 67 72 6f 75 70 nt(isRange.group
1400: 28 31 29 29 3a 20 69 6e 74 28 69 73 52 61 6e 67 (1)): int(isRang
1410: 65 2e 67 72 6f 75 70 28 32 29 29 20 2b 20 31 7d e.group(2)) + 1}
1420: 29 0a 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 ).....else:.....
1430: 09 72 65 74 75 72 6e 28 29 0a 09 09 09 65 6c 69 .return()....eli
1440: 66 20 68 65 61 64 65 72 20 69 6e 20 28 27 50 72 f header in ('Pr
1450: 61 67 6d 61 27 29 3a 0a 09 09 09 09 69 66 20 6d agma'):.....if m
1460: 79 5f 70 61 74 68 20 69 6e 20 69 6e 64 65 78 3a y_path in index:
1470: 0a 09 09 09 09 09 69 6e 64 65 78 5b 6d 79 5f 70 ......index[my_p
1480: 61 74 68 5d 5b 68 65 61 64 65 72 5d 20 3d 20 73 ath][header] = s
1490: 65 6c 66 2e 68 65 61 64 65 72 73 5b 68 65 61 64 elf.headers[head
14a0: 65 72 5d 0a 09 09 09 65 6c 73 65 3a 0a 09 09 09 er]....else:....
14b0: 09 70 72 69 6e 74 28 27 55 6e 6b 6e 6f 77 6e 20 .print('Unknown
14c0: 68 65 61 64 65 72 20 2d 20 27 2c 20 68 65 61 64 header - ', head
14d0: 65 72 2c 20 27 3a 20 27 2c 20 73 65 6c 66 2e 68 er, ': ', self.h
14e0: 65 61 64 65 72 73 5b 68 65 61 64 65 72 5d 2c 20 eaders[header],
14f0: 73 65 70 3d 27 27 29 0a 09 09 09 09 72 65 74 75 sep='').....retu
1500: 72 6e 28 29 0a 09 09 09 70 72 69 6e 74 28 68 65 rn()....print(he
1510: 61 64 65 72 2c 20 73 65 6c 66 2e 68 65 61 64 65 ader, self.heade
1520: 72 73 5b 68 65 61 64 65 72 5d 29 0a 0a 09 09 23 rs[header])....#
1530: 20 63 72 65 61 74 69 6e 67 20 66 69 6c 65 20 6e creating file n
1540: 61 6d 65 20 66 72 6f 6d 20 6d 79 5f 70 61 74 68 ame from my_path
1550: 0a 09 09 66 69 6c 65 5f 6e 61 6d 65 20 3d 20 63 ...file_name = c
1560: 6f 6e 66 69 67 5b 27 64 69 72 27 5d 20 2b 20 6f onfig['dir'] + o
1570: 73 2e 73 65 70 20 2b 20 72 65 2e 63 6f 6d 70 69 s.sep + re.compi
1580: 6c 65 28 27 25 32 30 27 29 2e 73 75 62 28 27 20 le('%20').sub('
1590: 27 2c 20 6d 79 5f 70 61 74 68 29 0a 09 09 23 20 ', my_path)...#
15a0: 70 61 72 74 69 61 6c 20 66 69 6c 65 20 6f 72 20 partial file or
15b0: 75 6e 66 69 6e 69 73 68 65 64 20 64 6f 77 6e 6c unfinished downl
15c0: 6f 61 64 0a 09 09 74 65 6d 70 5f 6e 61 6d 65 20 oad...temp_name
15d0: 3d 20 63 6f 6e 66 69 67 5b 27 64 69 72 27 5d 20 = config['dir']
15e0: 2b 20 6f 73 2e 73 65 70 20 2b 20 27 2e 70 61 72 + os.sep + '.par
15f0: 74 73 27 20 2b 20 72 65 2e 63 6f 6d 70 69 6c 65 ts' + re.compile
1600: 28 27 25 32 30 27 29 2e 73 75 62 28 27 20 27 2c ('%20').sub(' ',
1610: 20 6d 79 5f 70 61 74 68 29 0a 0a 09 09 23 20 63 my_path)....# c
1620: 72 65 61 74 69 6e 67 20 65 6d 70 74 79 20 70 6c reating empty pl
1630: 61 63 65 68 6f 6c 64 65 72 20 69 6e 20 69 6e 64 aceholder in ind
1640: 65 78 0a 09 09 23 20 69 66 20 74 68 65 72 65 27 ex...# if there'
1650: 73 20 6e 6f 20 73 70 61 63 65 20 6d 61 70 20 61 s no space map a
1660: 6e 64 20 74 68 65 72 65 27 73 20 6e 6f 20 66 69 nd there's no fi
1670: 6c 65 20 69 6e 20 72 65 61 6c 20 64 69 72 65 63 le in real direc
1680: 74 6f 72 79 20 2d 20 77 65 20 68 61 76 65 20 6e tory - we have n
1690: 6f 20 66 69 6c 65 0a 09 09 23 20 69 66 20 74 68 o file...# if th
16a0: 65 72 65 27 73 20 61 6e 20 65 6d 70 74 79 20 73 ere's an empty s
16b0: 70 61 63 65 20 6d 61 70 20 2d 20 66 69 6c 65 20 pace map - file
16c0: 69 73 20 66 75 6c 6c 0a 09 09 23 20 73 70 61 63 is full...# spac
16d0: 65 20 6d 61 70 20 67 65 6e 65 72 61 6c 6c 79 20 e map generally
16e0: 63 6f 76 65 72 73 20 65 76 65 72 79 20 62 69 74 covers every bit
16f0: 20 6f 66 20 66 69 6c 65 20 77 65 20 64 6f 6e 27 of file we don'
1700: 74 20 70 6f 73 65 73 73 20 63 75 72 72 65 6e 74 t posess current
1710: 6c 79 0a 09 09 69 66 20 6e 6f 74 20 6d 79 5f 70 ly...if not my_p
1720: 61 74 68 20 69 6e 20 69 6e 64 65 78 3a 0a 09 09 ath in index:...
1730: 09 69 6e 66 6f 20 2b 3d 20 27 5c 6e 54 68 69 73 .info += '\nThis
1740: 20 6f 6e 65 20 69 73 20 6e 65 77 2e 27 0a 09 09 one is new.'...
1750: 09 72 65 6c 6f 61 64 20 3d 20 54 72 75 65 0a 09 .reload = True..
1760: 09 09 72 65 63 6f 72 64 20 3d 20 7b 7d 0a 09 09 ..record = {}...
1770: 65 6c 73 65 3a 0a 09 09 09 23 20 66 6f 72 63 69 else:....# forci
1780: 62 6c 79 20 63 68 65 63 6b 69 6e 67 20 66 69 6c bly checking fil
1790: 65 20 69 66 20 6e 6f 20 66 69 6c 65 20 70 72 65 e if no file pre
17a0: 73 65 6e 74 0a 09 09 09 72 65 63 6f 72 64 20 3d sent....record =
17b0: 20 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5d 0a index[my_path].
17c0: 09 09 09 69 66 20 6f 73 2e 61 63 63 65 73 73 28 ...if os.access(
17d0: 66 69 6c 65 5f 6e 61 6d 65 2c 20 6f 73 2e 52 5f file_name, os.R_
17e0: 4f 4b 29 3a 0a 09 09 09 09 69 6e 66 6f 20 2b 3d OK):.....info +=
17f0: 20 27 5c 6e 46 75 6c 6c 20 66 69 6c 65 20 66 6f '\nFull file fo
1800: 75 6e 64 2e 27 0a 09 09 09 09 66 69 6c 65 5f 73 und.'.....file_s
1810: 74 61 74 20 3d 20 6f 73 2e 73 74 61 74 28 66 69 tat = os.stat(fi
1820: 6c 65 5f 6e 61 6d 65 29 0a 09 09 09 65 6c 69 66 le_name)....elif
1830: 20 27 5f 70 61 72 74 73 27 20 69 6e 20 69 6e 64 '_parts' in ind
1840: 65 78 5b 6d 79 5f 70 61 74 68 5d 20 61 6e 64 20 ex[my_path] and
1850: 6f 73 2e 61 63 63 65 73 73 28 74 65 6d 70 5f 6e os.access(temp_n
1860: 61 6d 65 2c 20 6f 73 2e 52 5f 4f 4b 29 3a 0a 09 ame, os.R_OK):..
1870: 09 09 09 69 6e 66 6f 20 2b 3d 20 27 5c 6e 50 61 ...info += '\nPa
1880: 72 74 69 61 6c 20 66 69 6c 65 20 66 6f 75 6e 64 rtial file found
1890: 2e 27 0a 09 09 09 09 66 69 6c 65 5f 73 74 61 74 .'.....file_stat
18a0: 20 3d 20 6f 73 2e 73 74 61 74 28 74 65 6d 70 5f = os.stat(temp_
18b0: 6e 61 6d 65 29 0a 09 09 09 09 72 65 63 68 65 63 name).....rechec
18c0: 6b 20 3d 20 54 72 75 65 0a 09 09 09 65 6c 73 65 k = True....else
18d0: 3a 0a 09 09 09 09 69 6e 66 6f 20 2b 3d 20 27 5c :.....info += '\
18e0: 6e 46 69 6c 65 20 6e 6f 74 20 66 6f 75 6e 64 20 nFile not found
18f0: 6f 72 20 69 6e 61 63 63 65 73 73 69 62 6c 65 2e or inaccessible.
1900: 27 0a 09 09 09 09 72 65 63 6f 72 64 5b 27 5f 70 '.....record['_p
1910: 61 72 74 73 27 5d 20 3d 20 4e 6f 6e 65 0a 09 09 arts'] = None...
1920: 09 09 72 65 6c 6f 61 64 20 3d 20 54 72 75 65 0a ..reload = True.
1930: 0a 09 09 69 66 20 6e 6f 74 20 27 5f 70 61 72 74 ...if not '_part
1940: 73 27 20 69 6e 20 72 65 63 6f 72 64 3a 0a 09 09 s' in record:...
1950: 09 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 .record['_parts'
1960: 5d 20 3d 20 4e 6f 6e 65 0a 0a 09 09 69 66 20 72 ] = None....if r
1970: 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d 20 ecord['_parts']
1980: 3d 3d 20 4e 6f 6e 65 3a 0a 09 09 09 72 65 63 68 == None:....rech
1990: 65 63 6b 20 3d 20 54 72 75 65 0a 0a 09 09 23 20 eck = True....#
19a0: 66 6f 72 63 69 62 6c 79 20 63 68 65 63 6b 69 6e forcibly checkin
19b0: 67 20 66 69 6c 65 20 69 66 20 66 69 6c 65 20 73 g file if file s
19c0: 69 7a 65 20 64 6f 65 73 6e 27 74 20 6d 61 74 63 ize doesn't matc
19d0: 68 20 77 69 74 68 20 69 6e 64 65 78 20 64 61 74 h with index dat
19e0: 61 0a 09 09 69 66 20 6e 6f 74 20 72 65 6c 6f 61 a...if not reloa
19f0: 64 3a 0a 09 09 09 69 66 20 27 5f 70 61 72 74 73 d:....if '_parts
1a00: 27 20 69 6e 20 72 65 63 6f 72 64 20 61 6e 64 20 ' in record and
1a10: 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d record['_parts']
1a20: 20 3d 3d 20 73 70 61 63 65 6d 61 70 2e 53 70 61 == spacemap.Spa
1a30: 63 65 4d 61 70 28 29 3a 0a 09 09 09 09 69 66 20 ceMap():.....if
1a40: 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 'Content-Length'
1a50: 20 69 6e 20 72 65 63 6f 72 64 20 61 6e 64 20 66 in record and f
1a60: 69 6c 65 5f 73 74 61 74 20 61 6e 64 20 66 69 6c ile_stat and fil
1a70: 65 5f 73 74 61 74 2e 73 74 5f 73 69 7a 65 20 21 e_stat.st_size !
1a80: 3d 20 69 6e 74 28 72 65 63 6f 72 64 5b 27 43 6f = int(record['Co
1a90: 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 5d 29 3a ntent-Length']):
1aa0: 0a 09 09 09 09 09 69 6e 66 6f 20 2b 3d 20 27 5c ......info += '\
1ab0: 6e 46 69 6c 65 20 73 69 7a 65 20 69 73 20 7b 7d nFile size is {}
1ac0: 20 61 6e 64 20 73 74 6f 72 65 64 20 66 69 6c 65 and stored file
1ad0: 20 73 69 7a 65 20 69 73 20 7b 7d 2e 27 2e 66 6f size is {}.'.fo
1ae0: 72 6d 61 74 28 66 69 6c 65 5f 73 74 61 74 2e 73 rmat(file_stat.s
1af0: 74 5f 73 69 7a 65 2c 20 72 65 63 6f 72 64 5b 27 t_size, record['
1b00: 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 5d Content-Length']
1b10: 29 0a 09 09 09 09 09 72 65 63 6f 72 64 5b 27 5f )......record['_
1b20: 70 61 72 74 73 27 5d 20 3d 20 4e 6f 6e 65 0a 09 parts'] = None..
1b30: 09 09 09 09 72 65 6c 6f 61 64 20 3d 20 54 72 75 ....reload = Tru
1b40: 65 0a 0a 09 09 23 20 66 6f 72 63 69 62 6c 79 20 e....# forcibly
1b50: 63 68 65 63 6b 69 6e 67 20 66 69 6c 65 20 69 66 checking file if
1b60: 20 69 6e 64 65 78 20 68 6f 6c 64 73 20 50 72 61 index holds Pra
1b70: 67 6d 61 20 68 65 61 64 65 72 0a 09 09 69 66 20 gma header...if
1b80: 6e 6f 74 20 72 65 6c 6f 61 64 20 61 6e 64 20 27 not reload and '
1b90: 50 72 61 67 6d 61 27 20 69 6e 20 72 65 63 6f 72 Pragma' in recor
1ba0: 64 20 61 6e 64 20 72 65 63 6f 72 64 5b 27 50 72 d and record['Pr
1bb0: 61 67 6d 61 27 5d 20 3d 3d 20 27 6e 6f 2d 63 61 agma'] == 'no-ca
1bc0: 63 68 65 27 3a 0a 09 09 09 69 6e 66 6f 20 2b 3d che':....info +=
1bd0: 27 5c 6e 50 72 61 67 6d 61 20 6f 6e 3a 20 72 65 '\nPragma on: re
1be0: 63 68 65 63 6b 20 69 6d 6d 69 6e 65 6e 74 2e 27 check imminent.'
1bf0: 0a 09 09 09 72 65 63 68 65 63 6b 20 3d 20 54 72 ....recheck = Tr
1c00: 75 65 0a 0a 09 09 23 20 73 6b 69 70 70 69 6e 67 ue....# skipping
1c10: 20 66 69 6c 65 20 70 72 6f 63 65 73 73 69 6e 67 file processing
1c20: 20 69 66 20 74 68 65 72 65 27 73 20 6e 6f 20 6e if there's no n
1c30: 65 65 64 20 74 6f 20 72 65 63 68 65 63 6b 20 69 eed to recheck i
1c40: 74 20 61 6e 64 20 77 65 20 68 61 76 65 20 63 68 t and we have ch
1c50: 65 63 6b 65 64 20 69 74 20 61 74 20 6c 65 61 73 ecked it at leas
1c60: 74 20 34 20 68 6f 75 72 73 20 61 67 6f 0a 09 09 t 4 hours ago...
1c70: 69 66 20 6e 6f 74 20 72 65 63 68 65 63 6b 20 61 if not recheck a
1c80: 6e 64 20 6e 6f 74 20 72 65 6c 6f 61 64 20 61 6e nd not reload an
1c90: 64 20 27 5f 74 69 6d 65 27 20 69 6e 20 72 65 63 d '_time' in rec
1ca0: 6f 72 64 20 61 6e 64 20 28 72 65 63 6f 72 64 5b ord and (record[
1cb0: 27 5f 74 69 6d 65 27 5d 20 2d 20 64 61 74 65 74 '_time'] - datet
1cc0: 69 6d 65 2e 64 61 74 65 74 69 6d 65 2e 6e 6f 77 ime.datetime.now
1cd0: 28 29 20 2b 20 64 61 74 65 74 69 6d 65 2e 74 69 () + datetime.ti
1ce0: 6d 65 64 65 6c 74 61 28 68 6f 75 72 73 20 3d 20 medelta(hours =
1cf0: 34 29 29 2e 64 61 79 73 20 3c 20 30 3a 0a 09 09 4)).days < 0:...
1d00: 09 69 6e 66 6f 20 2b 3d 20 27 5c 6e 46 69 6c 65 .info += '\nFile
1d10: 20 69 73 20 6f 6c 64 20 2d 20 72 65 63 68 65 63 is old - rechec
1d20: 6b 69 6e 67 2e 27 0a 09 09 09 72 65 63 68 65 63 king.'....rechec
1d30: 6b 20 3d 20 54 72 75 65 0a 0a 09 09 70 72 69 6e k = True....prin
1d40: 74 28 69 6e 66 6f 29 0a 09 09 69 66 20 72 65 6c t(info)...if rel
1d50: 6f 61 64 20 6f 72 20 72 65 63 68 65 63 6b 3a 0a oad or recheck:.
1d60: 0a 09 09 09 74 72 79 3a 0a 09 09 09 09 72 65 71 ....try:.....req
1d70: 75 65 73 74 20 3d 20 27 68 74 74 70 3a 2f 2f 27 uest = 'http://'
1d80: 20 2b 20 63 6f 6e 66 69 67 5b 27 72 6f 6f 74 27 + config['root'
1d90: 5d 20 2b 20 73 65 6c 66 2e 70 61 74 68 0a 09 09 ] + self.path...
1da0: 09 09 6d 79 5f 68 65 61 64 65 72 73 20 3d 20 7b ..my_headers = {
1db0: 7d 0a 09 09 09 09 66 6f 72 20 68 65 61 64 65 72 }.....for header
1dc0: 20 69 6e 20 28 27 43 61 63 68 65 2d 43 6f 6e 74 in ('Cache-Cont
1dd0: 72 6f 6c 27 2c 20 27 43 6f 6f 6b 69 65 27 2c 20 rol', 'Cookie',
1de0: 27 52 65 66 65 72 65 72 27 2c 20 27 55 73 65 72 'Referer', 'User
1df0: 2d 41 67 65 6e 74 27 29 3a 0a 09 09 09 09 09 69 -Agent'):......i
1e00: 66 20 68 65 61 64 65 72 20 69 6e 20 73 65 6c 66 f header in self
1e10: 2e 68 65 61 64 65 72 73 3a 0a 09 09 09 09 09 09 .headers:.......
1e20: 6d 79 5f 68 65 61 64 65 72 73 5b 68 65 61 64 65 my_headers[heade
1e30: 72 5d 20 3d 20 73 65 6c 66 2e 68 65 61 64 65 72 r] = self.header
1e40: 73 5b 68 65 61 64 65 72 5d 0a 0a 09 09 09 09 6e s[header]......n
1e50: 65 65 64 65 64 20 3d 20 4e 6f 6e 65 0a 09 09 09 eeded = None....
1e60: 09 69 66 20 27 5f 70 61 72 74 73 27 20 69 6e 20 .if '_parts' in
1e70: 72 65 63 6f 72 64 20 61 6e 64 20 72 65 63 6f 72 record and recor
1e80: 64 5b 27 5f 70 61 72 74 73 27 5d 20 21 3d 20 4e d['_parts'] != N
1e90: 6f 6e 65 3a 0a 09 09 09 09 09 69 66 20 63 6f 6e one:......if con
1ea0: 66 69 67 5b 27 6e 6f 70 61 72 74 73 27 5d 20 21 fig['noparts'] !
1eb0: 3d 20 27 6e 6f 27 20 6f 72 20 72 65 71 75 65 73 = 'no' or reques
1ec0: 74 65 64 5f 72 61 6e 67 65 73 20 3d 3d 20 4e 6f ted_ranges == No
1ed0: 6e 65 20 6f 72 20 72 65 71 75 65 73 74 65 64 5f ne or requested_
1ee0: 72 61 6e 67 65 73 20 3d 3d 20 73 70 61 63 65 6d ranges == spacem
1ef0: 61 70 2e 53 70 61 63 65 4d 61 70 28 29 3a 0a 09 ap.SpaceMap():..
1f00: 09 09 09 09 09 6e 65 65 64 65 64 20 3d 20 72 65 .....needed = re
1f10: 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d 0a 09 cord['_parts']..
1f20: 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 ....else:.......
1f30: 6e 65 65 64 65 64 20 3d 20 72 65 63 6f 72 64 5b needed = record[
1f40: 27 5f 70 61 72 74 73 27 5d 20 26 20 72 65 71 75 '_parts'] & requ
1f50: 65 73 74 65 64 5f 72 61 6e 67 65 73 0a 09 09 09 ested_ranges....
1f60: 09 65 6c 69 66 20 63 6f 6e 66 69 67 5b 27 6e 6f .elif config['no
1f70: 70 61 72 74 73 27 5d 20 3d 3d 27 6e 6f 27 20 61 parts'] =='no' a
1f80: 6e 64 20 72 65 71 75 65 73 74 65 64 5f 72 61 6e nd requested_ran
1f90: 67 65 73 20 21 3d 20 4e 6f 6e 65 20 61 6e 64 20 ges != None and
1fa0: 72 65 71 75 65 73 74 65 64 5f 72 61 6e 67 65 73 requested_ranges
1fb0: 20 21 3d 20 73 70 61 63 65 6d 61 70 2e 53 70 61 != spacemap.Spa
1fc0: 63 65 4d 61 70 28 29 3a 0a 09 09 09 09 09 6e 65 ceMap():......ne
1fd0: 65 64 65 64 20 3d 20 72 65 71 75 65 73 74 65 64 eded = requested
1fe0: 5f 72 61 6e 67 65 73 0a 09 09 09 09 72 61 6e 67 _ranges.....rang
1ff0: 65 73 20 3d 20 28 29 0a 09 09 09 09 70 72 69 6e es = ().....prin
2000: 74 28 27 4d 69 73 73 69 6e 67 20 72 61 6e 67 65 t('Missing range
2010: 73 3a 20 7b 7d 2c 20 72 65 71 75 65 73 74 65 64 s: {}, requested
2020: 20 72 61 6e 67 65 73 3a 20 7b 7d 2c 20 6e 65 65 ranges: {}, nee
2030: 64 65 64 20 72 61 6e 67 65 73 3a 20 7b 7d 2e 27 ded ranges: {}.'
2040: 2e 66 6f 72 6d 61 74 28 72 65 63 6f 72 64 5b 27 .format(record['
2050: 5f 70 61 72 74 73 27 5d 2c 20 72 65 71 75 65 73 _parts'], reques
2060: 74 65 64 5f 72 61 6e 67 65 73 2c 20 6e 65 65 64 ted_ranges, need
2070: 65 64 29 29 0a 09 09 09 09 69 66 20 6e 65 65 64 ed)).....if need
2080: 65 64 20 21 3d 20 4e 6f 6e 65 20 61 6e 64 20 6c ed != None and l
2090: 65 6e 28 6e 65 65 64 65 64 29 20 3e 20 30 3a 0a en(needed) > 0:.
20a0: 09 09 09 09 09 6e 65 65 64 65 64 2e 72 65 77 69 .....needed.rewi
20b0: 6e 64 28 29 0a 09 09 09 09 09 77 68 69 6c 65 20 nd()......while
20c0: 54 72 75 65 3a 0a 09 09 09 09 09 09 72 61 6e 67 True:.......rang
20d0: 65 20 3d 20 6e 65 65 64 65 64 2e 70 6f 70 28 29 e = needed.pop()
20e0: 0a 09 09 09 09 09 09 69 66 20 72 61 6e 67 65 5b .......if range[
20f0: 30 5d 20 3d 3d 20 4e 6f 6e 65 3a 0a 09 09 09 09 0] == None:.....
2100: 09 09 09 62 72 65 61 6b 0a 09 09 09 09 09 09 72 ...break.......r
2110: 61 6e 67 65 73 20 2b 3d 20 27 7b 7d 2d 7b 7d 27 anges += '{}-{}'
2120: 2e 66 6f 72 6d 61 74 28 72 61 6e 67 65 5b 30 5d .format(range[0]
2130: 2c 20 72 61 6e 67 65 5b 31 5d 20 2d 20 31 29 2c , range[1] - 1),
2140: 0a 09 09 09 09 09 6d 79 5f 68 65 61 64 65 72 73 ......my_headers
2150: 5b 27 52 61 6e 67 65 27 5d 20 3d 20 27 62 79 74 ['Range'] = 'byt
2160: 65 73 3d 27 20 2b 20 27 2c 27 2e 6a 6f 69 6e 28 es=' + ','.join(
2170: 72 61 6e 67 65 73 29 0a 0a 09 09 09 09 72 65 71 ranges)......req
2180: 75 65 73 74 20 3d 20 75 72 6c 6c 69 62 2e 72 65 uest = urllib.re
2190: 71 75 65 73 74 2e 52 65 71 75 65 73 74 28 72 65 quest.Request(re
21a0: 71 75 65 73 74 2c 20 68 65 61 64 65 72 73 20 3d quest, headers =
21b0: 20 6d 79 5f 68 65 61 64 65 72 73 29 0a 0a 09 09 my_headers)....
21c0: 09 09 77 69 74 68 20 75 72 6c 6c 69 62 2e 72 65 ..with urllib.re
21d0: 71 75 65 73 74 2e 75 72 6c 6f 70 65 6e 28 72 65 quest.urlopen(re
21e0: 71 75 65 73 74 29 20 61 73 20 73 6f 75 72 63 65 quest) as source
21f0: 3a 0a 09 09 09 09 09 6e 65 77 5f 72 65 63 6f 72 :......new_recor
2200: 64 20 3d 20 7b 7d 0a 09 09 09 09 09 6e 65 77 5f d = {}......new_
2210: 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d record['_parts']
2220: 20 3d 20 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 = record['_part
2230: 73 27 5d 0a 09 09 09 09 09 68 65 61 64 65 72 73 s']......headers
2240: 20 3d 20 73 6f 75 72 63 65 2e 69 6e 66 6f 28 29 = source.info()
2250: 0a 0a 09 09 09 09 09 23 20 73 74 72 69 70 70 69 .......# strippi
2260: 6e 67 20 75 6e 6e 65 65 64 65 64 20 68 65 61 64 ng unneeded head
2270: 65 72 73 20 28 58 58 58 20 6d 61 6b 65 20 74 68 ers (XXX make th
2280: 69 73 20 69 6e 70 6c 61 63 65 3f 29 0a 09 09 09 is inplace?)....
2290: 09 09 66 6f 72 20 68 65 61 64 65 72 20 69 6e 20 ..for header in
22a0: 68 65 61 64 65 72 73 3a 0a 09 09 09 09 09 09 69 headers:.......i
22b0: 66 20 68 65 61 64 65 72 20 69 6e 20 64 65 73 63 f header in desc
22c0: 5f 66 69 65 6c 64 73 3a 0a 09 09 09 09 09 09 09 _fields:........
22d0: 23 69 66 20 68 65 61 64 65 72 20 3d 3d 20 27 50 #if header == 'P
22e0: 72 61 67 6d 61 27 20 61 6e 64 20 68 65 61 64 65 ragma' and heade
22f0: 72 73 5b 68 65 61 64 65 72 5d 20 21 3d 20 27 6e rs[header] != 'n
2300: 6f 2d 63 61 63 68 65 27 3a 0a 09 09 09 09 09 09 o-cache':.......
2310: 09 69 66 20 68 65 61 64 65 72 20 3d 3d 20 27 43 .if header == 'C
2320: 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 3a 0a ontent-Length':.
2330: 09 09 09 09 09 09 09 09 69 66 20 27 43 6f 6e 74 ........if 'Cont
2340: 65 6e 74 2d 52 61 6e 67 65 27 20 6e 6f 74 20 69 ent-Range' not i
2350: 6e 20 68 65 61 64 65 72 73 3a 0a 09 09 09 09 09 n headers:......
2360: 09 09 09 09 6e 65 77 5f 72 65 63 6f 72 64 5b 68 ....new_record[h
2370: 65 61 64 65 72 5d 20 3d 20 69 6e 74 28 68 65 61 eader] = int(hea
2380: 64 65 72 73 5b 68 65 61 64 65 72 5d 29 0a 09 09 ders[header])...
2390: 09 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 .....else:......
23a0: 09 09 09 6e 65 77 5f 72 65 63 6f 72 64 5b 68 65 ...new_record[he
23b0: 61 64 65 72 5d 20 3d 20 68 65 61 64 65 72 73 5b ader] = headers[
23c0: 68 65 61 64 65 72 5d 0a 09 09 09 09 09 09 65 6c header].......el
23d0: 69 66 20 68 65 61 64 65 72 20 3d 3d 20 27 43 6f if header == 'Co
23e0: 6e 74 65 6e 74 2d 52 61 6e 67 65 27 3a 0a 09 09 ntent-Range':...
23f0: 09 09 09 09 09 72 61 6e 67 65 20 3d 20 72 65 2e .....range = re.
2400: 63 6f 6d 70 69 6c 65 28 27 5e 62 79 74 65 73 20 compile('^bytes
2410: 28 5c 64 2b 29 2d 28 5c 64 2b 29 2f 28 5c 64 2b (\d+)-(\d+)/(\d+
2420: 29 24 27 29 2e 6d 61 74 63 68 28 68 65 61 64 65 )$').match(heade
2430: 72 73 5b 68 65 61 64 65 72 5d 29 0a 09 09 09 09 rs[header]).....
2440: 09 09 09 69 66 20 72 61 6e 67 65 3a 0a 09 09 09 ...if range:....
2450: 09 09 09 09 09 6e 65 77 5f 72 65 63 6f 72 64 5b .....new_record[
2460: 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 'Content-Length'
2470: 5d 20 3d 20 69 6e 74 28 72 61 6e 67 65 2e 67 72 ] = int(range.gr
2480: 6f 75 70 28 33 29 29 0a 09 09 09 09 09 09 09 65 oup(3))........e
2490: 6c 73 65 3a 09 0a 09 09 09 09 09 09 09 09 61 73 lse:..........as
24a0: 73 65 72 74 20 46 61 6c 73 65 2c 20 27 43 6f 6e sert False, 'Con
24b0: 74 65 6e 74 2d 52 61 6e 67 65 20 75 6e 72 65 63 tent-Range unrec
24c0: 6f 67 6e 69 7a 65 64 2e 27 0a 09 09 09 09 09 09 ognized.'.......
24d0: 65 6c 69 66 20 6e 6f 74 20 68 65 61 64 65 72 20 elif not header
24e0: 69 6e 20 69 67 6e 6f 72 65 5f 66 69 65 6c 64 73 in ignore_fields
24f0: 3a 0a 09 09 09 09 09 09 09 70 72 69 6e 74 28 27 :........print('
2500: 55 6e 64 65 66 69 6e 65 64 20 68 65 61 64 65 72 Undefined header
2510: 20 22 27 2c 20 68 65 61 64 65 72 2c 20 27 22 3a "', header, '":
2520: 20 27 2c 20 68 65 61 64 65 72 73 5b 68 65 61 64 ', headers[head
2530: 65 72 5d 2c 20 73 65 70 3d 27 27 29 0a 0a 09 09 er], sep='')....
2540: 09 09 09 23 20 63 6f 6d 70 61 72 69 6e 67 20 68 ...# comparing h
2550: 65 61 64 65 72 73 20 77 69 74 68 20 64 61 74 61 eaders with data
2560: 20 66 6f 75 6e 64 20 69 6e 20 69 6e 64 65 78 0a found in index.
2570: 09 09 09 09 09 23 20 69 66 20 61 6e 79 20 68 65 .....# if any he
2580: 61 64 65 72 20 68 61 73 20 63 68 61 6e 67 65 64 ader has changed
2590: 20 28 65 78 63 65 70 74 20 50 72 61 67 6d 61 29 (except Pragma)
25a0: 20 66 69 6c 65 20 69 73 20 66 75 6c 6c 79 20 64 file is fully d
25b0: 6f 77 6e 6c 6f 61 64 65 64 0a 09 09 09 09 09 23 ownloaded......#
25c0: 20 73 61 6d 65 20 69 66 20 77 65 20 67 65 74 20 same if we get
25d0: 6d 6f 72 65 20 6f 72 20 6c 65 73 73 20 68 65 61 more or less hea
25e0: 64 65 72 73 0a 09 09 09 09 09 6f 6c 64 5f 6b 65 ders......old_ke
25f0: 79 73 20 3d 20 73 65 74 28 72 65 63 6f 72 64 2e ys = set(record.
2600: 6b 65 79 73 28 29 29 0a 09 09 09 09 09 6f 6c 64 keys())......old
2610: 5f 6b 65 79 73 2e 64 69 73 63 61 72 64 28 27 5f _keys.discard('_
2620: 74 69 6d 65 27 29 0a 09 09 09 09 09 6f 6c 64 5f time')......old_
2630: 6b 65 79 73 2e 64 69 73 63 61 72 64 28 27 50 72 keys.discard('Pr
2640: 61 67 6d 61 27 29 0a 09 09 09 09 09 6d 6f 72 65 agma')......more
2650: 5f 6b 65 79 73 20 3d 20 73 65 74 28 6e 65 77 5f _keys = set(new_
2660: 72 65 63 6f 72 64 2e 6b 65 79 73 28 29 29 20 2d record.keys()) -
2670: 20 6f 6c 64 5f 6b 65 79 73 0a 09 09 09 09 09 6d old_keys......m
2680: 6f 72 65 5f 6b 65 79 73 2e 64 69 73 63 61 72 64 ore_keys.discard
2690: 28 27 50 72 61 67 6d 61 27 29 0a 09 09 09 09 09 ('Pragma')......
26a0: 6c 65 73 73 5f 6b 65 79 73 20 3d 20 6f 6c 64 5f less_keys = old_
26b0: 6b 65 79 73 20 2d 20 73 65 74 28 6e 65 77 5f 72 keys - set(new_r
26c0: 65 63 6f 72 64 2e 6b 65 79 73 28 29 29 0a 09 09 ecord.keys())...
26d0: 09 09 09 69 66 20 6c 65 6e 28 6d 6f 72 65 5f 6b ...if len(more_k
26e0: 65 79 73 29 20 3e 20 30 3a 0a 09 09 09 09 09 09 eys) > 0:.......
26f0: 69 66 20 6e 6f 74 20 6c 65 6e 28 6f 6c 64 5f 6b if not len(old_k
2700: 65 79 73 29 20 3d 3d 20 30 3a 0a 09 09 09 09 09 eys) == 0:......
2710: 09 09 70 72 69 6e 74 28 27 4d 6f 72 65 20 68 65 ..print('More he
2720: 61 64 65 72 73 20 61 70 70 65 61 72 3a 27 2c 20 aders appear:',
2730: 6d 6f 72 65 5f 6b 65 79 73 29 0a 09 09 09 09 09 more_keys)......
2740: 09 72 65 6c 6f 61 64 20 3d 20 54 72 75 65 0a 09 .reload = True..
2750: 09 09 09 09 65 6c 69 66 20 6c 65 6e 28 6c 65 73 ....elif len(les
2760: 73 5f 6b 65 79 73 29 20 3e 20 30 3a 0a 09 09 09 s_keys) > 0:....
2770: 09 09 09 70 72 69 6e 74 28 27 4c 65 73 73 20 68 ...print('Less h
2780: 65 61 64 65 72 73 20 61 70 70 65 61 72 3a 27 2c eaders appear:',
2790: 20 6c 65 73 73 5f 6b 65 79 73 29 0a 09 09 09 09 less_keys).....
27a0: 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 66 6f 72 .else:.......for
27b0: 20 6b 65 79 20 69 6e 20 72 65 63 6f 72 64 2e 6b key in record.k
27c0: 65 79 73 28 29 3a 0a 09 09 09 09 09 09 09 69 66 eys():........if
27d0: 20 6b 65 79 5b 30 5d 20 21 3d 20 27 5f 27 20 61 key[0] != '_' a
27e0: 6e 64 20 6b 65 79 20 21 3d 20 27 50 72 61 67 6d nd key != 'Pragm
27f0: 61 27 20 61 6e 64 20 6e 6f 74 20 72 65 63 6f 72 a' and not recor
2800: 64 5b 6b 65 79 5d 20 3d 3d 20 6e 65 77 5f 72 65 d[key] == new_re
2810: 63 6f 72 64 5b 6b 65 79 5d 3a 0a 09 09 09 09 09 cord[key]:......
2820: 09 09 09 70 72 69 6e 74 28 27 48 65 61 64 65 72 ...print('Header
2830: 20 22 27 2c 20 6b 65 79 2c 20 27 22 20 63 68 61 "', key, '" cha
2840: 6e 67 65 64 20 66 72 6f 6d 20 5b 27 2c 20 72 65 nged from [', re
2850: 63 6f 72 64 5b 6b 65 79 5d 2c 20 27 5d 20 74 6f cord[key], '] to
2860: 20 5b 27 2c 20 6e 65 77 5f 72 65 63 6f 72 64 5b [', new_record[
2870: 6b 65 79 5d 2c 20 27 5d 27 2c 20 73 65 70 3d 27 key], ']', sep='
2880: 27 29 0a 09 09 09 09 09 09 09 09 70 72 69 6e 74 ').........print
2890: 28 74 79 70 65 28 72 65 63 6f 72 64 5b 6b 65 79 (type(record[key
28a0: 5d 29 2c 20 74 79 70 65 28 6e 65 77 5f 72 65 63 ]), type(new_rec
28b0: 6f 72 64 5b 6b 65 79 5d 29 29 0a 09 09 09 09 09 ord[key]))......
28c0: 09 09 09 72 65 6c 6f 61 64 20 3d 20 54 72 75 65 ...reload = True
28d0: 0a 0a 09 09 09 09 09 69 66 20 72 65 6c 6f 61 64 .......if reload
28e0: 3a 0a 09 09 09 09 09 09 70 72 69 6e 74 28 27 52 :.......print('R
28f0: 65 6c 6f 61 64 69 6e 67 2e 27 29 0a 09 09 09 09 eloading.').....
2900: 09 09 69 66 20 6f 73 2e 61 63 63 65 73 73 28 74 ..if os.access(t
2910: 65 6d 70 5f 6e 61 6d 65 2c 20 6f 73 2e 52 5f 4f emp_name, os.R_O
2920: 4b 29 3a 0a 09 09 09 09 09 09 09 6f 73 2e 75 6e K):........os.un
2930: 6c 69 6e 6b 28 74 65 6d 70 5f 6e 61 6d 65 29 0a link(temp_name).
2940: 09 09 09 09 09 09 69 66 20 6f 73 2e 61 63 63 65 ......if os.acce
2950: 73 73 28 66 69 6c 65 5f 6e 61 6d 65 2c 20 6f 73 ss(file_name, os
2960: 2e 52 5f 4f 4b 29 3a 0a 09 09 09 09 09 09 09 6f .R_OK):........o
2970: 73 2e 75 6e 6c 69 6e 6b 28 66 69 6c 65 5f 6e 61 s.unlink(file_na
2980: 6d 65 29 0a 09 09 09 09 09 09 69 66 20 27 43 6f me).......if 'Co
2990: 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 20 69 6e ntent-Length' in
29a0: 20 6e 65 77 5f 72 65 63 6f 72 64 3a 0a 09 09 09 new_record:....
29b0: 09 09 09 09 6e 65 77 5f 72 65 63 6f 72 64 5b 27 ....new_record['
29c0: 5f 70 61 72 74 73 27 5d 20 3d 20 73 70 61 63 65 _parts'] = space
29d0: 6d 61 70 2e 53 70 61 63 65 4d 61 70 28 7b 30 3a map.SpaceMap({0:
29e0: 20 69 6e 74 28 6e 65 77 5f 72 65 63 6f 72 64 5b int(new_record[
29f0: 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 'Content-Length'
2a00: 5d 29 7d 29 0a 09 09 09 09 09 09 65 6c 73 65 3a ])}).......else:
2a10: 0a 09 09 09 09 09 09 09 6e 65 77 5f 72 65 63 6f ........new_reco
2a20: 72 64 5b 27 5f 70 61 72 74 73 27 5d 20 3d 20 73 rd['_parts'] = s
2a30: 70 61 63 65 6d 61 70 2e 53 70 61 63 65 4d 61 70 pacemap.SpaceMap
2a40: 28 29 0a 09 09 09 09 09 70 72 69 6e 74 28 6e 65 ()......print(ne
2a50: 77 5f 72 65 63 6f 72 64 29 0a 0a 09 09 09 09 09 w_record).......
2a60: 23 20 64 6f 77 6e 6c 6f 61 64 69 6e 67 20 66 69 # downloading fi
2a70: 6c 65 20 6f 72 20 73 65 67 6d 65 6e 74 0a 09 09 le or segment...
2a80: 09 09 09 69 66 20 27 43 6f 6e 74 65 6e 74 2d 4c ...if 'Content-L
2a90: 65 6e 67 74 68 27 20 69 6e 20 6e 65 77 5f 72 65 ength' in new_re
2aa0: 63 6f 72 64 3a 0a 09 09 09 09 09 09 69 66 20 6e cord:.......if n
2ab0: 65 65 64 65 64 20 3d 3d 20 4e 6f 6e 65 3a 0a 09 eeded == None:..
2ac0: 09 09 09 09 09 09 6e 65 65 64 65 64 20 3d 20 6e ......needed = n
2ad0: 65 77 5f 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 ew_record['_part
2ae0: 73 27 5d 0a 09 09 09 09 09 09 65 6c 73 65 3a 0a s'].......else:.
2af0: 09 09 09 09 09 09 09 69 66 20 6c 65 6e 28 6e 65 .......if len(ne
2b00: 65 64 65 64 29 20 3e 20 31 3a 0a 09 09 09 09 09 eded) > 1:......
2b10: 09 09 09 70 72 69 6e 74 28 22 4d 75 6c 74 69 70 ...print("Multip
2b20: 61 72 74 20 72 65 71 75 65 73 74 73 20 63 75 72 art requests cur
2b30: 72 65 6e 74 6c 79 20 6e 6f 74 20 73 75 70 70 6f rently not suppo
2b40: 72 74 65 64 2e 22 29 0a 09 09 09 09 09 09 09 09 rted.").........
2b50: 61 73 73 65 72 74 20 46 61 6c 73 65 2c 20 27 53 assert False, 'S
2b60: 6b 69 70 20 74 68 69 73 20 6f 6e 65 20 66 6f 72 kip this one for
2b70: 20 6e 6f 77 2e 27 0a 09 09 09 09 09 23 65 6c 73 now.'......#els
2b80: 65 3a 0a 09 09 09 09 09 09 23 61 73 73 65 72 74 e:.......#assert
2b90: 20 46 61 6c 73 65 2c 20 27 4e 6f 20 43 6f 6e 74 False, 'No Cont
2ba0: 65 6e 74 2d 4c 65 6e 67 74 68 20 6f 72 20 43 6f ent-Length or Co
2bb0: 6e 74 65 6e 74 2d 52 61 6e 67 65 20 68 65 61 64 ntent-Range head
2bc0: 65 72 2e 27 0a 0a 09 09 09 09 09 6e 65 77 5f 72 er.'.......new_r
2bd0: 65 63 6f 72 64 5b 27 5f 74 69 6d 65 27 5d 20 3d ecord['_time'] =
2be0: 20 64 61 74 65 74 69 6d 65 2e 64 61 74 65 74 69 datetime.dateti
2bf0: 6d 65 2e 6e 6f 77 28 29 0a 09 09 09 09 09 69 66 me.now()......if
2c00: 20 73 65 6c 66 2e 63 6f 6d 6d 61 6e 64 20 6e 6f self.command no
2c10: 74 20 69 6e 20 28 27 48 45 41 44 27 29 3a 0a 09 t in ('HEAD'):..
2c20: 09 09 09 09 09 23 20 66 69 6c 65 20 69 73 20 63 .....# file is c
2c30: 72 65 61 74 65 64 20 61 74 20 74 65 6d 70 6f 72 reated at tempor
2c40: 61 72 79 20 6c 6f 63 61 74 69 6f 6e 20 61 6e 64 ary location and
2c50: 20 6d 6f 76 65 64 20 69 6e 20 70 6c 61 63 65 20 moved in place
2c60: 6f 6e 6c 79 20 77 68 65 6e 20 64 6f 77 6e 6c 6f only when downlo
2c70: 61 64 20 63 6f 6d 70 6c 65 74 65 73 0a 09 09 09 ad completes....
2c80: 09 09 09 69 66 20 6e 6f 74 20 6f 73 2e 61 63 63 ...if not os.acc
2c90: 65 73 73 28 74 65 6d 70 5f 6e 61 6d 65 2c 20 6f ess(temp_name, o
2ca0: 73 2e 52 5f 4f 4b 29 3a 0a 09 09 09 09 09 09 09 s.R_OK):........
2cb0: 65 6d 70 74 79 5f 6e 61 6d 65 20 3d 20 63 6f 6e empty_name = con
2cc0: 66 69 67 5b 27 64 69 72 27 5d 20 2b 20 6f 73 2e fig['dir'] + os.
2cd0: 73 65 70 20 2b 20 27 2e 74 6d 70 27 0a 09 09 09 sep + '.tmp'....
2ce0: 09 09 09 09 77 69 74 68 20 6f 70 65 6e 28 65 6d ....with open(em
2cf0: 70 74 79 5f 6e 61 6d 65 2c 20 27 77 2b 62 27 29 pty_name, 'w+b')
2d00: 20 61 73 20 73 6f 6d 65 5f 66 69 6c 65 3a 0a 09 as some_file:..
2d10: 09 09 09 09 09 09 09 70 61 73 73 0a 09 09 09 09 .......pass.....
2d20: 09 09 09 6f 73 2e 72 65 6e 61 6d 65 73 28 65 6d ...os.renames(em
2d30: 70 74 79 5f 6e 61 6d 65 2c 20 74 65 6d 70 5f 6e pty_name, temp_n
2d40: 61 6d 65 29 0a 09 09 09 09 09 09 74 65 6d 70 5f ame).......temp_
2d50: 66 69 6c 65 20 3d 20 6f 70 65 6e 28 74 65 6d 70 file = open(temp
2d60: 5f 6e 61 6d 65 2c 20 27 72 2b 62 27 29 0a 09 09 _name, 'r+b')...
2d70: 09 09 09 09 69 66 20 72 65 71 75 65 73 74 65 64 ....if requested
2d80: 5f 72 61 6e 67 65 73 20 3d 3d 20 4e 6f 6e 65 20 _ranges == None
2d90: 61 6e 64 20 6e 65 65 64 65 64 20 3d 3d 20 4e 6f and needed == No
2da0: 6e 65 3a 0a 09 09 09 09 09 09 09 6e 65 65 64 65 ne:........neede
2db0: 64 20 3d 20 6e 65 77 5f 72 65 63 6f 72 64 5b 27 d = new_record['
2dc0: 5f 70 61 72 74 73 27 5d 0a 09 09 09 09 09 09 6e _parts'].......n
2dd0: 65 65 64 65 64 2e 72 65 77 69 6e 64 28 29 0a 09 eeded.rewind()..
2de0: 09 09 09 09 09 77 68 69 6c 65 20 54 72 75 65 3a .....while True:
2df0: 0a 09 09 09 09 09 09 09 28 73 74 61 72 74 2c 20 ........(start,
2e00: 65 6e 64 29 20 3d 20 6e 65 65 64 65 64 2e 70 6f end) = needed.po
2e10: 70 28 29 0a 09 09 09 09 09 09 09 69 66 20 73 74 p()........if st
2e20: 61 72 74 20 3d 3d 20 4e 6f 6e 65 3a 0a 09 09 09 art == None:....
2e30: 09 09 09 09 09 62 72 65 61 6b 0a 09 09 09 09 09 .....break......
2e40: 09 09 73 74 72 65 61 6d 5f 6c 61 73 74 20 3d 20 ..stream_last =
2e50: 73 74 61 72 74 0a 09 09 09 09 09 09 09 6f 6c 64 start........old
2e60: 5f 72 65 63 6f 72 64 20 3d 20 6e 65 77 5f 72 65 _record = new_re
2e70: 63 6f 72 64 0a 09 09 09 09 09 09 09 69 66 20 65 cord........if e
2e80: 6e 64 20 2d 20 73 74 61 72 74 20 3c 20 62 6c 6f nd - start < blo
2e90: 63 6b 5f 73 69 7a 65 3a 0a 09 09 09 09 09 09 09 ck_size:........
2ea0: 09 72 65 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 20 .req_block_size
2eb0: 3d 20 65 6e 64 20 2d 20 73 74 61 72 74 0a 09 09 = end - start...
2ec0: 09 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 .....else:......
2ed0: 09 09 09 72 65 71 5f 62 6c 6f 63 6b 5f 73 69 7a ...req_block_siz
2ee0: 65 20 3d 20 62 6c 6f 63 6b 5f 73 69 7a 65 0a 09 e = block_size..
2ef0: 09 09 09 09 09 09 62 75 66 66 65 72 20 3d 20 73 ......buffer = s
2f00: 6f 75 72 63 65 2e 72 65 61 64 28 72 65 71 5f 62 ource.read(req_b
2f10: 6c 6f 63 6b 5f 73 69 7a 65 29 0a 09 09 09 09 09 lock_size)......
2f20: 09 09 6c 65 6e 67 74 68 20 3d 20 6c 65 6e 28 62 ..length = len(b
2f30: 75 66 66 65 72 29 0a 09 09 09 09 09 09 09 77 68 uffer)........wh
2f40: 69 6c 65 20 6c 65 6e 67 74 68 20 3e 20 30 20 61 ile length > 0 a
2f50: 6e 64 20 73 74 72 65 61 6d 5f 6c 61 73 74 20 3c nd stream_last <
2f60: 20 65 6e 64 3a 0a 09 09 09 09 09 09 09 09 73 74 end:.........st
2f70: 72 65 61 6d 5f 70 6f 73 20 3d 20 73 74 72 65 61 ream_pos = strea
2f80: 6d 5f 6c 61 73 74 20 2b 20 6c 65 6e 67 74 68 0a m_last + length.
2f90: 09 09 09 09 09 09 09 09 61 73 73 65 72 74 20 6e ........assert n
2fa0: 6f 74 20 73 74 72 65 61 6d 5f 70 6f 73 20 3e 20 ot stream_pos >
2fb0: 65 6e 64 2c 20 27 52 65 63 65 69 76 65 64 20 6d end, 'Received m
2fc0: 6f 72 65 20 64 61 74 61 20 74 68 65 6e 20 72 65 ore data then re
2fd0: 71 75 65 73 74 65 64 3a 20 70 6f 73 3a 7b 7d 20 quested: pos:{}
2fe0: 73 74 61 72 74 3a 7b 7d 20 65 6e 64 3a 7b 7d 2e start:{} end:{}.
2ff0: 27 2e 66 6f 72 6d 61 74 28 73 74 72 65 61 6d 5f '.format(stream_
3000: 70 6f 73 2c 20 73 74 61 72 74 2c 20 65 6e 64 29 pos, start, end)
3010: 0a 09 09 09 09 09 09 09 09 74 65 6d 70 5f 66 69 .........temp_fi
3020: 6c 65 2e 73 65 65 6b 28 73 74 72 65 61 6d 5f 6c le.seek(stream_l
3030: 61 73 74 29 0a 09 09 09 09 09 09 09 09 74 65 6d ast).........tem
3040: 70 5f 66 69 6c 65 2e 77 72 69 74 65 28 62 75 66 p_file.write(buf
3050: 66 65 72 29 0a 09 09 09 09 09 09 09 09 6e 65 77 fer).........new
3060: 5f 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 _record['_parts'
3070: 5d 20 3d 20 6e 65 77 5f 72 65 63 6f 72 64 5b 27 ] = new_record['
3080: 5f 70 61 72 74 73 27 5d 20 2d 20 73 70 61 63 65 _parts'] - space
3090: 6d 61 70 2e 53 70 61 63 65 4d 61 70 28 7b 73 74 map.SpaceMap({st
30a0: 72 65 61 6d 5f 6c 61 73 74 3a 20 73 74 72 65 61 ream_last: strea
30b0: 6d 5f 70 6f 73 7d 29 0a 09 09 09 09 09 09 09 09 m_pos}).........
30c0: 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5d 20 3d index[my_path] =
30d0: 20 6f 6c 64 5f 72 65 63 6f 72 64 0a 09 09 09 09 old_record.....
30e0: 09 09 09 09 69 6e 64 65 78 2e 73 79 6e 63 28 29 ....index.sync()
30f0: 0a 09 09 09 09 09 09 09 09 6f 6c 64 5f 72 65 63 .........old_rec
3100: 6f 72 64 20 3d 20 6e 65 77 5f 72 65 63 6f 72 64 ord = new_record
3110: 0a 09 09 09 09 09 09 09 09 73 74 72 65 61 6d 5f .........stream_
3120: 6c 61 73 74 20 3d 20 73 74 72 65 61 6d 5f 70 6f last = stream_po
3130: 73 0a 09 09 09 09 09 09 09 09 69 66 20 65 6e 64 s.........if end
3140: 20 2d 20 73 74 72 65 61 6d 5f 6c 61 73 74 20 3c - stream_last <
3150: 20 62 6c 6f 63 6b 5f 73 69 7a 65 3a 0a 09 09 09 block_size:....
3160: 09 09 09 09 09 09 72 65 71 5f 62 6c 6f 63 6b 5f ......req_block_
3170: 73 69 7a 65 20 3d 20 65 6e 64 20 2d 20 73 74 72 size = end - str
3180: 65 61 6d 5f 6c 61 73 74 0a 09 09 09 09 09 09 09 eam_last........
3190: 09 62 75 66 66 65 72 20 3d 20 73 6f 75 72 63 65 .buffer = source
31a0: 2e 72 65 61 64 28 72 65 71 5f 62 6c 6f 63 6b 5f .read(req_block_
31b0: 73 69 7a 65 29 0a 09 09 09 09 09 09 09 09 6c 65 size).........le
31c0: 6e 67 74 68 20 3d 20 6c 65 6e 28 62 75 66 66 65 ngth = len(buffe
31d0: 72 29 0a 09 09 09 09 09 09 23 20 6d 6f 76 69 6e r).......# movin
31e0: 67 20 64 6f 77 6e 6c 6f 61 64 65 64 20 64 61 74 g downloaded dat
31f0: 61 20 74 6f 20 72 65 61 6c 20 66 69 6c 65 0a 09 a to real file..
3200: 09 09 09 09 09 74 65 6d 70 5f 66 69 6c 65 2e 63 .....temp_file.c
3210: 6c 6f 73 65 28 29 0a 0a 09 09 09 09 09 69 6e 64 lose().......ind
3220: 65 78 5b 6d 79 5f 70 61 74 68 5d 20 3d 20 6e 65 ex[my_path] = ne
3230: 77 5f 72 65 63 6f 72 64 0a 09 09 09 09 09 69 6e w_record......in
3240: 64 65 78 2e 73 79 6e 63 28 29 0a 0a 09 09 09 65 dex.sync().....e
3250: 78 63 65 70 74 20 75 72 6c 6c 69 62 2e 65 72 72 xcept urllib.err
3260: 6f 72 2e 48 54 54 50 45 72 72 6f 72 20 61 73 20 or.HTTPError as
3270: 65 72 72 6f 72 3a 0a 09 09 09 09 23 20 69 6e 20 error:.....# in
3280: 63 61 73 65 20 6f 66 20 65 72 72 6f 72 20 77 65 case of error we
3290: 20 64 6f 6e 27 74 20 6e 65 65 64 20 74 6f 20 64 don't need to d
32a0: 6f 20 61 6e 79 74 68 69 6e 67 20 61 63 74 75 61 o anything actua
32b0: 6c 6c 79 2c 0a 09 09 09 09 23 20 69 66 20 66 69 lly,.....# if fi
32c0: 6c 65 20 64 6f 77 6e 6c 6f 61 64 20 73 74 61 6c le download stal
32d0: 6c 73 20 6f 72 20 66 61 69 6c 73 20 74 68 65 20 ls or fails the
32e0: 66 69 6c 65 20 77 6f 75 6c 64 20 6e 6f 74 20 62 file would not b
32f0: 65 20 6d 6f 76 65 64 20 74 6f 20 69 74 27 73 20 e moved to it's
3300: 6c 6f 63 61 74 69 6f 6e 0a 09 09 09 09 70 72 69 location.....pri
3310: 6e 74 28 65 72 72 6f 72 29 0a 0a 09 09 70 72 69 nt(error)....pri
3320: 6e 74 28 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 nt(index[my_path
3330: 5d 29 0a 0a 09 09 69 66 20 6e 6f 74 20 6f 73 2e ])....if not os.
3340: 61 63 63 65 73 73 28 66 69 6c 65 5f 6e 61 6d 65 access(file_name
3350: 2c 20 6f 73 2e 52 5f 4f 4b 29 20 61 6e 64 20 6f , os.R_OK) and o
3360: 73 2e 61 63 63 65 73 73 28 74 65 6d 70 5f 6e 61 s.access(temp_na
3370: 6d 65 2c 20 6f 73 2e 52 5f 4f 4b 29 20 61 6e 64 me, os.R_OK) and
3380: 20 27 5f 70 61 72 74 73 27 20 69 6e 20 69 6e 64 '_parts' in ind
3390: 65 78 5b 6d 79 5f 70 61 74 68 5d 20 61 6e 64 20 ex[my_path] and
33a0: 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5d 5b 27 index[my_path]['
33b0: 5f 70 61 72 74 73 27 5d 20 3d 3d 20 73 70 61 63 _parts'] == spac
33c0: 65 6d 61 70 2e 53 70 61 63 65 4d 61 70 28 29 3a emap.SpaceMap():
33d0: 0a 09 09 09 23 20 6a 75 73 74 20 6d 6f 76 69 6e ....# just movin
33e0: 67 0a 09 09 09 23 20 64 72 6f 70 20 6f 6c 64 20 g....# drop old
33f0: 64 69 72 73 20 58 58 58 0a 09 09 09 70 72 69 6e dirs XXX....prin
3400: 74 28 27 4d 6f 76 69 6e 67 20 74 65 6d 70 6f 72 t('Moving tempor
3410: 61 72 79 20 66 69 6c 65 20 74 6f 20 6e 65 77 20 ary file to new
3420: 64 65 73 74 69 6e 61 74 69 6f 6e 2e 27 29 0a 09 destination.')..
3430: 09 09 6f 73 2e 72 65 6e 61 6d 65 73 28 74 65 6d ..os.renames(tem
3440: 70 5f 6e 61 6d 65 2c 20 66 69 6c 65 5f 6e 61 6d p_name, file_nam
3450: 65 29 0a 0a 09 09 69 66 20 6e 6f 74 20 6d 79 5f e)....if not my_
3460: 70 61 74 68 20 69 6e 20 69 6e 64 65 78 3a 0a 09 path in index:..
3470: 09 09 73 65 6c 66 2e 73 65 6e 64 5f 72 65 73 70 ..self.send_resp
3480: 6f 6e 73 65 28 35 30 32 29 0a 09 09 09 73 65 6c onse(502)....sel
3490: 66 2e 65 6e 64 5f 68 65 61 64 65 72 73 28 29 0a f.end_headers().
34a0: 09 09 09 72 65 74 75 72 6e 0a 0a 09 09 69 66 20 ...return....if
34b0: 73 65 6c 66 2e 63 6f 6d 6d 61 6e 64 20 3d 3d 20 self.command ==
34c0: 27 48 45 41 44 27 3a 0a 09 09 09 73 65 6c 66 2e 'HEAD':....self.
34d0: 73 65 6e 64 5f 72 65 73 70 6f 6e 73 65 28 32 30 send_response(20
34e0: 30 29 0a 09 09 09 69 66 20 27 43 6f 6e 74 65 6e 0)....if 'Conten
34f0: 74 2d 4c 65 6e 67 74 68 27 20 69 6e 20 69 6e 64 t-Length' in ind
3500: 65 78 5b 6d 79 5f 70 61 74 68 5d 3a 0a 09 09 09 ex[my_path]:....
3510: 09 73 65 6c 66 2e 73 65 6e 64 5f 68 65 61 64 65 .self.send_heade
3520: 72 28 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 r('Content-Lengt
3530: 68 27 2c 20 69 6e 64 65 78 5b 6d 79 5f 70 61 74 h', index[my_pat
3540: 68 5d 5b 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 h]['Content-Leng
3550: 74 68 27 5d 29 0a 09 09 09 73 65 6c 66 2e 73 65 th'])....self.se
3560: 6e 64 5f 68 65 61 64 65 72 28 27 41 63 63 65 70 nd_header('Accep
3570: 74 2d 52 61 6e 67 65 73 27 2c 20 27 62 79 74 65 t-Ranges', 'byte
3580: 73 27 29 0a 09 09 09 73 65 6c 66 2e 73 65 6e 64 s')....self.send
3590: 5f 68 65 61 64 65 72 28 27 43 6f 6e 74 65 6e 74 _header('Content
35a0: 2d 54 79 70 65 27 2c 20 27 61 70 70 6c 69 63 61 -Type', 'applica
35b0: 74 69 6f 6e 2f 6f 63 74 65 74 2d 73 74 72 65 61 tion/octet-strea
35c0: 6d 27 29 0a 09 09 09 69 66 20 27 4c 61 73 74 2d m')....if 'Last-
35d0: 4d 6f 64 69 66 69 65 64 27 20 69 6e 20 69 6e 64 Modified' in ind
35e0: 65 78 5b 6d 79 5f 70 61 74 68 5d 3a 0a 09 09 09 ex[my_path]:....
35f0: 09 73 65 6c 66 2e 73 65 6e 64 5f 68 65 61 64 65 .self.send_heade
3600: 72 28 27 4c 61 73 74 2d 4d 6f 64 69 66 69 65 64 r('Last-Modified
3610: 27 2c 20 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 ', index[my_path
3620: 5d 5b 27 4c 61 73 74 2d 4d 6f 64 69 66 69 65 64 ]['Last-Modified
3630: 27 5d 29 0a 09 09 09 73 65 6c 66 2e 65 6e 64 5f '])....self.end_
3640: 68 65 61 64 65 72 73 28 29 0a 09 09 65 6c 73 65 headers()...else
3650: 3a 0a 09 09 09 69 66 20 28 27 5f 70 61 72 74 73 :....if ('_parts
3660: 27 20 69 6e 20 69 6e 64 65 78 5b 6d 79 5f 70 61 ' in index[my_pa
3670: 74 68 5d 20 61 6e 64 20 69 6e 64 65 78 5b 6d 79 th] and index[my
3680: 5f 70 61 74 68 5d 5b 27 5f 70 61 72 74 73 27 5d _path]['_parts']
3690: 20 21 3d 20 73 70 61 63 65 6d 61 70 2e 53 70 61 != spacemap.Spa
36a0: 63 65 4d 61 70 28 29 29 20 6f 72 20 6e 6f 74 20 ceMap()) or not
36b0: 6f 73 2e 61 63 63 65 73 73 28 66 69 6c 65 5f 6e os.access(file_n
36c0: 61 6d 65 2c 20 6f 73 2e 52 5f 4f 4b 29 3a 0a 09 ame, os.R_OK):..
36d0: 09 09 09 66 69 6c 65 5f 6e 61 6d 65 20 3d 20 74 ...file_name = t
36e0: 65 6d 70 5f 6e 61 6d 65 0a 0a 09 09 09 77 69 74 emp_name.....wit
36f0: 68 20 6f 70 65 6e 28 66 69 6c 65 5f 6e 61 6d 65 h open(file_name
3700: 2c 20 27 72 62 27 29 20 61 73 20 72 65 61 6c 5f , 'rb') as real_
3710: 66 69 6c 65 3a 0a 09 09 09 09 66 69 6c 65 5f 73 file:.....file_s
3720: 74 61 74 20 3d 20 6f 73 2e 73 74 61 74 28 66 69 tat = os.stat(fi
3730: 6c 65 5f 6e 61 6d 65 29 0a 09 09 09 09 69 66 20 le_name).....if
3740: 27 52 61 6e 67 65 27 20 69 6e 20 73 65 6c 66 2e 'Range' in self.
3750: 68 65 61 64 65 72 73 3a 0a 09 09 09 09 09 73 65 headers:......se
3760: 6c 66 2e 73 65 6e 64 5f 72 65 73 70 6f 6e 73 65 lf.send_response
3770: 28 32 30 36 29 0a 09 09 09 09 09 72 61 6e 67 65 (206)......range
3780: 73 20 3d 20 28 29 0a 09 09 09 09 09 72 65 71 75 s = ()......requ
3790: 65 73 74 65 64 5f 72 61 6e 67 65 73 2e 72 65 77 ested_ranges.rew
37a0: 69 6e 64 28 29 0a 09 09 09 09 09 77 68 69 6c 65 ind()......while
37b0: 20 54 72 75 65 3a 0a 09 09 09 09 09 09 70 61 69 True:.......pai
37c0: 72 20 3d 20 72 65 71 75 65 73 74 65 64 5f 72 61 r = requested_ra
37d0: 6e 67 65 73 2e 70 6f 70 28 29 0a 09 09 09 09 09 nges.pop()......
37e0: 09 69 66 20 70 61 69 72 5b 30 5d 20 3d 3d 20 4e .if pair[0] == N
37f0: 6f 6e 65 3a 0a 09 09 09 09 09 09 09 62 72 65 61 one:........brea
3800: 6b 0a 09 09 09 09 09 09 72 61 6e 67 65 73 20 2b k.......ranges +
3810: 3d 20 27 7b 7d 2d 7b 7d 27 2e 66 6f 72 6d 61 74 = '{}-{}'.format
3820: 28 70 61 69 72 5b 30 5d 2c 20 73 74 72 28 70 61 (pair[0], str(pa
3830: 69 72 5b 31 5d 20 2d 20 31 29 29 2c 0a 09 09 09 ir[1] - 1)),....
3840: 09 09 73 65 6c 66 2e 73 65 6e 64 5f 68 65 61 64 ..self.send_head
3850: 65 72 28 27 43 6f 6e 74 65 6e 74 2d 52 61 6e 67 er('Content-Rang
3860: 65 27 2c 20 27 62 79 74 65 73 20 7b 7d 2f 7b 7d e', 'bytes {}/{}
3870: 27 2e 66 6f 72 6d 61 74 28 27 2c 27 2e 6a 6f 69 '.format(','.joi
3880: 6e 28 72 61 6e 67 65 73 29 2c 20 69 6e 64 65 78 n(ranges), index
3890: 5b 6d 79 5f 70 61 74 68 5d 5b 27 43 6f 6e 74 65 [my_path]['Conte
38a0: 6e 74 2d 4c 65 6e 67 74 68 27 5d 29 29 0a 09 09 nt-Length']))...
38b0: 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 73 65 6c ..else:......sel
38c0: 66 2e 73 65 6e 64 5f 72 65 73 70 6f 6e 73 65 28 f.send_response(
38d0: 32 30 30 29 0a 09 09 09 09 09 73 65 6c 66 2e 73 200)......self.s
38e0: 65 6e 64 5f 68 65 61 64 65 72 28 27 43 6f 6e 74 end_header('Cont
38f0: 65 6e 74 2d 4c 65 6e 67 74 68 27 2c 20 73 74 72 ent-Length', str
3900: 28 66 69 6c 65 5f 73 74 61 74 2e 73 74 5f 73 69 (file_stat.st_si
3910: 7a 65 29 29 0a 09 09 09 09 09 72 65 71 75 65 73 ze))......reques
3920: 74 65 64 5f 72 61 6e 67 65 73 20 3d 20 73 70 61 ted_ranges = spa
3930: 63 65 6d 61 70 2e 53 70 61 63 65 4d 61 70 28 7b cemap.SpaceMap({
3940: 30 3a 20 66 69 6c 65 5f 73 74 61 74 2e 73 74 5f 0: file_stat.st_
3950: 73 69 7a 65 7d 29 0a 09 09 09 09 69 66 20 27 4c size}).....if 'L
3960: 61 73 74 2d 4d 6f 64 69 66 69 65 64 27 20 69 6e ast-Modified' in
3970: 20 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5d 3a index[my_path]:
3980: 0a 09 09 09 09 09 73 65 6c 66 2e 73 65 6e 64 5f ......self.send_
3990: 68 65 61 64 65 72 28 27 4c 61 73 74 2d 4d 6f 64 header('Last-Mod
39a0: 69 66 69 65 64 27 2c 20 69 6e 64 65 78 5b 6d 79 ified', index[my
39b0: 5f 70 61 74 68 5d 5b 27 4c 61 73 74 2d 4d 6f 64 _path]['Last-Mod
39c0: 69 66 69 65 64 27 5d 29 0a 09 09 09 09 73 65 6c ified']).....sel
39d0: 66 2e 73 65 6e 64 5f 68 65 61 64 65 72 28 27 43 f.send_header('C
39e0: 6f 6e 74 65 6e 74 2d 54 79 70 65 27 2c 20 27 61 ontent-Type', 'a
39f0: 70 70 6c 69 63 61 74 69 6f 6e 2f 6f 63 74 65 74 pplication/octet
3a00: 2d 73 74 72 65 61 6d 27 29 0a 09 09 09 09 73 65 -stream').....se
3a10: 6c 66 2e 65 6e 64 5f 68 65 61 64 65 72 73 28 29 lf.end_headers()
3a20: 0a 09 09 09 09 69 66 20 73 65 6c 66 2e 63 6f 6d .....if self.com
3a30: 6d 61 6e 64 20 69 6e 20 28 27 47 45 54 27 29 3a mand in ('GET'):
3a40: 0a 09 09 09 09 09 69 66 20 6c 65 6e 28 72 65 71 ......if len(req
3a50: 75 65 73 74 65 64 5f 72 61 6e 67 65 73 29 20 3e uested_ranges) >
3a60: 20 30 3a 0a 09 09 09 09 09 09 72 65 71 75 65 73 0:.......reques
3a70: 74 65 64 5f 72 61 6e 67 65 73 2e 72 65 77 69 6e ted_ranges.rewin
3a80: 64 28 29 0a 09 09 09 09 09 09 28 73 74 61 72 74 d().......(start
3a90: 2c 20 65 6e 64 29 20 3d 20 72 65 71 75 65 73 74 , end) = request
3aa0: 65 64 5f 72 61 6e 67 65 73 2e 70 6f 70 28 29 0a ed_ranges.pop().
3ab0: 09 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 .....else:......
3ac0: 09 73 74 61 72 74 20 3d 20 30 0a 09 09 09 09 09 .start = 0......
3ad0: 09 23 20 58 58 58 20 75 67 6c 79 20 68 61 63 6b .# XXX ugly hack
3ae0: 0a 09 09 09 09 09 09 69 66 20 27 43 6f 6e 74 65 .......if 'Conte
3af0: 6e 74 2d 4c 65 6e 67 74 68 27 20 69 6e 20 69 6e nt-Length' in in
3b00: 64 65 78 5b 6d 79 5f 70 61 74 68 5d 3a 0a 09 09 dex[my_path]:...
3b10: 09 09 09 09 09 65 6e 64 20 3d 20 69 6e 64 65 78 .....end = index
3b20: 5b 6d 79 5f 70 61 74 68 5d 5b 27 43 6f 6e 74 65 [my_path]['Conte
3b30: 6e 74 2d 4c 65 6e 67 74 68 27 5d 0a 09 09 09 09 nt-Length'].....
3b40: 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 09 65 ..else:........e
3b50: 6e 64 20 3d 20 30 0a 09 09 09 09 09 72 65 61 6c nd = 0......real
3b60: 5f 66 69 6c 65 2e 73 65 65 6b 28 73 74 61 72 74 _file.seek(start
3b70: 29 0a 09 09 09 09 09 69 66 20 62 6c 6f 63 6b 5f )......if block_
3b80: 73 69 7a 65 20 3e 20 65 6e 64 20 2d 20 73 74 61 size > end - sta
3b90: 72 74 3a 0a 09 09 09 09 09 09 72 65 71 5f 62 6c rt:.......req_bl
3ba0: 6f 63 6b 5f 73 69 7a 65 20 3d 20 65 6e 64 20 2d ock_size = end -
3bb0: 20 73 74 61 72 74 0a 09 09 09 09 09 65 6c 73 65 start......else
3bc0: 3a 0a 09 09 09 09 09 09 72 65 71 5f 62 6c 6f 63 :.......req_bloc
3bd0: 6b 5f 73 69 7a 65 20 3d 20 62 6c 6f 63 6b 5f 73 k_size = block_s
3be0: 69 7a 65 0a 09 09 09 09 09 62 75 66 66 65 72 20 ize......buffer
3bf0: 3d 20 72 65 61 6c 5f 66 69 6c 65 2e 72 65 61 64 = real_file.read
3c00: 28 72 65 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 29 (req_block_size)
3c10: 0a 09 09 09 09 09 6c 65 6e 67 74 68 20 3d 20 6c ......length = l
3c20: 65 6e 28 62 75 66 66 65 72 29 0a 09 09 09 09 09 en(buffer)......
3c30: 77 68 69 6c 65 20 6c 65 6e 67 74 68 20 3e 20 30 while length > 0
3c40: 3a 0a 09 09 09 09 09 09 73 65 6c 66 2e 77 66 69 :.......self.wfi
3c50: 6c 65 2e 77 72 69 74 65 28 62 75 66 66 65 72 29 le.write(buffer)
3c60: 0a 09 09 09 09 09 09 73 74 61 72 74 20 2b 3d 20 .......start +=
3c70: 6c 65 6e 28 62 75 66 66 65 72 29 0a 09 09 09 09 len(buffer).....
3c80: 09 09 69 66 20 72 65 71 5f 62 6c 6f 63 6b 5f 73 ..if req_block_s
3c90: 69 7a 65 20 3e 20 65 6e 64 20 2d 20 73 74 61 72 ize > end - star
3ca0: 74 3a 0a 09 09 09 09 09 09 09 72 65 71 5f 62 6c t:........req_bl
3cb0: 6f 63 6b 5f 73 69 7a 65 20 3d 20 65 6e 64 20 2d ock_size = end -
3cc0: 20 73 74 61 72 74 0a 09 09 09 09 09 09 69 66 20 start.......if
3cd0: 72 65 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 20 3d req_block_size =
3ce0: 3d 20 30 3a 0a 09 09 09 09 09 09 09 62 72 65 61 = 0:........brea
3cf0: 6b 0a 09 09 09 09 09 09 62 75 66 66 65 72 20 3d k.......buffer =
3d00: 20 72 65 61 6c 5f 66 69 6c 65 2e 72 65 61 64 28 real_file.read(
3d10: 72 65 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 29 0a req_block_size).
3d20: 09 09 09 09 09 09 6c 65 6e 67 74 68 20 3d 20 6c ......length = l
3d30: 65 6e 28 62 75 66 66 65 72 29 0a 09 09 09 09 0a en(buffer)......
3d40: 09 64 65 66 20 64 6f 5f 48 45 41 44 28 73 65 6c .def do_HEAD(sel
3d50: 66 29 3a 0a 09 09 72 65 74 75 72 6e 20 73 65 6c f):...return sel
3d60: 66 2e 5f 5f 70 72 6f 63 65 73 73 28 29 0a 09 64 f.__process()..d
3d70: 65 66 20 64 6f 5f 47 45 54 28 73 65 6c 66 29 3a ef do_GET(self):
3d80: 0a 09 09 72 65 74 75 72 6e 20 73 65 6c 66 2e 5f ...return self._
3d90: 5f 70 72 6f 63 65 73 73 28 29 0a 0a 63 6f 6e 66 _process()..conf
3da0: 69 67 2e 73 65 63 74 69 6f 6e 28 27 67 65 6e 65 ig.section('gene
3db0: 72 61 6c 27 29 0a 73 65 72 76 65 72 20 3d 20 68 ral').server = h
3dc0: 74 74 70 2e 73 65 72 76 65 72 2e 48 54 54 50 53 ttp.server.HTTPS
3dd0: 65 72 76 65 72 28 28 27 31 32 37 2e 30 2e 30 2e erver(('127.0.0.
3de0: 31 27 2c 20 69 6e 74 28 63 6f 6e 66 69 67 5b 27 1', int(config['
3df0: 70 6f 72 74 27 5d 29 29 2c 20 4d 79 52 65 71 75 port'])), MyRequ
3e00: 65 73 74 48 61 6e 64 6c 65 72 29 0a 73 65 72 76 estHandler).serv
3e10: 65 72 2e 73 65 72 76 65 5f 66 6f 72 65 76 65 72 er.serve_forever
3e20: 28 29 0a ().