0000: 23 21 2f 75 73 72 2f 62 69 6e 2f 65 6e 76 20 70 #!/usr/bin/env p
0010: 79 74 68 6f 6e 0a 0a 66 72 6f 6d 20 5f 5f 66 75 ython..from __fu
0020: 74 75 72 65 5f 5f 20 69 6d 70 6f 72 74 20 75 6e ture__ import un
0030: 69 63 6f 64 65 5f 6c 69 74 65 72 61 6c 73 2c 20 icode_literals,
0040: 70 72 69 6e 74 5f 66 75 6e 63 74 69 6f 6e 0a 0a print_function..
0050: 69 6d 70 6f 72 74 20 62 73 64 64 62 2e 64 62 73 import bsddb.dbs
0060: 68 65 6c 76 65 2c 20 63 6f 70 79 2c 20 64 61 74 helve, copy, dat
0070: 65 74 69 6d 65 2c 20 6f 73 2c 20 42 61 73 65 48 etime, os, BaseH
0080: 54 54 50 53 65 72 76 65 72 2c 20 73 79 73 2c 20 TTPServer, sys,
0090: 73 70 61 63 65 6d 61 70 2c 20 72 65 2c 20 75 72 spacemap, re, ur
00a0: 6c 6c 69 62 32 0a 0a 63 6c 61 73 73 20 43 6f 6e llib2..class Con
00b0: 66 69 67 3a 0a 09 5f 5f 73 6c 6f 74 73 5f 5f 20 fig:..__slots__
00c0: 3d 20 66 72 6f 7a 65 6e 73 65 74 28 5b 27 5f 63 = frozenset(['_c
00d0: 6f 6e 66 69 67 27 2c 20 27 5f 64 65 66 61 75 6c onfig', '_defaul
00e0: 74 27 2c 20 27 5f 73 65 63 74 69 6f 6e 27 2c 20 t', '_section',
00f0: 27 6f 70 74 69 6f 6e 73 27 2c 20 27 72 6f 6f 74 'options', 'root
0100: 27 5d 29 0a 09 5f 64 65 66 61 75 6c 74 20 3d 20 ']).._default =
0110: 7b 0a 09 09 27 67 65 6e 65 72 61 6c 27 3a 20 7b {...'general': {
0120: 0a 09 09 09 27 70 6f 72 74 27 3a 20 27 38 30 30 ....'port': '800
0130: 38 27 2c 0a 09 09 7d 2c 0a 09 09 27 5f 6f 74 68 8',...},...'_oth
0140: 65 72 27 3a 20 7b 0a 09 09 09 27 76 65 72 62 6f er': {....'verbo
0150: 73 65 27 3a 20 27 6e 6f 27 2c 0a 09 09 09 27 6e se': 'no',....'n
0160: 6f 65 74 61 67 27 3a 20 27 6e 6f 27 2c 0a 09 09 oetag': 'no',...
0170: 09 27 6e 6f 70 61 72 74 73 27 3a 20 27 6e 6f 27 .'noparts': 'no'
0180: 2c 0a 09 09 09 27 73 74 72 69 70 27 3a 20 27 27 ,....'strip': ''
0190: 2c 0a 09 09 09 27 73 75 62 27 3a 20 27 27 2c 0a ,....'sub': '',.
01a0: 09 7d 2c 7d 0a 0a 09 23 20 66 75 6e 63 74 69 6f .},}...# functio
01b0: 6e 20 74 6f 20 72 65 61 64 20 69 6e 20 63 6f 6e n to read in con
01c0: 66 69 67 20 66 69 6c 65 0a 09 64 65 66 20 5f 5f fig file..def __
01d0: 69 6e 69 74 5f 5f 28 73 65 6c 66 29 3a 0a 09 09 init__(self):...
01e0: 69 6d 70 6f 72 74 20 43 6f 6e 66 69 67 50 61 72 import ConfigPar
01f0: 73 65 72 2c 20 6f 70 74 70 61 72 73 65 0a 0a 09 ser, optparse...
0200: 09 70 61 72 73 65 72 20 3d 20 6f 70 74 70 61 72 .parser = optpar
0210: 73 65 2e 4f 70 74 69 6f 6e 50 61 72 73 65 72 28 se.OptionParser(
0220: 29 0a 09 09 70 61 72 73 65 72 2e 61 64 64 5f 6f )...parser.add_o
0230: 70 74 69 6f 6e 28 27 2d 63 27 2c 20 27 2d 2d 63 ption('-c', '--c
0240: 6f 6e 66 69 67 27 2c 20 64 65 73 74 20 3d 20 27 onfig', dest = '
0250: 63 6f 6e 66 69 67 27 2c 20 68 65 6c 70 20 3d 20 config', help =
0260: 27 63 6f 6e 66 69 67 20 66 69 6c 65 20 6c 6f 63 'config file loc
0270: 61 74 69 6f 6e 27 2c 20 6d 65 74 61 76 61 72 20 ation', metavar
0280: 3d 20 27 46 49 4c 45 27 2c 20 64 65 66 61 75 6c = 'FILE', defaul
0290: 74 20 3d 20 27 73 61 6d 65 73 69 74 65 2e 63 6f t = 'samesite.co
02a0: 6e 66 27 29 0a 09 09 28 73 65 6c 66 2e 6f 70 74 nf')...(self.opt
02b0: 69 6f 6e 73 2c 20 61 72 67 73 29 20 3d 20 70 61 ions, args) = pa
02c0: 72 73 65 72 2e 70 61 72 73 65 5f 61 72 67 73 28 rser.parse_args(
02d0: 29 0a 0a 09 09 61 73 73 65 72 74 20 6f 73 2e 61 )....assert os.a
02e0: 63 63 65 73 73 28 73 65 6c 66 2e 6f 70 74 69 6f ccess(self.optio
02f0: 6e 73 2e 63 6f 6e 66 69 67 2c 20 6f 73 2e 52 5f ns.config, os.R_
0300: 4f 4b 29 2c 20 22 46 61 74 61 6c 20 65 72 72 6f OK), "Fatal erro
0310: 72 3a 20 63 61 6e 27 74 20 72 65 61 64 20 7b 7d r: can't read {}
0320: 22 2e 66 6f 72 6d 61 74 28 73 65 6c 66 2e 6f 70 ".format(self.op
0330: 74 69 6f 6e 73 2e 63 6f 6e 66 69 67 29 0a 0a 09 tions.config)...
0340: 09 63 6f 6e 66 69 67 44 69 72 20 3d 20 72 65 2e .configDir = re.
0350: 63 6f 6d 70 69 6c 65 28 27 5e 28 2e 2a 29 2f 5b compile('^(.*)/[
0360: 5e 2f 5d 2b 24 27 29 2e 6d 61 74 63 68 28 73 65 ^/]+$').match(se
0370: 6c 66 2e 6f 70 74 69 6f 6e 73 2e 63 6f 6e 66 69 lf.options.confi
0380: 67 29 0a 09 09 69 66 20 63 6f 6e 66 69 67 44 69 g)...if configDi
0390: 72 3a 0a 09 09 09 73 65 6c 66 2e 72 6f 6f 74 20 r:....self.root
03a0: 3d 20 63 6f 6e 66 69 67 44 69 72 2e 67 72 6f 75 = configDir.grou
03b0: 70 28 31 29 0a 09 09 65 6c 73 65 3a 0a 09 09 09 p(1)...else:....
03c0: 73 65 6c 66 2e 72 6f 6f 74 20 3d 20 6f 73 2e 67 self.root = os.g
03d0: 65 74 63 77 64 28 29 0a 0a 09 09 73 65 6c 66 2e etcwd()....self.
03e0: 5f 63 6f 6e 66 69 67 20 3d 20 43 6f 6e 66 69 67 _config = Config
03f0: 50 61 72 73 65 72 2e 43 6f 6e 66 69 67 50 61 72 Parser.ConfigPar
0400: 73 65 72 28 29 0a 09 09 73 65 6c 66 2e 5f 63 6f ser()...self._co
0410: 6e 66 69 67 2e 72 65 61 64 66 70 28 6f 70 65 6e nfig.readfp(open
0420: 28 73 65 6c 66 2e 6f 70 74 69 6f 6e 73 2e 63 6f (self.options.co
0430: 6e 66 69 67 29 29 0a 0a 09 09 66 6f 72 20 73 65 nfig))....for se
0440: 63 74 69 6f 6e 20 69 6e 20 73 65 6c 66 2e 5f 63 ction in self._c
0450: 6f 6e 66 69 67 2e 73 65 63 74 69 6f 6e 73 28 29 onfig.sections()
0460: 3a 0a 09 09 09 69 66 20 73 65 63 74 69 6f 6e 20 :....if section
0470: 21 3d 20 27 67 65 6e 65 72 61 6c 27 3a 0a 09 09 != 'general':...
0480: 09 09 69 66 20 73 65 6c 66 2e 5f 63 6f 6e 66 69 ..if self._confi
0490: 67 2e 68 61 73 5f 6f 70 74 69 6f 6e 28 73 65 63 g.has_option(sec
04a0: 74 69 6f 6e 2c 20 27 64 69 72 27 29 3a 0a 09 09 tion, 'dir'):...
04b0: 09 09 09 69 66 20 72 65 2e 63 6f 6d 70 69 6c 65 ...if re.compile
04c0: 28 27 5e 2f 24 27 29 2e 6d 61 74 63 68 28 73 65 ('^/$').match(se
04d0: 6c 66 2e 5f 63 6f 6e 66 69 67 2e 67 65 74 28 73 lf._config.get(s
04e0: 65 63 74 69 6f 6e 2c 20 27 64 69 72 27 29 29 3a ection, 'dir')):
04f0: 0a 09 09 09 09 09 09 73 65 6c 66 2e 5f 63 6f 6e .......self._con
0500: 66 69 67 2e 73 65 74 28 73 65 63 74 69 6f 6e 2c fig.set(section,
0510: 20 27 64 69 72 27 2c 20 73 65 6c 66 2e 72 6f 6f 'dir', self.roo
0520: 74 20 2b 20 6f 73 2e 73 65 70 20 2b 20 73 65 63 t + os.sep + sec
0530: 74 69 6f 6e 29 0a 09 09 09 09 09 74 68 69 73 44 tion)......thisD
0540: 69 72 20 3d 20 72 65 2e 63 6f 6d 70 69 6c 65 28 ir = re.compile(
0550: 27 5e 28 2e 2a 29 2f 24 27 29 2e 6d 61 74 63 68 '^(.*)/$').match
0560: 28 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 67 65 (self._config.ge
0570: 74 28 73 65 63 74 69 6f 6e 2c 20 27 64 69 72 27 t(section, 'dir'
0580: 29 29 0a 09 09 09 09 09 69 66 20 74 68 69 73 44 ))......if thisD
0590: 69 72 3a 0a 09 09 09 09 09 09 73 65 6c 66 2e 5f ir:.......self._
05a0: 63 6f 6e 66 69 67 2e 73 65 74 28 73 65 63 74 69 config.set(secti
05b0: 6f 6e 2c 20 27 64 69 72 27 2c 20 74 68 69 73 44 on, 'dir', thisD
05c0: 69 72 2e 67 72 6f 75 70 28 31 29 29 0a 09 09 09 ir.group(1))....
05d0: 09 09 69 66 20 6e 6f 74 20 72 65 2e 63 6f 6d 70 ..if not re.comp
05e0: 69 6c 65 28 27 5e 2f 28 2e 2a 29 24 27 29 2e 6d ile('^/(.*)$').m
05f0: 61 74 63 68 28 73 65 6c 66 2e 5f 63 6f 6e 66 69 atch(self._confi
0600: 67 2e 67 65 74 28 73 65 63 74 69 6f 6e 2c 20 27 g.get(section, '
0610: 64 69 72 27 29 29 3a 0a 09 09 09 09 09 09 73 65 dir')):.......se
0620: 6c 66 2e 5f 63 6f 6e 66 69 67 2e 73 65 74 28 73 lf._config.set(s
0630: 65 63 74 69 6f 6e 2c 20 27 64 69 72 27 2c 20 73 ection, 'dir', s
0640: 65 6c 66 2e 72 6f 6f 74 20 2b 20 6f 73 2e 73 65 elf.root + os.se
0650: 70 20 2b 20 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 p + self._config
0660: 2e 67 65 74 28 73 65 63 74 69 6f 6e 2c 20 27 64 .get(section, 'd
0670: 69 72 27 29 29 0a 09 09 09 09 65 6c 73 65 3a 0a ir')).....else:.
0680: 09 09 09 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 .....self._confi
0690: 67 2e 73 65 74 28 73 65 63 74 69 6f 6e 2c 20 27 g.set(section, '
06a0: 64 69 72 27 2c 20 73 65 6c 66 2e 72 6f 6f 74 20 dir', self.root
06b0: 2b 20 6f 73 2e 73 65 70 20 2b 20 73 65 63 74 69 + os.sep + secti
06c0: 6f 6e 29 0a 0a 09 09 09 09 69 66 20 6e 6f 74 20 on)......if not
06d0: 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 68 61 73 self._config.has
06e0: 5f 6f 70 74 69 6f 6e 28 73 65 63 74 69 6f 6e 2c _option(section,
06f0: 20 27 72 6f 6f 74 27 29 3a 0a 09 09 09 09 09 73 'root'):......s
0700: 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 73 65 74 28 elf._config.set(
0710: 73 65 63 74 69 6f 6e 2c 20 27 72 6f 6f 74 27 2c section, 'root',
0720: 20 73 65 63 74 69 6f 6e 29 0a 0a 09 23 20 66 75 section)...# fu
0730: 6e 63 74 69 6f 6e 20 74 6f 20 73 65 6c 65 63 74 nction to select
0740: 20 63 6f 6e 66 69 67 20 66 69 6c 65 20 73 65 63 config file sec
0750: 74 69 6f 6e 20 6f 72 20 63 72 65 61 74 65 20 6f tion or create o
0760: 6e 65 0a 09 64 65 66 20 73 65 63 74 69 6f 6e 28 ne..def section(
0770: 73 65 6c 66 2c 20 73 65 63 74 69 6f 6e 29 3a 0a self, section):.
0780: 09 09 69 66 20 6e 6f 74 20 73 65 6c 66 2e 5f 63 ..if not self._c
0790: 6f 6e 66 69 67 2e 68 61 73 5f 73 65 63 74 69 6f onfig.has_sectio
07a0: 6e 28 73 65 63 74 69 6f 6e 29 3a 0a 09 09 09 73 n(section):....s
07b0: 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 61 64 64 5f elf._config.add_
07c0: 73 65 63 74 69 6f 6e 28 73 65 63 74 69 6f 6e 29 section(section)
07d0: 0a 09 09 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e ...self._section
07e0: 20 3d 20 73 65 63 74 69 6f 6e 0a 0a 09 23 20 66 = section...# f
07f0: 75 6e 63 74 69 6f 6e 20 74 6f 20 67 65 74 20 63 unction to get c
0800: 6f 6e 66 69 67 20 70 61 72 61 6d 65 74 65 72 2c onfig parameter,
0810: 20 69 66 20 70 61 72 61 6d 65 74 65 72 20 64 6f if parameter do
0820: 65 73 6e 27 74 20 65 78 69 73 74 73 20 74 68 65 esn't exists the
0830: 20 64 65 66 61 75 6c 74 0a 09 23 20 76 61 6c 75 default..# valu
0840: 65 20 6f 72 20 4e 6f 6e 65 20 69 73 20 73 75 62 e or None is sub
0850: 73 74 69 74 75 74 65 64 0a 09 64 65 66 20 5f 5f stituted..def __
0860: 67 65 74 69 74 65 6d 5f 5f 28 73 65 6c 66 2c 20 getitem__(self,
0870: 6e 61 6d 65 29 3a 0a 09 09 69 66 20 6e 6f 74 20 name):...if not
0880: 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 68 61 73 self._config.has
0890: 5f 6f 70 74 69 6f 6e 28 73 65 6c 66 2e 5f 73 65 _option(self._se
08a0: 63 74 69 6f 6e 2c 20 6e 61 6d 65 29 3a 0a 09 09 ction, name):...
08b0: 09 69 66 20 73 65 6c 66 2e 5f 73 65 63 74 69 6f .if self._sectio
08c0: 6e 20 69 6e 20 73 65 6c 66 2e 5f 64 65 66 61 75 n in self._defau
08d0: 6c 74 3a 0a 09 09 09 09 69 66 20 6e 61 6d 65 20 lt:.....if name
08e0: 69 6e 20 73 65 6c 66 2e 5f 64 65 66 61 75 6c 74 in self._default
08f0: 5b 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 5d 3a [self._section]:
0900: 0a 09 09 09 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 ......self._conf
0910: 69 67 2e 73 65 74 28 73 65 6c 66 2e 5f 73 65 63 ig.set(self._sec
0920: 74 69 6f 6e 2c 20 6e 61 6d 65 2c 20 73 65 6c 66 tion, name, self
0930: 2e 5f 64 65 66 61 75 6c 74 5b 73 65 6c 66 2e 5f ._default[self._
0940: 73 65 63 74 69 6f 6e 5d 5b 6e 61 6d 65 5d 29 0a section][name]).
0950: 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 73 ....else:......s
0960: 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 73 65 74 28 elf._config.set(
0970: 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e self._section, n
0980: 61 6d 65 2c 20 4e 6f 6e 65 29 0a 09 09 09 65 6c ame, None)....el
0990: 69 66 20 6e 61 6d 65 20 69 6e 20 73 65 6c 66 2e if name in self.
09a0: 5f 64 65 66 61 75 6c 74 5b 27 5f 6f 74 68 65 72 _default['_other
09b0: 27 5d 3a 0a 09 09 09 09 73 65 6c 66 2e 5f 63 6f ']:.....self._co
09c0: 6e 66 69 67 2e 73 65 74 28 73 65 6c 66 2e 5f 73 nfig.set(self._s
09d0: 65 63 74 69 6f 6e 2c 20 6e 61 6d 65 2c 20 73 65 ection, name, se
09e0: 6c 66 2e 5f 64 65 66 61 75 6c 74 5b 27 5f 6f 74 lf._default['_ot
09f0: 68 65 72 27 5d 5b 6e 61 6d 65 5d 29 0a 09 09 09 her'][name])....
0a00: 65 6c 73 65 3a 0a 09 09 09 09 73 65 6c 66 2e 5f else:.....self._
0a10: 63 6f 6e 66 69 67 2e 73 65 74 28 73 65 6c 66 2e config.set(self.
0a20: 5f 73 65 63 74 69 6f 6e 2c 20 6e 61 6d 65 2c 20 _section, name,
0a30: 4e 6f 6e 65 29 0a 09 09 72 65 74 75 72 6e 28 73 None)...return(s
0a40: 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 67 65 74 28 elf._config.get(
0a50: 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e self._section, n
0a60: 61 6d 65 29 29 0a 0a 63 6f 6e 66 69 67 20 3d 20 ame))..config =
0a70: 43 6f 6e 66 69 67 28 29 0a 0a 23 61 73 73 65 72 Config()..#asser
0a80: 74 20 6f 70 74 69 6f 6e 73 2e 70 6f 72 74 20 6f t options.port o
0a90: 72 20 6f 73 2e 61 63 63 65 73 73 28 6f 70 74 69 r os.access(opti
0aa0: 6f 6e 73 2e 6c 6f 67 2c 20 6f 73 2e 52 5f 4f 4b ons.log, os.R_OK
0ab0: 29 2c 20 27 4c 6f 67 20 66 69 6c 65 20 75 6e 72 ), 'Log file unr
0ac0: 65 61 64 61 62 6c 65 27 0a 0a 63 6f 6e 73 74 5f eadable'..const_
0ad0: 64 65 73 63 5f 66 69 65 6c 64 73 20 3d 20 73 65 desc_fields = se
0ae0: 74 28 5b 27 63 6f 6e 74 65 6e 74 2d 6c 65 6e 67 t(['content-leng
0af0: 74 68 27 2c 20 27 6c 61 73 74 2d 6d 6f 64 69 66 th', 'last-modif
0b00: 69 65 64 27 2c 20 27 70 72 61 67 6d 61 27 5d 29 ied', 'pragma'])
0b10: 0a 63 6f 6e 73 74 5f 69 67 6e 6f 72 65 5f 66 69 .const_ignore_fi
0b20: 65 6c 64 73 20 3d 20 73 65 74 28 5b 0a 09 27 61 elds = set([..'a
0b30: 63 63 65 70 74 2d 72 61 6e 67 65 73 27 2c 20 27 ccept-ranges', '
0b40: 61 67 65 27 2c 0a 09 27 63 61 63 68 65 2d 63 6f age',..'cache-co
0b50: 6e 74 72 6f 6c 27 2c 20 27 63 6f 6e 6e 65 63 74 ntrol', 'connect
0b60: 69 6f 6e 27 2c 20 27 63 6f 6e 74 65 6e 74 2d 74 ion', 'content-t
0b70: 79 70 65 27 2c 0a 09 27 64 61 74 65 27 2c 0a 09 ype',..'date',..
0b80: 27 65 78 70 69 72 65 73 27 2c 0a 09 27 72 65 66 'expires',..'ref
0b90: 65 72 65 72 27 2c 0a 09 27 73 65 72 76 65 72 27 erer',..'server'
0ba0: 2c 0a 09 27 76 69 61 27 2c 0a 09 27 78 2d 63 61 ,..'via',..'x-ca
0bb0: 63 68 65 27 2c 20 27 78 2d 63 61 63 68 65 2d 6c che', 'x-cache-l
0bc0: 6f 6f 6b 75 70 27 2c 20 27 78 2d 6c 69 76 65 74 ookup', 'x-livet
0bd0: 6f 6f 6c 27 2c 20 27 78 2d 70 6f 77 65 72 65 64 ool', 'x-powered
0be0: 2d 62 79 27 2c 0a 5d 29 0a 0a 62 6c 6f 63 6b 5f -by',.])..block_
0bf0: 73 69 7a 65 20 3d 20 34 30 39 36 0a 0a 63 6c 61 size = 4096..cla
0c00: 73 73 20 4d 79 52 65 71 75 65 73 74 48 61 6e 64 ss MyRequestHand
0c10: 6c 65 72 28 42 61 73 65 48 54 54 50 53 65 72 76 ler(BaseHTTPServ
0c20: 65 72 2e 42 61 73 65 48 54 54 50 52 65 71 75 65 er.BaseHTTPReque
0c30: 73 74 48 61 6e 64 6c 65 72 29 3a 0a 09 64 65 66 stHandler):..def
0c40: 20 5f 5f 70 72 6f 63 65 73 73 28 73 65 6c 66 29 __process(self)
0c50: 3a 0a 09 09 23 20 72 65 6c 6f 61 64 20 6d 65 61 :...# reload mea
0c60: 6e 73 20 66 69 6c 65 20 6e 65 65 64 73 20 74 6f ns file needs to
0c70: 20 62 65 20 72 65 6c 6f 61 64 65 64 20 74 6f 20 be reloaded to
0c80: 73 65 72 76 65 20 72 65 71 75 65 73 74 0a 09 09 serve request...
0c90: 72 65 6c 6f 61 64 20 3d 20 46 61 6c 73 65 0a 09 reload = False..
0ca0: 09 23 20 72 65 63 68 65 63 6b 20 6d 65 61 6e 73 .# recheck means
0cb0: 20 66 69 6c 65 20 6e 65 65 64 73 20 74 6f 20 62 file needs to b
0cc0: 65 20 63 68 65 63 6b 65 64 2c 20 74 68 69 73 20 e checked, this
0cd0: 61 6c 73 6f 20 6d 65 61 6e 73 20 74 68 61 74 20 also means that
0ce0: 69 66 20 66 69 6c 65 20 68 61 76 20 62 65 65 6e if file hav been
0cf0: 20 6d 6f 64 69 66 69 65 64 20 77 65 20 63 61 6e modified we can
0d00: 20 73 65 72 76 65 20 6f 6c 64 65 72 20 63 6f 70 serve older cop
0d10: 79 0a 09 09 72 65 63 68 65 63 6b 20 3d 20 46 61 y...recheck = Fa
0d20: 6c 73 65 0a 09 09 23 20 66 69 6c 65 5f 73 74 61 lse...# file_sta
0d30: 74 20 6d 65 61 6e 73 20 66 69 6c 65 20 64 65 66 t means file def
0d40: 69 6e 69 74 65 6c 79 20 65 78 69 73 74 73 0a 09 initely exists..
0d50: 09 66 69 6c 65 5f 73 74 61 74 20 3d 20 4e 6f 6e .file_stat = Non
0d60: 65 0a 09 09 23 20 72 65 71 75 65 73 74 65 64 5f e...# requested_
0d70: 72 61 6e 67 65 73 20 68 6f 6c 64 73 20 64 61 74 ranges holds dat
0d80: 61 20 61 62 6f 75 74 20 61 6e 79 20 72 61 6e 67 a about any rang
0d90: 65 20 72 65 71 75 65 73 74 65 64 0a 09 09 72 65 e requested...re
0da0: 71 75 65 73 74 65 64 5f 72 61 6e 67 65 73 20 3d quested_ranges =
0db0: 20 4e 6f 6e 65 0a 09 09 23 20 72 65 63 6f 72 64 None...# record
0dc0: 73 20 68 6f 6c 64 73 20 64 61 74 61 20 66 72 6f s holds data fro
0dd0: 6d 20 69 6e 64 65 78 20 6c 6f 63 61 6c 6c 79 2c m index locally,
0de0: 20 73 68 6f 75 6c 64 20 62 65 20 77 72 69 74 74 should be writt
0df0: 65 6e 20 62 61 63 6b 20 75 70 6f 6e 20 73 75 63 en back upon suc
0e00: 63 65 73 73 66 75 6c 6c 20 63 6f 6d 70 6c 65 74 cessfull complet
0e10: 69 6f 6e 0a 09 09 72 65 63 6f 72 64 20 3d 20 4e ion...record = N
0e20: 6f 6e 65 0a 0a 09 09 6d 79 50 61 74 68 20 3d 20 one....myPath =
0e30: 72 65 2e 63 6f 6d 70 69 6c 65 28 27 5e 28 2e 2a re.compile('^(.*
0e40: 3f 29 28 5c 3f 2e 2a 29 24 27 29 2e 6d 61 74 63 ?)(\?.*)$').matc
0e50: 68 28 73 65 6c 66 2e 70 61 74 68 29 0a 09 09 69 h(self.path)...i
0e60: 66 20 6d 79 50 61 74 68 3a 0a 09 09 09 6d 79 5f f myPath:....my_
0e70: 70 61 74 68 20 3d 20 6d 79 50 61 74 68 2e 67 72 path = myPath.gr
0e80: 6f 75 70 28 31 29 0a 09 09 65 6c 73 65 3a 0a 09 oup(1)...else:..
0e90: 09 09 6d 79 5f 70 61 74 68 20 3d 20 73 65 6c 66 ..my_path = self
0ea0: 2e 70 61 74 68 0a 0a 09 09 63 6f 6e 66 69 67 2e .path....config.
0eb0: 73 65 63 74 69 6f 6e 28 73 65 6c 66 2e 68 65 61 section(self.hea
0ec0: 64 65 72 73 5b 27 68 6f 73 74 27 5d 29 0a 0a 09 ders['host'])...
0ed0: 09 69 66 20 63 6f 6e 66 69 67 5b 27 73 75 62 27 .if config['sub'
0ee0: 5d 20 21 3d 20 4e 6f 6e 65 20 61 6e 64 20 63 6f ] != None and co
0ef0: 6e 66 69 67 5b 27 73 74 72 69 70 27 5d 20 21 3d nfig['strip'] !=
0f00: 20 4e 6f 6e 65 20 61 6e 64 20 6c 65 6e 28 63 6f None and len(co
0f10: 6e 66 69 67 5b 27 73 74 72 69 70 27 5d 29 20 3e nfig['strip']) >
0f20: 20 30 3a 0a 09 09 09 73 74 72 69 6e 67 20 3d 20 0:....string =
0f30: 72 65 2e 63 6f 6d 70 69 6c 65 28 63 6f 6e 66 69 re.compile(confi
0f40: 67 5b 27 73 74 72 69 70 27 5d 29 2e 73 75 62 28 g['strip']).sub(
0f50: 63 6f 6e 66 69 67 5b 27 73 75 62 27 5d 2c 20 6d config['sub'], m
0f60: 79 5f 70 61 74 68 29 0a 09 09 09 6d 79 5f 70 61 y_path)....my_pa
0f70: 74 68 20 3d 20 73 74 72 69 6e 67 0a 0a 09 09 69 th = string....i
0f80: 6e 66 6f 20 3d 20 27 43 68 65 63 6b 69 6e 67 20 nfo = 'Checking
0f90: 66 69 6c 65 3a 20 27 20 2b 20 6d 79 5f 70 61 74 file: ' + my_pat
0fa0: 68 0a 0a 09 09 69 66 20 6e 6f 74 20 6f 73 2e 61 h....if not os.a
0fb0: 63 63 65 73 73 28 63 6f 6e 66 69 67 5b 27 64 69 ccess(config['di
0fc0: 72 27 5d 2c 20 6f 73 2e 58 5f 4f 4b 29 3a 0a 09 r'], os.X_OK):..
0fd0: 09 09 6f 73 2e 6d 6b 64 69 72 28 63 6f 6e 66 69 ..os.mkdir(confi
0fe0: 67 5b 27 64 69 72 27 5d 29 0a 09 09 23 20 74 68 g['dir'])...# th
0ff0: 69 73 20 69 73 20 66 69 6c 65 20 69 6e 64 65 78 is is file index
1000: 20 2d 20 65 76 65 72 79 74 68 69 6e 67 20 69 73 - everything is
1010: 20 73 74 6f 72 65 64 20 69 6e 20 74 68 69 73 20 stored in this
1020: 66 69 6c 65 0a 09 09 23 20 5f 70 61 72 74 73 20 file...# _parts
1030: 2d 20 6c 69 73 74 20 6f 66 20 73 74 6f 72 65 64 - list of stored
1040: 20 70 61 72 74 73 20 6f 66 20 66 69 6c 65 0a 09 parts of file..
1050: 09 23 20 5f 74 69 6d 65 20 2d 20 6c 61 73 74 20 .# _time - last
1060: 74 69 6d 65 20 74 68 65 20 66 69 6c 65 20 77 61 time the file wa
1070: 73 20 63 68 65 63 6b 65 64 0a 09 09 23 20 65 76 s checked...# ev
1080: 65 72 79 74 68 69 6e 67 20 65 6c 73 65 20 69 73 erything else is
1090: 20 6a 75 73 74 20 74 68 65 20 68 65 61 64 65 72 just the header
10a0: 73 0a 09 09 69 6e 64 65 78 20 3d 20 62 73 64 64 s...index = bsdd
10b0: 62 2e 64 62 73 68 65 6c 76 65 2e 6f 70 65 6e 28 b.dbshelve.open(
10c0: 63 6f 6e 66 69 67 5b 27 64 69 72 27 5d 20 2b 20 config['dir'] +
10d0: 6f 73 2e 73 65 70 20 2b 20 27 2e 69 6e 64 65 78 os.sep + '.index
10e0: 27 29 0a 0a 09 09 64 65 73 63 5f 66 69 65 6c 64 ')....desc_field
10f0: 73 20 3d 20 63 6f 6e 73 74 5f 64 65 73 63 5f 66 s = const_desc_f
1100: 69 65 6c 64 73 2e 63 6f 70 79 28 29 0a 09 09 69 ields.copy()...i
1110: 67 6e 6f 72 65 5f 66 69 65 6c 64 73 20 3d 20 63 gnore_fields = c
1120: 6f 6e 73 74 5f 69 67 6e 6f 72 65 5f 66 69 65 6c onst_ignore_fiel
1130: 64 73 2e 63 6f 70 79 28 29 0a 09 09 69 66 20 63 ds.copy()...if c
1140: 6f 6e 66 69 67 5b 27 6e 6f 65 74 61 67 27 5d 20 onfig['noetag']
1150: 3d 3d 20 27 6e 6f 27 3a 0a 09 09 09 64 65 73 63 == 'no':....desc
1160: 5f 66 69 65 6c 64 73 2e 61 64 64 28 27 65 74 61 _fields.add('eta
1170: 67 27 29 0a 09 09 65 6c 73 65 3a 0a 09 09 09 69 g')...else:....i
1180: 67 6e 6f 72 65 5f 66 69 65 6c 64 73 2e 61 64 64 gnore_fields.add
1190: 28 27 65 74 61 67 27 29 0a 0a 09 09 70 72 6f 78 ('etag')....prox
11a0: 79 5f 69 67 6e 6f 72 65 64 20 3d 20 73 65 74 28 y_ignored = set(
11b0: 5b 0a 09 09 09 27 61 63 63 65 70 74 27 2c 20 27 [....'accept', '
11c0: 61 63 63 65 70 74 2d 63 68 61 72 73 65 74 27 2c accept-charset',
11d0: 20 27 61 63 63 65 70 74 2d 65 6e 63 6f 64 69 6e 'accept-encodin
11e0: 67 27 2c 20 27 61 63 63 65 70 74 2d 6c 61 6e 67 g', 'accept-lang
11f0: 75 61 67 65 27 2c 0a 09 09 09 27 63 61 63 68 65 uage',....'cache
1200: 2d 63 6f 6e 74 72 6f 6c 27 2c 20 27 63 6f 6e 6e -control', 'conn
1210: 65 63 74 69 6f 6e 27 2c 20 27 63 6f 6e 74 65 6e ection', 'conten
1220: 74 2d 6c 65 6e 67 74 68 27 2c 20 27 63 6f 6f 6b t-length', 'cook
1230: 69 65 27 2c 0a 09 09 09 27 68 6f 73 74 27 2c 0a ie',....'host',.
1240: 09 09 09 27 69 66 2d 6d 6f 64 69 66 69 65 64 2d ...'if-modified-
1250: 73 69 6e 63 65 27 2c 20 27 69 66 2d 75 6e 6d 6f since', 'if-unmo
1260: 64 69 66 69 65 64 2d 73 69 6e 63 65 27 2c 0a 09 dified-since',..
1270: 09 09 27 72 65 66 65 72 65 72 27 2c 0a 09 09 09 ..'referer',....
1280: 27 75 73 65 72 2d 61 67 65 6e 74 27 2c 0a 09 09 'user-agent',...
1290: 09 27 76 69 61 27 2c 0a 09 09 09 27 78 2d 66 6f .'via',....'x-fo
12a0: 72 77 61 72 64 65 64 2d 66 6f 72 27 2c 20 27 78 rwarded-for', 'x
12b0: 2d 6c 61 73 74 2d 68 72 27 2c 20 27 78 2d 6c 61 -last-hr', 'x-la
12c0: 73 74 2d 68 74 74 70 2d 73 74 61 74 75 73 2d 63 st-http-status-c
12d0: 6f 64 65 27 2c 20 27 78 2d 72 65 6d 6f 76 65 64 ode', 'x-removed
12e0: 27 2c 20 27 78 2d 72 65 61 6c 2d 69 70 27 2c 20 ', 'x-real-ip',
12f0: 27 78 2d 72 65 74 72 79 2d 63 6f 75 6e 74 27 2c 'x-retry-count',
1300: 0a 09 09 5d 29 0a 0a 09 09 70 72 69 6e 74 28 27 ...])....print('
1310: 3d 3d 3d 3d 3d 3d 3d 3d 3d 3d 3d 3d 3d 3d 3d 5b ===============[
1320: 20 7b 7d 20 72 65 71 75 65 73 74 20 5d 3d 3d 3d {} request ]===
1330: 27 2e 66 6f 72 6d 61 74 28 73 65 6c 66 2e 63 6f '.format(self.co
1340: 6d 6d 61 6e 64 29 29 0a 0a 09 09 66 6f 72 20 68 mmand))....for h
1350: 65 61 64 65 72 20 69 6e 20 73 65 6c 66 2e 68 65 eader in self.he
1360: 61 64 65 72 73 3a 0a 09 09 09 69 66 20 68 65 61 aders:....if hea
1370: 64 65 72 20 69 6e 20 70 72 6f 78 79 5f 69 67 6e der in proxy_ign
1380: 6f 72 65 64 3a 0a 09 09 09 09 70 61 73 73 0a 09 ored:.....pass..
1390: 09 09 65 6c 69 66 20 68 65 61 64 65 72 20 69 6e ..elif header in
13a0: 20 28 27 72 61 6e 67 65 27 29 3a 0a 09 09 09 09 ('range'):.....
13b0: 69 73 52 61 6e 67 65 20 3d 20 72 65 2e 63 6f 6d isRange = re.com
13c0: 70 69 6c 65 28 27 62 79 74 65 73 3d 28 5c 64 2b pile('bytes=(\d+
13d0: 29 2d 28 5c 64 2b 29 27 29 2e 6d 61 74 63 68 28 )-(\d+)').match(
13e0: 73 65 6c 66 2e 68 65 61 64 65 72 73 5b 68 65 61 self.headers[hea
13f0: 64 65 72 5d 29 0a 09 09 09 09 69 66 20 69 73 52 der]).....if isR
1400: 61 6e 67 65 3a 0a 09 09 09 09 09 72 65 71 75 65 ange:......reque
1410: 73 74 65 64 5f 72 61 6e 67 65 73 20 3d 20 73 70 sted_ranges = sp
1420: 61 63 65 6d 61 70 2e 53 70 61 63 65 4d 61 70 28 acemap.SpaceMap(
1430: 7b 69 6e 74 28 69 73 52 61 6e 67 65 2e 67 72 6f {int(isRange.gro
1440: 75 70 28 31 29 29 3a 20 69 6e 74 28 69 73 52 61 up(1)): int(isRa
1450: 6e 67 65 2e 67 72 6f 75 70 28 32 29 29 20 2b 20 nge.group(2)) +
1460: 31 7d 29 0a 09 09 09 09 65 6c 73 65 3a 0a 09 09 1}).....else:...
1470: 09 09 09 72 65 74 75 72 6e 28 29 0a 09 09 09 65 ...return()....e
1480: 6c 69 66 20 68 65 61 64 65 72 20 69 6e 20 28 27 lif header in ('
1490: 70 72 61 67 6d 61 27 29 3a 0a 09 09 09 09 69 66 pragma'):.....if
14a0: 20 6d 79 5f 70 61 74 68 20 69 6e 20 69 6e 64 65 my_path in inde
14b0: 78 3a 0a 09 09 09 09 09 69 6e 64 65 78 5b 6d 79 x:......index[my
14c0: 5f 70 61 74 68 5d 5b 68 65 61 64 65 72 5d 20 3d _path][header] =
14d0: 20 73 65 6c 66 2e 68 65 61 64 65 72 73 5b 68 65 self.headers[he
14e0: 61 64 65 72 5d 0a 09 09 09 65 6c 73 65 3a 0a 09 ader]....else:..
14f0: 09 09 09 70 72 69 6e 74 28 27 55 6e 6b 6e 6f 77 ...print('Unknow
1500: 6e 20 68 65 61 64 65 72 20 2d 20 27 2c 20 68 65 n header - ', he
1510: 61 64 65 72 2c 20 27 3a 20 27 2c 20 73 65 6c 66 ader, ': ', self
1520: 2e 68 65 61 64 65 72 73 5b 68 65 61 64 65 72 5d .headers[header]
1530: 2c 20 73 65 70 3d 27 27 29 0a 09 09 09 09 72 65 , sep='').....re
1540: 74 75 72 6e 28 29 0a 09 09 09 70 72 69 6e 74 28 turn()....print(
1550: 68 65 61 64 65 72 2c 20 73 65 6c 66 2e 68 65 61 header, self.hea
1560: 64 65 72 73 5b 68 65 61 64 65 72 5d 29 0a 0a 09 ders[header])...
1570: 09 23 20 63 72 65 61 74 69 6e 67 20 66 69 6c 65 .# creating file
1580: 20 6e 61 6d 65 20 66 72 6f 6d 20 6d 79 5f 70 61 name from my_pa
1590: 74 68 0a 09 09 66 69 6c 65 5f 6e 61 6d 65 20 3d th...file_name =
15a0: 20 63 6f 6e 66 69 67 5b 27 64 69 72 27 5d 20 2b config['dir'] +
15b0: 20 6f 73 2e 73 65 70 20 2b 20 72 65 2e 63 6f 6d os.sep + re.com
15c0: 70 69 6c 65 28 27 25 32 30 27 29 2e 73 75 62 28 pile('%20').sub(
15d0: 27 20 27 2c 20 6d 79 5f 70 61 74 68 29 0a 09 09 ' ', my_path)...
15e0: 23 20 70 61 72 74 69 61 6c 20 66 69 6c 65 20 6f # partial file o
15f0: 72 20 75 6e 66 69 6e 69 73 68 65 64 20 64 6f 77 r unfinished dow
1600: 6e 6c 6f 61 64 0a 09 09 74 65 6d 70 5f 6e 61 6d nload...temp_nam
1610: 65 20 3d 20 63 6f 6e 66 69 67 5b 27 64 69 72 27 e = config['dir'
1620: 5d 20 2b 20 6f 73 2e 73 65 70 20 2b 20 27 2e 70 ] + os.sep + '.p
1630: 61 72 74 73 27 20 2b 20 72 65 2e 63 6f 6d 70 69 arts' + re.compi
1640: 6c 65 28 27 25 32 30 27 29 2e 73 75 62 28 27 20 le('%20').sub('
1650: 27 2c 20 6d 79 5f 70 61 74 68 29 0a 0a 09 09 23 ', my_path)....#
1660: 20 63 72 65 61 74 69 6e 67 20 65 6d 70 74 79 20 creating empty
1670: 70 6c 61 63 65 68 6f 6c 64 65 72 20 69 6e 20 69 placeholder in i
1680: 6e 64 65 78 0a 09 09 23 20 69 66 20 74 68 65 72 ndex...# if ther
1690: 65 27 73 20 6e 6f 20 73 70 61 63 65 20 6d 61 70 e's no space map
16a0: 20 61 6e 64 20 74 68 65 72 65 27 73 20 6e 6f 20 and there's no
16b0: 66 69 6c 65 20 69 6e 20 72 65 61 6c 20 64 69 72 file in real dir
16c0: 65 63 74 6f 72 79 20 2d 20 77 65 20 68 61 76 65 ectory - we have
16d0: 20 6e 6f 20 66 69 6c 65 0a 09 09 23 20 69 66 20 no file...# if
16e0: 74 68 65 72 65 27 73 20 61 6e 20 65 6d 70 74 79 there's an empty
16f0: 20 73 70 61 63 65 20 6d 61 70 20 2d 20 66 69 6c space map - fil
1700: 65 20 69 73 20 66 75 6c 6c 0a 09 09 23 20 73 70 e is full...# sp
1710: 61 63 65 20 6d 61 70 20 67 65 6e 65 72 61 6c 6c ace map generall
1720: 79 20 63 6f 76 65 72 73 20 65 76 65 72 79 20 62 y covers every b
1730: 69 74 20 6f 66 20 66 69 6c 65 20 77 65 20 64 6f it of file we do
1740: 6e 27 74 20 70 6f 73 65 73 73 20 63 75 72 72 65 n't posess curre
1750: 6e 74 6c 79 0a 09 09 69 66 20 6e 6f 74 20 6d 79 ntly...if not my
1760: 5f 70 61 74 68 20 69 6e 20 69 6e 64 65 78 3a 0a _path in index:.
1770: 09 09 09 69 6e 66 6f 20 2b 3d 20 27 5c 6e 54 68 ...info += '\nTh
1780: 69 73 20 6f 6e 65 20 69 73 20 6e 65 77 2e 27 0a is one is new.'.
1790: 09 09 09 72 65 6c 6f 61 64 20 3d 20 54 72 75 65 ...reload = True
17a0: 0a 09 09 09 72 65 63 6f 72 64 20 3d 20 7b 7d 0a ....record = {}.
17b0: 09 09 65 6c 73 65 3a 0a 09 09 09 23 20 66 6f 72 ..else:....# for
17c0: 63 69 62 6c 79 20 63 68 65 63 6b 69 6e 67 20 66 cibly checking f
17d0: 69 6c 65 20 69 66 20 6e 6f 20 66 69 6c 65 20 70 ile if no file p
17e0: 72 65 73 65 6e 74 0a 09 09 09 72 65 63 6f 72 64 resent....record
17f0: 20 3d 20 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 = index[my_path
1800: 5d 0a 09 09 09 69 66 20 6f 73 2e 61 63 63 65 73 ]....if os.acces
1810: 73 28 66 69 6c 65 5f 6e 61 6d 65 2c 20 6f 73 2e s(file_name, os.
1820: 52 5f 4f 4b 29 3a 0a 09 09 09 09 69 6e 66 6f 20 R_OK):.....info
1830: 2b 3d 20 27 5c 6e 46 75 6c 6c 20 66 69 6c 65 20 += '\nFull file
1840: 66 6f 75 6e 64 2e 27 0a 09 09 09 09 66 69 6c 65 found.'.....file
1850: 5f 73 74 61 74 20 3d 20 6f 73 2e 73 74 61 74 28 _stat = os.stat(
1860: 66 69 6c 65 5f 6e 61 6d 65 29 0a 09 09 09 65 6c file_name)....el
1870: 69 66 20 27 5f 70 61 72 74 73 27 20 69 6e 20 69 if '_parts' in i
1880: 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5d 20 61 6e ndex[my_path] an
1890: 64 20 6f 73 2e 61 63 63 65 73 73 28 74 65 6d 70 d os.access(temp
18a0: 5f 6e 61 6d 65 2c 20 6f 73 2e 52 5f 4f 4b 29 3a _name, os.R_OK):
18b0: 0a 09 09 09 09 69 6e 66 6f 20 2b 3d 20 27 5c 6e .....info += '\n
18c0: 50 61 72 74 69 61 6c 20 66 69 6c 65 20 66 6f 75 Partial file fou
18d0: 6e 64 2e 27 0a 09 09 09 09 66 69 6c 65 5f 73 74 nd.'.....file_st
18e0: 61 74 20 3d 20 6f 73 2e 73 74 61 74 28 74 65 6d at = os.stat(tem
18f0: 70 5f 6e 61 6d 65 29 0a 09 09 09 09 72 65 63 68 p_name).....rech
1900: 65 63 6b 20 3d 20 54 72 75 65 0a 09 09 09 65 6c eck = True....el
1910: 73 65 3a 0a 09 09 09 09 69 6e 66 6f 20 2b 3d 20 se:.....info +=
1920: 27 5c 6e 46 69 6c 65 20 6e 6f 74 20 66 6f 75 6e '\nFile not foun
1930: 64 20 6f 72 20 69 6e 61 63 63 65 73 73 69 62 6c d or inaccessibl
1940: 65 2e 27 0a 09 09 09 09 72 65 63 6f 72 64 5b 27 e.'.....record['
1950: 5f 70 61 72 74 73 27 5d 20 3d 20 4e 6f 6e 65 0a _parts'] = None.
1960: 09 09 09 09 72 65 6c 6f 61 64 20 3d 20 54 72 75 ....reload = Tru
1970: 65 0a 0a 09 09 69 66 20 6e 6f 74 20 27 5f 70 61 e....if not '_pa
1980: 72 74 73 27 20 69 6e 20 72 65 63 6f 72 64 3a 0a rts' in record:.
1990: 09 09 09 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 ...record['_part
19a0: 73 27 5d 20 3d 20 4e 6f 6e 65 0a 0a 09 09 69 66 s'] = None....if
19b0: 20 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 record['_parts'
19c0: 5d 20 3d 3d 20 4e 6f 6e 65 3a 0a 09 09 09 72 65 ] == None:....re
19d0: 63 68 65 63 6b 20 3d 20 54 72 75 65 0a 0a 09 09 check = True....
19e0: 23 20 66 6f 72 63 69 62 6c 79 20 63 68 65 63 6b # forcibly check
19f0: 69 6e 67 20 66 69 6c 65 20 69 66 20 66 69 6c 65 ing file if file
1a00: 20 73 69 7a 65 20 64 6f 65 73 6e 27 74 20 6d 61 size doesn't ma
1a10: 74 63 68 20 77 69 74 68 20 69 6e 64 65 78 20 64 tch with index d
1a20: 61 74 61 0a 09 09 69 66 20 6e 6f 74 20 72 65 6c ata...if not rel
1a30: 6f 61 64 3a 0a 09 09 09 69 66 20 27 5f 70 61 72 oad:....if '_par
1a40: 74 73 27 20 69 6e 20 72 65 63 6f 72 64 20 61 6e ts' in record an
1a50: 64 20 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 d record['_parts
1a60: 27 5d 20 3d 3d 20 73 70 61 63 65 6d 61 70 2e 53 '] == spacemap.S
1a70: 70 61 63 65 4d 61 70 28 29 3a 0a 09 09 09 09 69 paceMap():.....i
1a80: 66 20 27 63 6f 6e 74 65 6e 74 2d 6c 65 6e 67 74 f 'content-lengt
1a90: 68 27 20 69 6e 20 72 65 63 6f 72 64 20 61 6e 64 h' in record and
1aa0: 20 66 69 6c 65 5f 73 74 61 74 20 61 6e 64 20 66 file_stat and f
1ab0: 69 6c 65 5f 73 74 61 74 2e 73 74 5f 73 69 7a 65 ile_stat.st_size
1ac0: 20 21 3d 20 69 6e 74 28 72 65 63 6f 72 64 5b 27 != int(record['
1ad0: 63 6f 6e 74 65 6e 74 2d 6c 65 6e 67 74 68 27 5d content-length']
1ae0: 29 3a 0a 09 09 09 09 09 69 6e 66 6f 20 2b 3d 20 ):......info +=
1af0: 27 5c 6e 46 69 6c 65 20 73 69 7a 65 20 69 73 20 '\nFile size is
1b00: 7b 7d 20 61 6e 64 20 73 74 6f 72 65 64 20 66 69 {} and stored fi
1b10: 6c 65 20 73 69 7a 65 20 69 73 20 7b 7d 2e 27 2e le size is {}.'.
1b20: 66 6f 72 6d 61 74 28 66 69 6c 65 5f 73 74 61 74 format(file_stat
1b30: 2e 73 74 5f 73 69 7a 65 2c 20 72 65 63 6f 72 64 .st_size, record
1b40: 5b 27 63 6f 6e 74 65 6e 74 2d 6c 65 6e 67 74 68 ['content-length
1b50: 27 5d 29 0a 09 09 09 09 09 72 65 63 6f 72 64 5b '])......record[
1b60: 27 5f 70 61 72 74 73 27 5d 20 3d 20 4e 6f 6e 65 '_parts'] = None
1b70: 0a 09 09 09 09 09 72 65 6c 6f 61 64 20 3d 20 54 ......reload = T
1b80: 72 75 65 0a 0a 09 09 23 20 66 6f 72 63 69 62 6c rue....# forcibl
1b90: 79 20 63 68 65 63 6b 69 6e 67 20 66 69 6c 65 20 y checking file
1ba0: 69 66 20 69 6e 64 65 78 20 68 6f 6c 64 73 20 50 if index holds P
1bb0: 72 61 67 6d 61 20 68 65 61 64 65 72 0a 09 09 69 ragma header...i
1bc0: 66 20 6e 6f 74 20 72 65 6c 6f 61 64 20 61 6e 64 f not reload and
1bd0: 20 27 70 72 61 67 6d 61 27 20 69 6e 20 72 65 63 'pragma' in rec
1be0: 6f 72 64 20 61 6e 64 20 72 65 63 6f 72 64 5b 27 ord and record['
1bf0: 70 72 61 67 6d 61 27 5d 20 3d 3d 20 27 6e 6f 2d pragma'] == 'no-
1c00: 63 61 63 68 65 27 3a 0a 09 09 09 69 6e 66 6f 20 cache':....info
1c10: 2b 3d 27 5c 6e 50 72 61 67 6d 61 20 6f 6e 3a 20 +='\nPragma on:
1c20: 72 65 63 68 65 63 6b 20 69 6d 6d 69 6e 65 6e 74 recheck imminent
1c30: 2e 27 0a 09 09 09 72 65 63 68 65 63 6b 20 3d 20 .'....recheck =
1c40: 54 72 75 65 0a 0a 09 09 23 20 73 6b 69 70 70 69 True....# skippi
1c50: 6e 67 20 66 69 6c 65 20 70 72 6f 63 65 73 73 69 ng file processi
1c60: 6e 67 20 69 66 20 74 68 65 72 65 27 73 20 6e 6f ng if there's no
1c70: 20 6e 65 65 64 20 74 6f 20 72 65 63 68 65 63 6b need to recheck
1c80: 20 69 74 20 61 6e 64 20 77 65 20 68 61 76 65 20 it and we have
1c90: 63 68 65 63 6b 65 64 20 69 74 20 61 74 20 6c 65 checked it at le
1ca0: 61 73 74 20 34 20 68 6f 75 72 73 20 61 67 6f 0a ast 4 hours ago.
1cb0: 09 09 69 66 20 6e 6f 74 20 72 65 63 68 65 63 6b ..if not recheck
1cc0: 20 61 6e 64 20 6e 6f 74 20 72 65 6c 6f 61 64 20 and not reload
1cd0: 61 6e 64 20 27 5f 74 69 6d 65 27 20 69 6e 20 72 and '_time' in r
1ce0: 65 63 6f 72 64 20 61 6e 64 20 28 72 65 63 6f 72 ecord and (recor
1cf0: 64 5b 27 5f 74 69 6d 65 27 5d 20 2d 20 64 61 74 d['_time'] - dat
1d00: 65 74 69 6d 65 2e 64 61 74 65 74 69 6d 65 2e 6e etime.datetime.n
1d10: 6f 77 28 29 20 2b 20 64 61 74 65 74 69 6d 65 2e ow() + datetime.
1d20: 74 69 6d 65 64 65 6c 74 61 28 68 6f 75 72 73 20 timedelta(hours
1d30: 3d 20 34 29 29 2e 64 61 79 73 20 3c 20 30 3a 0a = 4)).days < 0:.
1d40: 09 09 09 69 6e 66 6f 20 2b 3d 20 27 5c 6e 46 69 ...info += '\nFi
1d50: 6c 65 20 69 73 20 6f 6c 64 20 2d 20 72 65 63 68 le is old - rech
1d60: 65 63 6b 69 6e 67 2e 27 0a 09 09 09 72 65 63 68 ecking.'....rech
1d70: 65 63 6b 20 3d 20 54 72 75 65 0a 0a 09 09 70 72 eck = True....pr
1d80: 69 6e 74 28 69 6e 66 6f 29 0a 09 09 69 66 20 72 int(info)...if r
1d90: 65 6c 6f 61 64 20 6f 72 20 72 65 63 68 65 63 6b eload or recheck
1da0: 3a 0a 0a 09 09 09 74 72 79 3a 0a 09 09 09 09 72 :.....try:.....r
1db0: 65 71 75 65 73 74 20 3d 20 27 68 74 74 70 3a 2f equest = 'http:/
1dc0: 2f 27 20 2b 20 63 6f 6e 66 69 67 5b 27 72 6f 6f /' + config['roo
1dd0: 74 27 5d 20 2b 20 73 65 6c 66 2e 70 61 74 68 0a t'] + self.path.
1de0: 09 09 09 09 6d 79 5f 68 65 61 64 65 72 73 20 3d ....my_headers =
1df0: 20 7b 7d 0a 09 09 09 09 66 6f 72 20 68 65 61 64 {}.....for head
1e00: 65 72 20 69 6e 20 28 27 63 61 63 68 65 2d 63 6f er in ('cache-co
1e10: 6e 74 72 6f 6c 27 2c 20 27 63 6f 6f 6b 69 65 27 ntrol', 'cookie'
1e20: 2c 20 27 72 65 66 65 72 65 72 27 2c 20 27 75 73 , 'referer', 'us
1e30: 65 72 2d 61 67 65 6e 74 27 29 3a 0a 09 09 09 09 er-agent'):.....
1e40: 09 69 66 20 68 65 61 64 65 72 20 69 6e 20 73 65 .if header in se
1e50: 6c 66 2e 68 65 61 64 65 72 73 3a 0a 09 09 09 09 lf.headers:.....
1e60: 09 09 6d 79 5f 68 65 61 64 65 72 73 5b 68 65 61 ..my_headers[hea
1e70: 64 65 72 5d 20 3d 20 73 65 6c 66 2e 68 65 61 64 der] = self.head
1e80: 65 72 73 5b 68 65 61 64 65 72 5d 0a 0a 09 09 09 ers[header].....
1e90: 09 6e 65 65 64 65 64 20 3d 20 4e 6f 6e 65 0a 09 .needed = None..
1ea0: 09 09 09 69 66 20 73 65 6c 66 2e 63 6f 6d 6d 61 ...if self.comma
1eb0: 6e 64 20 6e 6f 74 20 69 6e 20 28 27 48 45 41 44 nd not in ('HEAD
1ec0: 27 29 3a 0a 09 09 09 09 09 69 66 20 27 5f 70 61 '):......if '_pa
1ed0: 72 74 73 27 20 69 6e 20 72 65 63 6f 72 64 20 61 rts' in record a
1ee0: 6e 64 20 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 nd record['_part
1ef0: 73 27 5d 20 21 3d 20 4e 6f 6e 65 3a 0a 09 09 09 s'] != None:....
1f00: 09 09 09 69 66 20 63 6f 6e 66 69 67 5b 27 6e 6f ...if config['no
1f10: 70 61 72 74 73 27 5d 20 21 3d 20 27 6e 6f 27 20 parts'] != 'no'
1f20: 6f 72 20 72 65 71 75 65 73 74 65 64 5f 72 61 6e or requested_ran
1f30: 67 65 73 20 3d 3d 20 4e 6f 6e 65 20 6f 72 20 72 ges == None or r
1f40: 65 71 75 65 73 74 65 64 5f 72 61 6e 67 65 73 20 equested_ranges
1f50: 3d 3d 20 73 70 61 63 65 6d 61 70 2e 53 70 61 63 == spacemap.Spac
1f60: 65 4d 61 70 28 29 3a 0a 09 09 09 09 09 09 09 6e eMap():........n
1f70: 65 65 64 65 64 20 3d 20 72 65 63 6f 72 64 5b 27 eeded = record['
1f80: 5f 70 61 72 74 73 27 5d 0a 09 09 09 09 09 09 65 _parts'].......e
1f90: 6c 73 65 3a 0a 09 09 09 09 09 09 09 6e 65 65 64 lse:........need
1fa0: 65 64 20 3d 20 72 65 63 6f 72 64 5b 27 5f 70 61 ed = record['_pa
1fb0: 72 74 73 27 5d 20 26 20 72 65 71 75 65 73 74 65 rts'] & requeste
1fc0: 64 5f 72 61 6e 67 65 73 0a 09 09 09 09 09 65 6c d_ranges......el
1fd0: 69 66 20 63 6f 6e 66 69 67 5b 27 6e 6f 70 61 72 if config['nopar
1fe0: 74 73 27 5d 20 3d 3d 27 6e 6f 27 20 61 6e 64 20 ts'] =='no' and
1ff0: 72 65 71 75 65 73 74 65 64 5f 72 61 6e 67 65 73 requested_ranges
2000: 20 21 3d 20 4e 6f 6e 65 20 61 6e 64 20 72 65 71 != None and req
2010: 75 65 73 74 65 64 5f 72 61 6e 67 65 73 20 21 3d uested_ranges !=
2020: 20 73 70 61 63 65 6d 61 70 2e 53 70 61 63 65 4d spacemap.SpaceM
2030: 61 70 28 29 3a 0a 09 09 09 09 09 09 6e 65 65 64 ap():.......need
2040: 65 64 20 3d 20 72 65 71 75 65 73 74 65 64 5f 72 ed = requested_r
2050: 61 6e 67 65 73 0a 09 09 09 09 09 72 61 6e 67 65 anges......range
2060: 73 20 3d 20 28 29 0a 09 09 09 09 09 70 72 69 6e s = ()......prin
2070: 74 28 27 4d 69 73 73 69 6e 67 20 72 61 6e 67 65 t('Missing range
2080: 73 3a 20 7b 7d 2c 20 72 65 71 75 65 73 74 65 64 s: {}, requested
2090: 20 72 61 6e 67 65 73 3a 20 7b 7d 2c 20 6e 65 65 ranges: {}, nee
20a0: 64 65 64 20 72 61 6e 67 65 73 3a 20 7b 7d 2e 27 ded ranges: {}.'
20b0: 2e 66 6f 72 6d 61 74 28 72 65 63 6f 72 64 5b 27 .format(record['
20c0: 5f 70 61 72 74 73 27 5d 2c 20 72 65 71 75 65 73 _parts'], reques
20d0: 74 65 64 5f 72 61 6e 67 65 73 2c 20 6e 65 65 64 ted_ranges, need
20e0: 65 64 29 29 0a 09 09 09 09 09 69 66 20 6e 65 65 ed))......if nee
20f0: 64 65 64 20 21 3d 20 4e 6f 6e 65 20 61 6e 64 20 ded != None and
2100: 6c 65 6e 28 6e 65 65 64 65 64 29 20 3e 20 30 3a len(needed) > 0:
2110: 0a 09 09 09 09 09 09 6e 65 65 64 65 64 2e 72 65 .......needed.re
2120: 77 69 6e 64 28 29 0a 09 09 09 09 09 09 77 68 69 wind().......whi
2130: 6c 65 20 54 72 75 65 3a 0a 09 09 09 09 09 09 09 le True:........
2140: 72 61 6e 67 65 20 3d 20 6e 65 65 64 65 64 2e 70 range = needed.p
2150: 6f 70 28 29 0a 09 09 09 09 09 09 09 69 66 20 72 op()........if r
2160: 61 6e 67 65 5b 30 5d 20 3d 3d 20 4e 6f 6e 65 3a ange[0] == None:
2170: 0a 09 09 09 09 09 09 09 09 62 72 65 61 6b 0a 09 .........break..
2180: 09 09 09 09 09 09 72 61 6e 67 65 73 20 2b 3d 20 ......ranges +=
2190: 27 7b 7d 2d 7b 7d 27 2e 66 6f 72 6d 61 74 28 72 '{}-{}'.format(r
21a0: 61 6e 67 65 5b 30 5d 2c 20 72 61 6e 67 65 5b 31 ange[0], range[1
21b0: 5d 20 2d 20 31 29 2c 0a 09 09 09 09 09 09 6d 79 ] - 1),.......my
21c0: 5f 68 65 61 64 65 72 73 5b 27 72 61 6e 67 65 27 _headers['range'
21d0: 5d 20 3d 20 27 62 79 74 65 73 3d 27 20 2b 20 27 ] = 'bytes=' + '
21e0: 2c 27 2e 6a 6f 69 6e 28 72 61 6e 67 65 73 29 0a ,'.join(ranges).
21f0: 0a 09 09 09 09 6d 79 5f 68 65 61 64 65 72 73 5b .....my_headers[
2200: 27 41 63 63 65 70 74 2d 45 6e 63 6f 64 69 6e 67 'Accept-Encoding
2210: 27 5d 20 3d 20 27 67 7a 69 70 27 0a 09 09 09 09 '] = 'gzip'.....
2220: 72 65 71 75 65 73 74 20 3d 20 75 72 6c 6c 69 62 request = urllib
2230: 32 2e 52 65 71 75 65 73 74 28 72 65 71 75 65 73 2.Request(reques
2240: 74 2c 20 68 65 61 64 65 72 73 20 3d 20 6d 79 5f t, headers = my_
2250: 68 65 61 64 65 72 73 29 0a 0a 09 09 09 09 73 6f headers)......so
2260: 75 72 63 65 20 3d 20 75 72 6c 6c 69 62 32 2e 75 urce = urllib2.u
2270: 72 6c 6f 70 65 6e 28 72 65 71 75 65 73 74 29 0a rlopen(request).
2280: 09 09 09 09 6e 65 77 5f 72 65 63 6f 72 64 20 3d ....new_record =
2290: 20 7b 7d 0a 09 09 09 09 6e 65 77 5f 72 65 63 6f {}.....new_reco
22a0: 72 64 5b 27 5f 70 61 72 74 73 27 5d 20 3d 20 72 rd['_parts'] = r
22b0: 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d 0a ecord['_parts'].
22c0: 09 09 09 09 68 65 61 64 65 72 73 20 3d 20 73 6f ....headers = so
22d0: 75 72 63 65 2e 69 6e 66 6f 28 29 0a 0a 09 09 09 urce.info().....
22e0: 09 69 66 20 27 63 6f 6e 74 65 6e 74 2d 65 6e 63 .if 'content-enc
22f0: 6f 64 69 6e 67 27 20 69 6e 20 68 65 61 64 65 72 oding' in header
2300: 73 20 61 6e 64 20 68 65 61 64 65 72 73 5b 27 63 s and headers['c
2310: 6f 6e 74 65 6e 74 2d 65 6e 63 6f 64 69 6e 67 27 ontent-encoding'
2320: 5d 20 3d 3d 20 27 67 7a 69 70 27 3a 0a 09 09 09 ] == 'gzip':....
2330: 09 09 69 6d 70 6f 72 74 20 67 7a 69 70 2c 20 53 ..import gzip, S
2340: 74 72 69 6e 67 49 4f 0a 09 09 09 09 09 62 75 66 tringIO......buf
2350: 20 3d 20 53 74 72 69 6e 67 49 4f 2e 53 74 72 69 = StringIO.Stri
2360: 6e 67 49 4f 28 73 6f 75 72 63 65 2e 72 65 61 64 ngIO(source.read
2370: 28 29 29 0a 09 09 09 09 09 73 6f 75 72 63 65 20 ())......source
2380: 3d 20 67 7a 69 70 2e 47 7a 69 70 46 69 6c 65 28 = gzip.GzipFile(
2390: 66 69 6c 65 6f 62 6a 3d 62 75 66 29 0a 0a 09 09 fileobj=buf)....
23a0: 09 09 23 20 73 74 72 69 70 70 69 6e 67 20 75 6e ..# stripping un
23b0: 6e 65 65 64 65 64 20 68 65 61 64 65 72 73 20 28 needed headers (
23c0: 58 58 58 20 6d 61 6b 65 20 74 68 69 73 20 69 6e XXX make this in
23d0: 70 6c 61 63 65 3f 29 0a 09 09 09 09 66 6f 72 20 place?).....for
23e0: 68 65 61 64 65 72 20 69 6e 20 68 65 61 64 65 72 header in header
23f0: 73 3a 0a 09 09 09 09 09 69 66 20 68 65 61 64 65 s:......if heade
2400: 72 20 69 6e 20 64 65 73 63 5f 66 69 65 6c 64 73 r in desc_fields
2410: 3a 0a 09 09 09 09 09 09 23 69 66 20 68 65 61 64 :.......#if head
2420: 65 72 20 3d 3d 20 27 50 72 61 67 6d 61 27 20 61 er == 'Pragma' a
2430: 6e 64 20 68 65 61 64 65 72 73 5b 68 65 61 64 65 nd headers[heade
2440: 72 5d 20 21 3d 20 27 6e 6f 2d 63 61 63 68 65 27 r] != 'no-cache'
2450: 3a 0a 09 09 09 09 09 09 69 66 20 68 65 61 64 65 :.......if heade
2460: 72 20 3d 3d 20 27 63 6f 6e 74 65 6e 74 2d 6c 65 r == 'content-le
2470: 6e 67 74 68 27 3a 0a 09 09 09 09 09 09 09 69 66 ngth':........if
2480: 20 27 63 6f 6e 74 65 6e 74 2d 72 61 6e 67 65 27 'content-range'
2490: 20 6e 6f 74 20 69 6e 20 68 65 61 64 65 72 73 3a not in headers:
24a0: 0a 09 09 09 09 09 09 09 09 6e 65 77 5f 72 65 63 .........new_rec
24b0: 6f 72 64 5b 68 65 61 64 65 72 5d 20 3d 20 69 6e ord[header] = in
24c0: 74 28 68 65 61 64 65 72 73 5b 68 65 61 64 65 72 t(headers[header
24d0: 5d 29 0a 09 09 09 09 09 09 65 6c 73 65 3a 0a 09 ]).......else:..
24e0: 09 09 09 09 09 09 6e 65 77 5f 72 65 63 6f 72 64 ......new_record
24f0: 5b 68 65 61 64 65 72 5d 20 3d 20 68 65 61 64 65 [header] = heade
2500: 72 73 5b 68 65 61 64 65 72 5d 0a 09 09 09 09 09 rs[header]......
2510: 65 6c 69 66 20 68 65 61 64 65 72 20 3d 3d 20 27 elif header == '
2520: 63 6f 6e 74 65 6e 74 2d 72 61 6e 67 65 27 3a 0a content-range':.
2530: 09 09 09 09 09 09 72 61 6e 67 65 20 3d 20 72 65 ......range = re
2540: 2e 63 6f 6d 70 69 6c 65 28 27 5e 62 79 74 65 73 .compile('^bytes
2550: 20 28 5c 64 2b 29 2d 28 5c 64 2b 29 2f 28 5c 64 (\d+)-(\d+)/(\d
2560: 2b 29 24 27 29 2e 6d 61 74 63 68 28 68 65 61 64 +)$').match(head
2570: 65 72 73 5b 68 65 61 64 65 72 5d 29 0a 09 09 09 ers[header])....
2580: 09 09 09 69 66 20 72 61 6e 67 65 3a 0a 09 09 09 ...if range:....
2590: 09 09 09 09 6e 65 77 5f 72 65 63 6f 72 64 5b 27 ....new_record['
25a0: 63 6f 6e 74 65 6e 74 2d 6c 65 6e 67 74 68 27 5d content-length']
25b0: 20 3d 20 69 6e 74 28 72 61 6e 67 65 2e 67 72 6f = int(range.gro
25c0: 75 70 28 33 29 29 0a 09 09 09 09 09 09 65 6c 73 up(3)).......els
25d0: 65 3a 09 0a 09 09 09 09 09 09 09 61 73 73 65 72 e:.........asser
25e0: 74 20 46 61 6c 73 65 2c 20 27 43 6f 6e 74 65 6e t False, 'Conten
25f0: 74 2d 52 61 6e 67 65 20 75 6e 72 65 63 6f 67 6e t-Range unrecogn
2600: 69 7a 65 64 2e 27 0a 09 09 09 09 09 65 6c 69 66 ized.'......elif
2610: 20 6e 6f 74 20 68 65 61 64 65 72 20 69 6e 20 69 not header in i
2620: 67 6e 6f 72 65 5f 66 69 65 6c 64 73 3a 0a 09 09 gnore_fields:...
2630: 09 09 09 09 70 72 69 6e 74 28 27 55 6e 64 65 66 ....print('Undef
2640: 69 6e 65 64 20 68 65 61 64 65 72 20 22 27 2c 20 ined header "',
2650: 68 65 61 64 65 72 2c 20 27 22 3a 20 27 2c 20 68 header, '": ', h
2660: 65 61 64 65 72 73 5b 68 65 61 64 65 72 5d 2c 20 eaders[header],
2670: 73 65 70 3d 27 27 29 0a 0a 09 09 09 09 23 20 63 sep='')......# c
2680: 6f 6d 70 61 72 69 6e 67 20 68 65 61 64 65 72 73 omparing headers
2690: 20 77 69 74 68 20 64 61 74 61 20 66 6f 75 6e 64 with data found
26a0: 20 69 6e 20 69 6e 64 65 78 0a 09 09 09 09 23 20 in index.....#
26b0: 69 66 20 61 6e 79 20 68 65 61 64 65 72 20 68 61 if any header ha
26c0: 73 20 63 68 61 6e 67 65 64 20 28 65 78 63 65 70 s changed (excep
26d0: 74 20 50 72 61 67 6d 61 29 20 66 69 6c 65 20 69 t Pragma) file i
26e0: 73 20 66 75 6c 6c 79 20 64 6f 77 6e 6c 6f 61 64 s fully download
26f0: 65 64 0a 09 09 09 09 23 20 73 61 6d 65 20 69 66 ed.....# same if
2700: 20 77 65 20 67 65 74 20 6d 6f 72 65 20 6f 72 20 we get more or
2710: 6c 65 73 73 20 68 65 61 64 65 72 73 0a 09 09 09 less headers....
2720: 09 6f 6c 64 5f 6b 65 79 73 20 3d 20 73 65 74 28 .old_keys = set(
2730: 72 65 63 6f 72 64 2e 6b 65 79 73 28 29 29 0a 09 record.keys())..
2740: 09 09 09 6f 6c 64 5f 6b 65 79 73 2e 64 69 73 63 ...old_keys.disc
2750: 61 72 64 28 27 5f 74 69 6d 65 27 29 0a 09 09 09 ard('_time')....
2760: 09 6f 6c 64 5f 6b 65 79 73 2e 64 69 73 63 61 72 .old_keys.discar
2770: 64 28 27 70 72 61 67 6d 61 27 29 0a 09 09 09 09 d('pragma').....
2780: 6d 6f 72 65 5f 6b 65 79 73 20 3d 20 73 65 74 28 more_keys = set(
2790: 6e 65 77 5f 72 65 63 6f 72 64 2e 6b 65 79 73 28 new_record.keys(
27a0: 29 29 20 2d 20 6f 6c 64 5f 6b 65 79 73 0a 09 09 )) - old_keys...
27b0: 09 09 6d 6f 72 65 5f 6b 65 79 73 2e 64 69 73 63 ..more_keys.disc
27c0: 61 72 64 28 27 70 72 61 67 6d 61 27 29 0a 09 09 ard('pragma')...
27d0: 09 09 6c 65 73 73 5f 6b 65 79 73 20 3d 20 6f 6c ..less_keys = ol
27e0: 64 5f 6b 65 79 73 20 2d 20 73 65 74 28 6e 65 77 d_keys - set(new
27f0: 5f 72 65 63 6f 72 64 2e 6b 65 79 73 28 29 29 0a _record.keys()).
2800: 09 09 09 09 69 66 20 6c 65 6e 28 6d 6f 72 65 5f ....if len(more_
2810: 6b 65 79 73 29 20 3e 20 30 3a 0a 09 09 09 09 09 keys) > 0:......
2820: 69 66 20 6c 65 6e 28 6f 6c 64 5f 6b 65 79 73 29 if len(old_keys)
2830: 20 21 3d 20 30 3a 0a 09 09 09 09 09 09 70 72 69 != 0:.......pri
2840: 6e 74 28 27 4d 6f 72 65 20 68 65 61 64 65 72 73 nt('More headers
2850: 20 61 70 70 65 61 72 3a 27 2c 20 6d 6f 72 65 5f appear:', more_
2860: 6b 65 79 73 29 0a 09 09 09 09 09 72 65 6c 6f 61 keys)......reloa
2870: 64 20 3d 20 54 72 75 65 0a 09 09 09 09 65 6c 69 d = True.....eli
2880: 66 20 6c 65 6e 28 6c 65 73 73 5f 6b 65 79 73 29 f len(less_keys)
2890: 20 3e 20 30 3a 0a 09 09 09 09 09 70 72 69 6e 74 > 0:......print
28a0: 28 27 4c 65 73 73 20 68 65 61 64 65 72 73 20 61 ('Less headers a
28b0: 70 70 65 61 72 3a 27 2c 20 6c 65 73 73 5f 6b 65 ppear:', less_ke
28c0: 79 73 29 0a 09 09 09 09 65 6c 73 65 3a 0a 09 09 ys).....else:...
28d0: 09 09 09 66 6f 72 20 6b 65 79 20 69 6e 20 72 65 ...for key in re
28e0: 63 6f 72 64 2e 6b 65 79 73 28 29 3a 0a 09 09 09 cord.keys():....
28f0: 09 09 09 69 66 20 6b 65 79 5b 30 5d 20 21 3d 20 ...if key[0] !=
2900: 27 5f 27 20 61 6e 64 20 6b 65 79 20 21 3d 20 27 '_' and key != '
2910: 70 72 61 67 6d 61 27 20 61 6e 64 20 72 65 63 6f pragma' and reco
2920: 72 64 5b 6b 65 79 5d 20 21 3d 20 6e 65 77 5f 72 rd[key] != new_r
2930: 65 63 6f 72 64 5b 6b 65 79 5d 3a 0a 09 09 09 09 ecord[key]:.....
2940: 09 09 09 70 72 69 6e 74 28 27 48 65 61 64 65 72 ...print('Header
2950: 20 22 27 2c 20 6b 65 79 2c 20 27 22 20 63 68 61 "', key, '" cha
2960: 6e 67 65 64 20 66 72 6f 6d 20 5b 27 2c 20 72 65 nged from [', re
2970: 63 6f 72 64 5b 6b 65 79 5d 2c 20 27 5d 20 74 6f cord[key], '] to
2980: 20 5b 27 2c 20 6e 65 77 5f 72 65 63 6f 72 64 5b [', new_record[
2990: 6b 65 79 5d 2c 20 27 5d 27 2c 20 73 65 70 3d 27 key], ']', sep='
29a0: 27 29 0a 09 09 09 09 09 09 09 70 72 69 6e 74 28 ')........print(
29b0: 74 79 70 65 28 72 65 63 6f 72 64 5b 6b 65 79 5d type(record[key]
29c0: 29 2c 20 74 79 70 65 28 6e 65 77 5f 72 65 63 6f ), type(new_reco
29d0: 72 64 5b 6b 65 79 5d 29 29 0a 09 09 09 09 09 09 rd[key])).......
29e0: 09 72 65 6c 6f 61 64 20 3d 20 54 72 75 65 0a 0a .reload = True..
29f0: 09 09 09 09 69 66 20 72 65 6c 6f 61 64 3a 0a 09 ....if reload:..
2a00: 09 09 09 09 70 72 69 6e 74 28 27 52 65 6c 6f 61 ....print('Reloa
2a10: 64 69 6e 67 2e 27 29 0a 09 09 09 09 09 69 66 20 ding.')......if
2a20: 6f 73 2e 61 63 63 65 73 73 28 74 65 6d 70 5f 6e os.access(temp_n
2a30: 61 6d 65 2c 20 6f 73 2e 52 5f 4f 4b 29 3a 0a 09 ame, os.R_OK):..
2a40: 09 09 09 09 09 6f 73 2e 75 6e 6c 69 6e 6b 28 74 .....os.unlink(t
2a50: 65 6d 70 5f 6e 61 6d 65 29 0a 09 09 09 09 09 69 emp_name)......i
2a60: 66 20 6f 73 2e 61 63 63 65 73 73 28 66 69 6c 65 f os.access(file
2a70: 5f 6e 61 6d 65 2c 20 6f 73 2e 52 5f 4f 4b 29 3a _name, os.R_OK):
2a80: 0a 09 09 09 09 09 09 6f 73 2e 75 6e 6c 69 6e 6b .......os.unlink
2a90: 28 66 69 6c 65 5f 6e 61 6d 65 29 0a 09 09 09 09 (file_name).....
2aa0: 09 69 66 20 27 63 6f 6e 74 65 6e 74 2d 6c 65 6e .if 'content-len
2ab0: 67 74 68 27 20 69 6e 20 6e 65 77 5f 72 65 63 6f gth' in new_reco
2ac0: 72 64 3a 0a 09 09 09 09 09 09 6e 65 77 5f 72 65 rd:.......new_re
2ad0: 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d 20 3d cord['_parts'] =
2ae0: 20 73 70 61 63 65 6d 61 70 2e 53 70 61 63 65 4d spacemap.SpaceM
2af0: 61 70 28 7b 30 3a 20 69 6e 74 28 6e 65 77 5f 72 ap({0: int(new_r
2b00: 65 63 6f 72 64 5b 27 63 6f 6e 74 65 6e 74 2d 6c ecord['content-l
2b10: 65 6e 67 74 68 27 5d 29 7d 29 0a 09 09 09 09 69 ength'])}).....i
2b20: 66 20 6e 6f 74 20 6e 65 77 5f 72 65 63 6f 72 64 f not new_record
2b30: 5b 27 5f 70 61 72 74 73 27 5d 3a 0a 09 09 09 09 ['_parts']:.....
2b40: 09 6e 65 77 5f 72 65 63 6f 72 64 5b 27 5f 70 61 .new_record['_pa
2b50: 72 74 73 27 5d 20 3d 20 73 70 61 63 65 6d 61 70 rts'] = spacemap
2b60: 2e 53 70 61 63 65 4d 61 70 28 29 0a 09 09 09 09 .SpaceMap().....
2b70: 70 72 69 6e 74 28 6e 65 77 5f 72 65 63 6f 72 64 print(new_record
2b80: 29 0a 0a 09 09 09 09 23 20 64 6f 77 6e 6c 6f 61 )......# downloa
2b90: 64 69 6e 67 20 66 69 6c 65 20 6f 72 20 73 65 67 ding file or seg
2ba0: 6d 65 6e 74 0a 09 09 09 09 69 66 20 27 63 6f 6e ment.....if 'con
2bb0: 74 65 6e 74 2d 6c 65 6e 67 74 68 27 20 69 6e 20 tent-length' in
2bc0: 6e 65 77 5f 72 65 63 6f 72 64 3a 0a 09 09 09 09 new_record:.....
2bd0: 09 69 66 20 6e 65 65 64 65 64 20 3d 3d 20 4e 6f .if needed == No
2be0: 6e 65 3a 0a 09 09 09 09 09 09 6e 65 65 64 65 64 ne:.......needed
2bf0: 20 3d 20 6e 65 77 5f 72 65 63 6f 72 64 5b 27 5f = new_record['_
2c00: 70 61 72 74 73 27 5d 0a 09 09 09 09 09 65 6c 73 parts']......els
2c10: 65 3a 0a 09 09 09 09 09 09 69 66 20 6c 65 6e 28 e:.......if len(
2c20: 6e 65 65 64 65 64 29 20 3e 20 31 3a 0a 09 09 09 needed) > 1:....
2c30: 09 09 09 09 70 72 69 6e 74 28 22 4d 75 6c 74 69 ....print("Multi
2c40: 70 61 72 74 20 72 65 71 75 65 73 74 73 20 63 75 part requests cu
2c50: 72 72 65 6e 74 6c 79 20 6e 6f 74 20 73 75 70 70 rrently not supp
2c60: 6f 72 74 65 64 2e 22 29 0a 09 09 09 09 09 09 09 orted.")........
2c70: 61 73 73 65 72 74 20 46 61 6c 73 65 2c 20 27 53 assert False, 'S
2c80: 6b 69 70 20 74 68 69 73 20 6f 6e 65 20 66 6f 72 kip this one for
2c90: 20 6e 6f 77 2e 27 0a 09 09 09 09 23 65 6c 73 65 now.'.....#else
2ca0: 3a 0a 09 09 09 09 09 23 61 73 73 65 72 74 20 46 :......#assert F
2cb0: 61 6c 73 65 2c 20 27 4e 6f 20 63 6f 6e 74 65 6e alse, 'No conten
2cc0: 74 2d 6c 65 6e 67 74 68 20 6f 72 20 43 6f 6e 74 t-length or Cont
2cd0: 65 6e 74 2d 52 61 6e 67 65 20 68 65 61 64 65 72 ent-Range header
2ce0: 2e 27 0a 0a 09 09 09 09 6e 65 77 5f 72 65 63 6f .'......new_reco
2cf0: 72 64 5b 27 5f 74 69 6d 65 27 5d 20 3d 20 64 61 rd['_time'] = da
2d00: 74 65 74 69 6d 65 2e 64 61 74 65 74 69 6d 65 2e tetime.datetime.
2d10: 6e 6f 77 28 29 0a 09 09 09 09 69 66 20 73 65 6c now().....if sel
2d20: 66 2e 63 6f 6d 6d 61 6e 64 20 6e 6f 74 20 69 6e f.command not in
2d30: 20 28 27 48 45 41 44 27 29 3a 0a 09 09 09 09 09 ('HEAD'):......
2d40: 23 20 66 69 6c 65 20 69 73 20 63 72 65 61 74 65 # file is create
2d50: 64 20 61 74 20 74 65 6d 70 6f 72 61 72 79 20 6c d at temporary l
2d60: 6f 63 61 74 69 6f 6e 20 61 6e 64 20 6d 6f 76 65 ocation and move
2d70: 64 20 69 6e 20 70 6c 61 63 65 20 6f 6e 6c 79 20 d in place only
2d80: 77 68 65 6e 20 64 6f 77 6e 6c 6f 61 64 20 63 6f when download co
2d90: 6d 70 6c 65 74 65 73 0a 09 09 09 09 09 69 66 20 mpletes......if
2da0: 6e 6f 74 20 6f 73 2e 61 63 63 65 73 73 28 74 65 not os.access(te
2db0: 6d 70 5f 6e 61 6d 65 2c 20 6f 73 2e 52 5f 4f 4b mp_name, os.R_OK
2dc0: 29 3a 0a 09 09 09 09 09 09 65 6d 70 74 79 5f 6e ):.......empty_n
2dd0: 61 6d 65 20 3d 20 63 6f 6e 66 69 67 5b 27 64 69 ame = config['di
2de0: 72 27 5d 20 2b 20 6f 73 2e 73 65 70 20 2b 20 27 r'] + os.sep + '
2df0: 2e 74 6d 70 27 0a 09 09 09 09 09 09 77 69 74 68 .tmp'.......with
2e00: 20 6f 70 65 6e 28 65 6d 70 74 79 5f 6e 61 6d 65 open(empty_name
2e10: 2c 20 27 77 2b 62 27 29 20 61 73 20 73 6f 6d 65 , 'w+b') as some
2e20: 5f 66 69 6c 65 3a 0a 09 09 09 09 09 09 09 70 61 _file:........pa
2e30: 73 73 0a 09 09 09 09 09 09 6f 73 2e 72 65 6e 61 ss.......os.rena
2e40: 6d 65 73 28 65 6d 70 74 79 5f 6e 61 6d 65 2c 20 mes(empty_name,
2e50: 74 65 6d 70 5f 6e 61 6d 65 29 0a 09 09 09 09 09 temp_name)......
2e60: 74 65 6d 70 5f 66 69 6c 65 20 3d 20 6f 70 65 6e temp_file = open
2e70: 28 74 65 6d 70 5f 6e 61 6d 65 2c 20 27 72 2b 62 (temp_name, 'r+b
2e80: 27 29 0a 09 09 09 09 09 69 66 20 72 65 71 75 65 ')......if reque
2e90: 73 74 65 64 5f 72 61 6e 67 65 73 20 3d 3d 20 4e sted_ranges == N
2ea0: 6f 6e 65 20 61 6e 64 20 6e 65 65 64 65 64 20 3d one and needed =
2eb0: 3d 20 4e 6f 6e 65 3a 0a 09 09 09 09 09 09 6e 65 = None:.......ne
2ec0: 65 64 65 64 20 3d 20 6e 65 77 5f 72 65 63 6f 72 eded = new_recor
2ed0: 64 5b 27 5f 70 61 72 74 73 27 5d 0a 09 09 09 09 d['_parts'].....
2ee0: 09 6e 65 65 64 65 64 2e 72 65 77 69 6e 64 28 29 .needed.rewind()
2ef0: 0a 09 09 09 09 09 77 68 69 6c 65 20 54 72 75 65 ......while True
2f00: 3a 0a 09 09 09 09 09 09 23 20 58 58 58 20 63 61 :.......# XXX ca
2f10: 6e 20 6d 61 6b 65 20 74 68 69 73 20 69 6d 70 6c n make this impl
2f20: 69 63 69 74 20 2d 20 6f 6e 65 20 72 65 71 75 65 icit - one reque
2f30: 73 74 20 70 65 72 20 72 61 6e 67 65 0a 09 09 09 st per range....
2f40: 09 09 09 28 73 74 61 72 74 2c 20 65 6e 64 29 20 ...(start, end)
2f50: 3d 20 6e 65 65 64 65 64 2e 70 6f 70 28 29 0a 09 = needed.pop()..
2f60: 09 09 09 09 09 69 66 20 73 74 61 72 74 20 3d 3d .....if start ==
2f70: 20 4e 6f 6e 65 3a 0a 09 09 09 09 09 09 09 62 72 None:........br
2f80: 65 61 6b 0a 09 09 09 09 09 09 73 74 72 65 61 6d eak.......stream
2f90: 5f 6c 61 73 74 20 3d 20 73 74 61 72 74 0a 09 09 _last = start...
2fa0: 09 09 09 09 6f 6c 64 5f 72 65 63 6f 72 64 20 3d ....old_record =
2fb0: 20 63 6f 70 79 2e 63 6f 70 79 28 6e 65 77 5f 72 copy.copy(new_r
2fc0: 65 63 6f 72 64 29 0a 09 09 09 09 09 09 69 66 20 ecord).......if
2fd0: 65 6e 64 20 2d 20 73 74 61 72 74 20 3c 20 62 6c end - start < bl
2fe0: 6f 63 6b 5f 73 69 7a 65 3a 0a 09 09 09 09 09 09 ock_size:.......
2ff0: 09 72 65 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 20 .req_block_size
3000: 3d 20 65 6e 64 20 2d 20 73 74 61 72 74 0a 09 09 = end - start...
3010: 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 ....else:.......
3020: 09 72 65 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 20 .req_block_size
3030: 3d 20 62 6c 6f 63 6b 5f 73 69 7a 65 0a 09 09 09 = block_size....
3040: 09 09 09 62 75 66 66 65 72 20 3d 20 73 6f 75 72 ...buffer = sour
3050: 63 65 2e 72 65 61 64 28 72 65 71 5f 62 6c 6f 63 ce.read(req_bloc
3060: 6b 5f 73 69 7a 65 29 0a 09 09 09 09 09 09 6c 65 k_size).......le
3070: 6e 67 74 68 20 3d 20 6c 65 6e 28 62 75 66 66 65 ngth = len(buffe
3080: 72 29 0a 09 09 09 09 09 09 77 68 69 6c 65 20 6c r).......while l
3090: 65 6e 67 74 68 20 3e 20 30 20 61 6e 64 20 73 74 ength > 0 and st
30a0: 72 65 61 6d 5f 6c 61 73 74 20 3c 20 65 6e 64 3a ream_last < end:
30b0: 0a 09 09 09 09 09 09 09 73 74 72 65 61 6d 5f 70 ........stream_p
30c0: 6f 73 20 3d 20 73 74 72 65 61 6d 5f 6c 61 73 74 os = stream_last
30d0: 20 2b 20 6c 65 6e 67 74 68 0a 09 09 09 09 09 09 + length.......
30e0: 09 61 73 73 65 72 74 20 73 74 72 65 61 6d 5f 70 .assert stream_p
30f0: 6f 73 20 3c 3d 20 65 6e 64 2c 20 27 52 65 63 65 os <= end, 'Rece
3100: 69 76 65 64 20 6d 6f 72 65 20 64 61 74 61 20 74 ived more data t
3110: 68 65 6e 20 72 65 71 75 65 73 74 65 64 3a 20 70 hen requested: p
3120: 6f 73 3a 7b 7d 20 73 74 61 72 74 3a 7b 7d 20 65 os:{} start:{} e
3130: 6e 64 3a 7b 7d 2e 27 2e 66 6f 72 6d 61 74 28 73 nd:{}.'.format(s
3140: 74 72 65 61 6d 5f 70 6f 73 2c 20 73 74 61 72 74 tream_pos, start
3150: 2c 20 65 6e 64 29 0a 09 09 09 09 09 09 09 74 65 , end)........te
3160: 6d 70 5f 66 69 6c 65 2e 73 65 65 6b 28 73 74 72 mp_file.seek(str
3170: 65 61 6d 5f 6c 61 73 74 29 0a 09 09 09 09 09 09 eam_last).......
3180: 09 74 65 6d 70 5f 66 69 6c 65 2e 77 72 69 74 65 .temp_file.write
3190: 28 62 75 66 66 65 72 29 0a 09 09 09 09 09 09 09 (buffer)........
31a0: 78 20 3d 20 6e 65 77 5f 72 65 63 6f 72 64 5b 27 x = new_record['
31b0: 5f 70 61 72 74 73 27 5d 20 2d 20 73 70 61 63 65 _parts'] - space
31c0: 6d 61 70 2e 53 70 61 63 65 4d 61 70 28 7b 73 74 map.SpaceMap({st
31d0: 72 65 61 6d 5f 6c 61 73 74 3a 20 73 74 72 65 61 ream_last: strea
31e0: 6d 5f 70 6f 73 7d 29 0a 09 09 09 09 09 09 09 6e m_pos})........n
31f0: 65 77 5f 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 ew_record['_part
3200: 73 27 5d 20 3d 20 6e 65 77 5f 72 65 63 6f 72 64 s'] = new_record
3210: 5b 27 5f 70 61 72 74 73 27 5d 20 2d 20 73 70 61 ['_parts'] - spa
3220: 63 65 6d 61 70 2e 53 70 61 63 65 4d 61 70 28 7b cemap.SpaceMap({
3230: 73 74 72 65 61 6d 5f 6c 61 73 74 3a 20 73 74 72 stream_last: str
3240: 65 61 6d 5f 70 6f 73 7d 29 0a 09 09 09 09 09 09 eam_pos}).......
3250: 09 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5d 20 .index[my_path]
3260: 3d 20 6f 6c 64 5f 72 65 63 6f 72 64 0a 09 09 09 = old_record....
3270: 09 09 09 09 69 6e 64 65 78 2e 73 79 6e 63 28 29 ....index.sync()
3280: 0a 09 09 09 09 09 09 09 6f 6c 64 5f 72 65 63 6f ........old_reco
3290: 72 64 20 3d 20 63 6f 70 79 2e 63 6f 70 79 28 6e rd = copy.copy(n
32a0: 65 77 5f 72 65 63 6f 72 64 29 0a 09 09 09 09 09 ew_record)......
32b0: 09 09 73 74 72 65 61 6d 5f 6c 61 73 74 20 3d 20 ..stream_last =
32c0: 73 74 72 65 61 6d 5f 70 6f 73 0a 09 09 09 09 09 stream_pos......
32d0: 09 09 69 66 20 65 6e 64 20 2d 20 73 74 72 65 61 ..if end - strea
32e0: 6d 5f 6c 61 73 74 20 3c 20 62 6c 6f 63 6b 5f 73 m_last < block_s
32f0: 69 7a 65 3a 0a 09 09 09 09 09 09 09 09 72 65 71 ize:.........req
3300: 5f 62 6c 6f 63 6b 5f 73 69 7a 65 20 3d 20 65 6e _block_size = en
3310: 64 20 2d 20 73 74 72 65 61 6d 5f 6c 61 73 74 0a d - stream_last.
3320: 09 09 09 09 09 09 09 62 75 66 66 65 72 20 3d 20 .......buffer =
3330: 73 6f 75 72 63 65 2e 72 65 61 64 28 72 65 71 5f source.read(req_
3340: 62 6c 6f 63 6b 5f 73 69 7a 65 29 0a 09 09 09 09 block_size).....
3350: 09 09 09 6c 65 6e 67 74 68 20 3d 20 6c 65 6e 28 ...length = len(
3360: 62 75 66 66 65 72 29 0a 09 09 09 09 09 23 20 6d buffer)......# m
3370: 6f 76 69 6e 67 20 64 6f 77 6e 6c 6f 61 64 65 64 oving downloaded
3380: 20 64 61 74 61 20 74 6f 20 72 65 61 6c 20 66 69 data to real fi
3390: 6c 65 0a 09 09 09 09 09 74 65 6d 70 5f 66 69 6c le......temp_fil
33a0: 65 2e 63 6c 6f 73 65 28 29 0a 0a 09 09 09 09 69 e.close()......i
33b0: 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5d 20 3d 20 ndex[my_path] =
33c0: 6e 65 77 5f 72 65 63 6f 72 64 0a 09 09 09 09 69 new_record.....i
33d0: 6e 64 65 78 2e 73 79 6e 63 28 29 0a 0a 09 09 09 ndex.sync().....
33e0: 65 78 63 65 70 74 20 75 72 6c 6c 69 62 32 2e 48 except urllib2.H
33f0: 54 54 50 45 72 72 6f 72 20 61 73 20 65 72 72 6f TTPError as erro
3400: 72 3a 0a 09 09 09 09 23 20 69 6e 20 63 61 73 65 r:.....# in case
3410: 20 6f 66 20 65 72 72 6f 72 20 77 65 20 64 6f 6e of error we don
3420: 27 74 20 6e 65 65 64 20 74 6f 20 64 6f 20 61 6e 't need to do an
3430: 79 74 68 69 6e 67 20 61 63 74 75 61 6c 6c 79 2c ything actually,
3440: 0a 09 09 09 09 23 20 69 66 20 66 69 6c 65 20 64 .....# if file d
3450: 6f 77 6e 6c 6f 61 64 20 73 74 61 6c 6c 73 20 6f ownload stalls o
3460: 72 20 66 61 69 6c 73 20 74 68 65 20 66 69 6c 65 r fails the file
3470: 20 77 6f 75 6c 64 20 6e 6f 74 20 62 65 20 6d 6f would not be mo
3480: 76 65 64 20 74 6f 20 69 74 27 73 20 6c 6f 63 61 ved to it's loca
3490: 74 69 6f 6e 0a 09 09 09 09 70 72 69 6e 74 28 65 tion.....print(e
34a0: 72 72 6f 72 29 0a 0a 09 09 70 72 69 6e 74 28 69 rror)....print(i
34b0: 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5d 29 0a 0a ndex[my_path])..
34c0: 09 09 69 66 20 6e 6f 74 20 6f 73 2e 61 63 63 65 ..if not os.acce
34d0: 73 73 28 66 69 6c 65 5f 6e 61 6d 65 2c 20 6f 73 ss(file_name, os
34e0: 2e 52 5f 4f 4b 29 20 61 6e 64 20 6f 73 2e 61 63 .R_OK) and os.ac
34f0: 63 65 73 73 28 74 65 6d 70 5f 6e 61 6d 65 2c 20 cess(temp_name,
3500: 6f 73 2e 52 5f 4f 4b 29 20 61 6e 64 20 27 5f 70 os.R_OK) and '_p
3510: 61 72 74 73 27 20 69 6e 20 69 6e 64 65 78 5b 6d arts' in index[m
3520: 79 5f 70 61 74 68 5d 20 61 6e 64 20 69 6e 64 65 y_path] and inde
3530: 78 5b 6d 79 5f 70 61 74 68 5d 5b 27 5f 70 61 72 x[my_path]['_par
3540: 74 73 27 5d 20 3d 3d 20 73 70 61 63 65 6d 61 70 ts'] == spacemap
3550: 2e 53 70 61 63 65 4d 61 70 28 29 3a 0a 09 09 09 .SpaceMap():....
3560: 23 20 6a 75 73 74 20 6d 6f 76 69 6e 67 0a 09 09 # just moving...
3570: 09 23 20 64 72 6f 70 20 6f 6c 64 20 64 69 72 73 .# drop old dirs
3580: 20 58 58 58 0a 09 09 09 70 72 69 6e 74 28 27 4d XXX....print('M
3590: 6f 76 69 6e 67 20 74 65 6d 70 6f 72 61 72 79 20 oving temporary
35a0: 66 69 6c 65 20 74 6f 20 6e 65 77 20 64 65 73 74 file to new dest
35b0: 69 6e 61 74 69 6f 6e 2e 27 29 0a 09 09 09 6f 73 ination.')....os
35c0: 2e 72 65 6e 61 6d 65 73 28 74 65 6d 70 5f 6e 61 .renames(temp_na
35d0: 6d 65 2c 20 66 69 6c 65 5f 6e 61 6d 65 29 0a 0a me, file_name)..
35e0: 09 09 69 66 20 6e 6f 74 20 6d 79 5f 70 61 74 68 ..if not my_path
35f0: 20 69 6e 20 69 6e 64 65 78 3a 0a 09 09 09 73 65 in index:....se
3600: 6c 66 2e 73 65 6e 64 5f 72 65 73 70 6f 6e 73 65 lf.send_response
3610: 28 35 30 32 29 0a 09 09 09 73 65 6c 66 2e 65 6e (502)....self.en
3620: 64 5f 68 65 61 64 65 72 73 28 29 0a 09 09 09 72 d_headers()....r
3630: 65 74 75 72 6e 0a 0a 09 09 69 66 20 73 65 6c 66 eturn....if self
3640: 2e 63 6f 6d 6d 61 6e 64 20 3d 3d 20 27 48 45 41 .command == 'HEA
3650: 44 27 3a 0a 09 09 09 73 65 6c 66 2e 73 65 6e 64 D':....self.send
3660: 5f 72 65 73 70 6f 6e 73 65 28 32 30 30 29 0a 09 _response(200)..
3670: 09 09 69 66 20 27 63 6f 6e 74 65 6e 74 2d 6c 65 ..if 'content-le
3680: 6e 67 74 68 27 20 69 6e 20 69 6e 64 65 78 5b 6d ngth' in index[m
3690: 79 5f 70 61 74 68 5d 3a 0a 09 09 09 09 73 65 6c y_path]:.....sel
36a0: 66 2e 73 65 6e 64 5f 68 65 61 64 65 72 28 27 63 f.send_header('c
36b0: 6f 6e 74 65 6e 74 2d 6c 65 6e 67 74 68 27 2c 20 ontent-length',
36c0: 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5d 5b 27 index[my_path]['
36d0: 63 6f 6e 74 65 6e 74 2d 6c 65 6e 67 74 68 27 5d content-length']
36e0: 29 0a 09 09 09 73 65 6c 66 2e 73 65 6e 64 5f 68 )....self.send_h
36f0: 65 61 64 65 72 28 27 61 63 63 65 70 74 2d 72 61 eader('accept-ra
3700: 6e 67 65 73 27 2c 20 27 62 79 74 65 73 27 29 0a nges', 'bytes').
3710: 09 09 09 73 65 6c 66 2e 73 65 6e 64 5f 68 65 61 ...self.send_hea
3720: 64 65 72 28 27 63 6f 6e 74 65 6e 74 2d 74 79 70 der('content-typ
3730: 65 27 2c 20 27 61 70 70 6c 69 63 61 74 69 6f 6e e', 'application
3740: 2f 6f 63 74 65 74 2d 73 74 72 65 61 6d 27 29 0a /octet-stream').
3750: 09 09 09 69 66 20 27 6c 61 73 74 2d 6d 6f 64 69 ...if 'last-modi
3760: 66 69 65 64 27 20 69 6e 20 69 6e 64 65 78 5b 6d fied' in index[m
3770: 79 5f 70 61 74 68 5d 3a 0a 09 09 09 09 73 65 6c y_path]:.....sel
3780: 66 2e 73 65 6e 64 5f 68 65 61 64 65 72 28 27 6c f.send_header('l
3790: 61 73 74 2d 6d 6f 64 69 66 69 65 64 27 2c 20 69 ast-modified', i
37a0: 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5d 5b 27 6c ndex[my_path]['l
37b0: 61 73 74 2d 6d 6f 64 69 66 69 65 64 27 5d 29 0a ast-modified']).
37c0: 09 09 09 73 65 6c 66 2e 65 6e 64 5f 68 65 61 64 ...self.end_head
37d0: 65 72 73 28 29 0a 09 09 65 6c 73 65 3a 0a 09 09 ers()...else:...
37e0: 09 69 66 20 28 27 5f 70 61 72 74 73 27 20 69 6e .if ('_parts' in
37f0: 20 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5d 20 index[my_path]
3800: 61 6e 64 20 69 6e 64 65 78 5b 6d 79 5f 70 61 74 and index[my_pat
3810: 68 5d 5b 27 5f 70 61 72 74 73 27 5d 20 21 3d 20 h]['_parts'] !=
3820: 73 70 61 63 65 6d 61 70 2e 53 70 61 63 65 4d 61 spacemap.SpaceMa
3830: 70 28 29 29 20 6f 72 20 6e 6f 74 20 6f 73 2e 61 p()) or not os.a
3840: 63 63 65 73 73 28 66 69 6c 65 5f 6e 61 6d 65 2c ccess(file_name,
3850: 20 6f 73 2e 52 5f 4f 4b 29 3a 0a 09 09 09 09 66 os.R_OK):.....f
3860: 69 6c 65 5f 6e 61 6d 65 20 3d 20 74 65 6d 70 5f ile_name = temp_
3870: 6e 61 6d 65 0a 0a 09 09 09 77 69 74 68 20 6f 70 name.....with op
3880: 65 6e 28 66 69 6c 65 5f 6e 61 6d 65 2c 20 27 72 en(file_name, 'r
3890: 62 27 29 20 61 73 20 72 65 61 6c 5f 66 69 6c 65 b') as real_file
38a0: 3a 0a 09 09 09 09 66 69 6c 65 5f 73 74 61 74 20 :.....file_stat
38b0: 3d 20 6f 73 2e 73 74 61 74 28 66 69 6c 65 5f 6e = os.stat(file_n
38c0: 61 6d 65 29 0a 09 09 09 09 69 66 20 27 72 61 6e ame).....if 'ran
38d0: 67 65 27 20 69 6e 20 73 65 6c 66 2e 68 65 61 64 ge' in self.head
38e0: 65 72 73 3a 0a 09 09 09 09 09 73 65 6c 66 2e 73 ers:......self.s
38f0: 65 6e 64 5f 72 65 73 70 6f 6e 73 65 28 32 30 36 end_response(206
3900: 29 0a 09 09 09 09 09 72 61 6e 67 65 73 20 3d 20 )......ranges =
3910: 28 29 0a 09 09 09 09 09 72 65 71 75 65 73 74 65 ()......requeste
3920: 64 5f 72 61 6e 67 65 73 2e 72 65 77 69 6e 64 28 d_ranges.rewind(
3930: 29 0a 09 09 09 09 09 77 68 69 6c 65 20 54 72 75 )......while Tru
3940: 65 3a 0a 09 09 09 09 09 09 70 61 69 72 20 3d 20 e:.......pair =
3950: 72 65 71 75 65 73 74 65 64 5f 72 61 6e 67 65 73 requested_ranges
3960: 2e 70 6f 70 28 29 0a 09 09 09 09 09 09 69 66 20 .pop().......if
3970: 70 61 69 72 5b 30 5d 20 3d 3d 20 4e 6f 6e 65 3a pair[0] == None:
3980: 0a 09 09 09 09 09 09 09 62 72 65 61 6b 0a 09 09 ........break...
3990: 09 09 09 09 72 61 6e 67 65 73 20 2b 3d 20 27 7b ....ranges += '{
39a0: 7d 2d 7b 7d 27 2e 66 6f 72 6d 61 74 28 70 61 69 }-{}'.format(pai
39b0: 72 5b 30 5d 2c 20 73 74 72 28 70 61 69 72 5b 31 r[0], str(pair[1
39c0: 5d 20 2d 20 31 29 29 2c 0a 09 09 09 09 09 73 65 ] - 1)),......se
39d0: 6c 66 2e 73 65 6e 64 5f 68 65 61 64 65 72 28 27 lf.send_header('
39e0: 63 6f 6e 74 65 6e 74 2d 72 61 6e 67 65 27 2c 20 content-range',
39f0: 27 62 79 74 65 73 20 7b 7d 2f 7b 7d 27 2e 66 6f 'bytes {}/{}'.fo
3a00: 72 6d 61 74 28 27 2c 27 2e 6a 6f 69 6e 28 72 61 rmat(','.join(ra
3a10: 6e 67 65 73 29 2c 20 69 6e 64 65 78 5b 6d 79 5f nges), index[my_
3a20: 70 61 74 68 5d 5b 27 63 6f 6e 74 65 6e 74 2d 6c path]['content-l
3a30: 65 6e 67 74 68 27 5d 29 29 0a 09 09 09 09 65 6c ength'])).....el
3a40: 73 65 3a 0a 09 09 09 09 09 73 65 6c 66 2e 73 65 se:......self.se
3a50: 6e 64 5f 72 65 73 70 6f 6e 73 65 28 32 30 30 29 nd_response(200)
3a60: 0a 09 09 09 09 09 73 65 6c 66 2e 73 65 6e 64 5f ......self.send_
3a70: 68 65 61 64 65 72 28 27 63 6f 6e 74 65 6e 74 2d header('content-
3a80: 6c 65 6e 67 74 68 27 2c 20 73 74 72 28 66 69 6c length', str(fil
3a90: 65 5f 73 74 61 74 2e 73 74 5f 73 69 7a 65 29 29 e_stat.st_size))
3aa0: 0a 09 09 09 09 09 72 65 71 75 65 73 74 65 64 5f ......requested_
3ab0: 72 61 6e 67 65 73 20 3d 20 73 70 61 63 65 6d 61 ranges = spacema
3ac0: 70 2e 53 70 61 63 65 4d 61 70 28 7b 30 3a 20 66 p.SpaceMap({0: f
3ad0: 69 6c 65 5f 73 74 61 74 2e 73 74 5f 73 69 7a 65 ile_stat.st_size
3ae0: 7d 29 0a 09 09 09 09 69 66 20 27 6c 61 73 74 2d }).....if 'last-
3af0: 6d 6f 64 69 66 69 65 64 27 20 69 6e 20 69 6e 64 modified' in ind
3b00: 65 78 5b 6d 79 5f 70 61 74 68 5d 3a 0a 09 09 09 ex[my_path]:....
3b10: 09 09 73 65 6c 66 2e 73 65 6e 64 5f 68 65 61 64 ..self.send_head
3b20: 65 72 28 27 6c 61 73 74 2d 6d 6f 64 69 66 69 65 er('last-modifie
3b30: 64 27 2c 20 69 6e 64 65 78 5b 6d 79 5f 70 61 74 d', index[my_pat
3b40: 68 5d 5b 27 6c 61 73 74 2d 6d 6f 64 69 66 69 65 h]['last-modifie
3b50: 64 27 5d 29 0a 09 09 09 09 73 65 6c 66 2e 73 65 d']).....self.se
3b60: 6e 64 5f 68 65 61 64 65 72 28 27 63 6f 6e 74 65 nd_header('conte
3b70: 6e 74 2d 74 79 70 65 27 2c 20 27 61 70 70 6c 69 nt-type', 'appli
3b80: 63 61 74 69 6f 6e 2f 6f 63 74 65 74 2d 73 74 72 cation/octet-str
3b90: 65 61 6d 27 29 0a 09 09 09 09 73 65 6c 66 2e 65 eam').....self.e
3ba0: 6e 64 5f 68 65 61 64 65 72 73 28 29 0a 09 09 09 nd_headers()....
3bb0: 09 69 66 20 73 65 6c 66 2e 63 6f 6d 6d 61 6e 64 .if self.command
3bc0: 20 69 6e 20 28 27 47 45 54 27 29 3a 0a 09 09 09 in ('GET'):....
3bd0: 09 09 69 66 20 6c 65 6e 28 72 65 71 75 65 73 74 ..if len(request
3be0: 65 64 5f 72 61 6e 67 65 73 29 20 3e 20 30 3a 0a ed_ranges) > 0:.
3bf0: 09 09 09 09 09 09 72 65 71 75 65 73 74 65 64 5f ......requested_
3c00: 72 61 6e 67 65 73 2e 72 65 77 69 6e 64 28 29 0a ranges.rewind().
3c10: 09 09 09 09 09 09 28 73 74 61 72 74 2c 20 65 6e ......(start, en
3c20: 64 29 20 3d 20 72 65 71 75 65 73 74 65 64 5f 72 d) = requested_r
3c30: 61 6e 67 65 73 2e 70 6f 70 28 29 0a 09 09 09 09 anges.pop().....
3c40: 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 73 74 61 .else:.......sta
3c50: 72 74 20 3d 20 30 0a 09 09 09 09 09 09 23 20 58 rt = 0.......# X
3c60: 58 58 20 75 67 6c 79 20 68 61 63 6b 0a 09 09 09 XX ugly hack....
3c70: 09 09 09 69 66 20 27 63 6f 6e 74 65 6e 74 2d 6c ...if 'content-l
3c80: 65 6e 67 74 68 27 20 69 6e 20 69 6e 64 65 78 5b ength' in index[
3c90: 6d 79 5f 70 61 74 68 5d 3a 0a 09 09 09 09 09 09 my_path]:.......
3ca0: 09 65 6e 64 20 3d 20 69 6e 64 65 78 5b 6d 79 5f .end = index[my_
3cb0: 70 61 74 68 5d 5b 27 63 6f 6e 74 65 6e 74 2d 6c path]['content-l
3cc0: 65 6e 67 74 68 27 5d 0a 09 09 09 09 09 09 65 6c ength'].......el
3cd0: 73 65 3a 0a 09 09 09 09 09 09 09 65 6e 64 20 3d se:........end =
3ce0: 20 30 0a 09 09 09 09 09 72 65 61 6c 5f 66 69 6c 0......real_fil
3cf0: 65 2e 73 65 65 6b 28 73 74 61 72 74 29 0a 09 09 e.seek(start)...
3d00: 09 09 09 69 66 20 62 6c 6f 63 6b 5f 73 69 7a 65 ...if block_size
3d10: 20 3e 20 65 6e 64 20 2d 20 73 74 61 72 74 3a 0a > end - start:.
3d20: 09 09 09 09 09 09 72 65 71 5f 62 6c 6f 63 6b 5f ......req_block_
3d30: 73 69 7a 65 20 3d 20 65 6e 64 20 2d 20 73 74 61 size = end - sta
3d40: 72 74 0a 09 09 09 09 09 65 6c 73 65 3a 0a 09 09 rt......else:...
3d50: 09 09 09 09 72 65 71 5f 62 6c 6f 63 6b 5f 73 69 ....req_block_si
3d60: 7a 65 20 3d 20 62 6c 6f 63 6b 5f 73 69 7a 65 0a ze = block_size.
3d70: 09 09 09 09 09 62 75 66 66 65 72 20 3d 20 72 65 .....buffer = re
3d80: 61 6c 5f 66 69 6c 65 2e 72 65 61 64 28 72 65 71 al_file.read(req
3d90: 5f 62 6c 6f 63 6b 5f 73 69 7a 65 29 0a 09 09 09 _block_size)....
3da0: 09 09 6c 65 6e 67 74 68 20 3d 20 6c 65 6e 28 62 ..length = len(b
3db0: 75 66 66 65 72 29 0a 09 09 09 09 09 77 68 69 6c uffer)......whil
3dc0: 65 20 6c 65 6e 67 74 68 20 3e 20 30 3a 0a 09 09 e length > 0:...
3dd0: 09 09 09 09 73 65 6c 66 2e 77 66 69 6c 65 2e 77 ....self.wfile.w
3de0: 72 69 74 65 28 62 75 66 66 65 72 29 0a 09 09 09 rite(buffer)....
3df0: 09 09 09 73 74 61 72 74 20 2b 3d 20 6c 65 6e 28 ...start += len(
3e00: 62 75 66 66 65 72 29 0a 09 09 09 09 09 09 69 66 buffer).......if
3e10: 20 72 65 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 20 req_block_size
3e20: 3e 20 65 6e 64 20 2d 20 73 74 61 72 74 3a 0a 09 > end - start:..
3e30: 09 09 09 09 09 09 72 65 71 5f 62 6c 6f 63 6b 5f ......req_block_
3e40: 73 69 7a 65 20 3d 20 65 6e 64 20 2d 20 73 74 61 size = end - sta
3e50: 72 74 0a 09 09 09 09 09 09 69 66 20 72 65 71 5f rt.......if req_
3e60: 62 6c 6f 63 6b 5f 73 69 7a 65 20 3d 3d 20 30 3a block_size == 0:
3e70: 0a 09 09 09 09 09 09 09 62 72 65 61 6b 0a 09 09 ........break...
3e80: 09 09 09 09 62 75 66 66 65 72 20 3d 20 72 65 61 ....buffer = rea
3e90: 6c 5f 66 69 6c 65 2e 72 65 61 64 28 72 65 71 5f l_file.read(req_
3ea0: 62 6c 6f 63 6b 5f 73 69 7a 65 29 0a 09 09 09 09 block_size).....
3eb0: 09 09 6c 65 6e 67 74 68 20 3d 20 6c 65 6e 28 62 ..length = len(b
3ec0: 75 66 66 65 72 29 0a 09 09 09 09 0a 09 64 65 66 uffer).......def
3ed0: 20 64 6f 5f 48 45 41 44 28 73 65 6c 66 29 3a 0a do_HEAD(self):.
3ee0: 09 09 72 65 74 75 72 6e 20 73 65 6c 66 2e 5f 5f ..return self.__
3ef0: 70 72 6f 63 65 73 73 28 29 0a 09 64 65 66 20 64 process()..def d
3f00: 6f 5f 47 45 54 28 73 65 6c 66 29 3a 0a 09 09 72 o_GET(self):...r
3f10: 65 74 75 72 6e 20 73 65 6c 66 2e 5f 5f 70 72 6f eturn self.__pro
3f20: 63 65 73 73 28 29 0a 0a 63 6f 6e 66 69 67 2e 73 cess()..config.s
3f30: 65 63 74 69 6f 6e 28 27 67 65 6e 65 72 61 6c 27 ection('general'
3f40: 29 0a 73 65 72 76 65 72 20 3d 20 42 61 73 65 48 ).server = BaseH
3f50: 54 54 50 53 65 72 76 65 72 2e 48 54 54 50 53 65 TTPServer.HTTPSe
3f60: 72 76 65 72 28 28 27 31 32 37 2e 30 2e 30 2e 31 rver(('127.0.0.1
3f70: 27 2c 20 69 6e 74 28 63 6f 6e 66 69 67 5b 27 70 ', int(config['p
3f80: 6f 72 74 27 5d 29 29 2c 20 4d 79 52 65 71 75 65 ort'])), MyReque
3f90: 73 74 48 61 6e 64 6c 65 72 29 0a 73 65 72 76 65 stHandler).serve
3fa0: 72 2e 73 65 72 76 65 5f 66 6f 72 65 76 65 72 28 r.serve_forever(
3fb0: 29 0a ).