0000: 23 21 2f 75 73 72 2f 62 69 6e 2f 65 6e 76 20 70 #!/usr/bin/env p
0010: 79 74 68 6f 6e 0a 0a 66 72 6f 6d 20 5f 5f 66 75 ython..from __fu
0020: 74 75 72 65 5f 5f 20 69 6d 70 6f 72 74 20 75 6e ture__ import un
0030: 69 63 6f 64 65 5f 6c 69 74 65 72 61 6c 73 2c 20 icode_literals,
0040: 70 72 69 6e 74 5f 66 75 6e 63 74 69 6f 6e 0a 0a print_function..
0050: 23 69 6d 70 6f 72 74 20 67 65 76 65 6e 74 2e 6d #import gevent.m
0060: 6f 6e 6b 65 79 0a 23 67 65 76 65 6e 74 2e 6d 6f onkey.#gevent.mo
0070: 6e 6b 65 79 2e 70 61 74 63 68 5f 61 6c 6c 28 29 nkey.patch_all()
0080: 0a 0a 69 6d 70 6f 72 74 20 62 73 64 64 62 2e 64 ..import bsddb.d
0090: 62 73 68 65 6c 76 65 2c 20 63 6f 70 79 2c 20 64 bshelve, copy, d
00a0: 61 74 65 74 69 6d 65 2c 20 6f 73 2c 20 42 61 73 atetime, os, Bas
00b0: 65 48 54 54 50 53 65 72 76 65 72 2c 20 73 79 73 eHTTPServer, sys
00c0: 2c 20 73 70 61 63 65 6d 61 70 2c 20 72 65 2c 20 , spacemap, re,
00d0: 75 72 6c 6c 69 62 32 0a 0a 63 6c 61 73 73 20 43 urllib2..class C
00e0: 6f 6e 66 69 67 3a 0a 09 5f 5f 73 6c 6f 74 73 5f onfig:..__slots_
00f0: 5f 20 3d 20 66 72 6f 7a 65 6e 73 65 74 28 5b 27 _ = frozenset(['
0100: 5f 63 6f 6e 66 69 67 27 2c 20 27 5f 64 65 66 61 _config', '_defa
0110: 75 6c 74 27 2c 20 27 5f 73 65 63 74 69 6f 6e 27 ult', '_section'
0120: 2c 20 27 6f 70 74 69 6f 6e 73 27 2c 20 27 72 6f , 'options', 'ro
0130: 6f 74 27 5d 29 0a 09 5f 64 65 66 61 75 6c 74 20 ot']).._default
0140: 3d 20 7b 0a 09 09 27 67 65 6e 65 72 61 6c 27 3a = {...'general':
0150: 20 7b 0a 09 09 09 27 70 6f 72 74 27 3a 20 27 38 {....'port': '8
0160: 30 30 38 27 2c 0a 09 09 7d 2c 0a 09 09 27 5f 6f 008',...},...'_o
0170: 74 68 65 72 27 3a 20 7b 0a 09 09 09 27 76 65 72 ther': {....'ver
0180: 62 6f 73 65 27 3a 20 27 6e 6f 27 2c 0a 09 09 09 bose': 'no',....
0190: 27 6e 6f 65 74 61 67 27 3a 20 27 6e 6f 27 2c 0a 'noetag': 'no',.
01a0: 09 09 09 27 6e 6f 70 61 72 74 73 27 3a 20 27 6e ...'noparts': 'n
01b0: 6f 27 2c 0a 09 09 09 27 73 74 72 69 70 27 3a 20 o',....'strip':
01c0: 27 27 2c 0a 09 09 09 27 73 75 62 27 3a 20 27 27 '',....'sub': ''
01d0: 2c 0a 09 09 09 27 70 72 6f 74 6f 27 3a 20 27 68 ,....'proto': 'h
01e0: 74 74 70 27 2c 0a 09 7d 2c 7d 0a 0a 09 23 20 66 ttp',..},}...# f
01f0: 75 6e 63 74 69 6f 6e 20 74 6f 20 72 65 61 64 20 unction to read
0200: 69 6e 20 63 6f 6e 66 69 67 20 66 69 6c 65 0a 09 in config file..
0210: 64 65 66 20 5f 5f 69 6e 69 74 5f 5f 28 73 65 6c def __init__(sel
0220: 66 29 3a 0a 09 09 69 6d 70 6f 72 74 20 43 6f 6e f):...import Con
0230: 66 69 67 50 61 72 73 65 72 2c 20 6f 70 74 70 61 figParser, optpa
0240: 72 73 65 0a 0a 09 09 70 61 72 73 65 72 20 3d 20 rse....parser =
0250: 6f 70 74 70 61 72 73 65 2e 4f 70 74 69 6f 6e 50 optparse.OptionP
0260: 61 72 73 65 72 28 29 0a 09 09 70 61 72 73 65 72 arser()...parser
0270: 2e 61 64 64 5f 6f 70 74 69 6f 6e 28 27 2d 63 27 .add_option('-c'
0280: 2c 20 27 2d 2d 63 6f 6e 66 69 67 27 2c 20 64 65 , '--config', de
0290: 73 74 20 3d 20 27 63 6f 6e 66 69 67 27 2c 20 68 st = 'config', h
02a0: 65 6c 70 20 3d 20 27 63 6f 6e 66 69 67 20 66 69 elp = 'config fi
02b0: 6c 65 20 6c 6f 63 61 74 69 6f 6e 27 2c 20 6d 65 le location', me
02c0: 74 61 76 61 72 20 3d 20 27 46 49 4c 45 27 2c 20 tavar = 'FILE',
02d0: 64 65 66 61 75 6c 74 20 3d 20 27 73 61 6d 65 73 default = 'sames
02e0: 69 74 65 2e 63 6f 6e 66 27 29 0a 09 09 28 73 65 ite.conf')...(se
02f0: 6c 66 2e 6f 70 74 69 6f 6e 73 2c 20 61 72 67 73 lf.options, args
0300: 29 20 3d 20 70 61 72 73 65 72 2e 70 61 72 73 65 ) = parser.parse
0310: 5f 61 72 67 73 28 29 0a 0a 09 09 61 73 73 65 72 _args()....asser
0320: 74 20 6f 73 2e 61 63 63 65 73 73 28 73 65 6c 66 t os.access(self
0330: 2e 6f 70 74 69 6f 6e 73 2e 63 6f 6e 66 69 67 2c .options.config,
0340: 20 6f 73 2e 52 5f 4f 4b 29 2c 20 22 46 61 74 61 os.R_OK), "Fata
0350: 6c 20 65 72 72 6f 72 3a 20 63 61 6e 27 74 20 72 l error: can't r
0360: 65 61 64 20 7b 7d 22 2e 66 6f 72 6d 61 74 28 73 ead {}".format(s
0370: 65 6c 66 2e 6f 70 74 69 6f 6e 73 2e 63 6f 6e 66 elf.options.conf
0380: 69 67 29 0a 0a 09 09 63 6f 6e 66 69 67 44 69 72 ig)....configDir
0390: 20 3d 20 72 65 2e 63 6f 6d 70 69 6c 65 28 27 5e = re.compile('^
03a0: 28 2e 2a 29 2f 5b 5e 2f 5d 2b 24 27 29 2e 6d 61 (.*)/[^/]+$').ma
03b0: 74 63 68 28 73 65 6c 66 2e 6f 70 74 69 6f 6e 73 tch(self.options
03c0: 2e 63 6f 6e 66 69 67 29 0a 09 09 69 66 20 63 6f .config)...if co
03d0: 6e 66 69 67 44 69 72 3a 0a 09 09 09 73 65 6c 66 nfigDir:....self
03e0: 2e 72 6f 6f 74 20 3d 20 63 6f 6e 66 69 67 44 69 .root = configDi
03f0: 72 2e 67 72 6f 75 70 28 31 29 0a 09 09 65 6c 73 r.group(1)...els
0400: 65 3a 0a 09 09 09 73 65 6c 66 2e 72 6f 6f 74 20 e:....self.root
0410: 3d 20 6f 73 2e 67 65 74 63 77 64 28 29 0a 0a 09 = os.getcwd()...
0420: 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 20 3d 20 .self._config =
0430: 43 6f 6e 66 69 67 50 61 72 73 65 72 2e 43 6f 6e ConfigParser.Con
0440: 66 69 67 50 61 72 73 65 72 28 29 0a 09 09 73 65 figParser()...se
0450: 6c 66 2e 5f 63 6f 6e 66 69 67 2e 72 65 61 64 66 lf._config.readf
0460: 70 28 6f 70 65 6e 28 73 65 6c 66 2e 6f 70 74 69 p(open(self.opti
0470: 6f 6e 73 2e 63 6f 6e 66 69 67 29 29 0a 0a 09 09 ons.config))....
0480: 66 6f 72 20 73 65 63 74 69 6f 6e 20 69 6e 20 73 for section in s
0490: 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 73 65 63 74 elf._config.sect
04a0: 69 6f 6e 73 28 29 3a 0a 09 09 09 69 66 20 73 65 ions():....if se
04b0: 63 74 69 6f 6e 20 21 3d 20 27 67 65 6e 65 72 61 ction != 'genera
04c0: 6c 27 3a 0a 09 09 09 09 69 66 20 73 65 6c 66 2e l':.....if self.
04d0: 5f 63 6f 6e 66 69 67 2e 68 61 73 5f 6f 70 74 69 _config.has_opti
04e0: 6f 6e 28 73 65 63 74 69 6f 6e 2c 20 27 64 69 72 on(section, 'dir
04f0: 27 29 3a 0a 09 09 09 09 09 69 66 20 72 65 2e 63 '):......if re.c
0500: 6f 6d 70 69 6c 65 28 27 5e 2f 24 27 29 2e 6d 61 ompile('^/$').ma
0510: 74 63 68 28 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 tch(self._config
0520: 2e 67 65 74 28 73 65 63 74 69 6f 6e 2c 20 27 64 .get(section, 'd
0530: 69 72 27 29 29 3a 0a 09 09 09 09 09 09 73 65 6c ir')):.......sel
0540: 66 2e 5f 63 6f 6e 66 69 67 2e 73 65 74 28 73 65 f._config.set(se
0550: 63 74 69 6f 6e 2c 20 27 64 69 72 27 2c 20 73 65 ction, 'dir', se
0560: 6c 66 2e 72 6f 6f 74 20 2b 20 6f 73 2e 73 65 70 lf.root + os.sep
0570: 20 2b 20 73 65 63 74 69 6f 6e 29 0a 09 09 09 09 + section).....
0580: 09 74 68 69 73 44 69 72 20 3d 20 72 65 2e 63 6f .thisDir = re.co
0590: 6d 70 69 6c 65 28 27 5e 28 2e 2a 29 2f 24 27 29 mpile('^(.*)/$')
05a0: 2e 6d 61 74 63 68 28 73 65 6c 66 2e 5f 63 6f 6e .match(self._con
05b0: 66 69 67 2e 67 65 74 28 73 65 63 74 69 6f 6e 2c fig.get(section,
05c0: 20 27 64 69 72 27 29 29 0a 09 09 09 09 09 69 66 'dir'))......if
05d0: 20 74 68 69 73 44 69 72 3a 0a 09 09 09 09 09 09 thisDir:.......
05e0: 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 73 65 74 self._config.set
05f0: 28 73 65 63 74 69 6f 6e 2c 20 27 64 69 72 27 2c (section, 'dir',
0600: 20 74 68 69 73 44 69 72 2e 67 72 6f 75 70 28 31 thisDir.group(1
0610: 29 29 0a 09 09 09 09 09 69 66 20 6e 6f 74 20 72 ))......if not r
0620: 65 2e 63 6f 6d 70 69 6c 65 28 27 5e 2f 28 2e 2a e.compile('^/(.*
0630: 29 24 27 29 2e 6d 61 74 63 68 28 73 65 6c 66 2e )$').match(self.
0640: 5f 63 6f 6e 66 69 67 2e 67 65 74 28 73 65 63 74 _config.get(sect
0650: 69 6f 6e 2c 20 27 64 69 72 27 29 29 3a 0a 09 09 ion, 'dir')):...
0660: 09 09 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 ....self._config
0670: 2e 73 65 74 28 73 65 63 74 69 6f 6e 2c 20 27 64 .set(section, 'd
0680: 69 72 27 2c 20 73 65 6c 66 2e 72 6f 6f 74 20 2b ir', self.root +
0690: 20 6f 73 2e 73 65 70 20 2b 20 73 65 6c 66 2e 5f os.sep + self._
06a0: 63 6f 6e 66 69 67 2e 67 65 74 28 73 65 63 74 69 config.get(secti
06b0: 6f 6e 2c 20 27 64 69 72 27 29 29 0a 09 09 09 09 on, 'dir')).....
06c0: 65 6c 73 65 3a 0a 09 09 09 09 09 73 65 6c 66 2e else:......self.
06d0: 5f 63 6f 6e 66 69 67 2e 73 65 74 28 73 65 63 74 _config.set(sect
06e0: 69 6f 6e 2c 20 27 64 69 72 27 2c 20 73 65 6c 66 ion, 'dir', self
06f0: 2e 72 6f 6f 74 20 2b 20 6f 73 2e 73 65 70 20 2b .root + os.sep +
0700: 20 73 65 63 74 69 6f 6e 29 0a 0a 09 09 09 09 69 section)......i
0710: 66 20 6e 6f 74 20 73 65 6c 66 2e 5f 63 6f 6e 66 f not self._conf
0720: 69 67 2e 68 61 73 5f 6f 70 74 69 6f 6e 28 73 65 ig.has_option(se
0730: 63 74 69 6f 6e 2c 20 27 72 6f 6f 74 27 29 3a 0a ction, 'root'):.
0740: 09 09 09 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 .....self._confi
0750: 67 2e 73 65 74 28 73 65 63 74 69 6f 6e 2c 20 27 g.set(section, '
0760: 72 6f 6f 74 27 2c 20 73 65 63 74 69 6f 6e 29 0a root', section).
0770: 0a 09 23 20 66 75 6e 63 74 69 6f 6e 20 74 6f 20 ..# function to
0780: 73 65 6c 65 63 74 20 63 6f 6e 66 69 67 20 66 69 select config fi
0790: 6c 65 20 73 65 63 74 69 6f 6e 20 6f 72 20 63 72 le section or cr
07a0: 65 61 74 65 20 6f 6e 65 0a 09 64 65 66 20 73 65 eate one..def se
07b0: 63 74 69 6f 6e 28 73 65 6c 66 2c 20 73 65 63 74 ction(self, sect
07c0: 69 6f 6e 29 3a 0a 09 09 69 66 20 6e 6f 74 20 73 ion):...if not s
07d0: 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 68 61 73 5f elf._config.has_
07e0: 73 65 63 74 69 6f 6e 28 73 65 63 74 69 6f 6e 29 section(section)
07f0: 3a 0a 09 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 :....self._confi
0800: 67 2e 61 64 64 5f 73 65 63 74 69 6f 6e 28 73 65 g.add_section(se
0810: 63 74 69 6f 6e 29 0a 09 09 73 65 6c 66 2e 5f 73 ction)...self._s
0820: 65 63 74 69 6f 6e 20 3d 20 73 65 63 74 69 6f 6e ection = section
0830: 0a 0a 09 23 20 66 75 6e 63 74 69 6f 6e 20 74 6f ...# function to
0840: 20 67 65 74 20 63 6f 6e 66 69 67 20 70 61 72 61 get config para
0850: 6d 65 74 65 72 2c 20 69 66 20 70 61 72 61 6d 65 meter, if parame
0860: 74 65 72 20 64 6f 65 73 6e 27 74 20 65 78 69 73 ter doesn't exis
0870: 74 73 20 74 68 65 20 64 65 66 61 75 6c 74 0a 09 ts the default..
0880: 23 20 76 61 6c 75 65 20 6f 72 20 4e 6f 6e 65 20 # value or None
0890: 69 73 20 73 75 62 73 74 69 74 75 74 65 64 0a 09 is substituted..
08a0: 64 65 66 20 5f 5f 67 65 74 69 74 65 6d 5f 5f 28 def __getitem__(
08b0: 73 65 6c 66 2c 20 6e 61 6d 65 29 3a 0a 09 09 69 self, name):...i
08c0: 66 20 6e 6f 74 20 73 65 6c 66 2e 5f 63 6f 6e 66 f not self._conf
08d0: 69 67 2e 68 61 73 5f 6f 70 74 69 6f 6e 28 73 65 ig.has_option(se
08e0: 6c 66 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e 61 6d lf._section, nam
08f0: 65 29 3a 0a 09 09 09 69 66 20 73 65 6c 66 2e 5f e):....if self._
0900: 73 65 63 74 69 6f 6e 20 69 6e 20 73 65 6c 66 2e section in self.
0910: 5f 64 65 66 61 75 6c 74 3a 0a 09 09 09 09 69 66 _default:.....if
0920: 20 6e 61 6d 65 20 69 6e 20 73 65 6c 66 2e 5f 64 name in self._d
0930: 65 66 61 75 6c 74 5b 73 65 6c 66 2e 5f 73 65 63 efault[self._sec
0940: 74 69 6f 6e 5d 3a 0a 09 09 09 09 09 73 65 6c 66 tion]:......self
0950: 2e 5f 63 6f 6e 66 69 67 2e 73 65 74 28 73 65 6c ._config.set(sel
0960: 66 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e 61 6d 65 f._section, name
0970: 2c 20 73 65 6c 66 2e 5f 64 65 66 61 75 6c 74 5b , self._default[
0980: 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 5d 5b 6e self._section][n
0990: 61 6d 65 5d 29 0a 09 09 09 09 65 6c 73 65 3a 0a ame]).....else:.
09a0: 09 09 09 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 .....self._confi
09b0: 67 2e 73 65 74 28 73 65 6c 66 2e 5f 73 65 63 74 g.set(self._sect
09c0: 69 6f 6e 2c 20 6e 61 6d 65 2c 20 4e 6f 6e 65 29 ion, name, None)
09d0: 0a 09 09 09 65 6c 69 66 20 6e 61 6d 65 20 69 6e ....elif name in
09e0: 20 73 65 6c 66 2e 5f 64 65 66 61 75 6c 74 5b 27 self._default['
09f0: 5f 6f 74 68 65 72 27 5d 3a 0a 09 09 09 09 73 65 _other']:.....se
0a00: 6c 66 2e 5f 63 6f 6e 66 69 67 2e 73 65 74 28 73 lf._config.set(s
0a10: 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e 61 elf._section, na
0a20: 6d 65 2c 20 73 65 6c 66 2e 5f 64 65 66 61 75 6c me, self._defaul
0a30: 74 5b 27 5f 6f 74 68 65 72 27 5d 5b 6e 61 6d 65 t['_other'][name
0a40: 5d 29 0a 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 ])....else:.....
0a50: 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 73 65 74 self._config.set
0a60: 28 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 2c 20 (self._section,
0a70: 6e 61 6d 65 2c 20 4e 6f 6e 65 29 0a 09 09 72 65 name, None)...re
0a80: 74 75 72 6e 28 73 65 6c 66 2e 5f 63 6f 6e 66 69 turn(self._confi
0a90: 67 2e 67 65 74 28 73 65 6c 66 2e 5f 73 65 63 74 g.get(self._sect
0aa0: 69 6f 6e 2c 20 6e 61 6d 65 29 29 0a 0a 63 6f 6e ion, name))..con
0ab0: 66 69 67 20 3d 20 43 6f 6e 66 69 67 28 29 0a 0a fig = Config()..
0ac0: 23 61 73 73 65 72 74 20 6f 70 74 69 6f 6e 73 2e #assert options.
0ad0: 70 6f 72 74 20 6f 72 20 6f 73 2e 61 63 63 65 73 port or os.acces
0ae0: 73 28 6f 70 74 69 6f 6e 73 2e 6c 6f 67 2c 20 6f s(options.log, o
0af0: 73 2e 52 5f 4f 4b 29 2c 20 27 4c 6f 67 20 66 69 s.R_OK), 'Log fi
0b00: 6c 65 20 75 6e 72 65 61 64 61 62 6c 65 27 0a 0a le unreadable'..
0b10: 63 6f 6e 73 74 5f 64 65 73 63 5f 66 69 65 6c 64 const_desc_field
0b20: 73 20 3d 20 73 65 74 28 5b 27 63 6f 6e 74 65 6e s = set(['conten
0b30: 74 2d 6c 65 6e 67 74 68 27 2c 20 27 6c 61 73 74 t-length', 'last
0b40: 2d 6d 6f 64 69 66 69 65 64 27 2c 20 27 70 72 61 -modified', 'pra
0b50: 67 6d 61 27 5d 29 0a 63 6f 6e 73 74 5f 69 67 6e gma']).const_ign
0b60: 6f 72 65 5f 66 69 65 6c 64 73 20 3d 20 73 65 74 ore_fields = set
0b70: 28 5b 0a 09 27 61 63 63 65 70 74 2d 72 61 6e 67 ([..'accept-rang
0b80: 65 73 27 2c 20 27 61 67 65 27 2c 0a 09 27 63 61 es', 'age',..'ca
0b90: 63 68 65 2d 63 6f 6e 74 72 6f 6c 27 2c 20 27 63 che-control', 'c
0ba0: 6f 6e 6e 65 63 74 69 6f 6e 27 2c 20 27 63 6f 6e onnection', 'con
0bb0: 74 65 6e 74 2d 74 79 70 65 27 2c 0a 09 27 64 61 tent-type',..'da
0bc0: 74 65 27 2c 0a 09 27 65 78 70 69 72 65 73 27 2c te',..'expires',
0bd0: 0a 09 27 72 65 66 65 72 65 72 27 2c 0a 09 27 73 ..'referer',..'s
0be0: 65 72 76 65 72 27 2c 0a 09 27 76 69 61 27 2c 0a erver',..'via',.
0bf0: 09 27 78 2d 63 61 63 68 65 27 2c 20 27 78 2d 63 .'x-cache', 'x-c
0c00: 61 63 68 65 2d 6c 6f 6f 6b 75 70 27 2c 20 27 78 ache-lookup', 'x
0c10: 2d 6c 69 76 65 74 6f 6f 6c 27 2c 20 27 78 2d 70 -livetool', 'x-p
0c20: 6f 77 65 72 65 64 2d 62 79 27 2c 0a 5d 29 0a 0a owered-by',.])..
0c30: 62 6c 6f 63 6b 5f 73 69 7a 65 20 3d 20 38 31 39 block_size = 819
0c40: 32 0a 0a 63 6c 61 73 73 20 4d 79 52 65 71 75 65 2..class MyReque
0c50: 73 74 48 61 6e 64 6c 65 72 28 42 61 73 65 48 54 stHandler(BaseHT
0c60: 54 50 53 65 72 76 65 72 2e 42 61 73 65 48 54 54 TPServer.BaseHTT
0c70: 50 52 65 71 75 65 73 74 48 61 6e 64 6c 65 72 29 PRequestHandler)
0c80: 3a 0a 09 64 65 66 20 5f 5f 70 72 6f 63 65 73 73 :..def __process
0c90: 28 73 65 6c 66 29 3a 0a 09 09 23 20 72 65 6c 6f (self):...# relo
0ca0: 61 64 20 6d 65 61 6e 73 20 66 69 6c 65 20 6e 65 ad means file ne
0cb0: 65 64 73 20 74 6f 20 62 65 20 72 65 6c 6f 61 64 eds to be reload
0cc0: 65 64 20 74 6f 20 73 65 72 76 65 20 72 65 71 75 ed to serve requ
0cd0: 65 73 74 0a 09 09 72 65 6c 6f 61 64 20 3d 20 46 est...reload = F
0ce0: 61 6c 73 65 0a 09 09 23 20 72 65 63 68 65 63 6b alse...# recheck
0cf0: 20 6d 65 61 6e 73 20 66 69 6c 65 20 6e 65 65 64 means file need
0d00: 73 20 74 6f 20 62 65 20 63 68 65 63 6b 65 64 2c s to be checked,
0d10: 20 74 68 69 73 20 61 6c 73 6f 20 6d 65 61 6e 73 this also means
0d20: 20 74 68 61 74 20 69 66 20 66 69 6c 65 20 68 61 that if file ha
0d30: 76 20 62 65 65 6e 20 6d 6f 64 69 66 69 65 64 20 v been modified
0d40: 77 65 20 63 61 6e 20 73 65 72 76 65 20 6f 6c 64 we can serve old
0d50: 65 72 20 63 6f 70 79 0a 09 09 72 65 63 68 65 63 er copy...rechec
0d60: 6b 20 3d 20 46 61 6c 73 65 0a 09 09 23 20 66 69 k = False...# fi
0d70: 6c 65 5f 73 74 61 74 20 6d 65 61 6e 73 20 66 69 le_stat means fi
0d80: 6c 65 20 64 65 66 69 6e 69 74 65 6c 79 20 65 78 le definitely ex
0d90: 69 73 74 73 0a 09 09 66 69 6c 65 5f 73 74 61 74 ists...file_stat
0da0: 20 3d 20 4e 6f 6e 65 0a 09 09 23 20 72 65 71 75 = None...# requ
0db0: 65 73 74 65 64 5f 72 61 6e 67 65 73 20 68 6f 6c ested_ranges hol
0dc0: 64 73 20 64 61 74 61 20 61 62 6f 75 74 20 61 6e ds data about an
0dd0: 79 20 72 61 6e 67 65 20 72 65 71 75 65 73 74 65 y range requeste
0de0: 64 0a 09 09 72 65 71 75 65 73 74 65 64 5f 72 61 d...requested_ra
0df0: 6e 67 65 73 20 3d 20 4e 6f 6e 65 0a 09 09 23 20 nges = None...#
0e00: 72 65 63 6f 72 64 73 20 68 6f 6c 64 73 20 64 61 records holds da
0e10: 74 61 20 66 72 6f 6d 20 69 6e 64 65 78 20 6c 6f ta from index lo
0e20: 63 61 6c 6c 79 2c 20 73 68 6f 75 6c 64 20 62 65 cally, should be
0e30: 20 77 72 69 74 74 65 6e 20 62 61 63 6b 20 75 70 written back up
0e40: 6f 6e 20 73 75 63 63 65 73 73 66 75 6c 6c 20 63 on successfull c
0e50: 6f 6d 70 6c 65 74 69 6f 6e 0a 09 09 72 65 63 6f ompletion...reco
0e60: 72 64 20 3d 20 4e 6f 6e 65 0a 0a 09 09 6d 79 50 rd = None....myP
0e70: 61 74 68 20 3d 20 72 65 2e 63 6f 6d 70 69 6c 65 ath = re.compile
0e80: 28 27 5e 28 2e 2a 3f 29 28 5c 3f 2e 2a 29 24 27 ('^(.*?)(\?.*)$'
0e90: 29 2e 6d 61 74 63 68 28 73 65 6c 66 2e 70 61 74 ).match(self.pat
0ea0: 68 29 0a 09 09 69 66 20 6d 79 50 61 74 68 3a 0a h)...if myPath:.
0eb0: 09 09 09 6d 79 5f 70 61 74 68 20 3d 20 6d 79 50 ...my_path = myP
0ec0: 61 74 68 2e 67 72 6f 75 70 28 31 29 0a 09 09 65 ath.group(1)...e
0ed0: 6c 73 65 3a 0a 09 09 09 6d 79 5f 70 61 74 68 20 lse:....my_path
0ee0: 3d 20 73 65 6c 66 2e 70 61 74 68 0a 0a 09 09 63 = self.path....c
0ef0: 6f 6e 66 69 67 2e 73 65 63 74 69 6f 6e 28 73 65 onfig.section(se
0f00: 6c 66 2e 68 65 61 64 65 72 73 5b 27 68 6f 73 74 lf.headers['host
0f10: 27 5d 29 0a 0a 09 09 69 66 20 63 6f 6e 66 69 67 '])....if config
0f20: 5b 27 73 75 62 27 5d 20 21 3d 20 4e 6f 6e 65 20 ['sub'] != None
0f30: 61 6e 64 20 63 6f 6e 66 69 67 5b 27 73 74 72 69 and config['stri
0f40: 70 27 5d 20 21 3d 20 4e 6f 6e 65 20 61 6e 64 20 p'] != None and
0f50: 6c 65 6e 28 63 6f 6e 66 69 67 5b 27 73 74 72 69 len(config['stri
0f60: 70 27 5d 29 20 3e 20 30 3a 0a 09 09 09 73 74 72 p']) > 0:....str
0f70: 69 6e 67 20 3d 20 72 65 2e 63 6f 6d 70 69 6c 65 ing = re.compile
0f80: 28 63 6f 6e 66 69 67 5b 27 73 74 72 69 70 27 5d (config['strip']
0f90: 29 2e 73 75 62 28 63 6f 6e 66 69 67 5b 27 73 75 ).sub(config['su
0fa0: 62 27 5d 2c 20 6d 79 5f 70 61 74 68 29 0a 09 09 b'], my_path)...
0fb0: 09 6d 79 5f 70 61 74 68 20 3d 20 73 74 72 69 6e .my_path = strin
0fc0: 67 0a 0a 09 09 69 6e 66 6f 20 3d 20 27 43 68 65 g....info = 'Che
0fd0: 63 6b 69 6e 67 20 66 69 6c 65 3a 20 27 20 2b 20 cking file: ' +
0fe0: 6d 79 5f 70 61 74 68 0a 0a 09 09 69 66 20 6e 6f my_path....if no
0ff0: 74 20 6f 73 2e 61 63 63 65 73 73 28 63 6f 6e 66 t os.access(conf
1000: 69 67 5b 27 64 69 72 27 5d 2c 20 6f 73 2e 58 5f ig['dir'], os.X_
1010: 4f 4b 29 3a 0a 09 09 09 6f 73 2e 6d 6b 64 69 72 OK):....os.mkdir
1020: 28 63 6f 6e 66 69 67 5b 27 64 69 72 27 5d 29 0a (config['dir']).
1030: 09 09 23 20 74 68 69 73 20 69 73 20 66 69 6c 65 ..# this is file
1040: 20 69 6e 64 65 78 20 2d 20 65 76 65 72 79 74 68 index - everyth
1050: 69 6e 67 20 69 73 20 73 74 6f 72 65 64 20 69 6e ing is stored in
1060: 20 74 68 69 73 20 66 69 6c 65 0a 09 09 23 20 5f this file...# _
1070: 70 61 72 74 73 20 2d 20 6c 69 73 74 20 6f 66 20 parts - list of
1080: 73 74 6f 72 65 64 20 70 61 72 74 73 20 6f 66 20 stored parts of
1090: 66 69 6c 65 0a 09 09 23 20 5f 74 69 6d 65 20 2d file...# _time -
10a0: 20 6c 61 73 74 20 74 69 6d 65 20 74 68 65 20 66 last time the f
10b0: 69 6c 65 20 77 61 73 20 63 68 65 63 6b 65 64 0a ile was checked.
10c0: 09 09 23 20 65 76 65 72 79 74 68 69 6e 67 20 65 ..# everything e
10d0: 6c 73 65 20 69 73 20 6a 75 73 74 20 74 68 65 20 lse is just the
10e0: 68 65 61 64 65 72 73 0a 09 09 69 6e 64 65 78 20 headers...index
10f0: 3d 20 62 73 64 64 62 2e 64 62 73 68 65 6c 76 65 = bsddb.dbshelve
1100: 2e 6f 70 65 6e 28 63 6f 6e 66 69 67 5b 27 64 69 .open(config['di
1110: 72 27 5d 20 2b 20 6f 73 2e 73 65 70 20 2b 20 27 r'] + os.sep + '
1120: 2e 69 6e 64 65 78 27 29 0a 0a 09 09 64 65 73 63 .index')....desc
1130: 5f 66 69 65 6c 64 73 20 3d 20 63 6f 6e 73 74 5f _fields = const_
1140: 64 65 73 63 5f 66 69 65 6c 64 73 2e 63 6f 70 79 desc_fields.copy
1150: 28 29 0a 09 09 69 67 6e 6f 72 65 5f 66 69 65 6c ()...ignore_fiel
1160: 64 73 20 3d 20 63 6f 6e 73 74 5f 69 67 6e 6f 72 ds = const_ignor
1170: 65 5f 66 69 65 6c 64 73 2e 63 6f 70 79 28 29 0a e_fields.copy().
1180: 09 09 69 66 20 63 6f 6e 66 69 67 5b 27 6e 6f 65 ..if config['noe
1190: 74 61 67 27 5d 20 3d 3d 20 27 6e 6f 27 3a 0a 09 tag'] == 'no':..
11a0: 09 09 64 65 73 63 5f 66 69 65 6c 64 73 2e 61 64 ..desc_fields.ad
11b0: 64 28 27 65 74 61 67 27 29 0a 09 09 65 6c 73 65 d('etag')...else
11c0: 3a 0a 09 09 09 69 67 6e 6f 72 65 5f 66 69 65 6c :....ignore_fiel
11d0: 64 73 2e 61 64 64 28 27 65 74 61 67 27 29 0a 0a ds.add('etag')..
11e0: 09 09 70 72 6f 78 79 5f 69 67 6e 6f 72 65 64 20 ..proxy_ignored
11f0: 3d 20 73 65 74 28 5b 0a 09 09 09 27 61 63 63 65 = set([....'acce
1200: 70 74 27 2c 20 27 61 63 63 65 70 74 2d 63 68 61 pt', 'accept-cha
1210: 72 73 65 74 27 2c 20 27 61 63 63 65 70 74 2d 65 rset', 'accept-e
1220: 6e 63 6f 64 69 6e 67 27 2c 20 27 61 63 63 65 70 ncoding', 'accep
1230: 74 2d 6c 61 6e 67 75 61 67 65 27 2c 0a 09 09 09 t-language',....
1240: 27 63 61 63 68 65 2d 63 6f 6e 74 72 6f 6c 27 2c 'cache-control',
1250: 20 27 63 6f 6e 6e 65 63 74 69 6f 6e 27 2c 20 27 'connection', '
1260: 63 6f 6e 74 65 6e 74 2d 6c 65 6e 67 74 68 27 2c content-length',
1270: 20 27 63 6f 6f 6b 69 65 27 2c 0a 09 09 09 27 68 'cookie',....'h
1280: 6f 73 74 27 2c 0a 09 09 09 27 69 66 2d 6d 6f 64 ost',....'if-mod
1290: 69 66 69 65 64 2d 73 69 6e 63 65 27 2c 20 27 69 ified-since', 'i
12a0: 66 2d 75 6e 6d 6f 64 69 66 69 65 64 2d 73 69 6e f-unmodified-sin
12b0: 63 65 27 2c 0a 09 09 09 27 72 65 66 65 72 65 72 ce',....'referer
12c0: 27 2c 0a 09 09 09 27 75 61 2d 63 70 75 27 2c 20 ',....'ua-cpu',
12d0: 27 75 73 65 72 2d 61 67 65 6e 74 27 2c 0a 09 09 'user-agent',...
12e0: 09 27 76 69 61 27 2c 0a 09 09 09 27 78 2d 66 6f .'via',....'x-fo
12f0: 72 77 61 72 64 65 64 2d 66 6f 72 27 2c 20 27 78 rwarded-for', 'x
1300: 2d 6c 61 73 74 2d 68 72 27 2c 20 27 78 2d 6c 61 -last-hr', 'x-la
1310: 73 74 2d 68 74 74 70 2d 73 74 61 74 75 73 2d 63 st-http-status-c
1320: 6f 64 65 27 2c 20 27 78 2d 72 65 6d 6f 76 65 64 ode', 'x-removed
1330: 27 2c 20 27 78 2d 72 65 61 6c 2d 69 70 27 2c 20 ', 'x-real-ip',
1340: 27 78 2d 72 65 74 72 79 2d 63 6f 75 6e 74 27 2c 'x-retry-count',
1350: 0a 09 09 5d 29 0a 0a 09 09 70 72 69 6e 74 28 27 ...])....print('
1360: 3d 3d 3d 3d 3d 3d 3d 3d 3d 3d 3d 3d 3d 3d 3d 5b ===============[
1370: 20 7b 7d 20 72 65 71 75 65 73 74 20 5d 3d 3d 3d {} request ]===
1380: 27 2e 66 6f 72 6d 61 74 28 73 65 6c 66 2e 63 6f '.format(self.co
1390: 6d 6d 61 6e 64 29 29 0a 0a 09 09 66 6f 72 20 68 mmand))....for h
13a0: 65 61 64 65 72 20 69 6e 20 73 65 6c 66 2e 68 65 eader in self.he
13b0: 61 64 65 72 73 3a 0a 09 09 09 69 66 20 68 65 61 aders:....if hea
13c0: 64 65 72 20 69 6e 20 70 72 6f 78 79 5f 69 67 6e der in proxy_ign
13d0: 6f 72 65 64 3a 0a 09 09 09 09 70 61 73 73 0a 09 ored:.....pass..
13e0: 09 09 65 6c 69 66 20 68 65 61 64 65 72 20 69 6e ..elif header in
13f0: 20 28 27 72 61 6e 67 65 27 29 3a 0a 09 09 09 09 ('range'):.....
1400: 69 73 52 61 6e 67 65 20 3d 20 72 65 2e 63 6f 6d isRange = re.com
1410: 70 69 6c 65 28 27 62 79 74 65 73 3d 28 5c 64 2b pile('bytes=(\d+
1420: 29 2d 28 5c 64 2b 29 27 29 2e 6d 61 74 63 68 28 )-(\d+)').match(
1430: 73 65 6c 66 2e 68 65 61 64 65 72 73 5b 68 65 61 self.headers[hea
1440: 64 65 72 5d 29 0a 09 09 09 09 69 66 20 69 73 52 der]).....if isR
1450: 61 6e 67 65 3a 0a 09 09 09 09 09 72 65 71 75 65 ange:......reque
1460: 73 74 65 64 5f 72 61 6e 67 65 73 20 3d 20 73 70 sted_ranges = sp
1470: 61 63 65 6d 61 70 2e 53 70 61 63 65 4d 61 70 28 acemap.SpaceMap(
1480: 7b 69 6e 74 28 69 73 52 61 6e 67 65 2e 67 72 6f {int(isRange.gro
1490: 75 70 28 31 29 29 3a 20 69 6e 74 28 69 73 52 61 up(1)): int(isRa
14a0: 6e 67 65 2e 67 72 6f 75 70 28 32 29 29 20 2b 20 nge.group(2)) +
14b0: 31 7d 29 0a 09 09 09 09 65 6c 73 65 3a 0a 09 09 1}).....else:...
14c0: 09 09 09 72 65 74 75 72 6e 28 29 0a 09 09 09 65 ...return()....e
14d0: 6c 69 66 20 68 65 61 64 65 72 20 69 6e 20 28 27 lif header in ('
14e0: 70 72 61 67 6d 61 27 29 3a 0a 09 09 09 09 69 66 pragma'):.....if
14f0: 20 6d 79 5f 70 61 74 68 20 69 6e 20 69 6e 64 65 my_path in inde
1500: 78 3a 0a 09 09 09 09 09 69 6e 64 65 78 5b 6d 79 x:......index[my
1510: 5f 70 61 74 68 5d 5b 68 65 61 64 65 72 5d 20 3d _path][header] =
1520: 20 73 65 6c 66 2e 68 65 61 64 65 72 73 5b 68 65 self.headers[he
1530: 61 64 65 72 5d 0a 09 09 09 65 6c 73 65 3a 0a 09 ader]....else:..
1540: 09 09 09 70 72 69 6e 74 28 27 55 6e 6b 6e 6f 77 ...print('Unknow
1550: 6e 20 68 65 61 64 65 72 20 2d 20 27 2c 20 68 65 n header - ', he
1560: 61 64 65 72 2c 20 27 3a 20 27 2c 20 73 65 6c 66 ader, ': ', self
1570: 2e 68 65 61 64 65 72 73 5b 68 65 61 64 65 72 5d .headers[header]
1580: 2c 20 73 65 70 3d 27 27 29 0a 09 09 09 09 72 65 , sep='').....re
1590: 74 75 72 6e 28 29 0a 09 09 09 70 72 69 6e 74 28 turn()....print(
15a0: 68 65 61 64 65 72 2c 20 73 65 6c 66 2e 68 65 61 header, self.hea
15b0: 64 65 72 73 5b 68 65 61 64 65 72 5d 29 0a 0a 09 ders[header])...
15c0: 09 23 20 63 72 65 61 74 69 6e 67 20 66 69 6c 65 .# creating file
15d0: 20 6e 61 6d 65 20 66 72 6f 6d 20 6d 79 5f 70 61 name from my_pa
15e0: 74 68 0a 09 09 66 69 6c 65 5f 6e 61 6d 65 20 3d th...file_name =
15f0: 20 63 6f 6e 66 69 67 5b 27 64 69 72 27 5d 20 2b config['dir'] +
1600: 20 6f 73 2e 73 65 70 20 2b 20 72 65 2e 63 6f 6d os.sep + re.com
1610: 70 69 6c 65 28 27 25 32 30 27 29 2e 73 75 62 28 pile('%20').sub(
1620: 27 20 27 2c 20 6d 79 5f 70 61 74 68 29 0a 09 09 ' ', my_path)...
1630: 23 20 70 61 72 74 69 61 6c 20 66 69 6c 65 20 6f # partial file o
1640: 72 20 75 6e 66 69 6e 69 73 68 65 64 20 64 6f 77 r unfinished dow
1650: 6e 6c 6f 61 64 0a 09 09 74 65 6d 70 5f 6e 61 6d nload...temp_nam
1660: 65 20 3d 20 63 6f 6e 66 69 67 5b 27 64 69 72 27 e = config['dir'
1670: 5d 20 2b 20 6f 73 2e 73 65 70 20 2b 20 27 2e 70 ] + os.sep + '.p
1680: 61 72 74 73 27 20 2b 20 72 65 2e 63 6f 6d 70 69 arts' + re.compi
1690: 6c 65 28 27 25 32 30 27 29 2e 73 75 62 28 27 20 le('%20').sub('
16a0: 27 2c 20 6d 79 5f 70 61 74 68 29 0a 0a 09 09 23 ', my_path)....#
16b0: 20 63 72 65 61 74 69 6e 67 20 65 6d 70 74 79 20 creating empty
16c0: 70 6c 61 63 65 68 6f 6c 64 65 72 20 69 6e 20 69 placeholder in i
16d0: 6e 64 65 78 0a 09 09 23 20 69 66 20 74 68 65 72 ndex...# if ther
16e0: 65 27 73 20 6e 6f 20 73 70 61 63 65 20 6d 61 70 e's no space map
16f0: 20 61 6e 64 20 74 68 65 72 65 27 73 20 6e 6f 20 and there's no
1700: 66 69 6c 65 20 69 6e 20 72 65 61 6c 20 64 69 72 file in real dir
1710: 65 63 74 6f 72 79 20 2d 20 77 65 20 68 61 76 65 ectory - we have
1720: 20 6e 6f 20 66 69 6c 65 0a 09 09 23 20 69 66 20 no file...# if
1730: 74 68 65 72 65 27 73 20 61 6e 20 65 6d 70 74 79 there's an empty
1740: 20 73 70 61 63 65 20 6d 61 70 20 2d 20 66 69 6c space map - fil
1750: 65 20 69 73 20 66 75 6c 6c 0a 09 09 23 20 73 70 e is full...# sp
1760: 61 63 65 20 6d 61 70 20 67 65 6e 65 72 61 6c 6c ace map generall
1770: 79 20 63 6f 76 65 72 73 20 65 76 65 72 79 20 62 y covers every b
1780: 69 74 20 6f 66 20 66 69 6c 65 20 77 65 20 64 6f it of file we do
1790: 6e 27 74 20 70 6f 73 65 73 73 20 63 75 72 72 65 n't posess curre
17a0: 6e 74 6c 79 0a 09 09 69 66 20 6e 6f 74 20 6d 79 ntly...if not my
17b0: 5f 70 61 74 68 20 69 6e 20 69 6e 64 65 78 3a 0a _path in index:.
17c0: 09 09 09 69 6e 66 6f 20 2b 3d 20 27 5c 6e 54 68 ...info += '\nTh
17d0: 69 73 20 6f 6e 65 20 69 73 20 6e 65 77 2e 27 0a is one is new.'.
17e0: 09 09 09 72 65 6c 6f 61 64 20 3d 20 54 72 75 65 ...reload = True
17f0: 0a 09 09 09 72 65 63 6f 72 64 20 3d 20 7b 7d 0a ....record = {}.
1800: 09 09 65 6c 73 65 3a 0a 09 09 09 23 20 66 6f 72 ..else:....# for
1810: 63 69 62 6c 79 20 63 68 65 63 6b 69 6e 67 20 66 cibly checking f
1820: 69 6c 65 20 69 66 20 6e 6f 20 66 69 6c 65 20 70 ile if no file p
1830: 72 65 73 65 6e 74 0a 09 09 09 72 65 63 6f 72 64 resent....record
1840: 20 3d 20 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 = index[my_path
1850: 5d 0a 09 09 09 69 66 20 6f 73 2e 61 63 63 65 73 ]....if os.acces
1860: 73 28 66 69 6c 65 5f 6e 61 6d 65 2c 20 6f 73 2e s(file_name, os.
1870: 52 5f 4f 4b 29 3a 0a 09 09 09 09 69 6e 66 6f 20 R_OK):.....info
1880: 2b 3d 20 27 5c 6e 46 75 6c 6c 20 66 69 6c 65 20 += '\nFull file
1890: 66 6f 75 6e 64 2e 27 0a 09 09 09 09 66 69 6c 65 found.'.....file
18a0: 5f 73 74 61 74 20 3d 20 6f 73 2e 73 74 61 74 28 _stat = os.stat(
18b0: 66 69 6c 65 5f 6e 61 6d 65 29 0a 09 09 09 65 6c file_name)....el
18c0: 69 66 20 27 5f 70 61 72 74 73 27 20 69 6e 20 69 if '_parts' in i
18d0: 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5d 20 61 6e ndex[my_path] an
18e0: 64 20 6f 73 2e 61 63 63 65 73 73 28 74 65 6d 70 d os.access(temp
18f0: 5f 6e 61 6d 65 2c 20 6f 73 2e 52 5f 4f 4b 29 3a _name, os.R_OK):
1900: 0a 09 09 09 09 69 6e 66 6f 20 2b 3d 20 27 5c 6e .....info += '\n
1910: 50 61 72 74 69 61 6c 20 66 69 6c 65 20 66 6f 75 Partial file fou
1920: 6e 64 2e 27 0a 09 09 09 09 66 69 6c 65 5f 73 74 nd.'.....file_st
1930: 61 74 20 3d 20 6f 73 2e 73 74 61 74 28 74 65 6d at = os.stat(tem
1940: 70 5f 6e 61 6d 65 29 0a 09 09 09 09 72 65 63 68 p_name).....rech
1950: 65 63 6b 20 3d 20 54 72 75 65 0a 09 09 09 65 6c eck = True....el
1960: 73 65 3a 0a 09 09 09 09 69 6e 66 6f 20 2b 3d 20 se:.....info +=
1970: 27 5c 6e 46 69 6c 65 20 6e 6f 74 20 66 6f 75 6e '\nFile not foun
1980: 64 20 6f 72 20 69 6e 61 63 63 65 73 73 69 62 6c d or inaccessibl
1990: 65 2e 27 0a 09 09 09 09 72 65 63 6f 72 64 5b 27 e.'.....record['
19a0: 5f 70 61 72 74 73 27 5d 20 3d 20 4e 6f 6e 65 0a _parts'] = None.
19b0: 09 09 09 09 72 65 6c 6f 61 64 20 3d 20 54 72 75 ....reload = Tru
19c0: 65 0a 0a 09 09 69 66 20 6e 6f 74 20 27 5f 70 61 e....if not '_pa
19d0: 72 74 73 27 20 69 6e 20 72 65 63 6f 72 64 3a 0a rts' in record:.
19e0: 09 09 09 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 ...record['_part
19f0: 73 27 5d 20 3d 20 4e 6f 6e 65 0a 0a 09 09 69 66 s'] = None....if
1a00: 20 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 record['_parts'
1a10: 5d 20 3d 3d 20 4e 6f 6e 65 3a 0a 09 09 09 72 65 ] == None:....re
1a20: 63 68 65 63 6b 20 3d 20 54 72 75 65 0a 0a 09 09 check = True....
1a30: 23 20 66 6f 72 63 69 62 6c 79 20 63 68 65 63 6b # forcibly check
1a40: 69 6e 67 20 66 69 6c 65 20 69 66 20 66 69 6c 65 ing file if file
1a50: 20 73 69 7a 65 20 64 6f 65 73 6e 27 74 20 6d 61 size doesn't ma
1a60: 74 63 68 20 77 69 74 68 20 69 6e 64 65 78 20 64 tch with index d
1a70: 61 74 61 0a 09 09 69 66 20 6e 6f 74 20 72 65 6c ata...if not rel
1a80: 6f 61 64 3a 0a 09 09 09 69 66 20 27 5f 70 61 72 oad:....if '_par
1a90: 74 73 27 20 69 6e 20 72 65 63 6f 72 64 20 61 6e ts' in record an
1aa0: 64 20 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 d record['_parts
1ab0: 27 5d 20 3d 3d 20 73 70 61 63 65 6d 61 70 2e 53 '] == spacemap.S
1ac0: 70 61 63 65 4d 61 70 28 29 3a 0a 09 09 09 09 69 paceMap():.....i
1ad0: 66 20 27 63 6f 6e 74 65 6e 74 2d 6c 65 6e 67 74 f 'content-lengt
1ae0: 68 27 20 69 6e 20 72 65 63 6f 72 64 20 61 6e 64 h' in record and
1af0: 20 66 69 6c 65 5f 73 74 61 74 20 61 6e 64 20 66 file_stat and f
1b00: 69 6c 65 5f 73 74 61 74 2e 73 74 5f 73 69 7a 65 ile_stat.st_size
1b10: 20 21 3d 20 69 6e 74 28 72 65 63 6f 72 64 5b 27 != int(record['
1b20: 63 6f 6e 74 65 6e 74 2d 6c 65 6e 67 74 68 27 5d content-length']
1b30: 29 3a 0a 09 09 09 09 09 69 6e 66 6f 20 2b 3d 20 ):......info +=
1b40: 27 5c 6e 46 69 6c 65 20 73 69 7a 65 20 69 73 20 '\nFile size is
1b50: 7b 7d 20 61 6e 64 20 73 74 6f 72 65 64 20 66 69 {} and stored fi
1b60: 6c 65 20 73 69 7a 65 20 69 73 20 7b 7d 2e 27 2e le size is {}.'.
1b70: 66 6f 72 6d 61 74 28 66 69 6c 65 5f 73 74 61 74 format(file_stat
1b80: 2e 73 74 5f 73 69 7a 65 2c 20 72 65 63 6f 72 64 .st_size, record
1b90: 5b 27 63 6f 6e 74 65 6e 74 2d 6c 65 6e 67 74 68 ['content-length
1ba0: 27 5d 29 0a 09 09 09 09 09 72 65 63 6f 72 64 5b '])......record[
1bb0: 27 5f 70 61 72 74 73 27 5d 20 3d 20 4e 6f 6e 65 '_parts'] = None
1bc0: 0a 09 09 09 09 09 72 65 6c 6f 61 64 20 3d 20 54 ......reload = T
1bd0: 72 75 65 0a 0a 09 09 23 20 66 6f 72 63 69 62 6c rue....# forcibl
1be0: 79 20 63 68 65 63 6b 69 6e 67 20 66 69 6c 65 20 y checking file
1bf0: 69 66 20 69 6e 64 65 78 20 68 6f 6c 64 73 20 50 if index holds P
1c00: 72 61 67 6d 61 20 68 65 61 64 65 72 0a 09 09 69 ragma header...i
1c10: 66 20 6e 6f 74 20 72 65 6c 6f 61 64 20 61 6e 64 f not reload and
1c20: 20 27 70 72 61 67 6d 61 27 20 69 6e 20 72 65 63 'pragma' in rec
1c30: 6f 72 64 20 61 6e 64 20 72 65 63 6f 72 64 5b 27 ord and record['
1c40: 70 72 61 67 6d 61 27 5d 20 3d 3d 20 27 6e 6f 2d pragma'] == 'no-
1c50: 63 61 63 68 65 27 3a 0a 09 09 09 69 6e 66 6f 20 cache':....info
1c60: 2b 3d 27 5c 6e 50 72 61 67 6d 61 20 6f 6e 3a 20 +='\nPragma on:
1c70: 72 65 63 68 65 63 6b 20 69 6d 6d 69 6e 65 6e 74 recheck imminent
1c80: 2e 27 0a 09 09 09 72 65 63 68 65 63 6b 20 3d 20 .'....recheck =
1c90: 54 72 75 65 0a 0a 09 09 23 20 73 6b 69 70 70 69 True....# skippi
1ca0: 6e 67 20 66 69 6c 65 20 70 72 6f 63 65 73 73 69 ng file processi
1cb0: 6e 67 20 69 66 20 74 68 65 72 65 27 73 20 6e 6f ng if there's no
1cc0: 20 6e 65 65 64 20 74 6f 20 72 65 63 68 65 63 6b need to recheck
1cd0: 20 69 74 20 61 6e 64 20 77 65 20 68 61 76 65 20 it and we have
1ce0: 63 68 65 63 6b 65 64 20 69 74 20 61 74 20 6c 65 checked it at le
1cf0: 61 73 74 20 34 20 68 6f 75 72 73 20 61 67 6f 0a ast 4 hours ago.
1d00: 09 09 69 66 20 6e 6f 74 20 72 65 63 68 65 63 6b ..if not recheck
1d10: 20 61 6e 64 20 6e 6f 74 20 72 65 6c 6f 61 64 20 and not reload
1d20: 61 6e 64 20 27 5f 74 69 6d 65 27 20 69 6e 20 72 and '_time' in r
1d30: 65 63 6f 72 64 20 61 6e 64 20 28 72 65 63 6f 72 ecord and (recor
1d40: 64 5b 27 5f 74 69 6d 65 27 5d 20 2d 20 64 61 74 d['_time'] - dat
1d50: 65 74 69 6d 65 2e 64 61 74 65 74 69 6d 65 2e 6e etime.datetime.n
1d60: 6f 77 28 29 20 2b 20 64 61 74 65 74 69 6d 65 2e ow() + datetime.
1d70: 74 69 6d 65 64 65 6c 74 61 28 68 6f 75 72 73 20 timedelta(hours
1d80: 3d 20 34 29 29 2e 64 61 79 73 20 3c 20 30 3a 0a = 4)).days < 0:.
1d90: 09 09 09 69 6e 66 6f 20 2b 3d 20 27 5c 6e 46 69 ...info += '\nFi
1da0: 6c 65 20 69 73 20 6f 6c 64 20 2d 20 72 65 63 68 le is old - rech
1db0: 65 63 6b 69 6e 67 2e 27 0a 09 09 09 72 65 63 68 ecking.'....rech
1dc0: 65 63 6b 20 3d 20 54 72 75 65 0a 0a 09 09 70 72 eck = True....pr
1dd0: 69 6e 74 28 69 6e 66 6f 29 0a 09 09 69 66 20 72 int(info)...if r
1de0: 65 6c 6f 61 64 20 6f 72 20 72 65 63 68 65 63 6b eload or recheck
1df0: 3a 0a 0a 09 09 09 74 72 79 3a 0a 09 09 09 09 72 :.....try:.....r
1e00: 65 71 75 65 73 74 20 3d 20 63 6f 6e 66 69 67 5b equest = config[
1e10: 27 70 72 6f 74 6f 27 5d 20 2b 20 27 3a 2f 2f 27 'proto'] + '://'
1e20: 20 2b 20 63 6f 6e 66 69 67 5b 27 72 6f 6f 74 27 + config['root'
1e30: 5d 20 2b 20 73 65 6c 66 2e 70 61 74 68 0a 09 09 ] + self.path...
1e40: 09 09 6d 79 5f 68 65 61 64 65 72 73 20 3d 20 7b ..my_headers = {
1e50: 7d 0a 09 09 09 09 66 6f 72 20 68 65 61 64 65 72 }.....for header
1e60: 20 69 6e 20 28 27 63 61 63 68 65 2d 63 6f 6e 74 in ('cache-cont
1e70: 72 6f 6c 27 2c 20 27 63 6f 6f 6b 69 65 27 2c 20 rol', 'cookie',
1e80: 27 72 65 66 65 72 65 72 27 2c 20 27 75 73 65 72 'referer', 'user
1e90: 2d 61 67 65 6e 74 27 29 3a 0a 09 09 09 09 09 69 -agent'):......i
1ea0: 66 20 68 65 61 64 65 72 20 69 6e 20 73 65 6c 66 f header in self
1eb0: 2e 68 65 61 64 65 72 73 3a 0a 09 09 09 09 09 09 .headers:.......
1ec0: 6d 79 5f 68 65 61 64 65 72 73 5b 68 65 61 64 65 my_headers[heade
1ed0: 72 5d 20 3d 20 73 65 6c 66 2e 68 65 61 64 65 72 r] = self.header
1ee0: 73 5b 68 65 61 64 65 72 5d 0a 0a 09 09 09 09 6e s[header]......n
1ef0: 65 65 64 65 64 20 3d 20 4e 6f 6e 65 0a 09 09 09 eeded = None....
1f00: 09 69 66 20 73 65 6c 66 2e 63 6f 6d 6d 61 6e 64 .if self.command
1f10: 20 6e 6f 74 20 69 6e 20 28 27 48 45 41 44 27 29 not in ('HEAD')
1f20: 3a 0a 09 09 09 09 09 69 66 20 27 5f 70 61 72 74 :......if '_part
1f30: 73 27 20 69 6e 20 72 65 63 6f 72 64 20 61 6e 64 s' in record and
1f40: 20 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 record['_parts'
1f50: 5d 20 21 3d 20 4e 6f 6e 65 3a 0a 09 09 09 09 09 ] != None:......
1f60: 09 69 66 20 63 6f 6e 66 69 67 5b 27 6e 6f 70 61 .if config['nopa
1f70: 72 74 73 27 5d 20 21 3d 20 27 6e 6f 27 20 6f 72 rts'] != 'no' or
1f80: 20 72 65 71 75 65 73 74 65 64 5f 72 61 6e 67 65 requested_range
1f90: 73 20 3d 3d 20 4e 6f 6e 65 20 6f 72 20 72 65 71 s == None or req
1fa0: 75 65 73 74 65 64 5f 72 61 6e 67 65 73 20 3d 3d uested_ranges ==
1fb0: 20 73 70 61 63 65 6d 61 70 2e 53 70 61 63 65 4d spacemap.SpaceM
1fc0: 61 70 28 29 3a 0a 09 09 09 09 09 09 09 6e 65 65 ap():........nee
1fd0: 64 65 64 20 3d 20 72 65 63 6f 72 64 5b 27 5f 70 ded = record['_p
1fe0: 61 72 74 73 27 5d 0a 09 09 09 09 09 09 65 6c 73 arts'].......els
1ff0: 65 3a 0a 09 09 09 09 09 09 09 6e 65 65 64 65 64 e:........needed
2000: 20 3d 20 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 = record['_part
2010: 73 27 5d 20 26 20 72 65 71 75 65 73 74 65 64 5f s'] & requested_
2020: 72 61 6e 67 65 73 0a 09 09 09 09 09 65 6c 69 66 ranges......elif
2030: 20 63 6f 6e 66 69 67 5b 27 6e 6f 70 61 72 74 73 config['noparts
2040: 27 5d 20 3d 3d 27 6e 6f 27 20 61 6e 64 20 72 65 '] =='no' and re
2050: 71 75 65 73 74 65 64 5f 72 61 6e 67 65 73 20 21 quested_ranges !
2060: 3d 20 4e 6f 6e 65 20 61 6e 64 20 72 65 71 75 65 = None and reque
2070: 73 74 65 64 5f 72 61 6e 67 65 73 20 21 3d 20 73 sted_ranges != s
2080: 70 61 63 65 6d 61 70 2e 53 70 61 63 65 4d 61 70 pacemap.SpaceMap
2090: 28 29 3a 0a 09 09 09 09 09 09 6e 65 65 64 65 64 ():.......needed
20a0: 20 3d 20 72 65 71 75 65 73 74 65 64 5f 72 61 6e = requested_ran
20b0: 67 65 73 0a 09 09 09 09 09 72 61 6e 67 65 73 20 ges......ranges
20c0: 3d 20 28 29 0a 09 09 09 09 09 70 72 69 6e 74 28 = ()......print(
20d0: 27 4d 69 73 73 69 6e 67 20 72 61 6e 67 65 73 3a 'Missing ranges:
20e0: 20 7b 7d 2c 20 72 65 71 75 65 73 74 65 64 20 72 {}, requested r
20f0: 61 6e 67 65 73 3a 20 7b 7d 2c 20 6e 65 65 64 65 anges: {}, neede
2100: 64 20 72 61 6e 67 65 73 3a 20 7b 7d 2e 27 2e 66 d ranges: {}.'.f
2110: 6f 72 6d 61 74 28 72 65 63 6f 72 64 5b 27 5f 70 ormat(record['_p
2120: 61 72 74 73 27 5d 2c 20 72 65 71 75 65 73 74 65 arts'], requeste
2130: 64 5f 72 61 6e 67 65 73 2c 20 6e 65 65 64 65 64 d_ranges, needed
2140: 29 29 0a 09 09 09 09 09 69 66 20 6e 65 65 64 65 ))......if neede
2150: 64 20 21 3d 20 4e 6f 6e 65 20 61 6e 64 20 6c 65 d != None and le
2160: 6e 28 6e 65 65 64 65 64 29 20 3e 20 30 3a 0a 09 n(needed) > 0:..
2170: 09 09 09 09 09 6e 65 65 64 65 64 2e 72 65 77 69 .....needed.rewi
2180: 6e 64 28 29 0a 09 09 09 09 09 09 77 68 69 6c 65 nd().......while
2190: 20 54 72 75 65 3a 0a 09 09 09 09 09 09 09 72 61 True:........ra
21a0: 6e 67 65 20 3d 20 6e 65 65 64 65 64 2e 70 6f 70 nge = needed.pop
21b0: 28 29 0a 09 09 09 09 09 09 09 69 66 20 72 61 6e ()........if ran
21c0: 67 65 5b 30 5d 20 3d 3d 20 4e 6f 6e 65 3a 0a 09 ge[0] == None:..
21d0: 09 09 09 09 09 09 09 62 72 65 61 6b 0a 09 09 09 .......break....
21e0: 09 09 09 09 72 61 6e 67 65 73 20 2b 3d 20 27 7b ....ranges += '{
21f0: 7d 2d 7b 7d 27 2e 66 6f 72 6d 61 74 28 72 61 6e }-{}'.format(ran
2200: 67 65 5b 30 5d 2c 20 72 61 6e 67 65 5b 31 5d 20 ge[0], range[1]
2210: 2d 20 31 29 2c 0a 09 09 09 09 09 09 6d 79 5f 68 - 1),.......my_h
2220: 65 61 64 65 72 73 5b 27 72 61 6e 67 65 27 5d 20 eaders['range']
2230: 3d 20 27 62 79 74 65 73 3d 27 20 2b 20 27 2c 27 = 'bytes=' + ','
2240: 2e 6a 6f 69 6e 28 72 61 6e 67 65 73 29 0a 0a 09 .join(ranges)...
2250: 09 09 09 6d 79 5f 68 65 61 64 65 72 73 5b 27 41 ...my_headers['A
2260: 63 63 65 70 74 2d 45 6e 63 6f 64 69 6e 67 27 5d ccept-Encoding']
2270: 20 3d 20 27 67 7a 69 70 2c 20 63 6f 6d 70 72 65 = 'gzip, compre
2280: 73 73 2c 20 64 65 66 6c 61 74 65 2c 20 69 64 65 ss, deflate, ide
2290: 6e 74 69 74 79 3b 20 71 3d 30 27 0a 09 09 09 09 ntity; q=0'.....
22a0: 72 65 71 75 65 73 74 20 3d 20 75 72 6c 6c 69 62 request = urllib
22b0: 32 2e 52 65 71 75 65 73 74 28 72 65 71 75 65 73 2.Request(reques
22c0: 74 2c 20 68 65 61 64 65 72 73 20 3d 20 6d 79 5f t, headers = my_
22d0: 68 65 61 64 65 72 73 29 0a 0a 09 09 09 09 73 6f headers)......so
22e0: 75 72 63 65 20 3d 20 75 72 6c 6c 69 62 32 2e 75 urce = urllib2.u
22f0: 72 6c 6f 70 65 6e 28 72 65 71 75 65 73 74 2c 20 rlopen(request,
2300: 74 69 6d 65 6f 75 74 20 3d 20 36 30 29 0a 09 09 timeout = 60)...
2310: 09 09 6e 65 77 5f 72 65 63 6f 72 64 20 3d 20 7b ..new_record = {
2320: 7d 0a 09 09 09 09 6e 65 77 5f 72 65 63 6f 72 64 }.....new_record
2330: 5b 27 5f 70 61 72 74 73 27 5d 20 3d 20 72 65 63 ['_parts'] = rec
2340: 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d 0a 09 09 ord['_parts']...
2350: 09 09 68 65 61 64 65 72 73 20 3d 20 73 6f 75 72 ..headers = sour
2360: 63 65 2e 69 6e 66 6f 28 29 0a 0a 09 09 09 09 69 ce.info()......i
2370: 66 20 27 63 6f 6e 74 65 6e 74 2d 65 6e 63 6f 64 f 'content-encod
2380: 69 6e 67 27 20 69 6e 20 68 65 61 64 65 72 73 20 ing' in headers
2390: 61 6e 64 20 68 65 61 64 65 72 73 5b 27 63 6f 6e and headers['con
23a0: 74 65 6e 74 2d 65 6e 63 6f 64 69 6e 67 27 5d 20 tent-encoding']
23b0: 3d 3d 20 27 67 7a 69 70 27 3a 0a 09 09 09 09 09 == 'gzip':......
23c0: 69 6d 70 6f 72 74 20 67 7a 69 70 0a 09 09 09 09 import gzip.....
23d0: 09 73 6f 75 72 63 65 20 3d 20 67 7a 69 70 2e 47 .source = gzip.G
23e0: 7a 69 70 46 69 6c 65 28 66 69 6c 65 6f 62 6a 3d zipFile(fileobj=
23f0: 73 6f 75 72 63 65 29 0a 0a 09 09 09 09 23 20 73 source)......# s
2400: 74 72 69 70 70 69 6e 67 20 75 6e 6e 65 65 64 65 tripping unneede
2410: 64 20 68 65 61 64 65 72 73 20 28 58 58 58 20 6d d headers (XXX m
2420: 61 6b 65 20 74 68 69 73 20 69 6e 70 6c 61 63 65 ake this inplace
2430: 3f 29 0a 09 09 09 09 66 6f 72 20 68 65 61 64 65 ?).....for heade
2440: 72 20 69 6e 20 68 65 61 64 65 72 73 3a 0a 09 09 r in headers:...
2450: 09 09 09 69 66 20 68 65 61 64 65 72 20 69 6e 20 ...if header in
2460: 64 65 73 63 5f 66 69 65 6c 64 73 3a 0a 09 09 09 desc_fields:....
2470: 09 09 09 23 69 66 20 68 65 61 64 65 72 20 3d 3d ...#if header ==
2480: 20 27 50 72 61 67 6d 61 27 20 61 6e 64 20 68 65 'Pragma' and he
2490: 61 64 65 72 73 5b 68 65 61 64 65 72 5d 20 21 3d aders[header] !=
24a0: 20 27 6e 6f 2d 63 61 63 68 65 27 3a 0a 09 09 09 'no-cache':....
24b0: 09 09 09 69 66 20 68 65 61 64 65 72 20 3d 3d 20 ...if header ==
24c0: 27 63 6f 6e 74 65 6e 74 2d 6c 65 6e 67 74 68 27 'content-length'
24d0: 3a 0a 09 09 09 09 09 09 09 69 66 20 27 63 6f 6e :........if 'con
24e0: 74 65 6e 74 2d 72 61 6e 67 65 27 20 6e 6f 74 20 tent-range' not
24f0: 69 6e 20 68 65 61 64 65 72 73 3a 0a 09 09 09 09 in headers:.....
2500: 09 09 09 09 6e 65 77 5f 72 65 63 6f 72 64 5b 68 ....new_record[h
2510: 65 61 64 65 72 5d 20 3d 20 69 6e 74 28 68 65 61 eader] = int(hea
2520: 64 65 72 73 5b 68 65 61 64 65 72 5d 29 0a 09 09 ders[header])...
2530: 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 ....else:.......
2540: 09 6e 65 77 5f 72 65 63 6f 72 64 5b 68 65 61 64 .new_record[head
2550: 65 72 5d 20 3d 20 68 65 61 64 65 72 73 5b 68 65 er] = headers[he
2560: 61 64 65 72 5d 0a 09 09 09 09 09 65 6c 69 66 20 ader]......elif
2570: 68 65 61 64 65 72 20 3d 3d 20 27 63 6f 6e 74 65 header == 'conte
2580: 6e 74 2d 72 61 6e 67 65 27 3a 0a 09 09 09 09 09 nt-range':......
2590: 09 72 61 6e 67 65 20 3d 20 72 65 2e 63 6f 6d 70 .range = re.comp
25a0: 69 6c 65 28 27 5e 62 79 74 65 73 20 28 5c 64 2b ile('^bytes (\d+
25b0: 29 2d 28 5c 64 2b 29 2f 28 5c 64 2b 29 24 27 29 )-(\d+)/(\d+)$')
25c0: 2e 6d 61 74 63 68 28 68 65 61 64 65 72 73 5b 68 .match(headers[h
25d0: 65 61 64 65 72 5d 29 0a 09 09 09 09 09 09 69 66 eader]).......if
25e0: 20 72 61 6e 67 65 3a 0a 09 09 09 09 09 09 09 6e range:........n
25f0: 65 77 5f 72 65 63 6f 72 64 5b 27 63 6f 6e 74 65 ew_record['conte
2600: 6e 74 2d 6c 65 6e 67 74 68 27 5d 20 3d 20 69 6e nt-length'] = in
2610: 74 28 72 61 6e 67 65 2e 67 72 6f 75 70 28 33 29 t(range.group(3)
2620: 29 0a 09 09 09 09 09 09 65 6c 73 65 3a 09 0a 09 ).......else:...
2630: 09 09 09 09 09 09 61 73 73 65 72 74 20 46 61 6c ......assert Fal
2640: 73 65 2c 20 27 43 6f 6e 74 65 6e 74 2d 52 61 6e se, 'Content-Ran
2650: 67 65 20 75 6e 72 65 63 6f 67 6e 69 7a 65 64 2e ge unrecognized.
2660: 27 0a 09 09 09 09 09 65 6c 69 66 20 6e 6f 74 20 '......elif not
2670: 68 65 61 64 65 72 20 69 6e 20 69 67 6e 6f 72 65 header in ignore
2680: 5f 66 69 65 6c 64 73 3a 0a 09 09 09 09 09 09 70 _fields:.......p
2690: 72 69 6e 74 28 27 55 6e 64 65 66 69 6e 65 64 20 rint('Undefined
26a0: 68 65 61 64 65 72 20 22 27 2c 20 68 65 61 64 65 header "', heade
26b0: 72 2c 20 27 22 3a 20 27 2c 20 68 65 61 64 65 72 r, '": ', header
26c0: 73 5b 68 65 61 64 65 72 5d 2c 20 73 65 70 3d 27 s[header], sep='
26d0: 27 29 0a 0a 09 09 09 09 23 20 63 6f 6d 70 61 72 ')......# compar
26e0: 69 6e 67 20 68 65 61 64 65 72 73 20 77 69 74 68 ing headers with
26f0: 20 64 61 74 61 20 66 6f 75 6e 64 20 69 6e 20 69 data found in i
2700: 6e 64 65 78 0a 09 09 09 09 23 20 69 66 20 61 6e ndex.....# if an
2710: 79 20 68 65 61 64 65 72 20 68 61 73 20 63 68 61 y header has cha
2720: 6e 67 65 64 20 28 65 78 63 65 70 74 20 50 72 61 nged (except Pra
2730: 67 6d 61 29 20 66 69 6c 65 20 69 73 20 66 75 6c gma) file is ful
2740: 6c 79 20 64 6f 77 6e 6c 6f 61 64 65 64 0a 09 09 ly downloaded...
2750: 09 09 23 20 73 61 6d 65 20 69 66 20 77 65 20 67 ..# same if we g
2760: 65 74 20 6d 6f 72 65 20 6f 72 20 6c 65 73 73 20 et more or less
2770: 68 65 61 64 65 72 73 0a 09 09 09 09 6f 6c 64 5f headers.....old_
2780: 6b 65 79 73 20 3d 20 73 65 74 28 72 65 63 6f 72 keys = set(recor
2790: 64 2e 6b 65 79 73 28 29 29 0a 09 09 09 09 6f 6c d.keys()).....ol
27a0: 64 5f 6b 65 79 73 2e 64 69 73 63 61 72 64 28 27 d_keys.discard('
27b0: 5f 74 69 6d 65 27 29 0a 09 09 09 09 6f 6c 64 5f _time').....old_
27c0: 6b 65 79 73 2e 64 69 73 63 61 72 64 28 27 70 72 keys.discard('pr
27d0: 61 67 6d 61 27 29 0a 09 09 09 09 6d 6f 72 65 5f agma').....more_
27e0: 6b 65 79 73 20 3d 20 73 65 74 28 6e 65 77 5f 72 keys = set(new_r
27f0: 65 63 6f 72 64 2e 6b 65 79 73 28 29 29 20 2d 20 ecord.keys()) -
2800: 6f 6c 64 5f 6b 65 79 73 0a 09 09 09 09 6d 6f 72 old_keys.....mor
2810: 65 5f 6b 65 79 73 2e 64 69 73 63 61 72 64 28 27 e_keys.discard('
2820: 70 72 61 67 6d 61 27 29 0a 09 09 09 09 6c 65 73 pragma').....les
2830: 73 5f 6b 65 79 73 20 3d 20 6f 6c 64 5f 6b 65 79 s_keys = old_key
2840: 73 20 2d 20 73 65 74 28 6e 65 77 5f 72 65 63 6f s - set(new_reco
2850: 72 64 2e 6b 65 79 73 28 29 29 0a 09 09 09 09 69 rd.keys()).....i
2860: 66 20 6c 65 6e 28 6d 6f 72 65 5f 6b 65 79 73 29 f len(more_keys)
2870: 20 3e 20 30 3a 0a 09 09 09 09 09 69 66 20 6c 65 > 0:......if le
2880: 6e 28 6f 6c 64 5f 6b 65 79 73 29 20 21 3d 20 30 n(old_keys) != 0
2890: 3a 0a 09 09 09 09 09 09 70 72 69 6e 74 28 27 4d :.......print('M
28a0: 6f 72 65 20 68 65 61 64 65 72 73 20 61 70 70 65 ore headers appe
28b0: 61 72 3a 27 2c 20 6d 6f 72 65 5f 6b 65 79 73 29 ar:', more_keys)
28c0: 0a 09 09 09 09 09 72 65 6c 6f 61 64 20 3d 20 54 ......reload = T
28d0: 72 75 65 0a 09 09 09 09 65 6c 69 66 20 6c 65 6e rue.....elif len
28e0: 28 6c 65 73 73 5f 6b 65 79 73 29 20 3e 20 30 3a (less_keys) > 0:
28f0: 0a 09 09 09 09 09 70 72 69 6e 74 28 27 4c 65 73 ......print('Les
2900: 73 20 68 65 61 64 65 72 73 20 61 70 70 65 61 72 s headers appear
2910: 3a 27 2c 20 6c 65 73 73 5f 6b 65 79 73 29 0a 09 :', less_keys)..
2920: 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 66 6f ...else:......fo
2930: 72 20 6b 65 79 20 69 6e 20 72 65 63 6f 72 64 2e r key in record.
2940: 6b 65 79 73 28 29 3a 0a 09 09 09 09 09 09 69 66 keys():.......if
2950: 20 6b 65 79 5b 30 5d 20 21 3d 20 27 5f 27 20 61 key[0] != '_' a
2960: 6e 64 20 6b 65 79 20 21 3d 20 27 70 72 61 67 6d nd key != 'pragm
2970: 61 27 20 61 6e 64 20 72 65 63 6f 72 64 5b 6b 65 a' and record[ke
2980: 79 5d 20 21 3d 20 6e 65 77 5f 72 65 63 6f 72 64 y] != new_record
2990: 5b 6b 65 79 5d 3a 0a 09 09 09 09 09 09 09 70 72 [key]:........pr
29a0: 69 6e 74 28 27 48 65 61 64 65 72 20 22 27 2c 20 int('Header "',
29b0: 6b 65 79 2c 20 27 22 20 63 68 61 6e 67 65 64 20 key, '" changed
29c0: 66 72 6f 6d 20 5b 27 2c 20 72 65 63 6f 72 64 5b from [', record[
29d0: 6b 65 79 5d 2c 20 27 5d 20 74 6f 20 5b 27 2c 20 key], '] to [',
29e0: 6e 65 77 5f 72 65 63 6f 72 64 5b 6b 65 79 5d 2c new_record[key],
29f0: 20 27 5d 27 2c 20 73 65 70 3d 27 27 29 0a 09 09 ']', sep='')...
2a00: 09 09 09 09 09 70 72 69 6e 74 28 74 79 70 65 28 .....print(type(
2a10: 72 65 63 6f 72 64 5b 6b 65 79 5d 29 2c 20 74 79 record[key]), ty
2a20: 70 65 28 6e 65 77 5f 72 65 63 6f 72 64 5b 6b 65 pe(new_record[ke
2a30: 79 5d 29 29 0a 09 09 09 09 09 09 09 72 65 6c 6f y]))........relo
2a40: 61 64 20 3d 20 54 72 75 65 0a 0a 09 09 09 09 69 ad = True......i
2a50: 66 20 72 65 6c 6f 61 64 3a 0a 09 09 09 09 09 70 f reload:......p
2a60: 72 69 6e 74 28 27 52 65 6c 6f 61 64 69 6e 67 2e rint('Reloading.
2a70: 27 29 0a 09 09 09 09 09 69 66 20 6f 73 2e 61 63 ')......if os.ac
2a80: 63 65 73 73 28 74 65 6d 70 5f 6e 61 6d 65 2c 20 cess(temp_name,
2a90: 6f 73 2e 52 5f 4f 4b 29 3a 0a 09 09 09 09 09 09 os.R_OK):.......
2aa0: 6f 73 2e 75 6e 6c 69 6e 6b 28 74 65 6d 70 5f 6e os.unlink(temp_n
2ab0: 61 6d 65 29 0a 09 09 09 09 09 69 66 20 6f 73 2e ame)......if os.
2ac0: 61 63 63 65 73 73 28 66 69 6c 65 5f 6e 61 6d 65 access(file_name
2ad0: 2c 20 6f 73 2e 52 5f 4f 4b 29 3a 0a 09 09 09 09 , os.R_OK):.....
2ae0: 09 09 6f 73 2e 75 6e 6c 69 6e 6b 28 66 69 6c 65 ..os.unlink(file
2af0: 5f 6e 61 6d 65 29 0a 09 09 09 09 09 69 66 20 27 _name)......if '
2b00: 63 6f 6e 74 65 6e 74 2d 6c 65 6e 67 74 68 27 20 content-length'
2b10: 69 6e 20 6e 65 77 5f 72 65 63 6f 72 64 3a 0a 09 in new_record:..
2b20: 09 09 09 09 09 6e 65 77 5f 72 65 63 6f 72 64 5b .....new_record[
2b30: 27 5f 70 61 72 74 73 27 5d 20 3d 20 73 70 61 63 '_parts'] = spac
2b40: 65 6d 61 70 2e 53 70 61 63 65 4d 61 70 28 7b 30 emap.SpaceMap({0
2b50: 3a 20 69 6e 74 28 6e 65 77 5f 72 65 63 6f 72 64 : int(new_record
2b60: 5b 27 63 6f 6e 74 65 6e 74 2d 6c 65 6e 67 74 68 ['content-length
2b70: 27 5d 29 7d 29 0a 09 09 09 09 69 66 20 6e 6f 74 '])}).....if not
2b80: 20 6e 65 77 5f 72 65 63 6f 72 64 5b 27 5f 70 61 new_record['_pa
2b90: 72 74 73 27 5d 3a 0a 09 09 09 09 09 6e 65 77 5f rts']:......new_
2ba0: 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d record['_parts']
2bb0: 20 3d 20 73 70 61 63 65 6d 61 70 2e 53 70 61 63 = spacemap.Spac
2bc0: 65 4d 61 70 28 29 0a 09 09 09 09 70 72 69 6e 74 eMap().....print
2bd0: 28 6e 65 77 5f 72 65 63 6f 72 64 29 0a 0a 09 09 (new_record)....
2be0: 09 09 23 20 64 6f 77 6e 6c 6f 61 64 69 6e 67 20 ..# downloading
2bf0: 66 69 6c 65 20 6f 72 20 73 65 67 6d 65 6e 74 0a file or segment.
2c00: 09 09 09 09 69 66 20 27 63 6f 6e 74 65 6e 74 2d ....if 'content-
2c10: 6c 65 6e 67 74 68 27 20 69 6e 20 6e 65 77 5f 72 length' in new_r
2c20: 65 63 6f 72 64 3a 0a 09 09 09 09 09 69 66 20 6e ecord:......if n
2c30: 65 65 64 65 64 20 3d 3d 20 4e 6f 6e 65 3a 0a 09 eeded == None:..
2c40: 09 09 09 09 09 6e 65 65 64 65 64 20 3d 20 6e 65 .....needed = ne
2c50: 77 5f 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 w_record['_parts
2c60: 27 5d 0a 09 09 09 09 09 65 6c 73 65 3a 0a 09 09 ']......else:...
2c70: 09 09 09 09 69 66 20 6c 65 6e 28 6e 65 65 64 65 ....if len(neede
2c80: 64 29 20 3e 20 31 3a 0a 09 09 09 09 09 09 09 70 d) > 1:........p
2c90: 72 69 6e 74 28 22 4d 75 6c 74 69 70 61 72 74 20 rint("Multipart
2ca0: 72 65 71 75 65 73 74 73 20 63 75 72 72 65 6e 74 requests current
2cb0: 6c 79 20 6e 6f 74 20 73 75 70 70 6f 72 74 65 64 ly not supported
2cc0: 2e 22 29 0a 09 09 09 09 09 09 09 61 73 73 65 72 .")........asser
2cd0: 74 20 46 61 6c 73 65 2c 20 27 53 6b 69 70 20 74 t False, 'Skip t
2ce0: 68 69 73 20 6f 6e 65 20 66 6f 72 20 6e 6f 77 2e his one for now.
2cf0: 27 0a 09 09 09 09 23 65 6c 73 65 3a 0a 09 09 09 '.....#else:....
2d00: 09 09 23 61 73 73 65 72 74 20 46 61 6c 73 65 2c ..#assert False,
2d10: 20 27 4e 6f 20 63 6f 6e 74 65 6e 74 2d 6c 65 6e 'No content-len
2d20: 67 74 68 20 6f 72 20 43 6f 6e 74 65 6e 74 2d 52 gth or Content-R
2d30: 61 6e 67 65 20 68 65 61 64 65 72 2e 27 0a 0a 09 ange header.'...
2d40: 09 09 09 6e 65 77 5f 72 65 63 6f 72 64 5b 27 5f ...new_record['_
2d50: 74 69 6d 65 27 5d 20 3d 20 64 61 74 65 74 69 6d time'] = datetim
2d60: 65 2e 64 61 74 65 74 69 6d 65 2e 6e 6f 77 28 29 e.datetime.now()
2d70: 0a 09 09 09 09 69 66 20 73 65 6c 66 2e 63 6f 6d .....if self.com
2d80: 6d 61 6e 64 20 6e 6f 74 20 69 6e 20 28 27 48 45 mand not in ('HE
2d90: 41 44 27 29 3a 0a 09 09 09 09 09 23 20 66 69 6c AD'):......# fil
2da0: 65 20 69 73 20 63 72 65 61 74 65 64 20 61 74 20 e is created at
2db0: 74 65 6d 70 6f 72 61 72 79 20 6c 6f 63 61 74 69 temporary locati
2dc0: 6f 6e 20 61 6e 64 20 6d 6f 76 65 64 20 69 6e 20 on and moved in
2dd0: 70 6c 61 63 65 20 6f 6e 6c 79 20 77 68 65 6e 20 place only when
2de0: 64 6f 77 6e 6c 6f 61 64 20 63 6f 6d 70 6c 65 74 download complet
2df0: 65 73 0a 09 09 09 09 09 69 66 20 6e 6f 74 20 6f es......if not o
2e00: 73 2e 61 63 63 65 73 73 28 74 65 6d 70 5f 6e 61 s.access(temp_na
2e10: 6d 65 2c 20 6f 73 2e 52 5f 4f 4b 29 3a 0a 09 09 me, os.R_OK):...
2e20: 09 09 09 09 65 6d 70 74 79 5f 6e 61 6d 65 20 3d ....empty_name =
2e30: 20 63 6f 6e 66 69 67 5b 27 64 69 72 27 5d 20 2b config['dir'] +
2e40: 20 6f 73 2e 73 65 70 20 2b 20 27 2e 74 6d 70 27 os.sep + '.tmp'
2e50: 0a 09 09 09 09 09 09 77 69 74 68 20 6f 70 65 6e .......with open
2e60: 28 65 6d 70 74 79 5f 6e 61 6d 65 2c 20 27 77 2b (empty_name, 'w+
2e70: 62 27 29 20 61 73 20 73 6f 6d 65 5f 66 69 6c 65 b') as some_file
2e80: 3a 0a 09 09 09 09 09 09 09 70 61 73 73 0a 09 09 :........pass...
2e90: 09 09 09 09 6f 73 2e 72 65 6e 61 6d 65 73 28 65 ....os.renames(e
2ea0: 6d 70 74 79 5f 6e 61 6d 65 2c 20 74 65 6d 70 5f mpty_name, temp_
2eb0: 6e 61 6d 65 29 0a 09 09 09 09 09 74 65 6d 70 5f name)......temp_
2ec0: 66 69 6c 65 20 3d 20 6f 70 65 6e 28 74 65 6d 70 file = open(temp
2ed0: 5f 6e 61 6d 65 2c 20 27 72 2b 62 27 29 0a 09 09 _name, 'r+b')...
2ee0: 09 09 09 69 66 20 72 65 71 75 65 73 74 65 64 5f ...if requested_
2ef0: 72 61 6e 67 65 73 20 3d 3d 20 4e 6f 6e 65 20 61 ranges == None a
2f00: 6e 64 20 6e 65 65 64 65 64 20 3d 3d 20 4e 6f 6e nd needed == Non
2f10: 65 3a 0a 09 09 09 09 09 09 6e 65 65 64 65 64 20 e:.......needed
2f20: 3d 20 6e 65 77 5f 72 65 63 6f 72 64 5b 27 5f 70 = new_record['_p
2f30: 61 72 74 73 27 5d 0a 09 09 09 09 09 6e 65 65 64 arts']......need
2f40: 65 64 2e 72 65 77 69 6e 64 28 29 0a 09 09 09 09 ed.rewind().....
2f50: 09 77 68 69 6c 65 20 54 72 75 65 3a 0a 09 09 09 .while True:....
2f60: 09 09 09 23 20 58 58 58 20 63 61 6e 20 6d 61 6b ...# XXX can mak
2f70: 65 20 74 68 69 73 20 69 6d 70 6c 69 63 69 74 20 e this implicit
2f80: 2d 20 6f 6e 65 20 72 65 71 75 65 73 74 20 70 65 - one request pe
2f90: 72 20 72 61 6e 67 65 0a 09 09 09 09 09 09 28 73 r range.......(s
2fa0: 74 61 72 74 2c 20 65 6e 64 29 20 3d 20 6e 65 65 tart, end) = nee
2fb0: 64 65 64 2e 70 6f 70 28 29 0a 09 09 09 09 09 09 ded.pop().......
2fc0: 69 66 20 73 74 61 72 74 20 3d 3d 20 4e 6f 6e 65 if start == None
2fd0: 3a 0a 09 09 09 09 09 09 09 62 72 65 61 6b 0a 09 :........break..
2fe0: 09 09 09 09 09 73 74 72 65 61 6d 5f 6c 61 73 74 .....stream_last
2ff0: 20 3d 20 73 74 61 72 74 0a 09 09 09 09 09 09 6f = start.......o
3000: 6c 64 5f 72 65 63 6f 72 64 20 3d 20 63 6f 70 79 ld_record = copy
3010: 2e 63 6f 70 79 28 6e 65 77 5f 72 65 63 6f 72 64 .copy(new_record
3020: 29 0a 09 09 09 09 09 09 69 66 20 65 6e 64 20 2d ).......if end -
3030: 20 73 74 61 72 74 20 3c 20 62 6c 6f 63 6b 5f 73 start < block_s
3040: 69 7a 65 3a 0a 09 09 09 09 09 09 09 72 65 71 5f ize:........req_
3050: 62 6c 6f 63 6b 5f 73 69 7a 65 20 3d 20 65 6e 64 block_size = end
3060: 20 2d 20 73 74 61 72 74 0a 09 09 09 09 09 09 65 - start.......e
3070: 6c 73 65 3a 0a 09 09 09 09 09 09 09 72 65 71 5f lse:........req_
3080: 62 6c 6f 63 6b 5f 73 69 7a 65 20 3d 20 62 6c 6f block_size = blo
3090: 63 6b 5f 73 69 7a 65 0a 09 09 09 09 09 09 62 75 ck_size.......bu
30a0: 66 66 65 72 20 3d 20 73 6f 75 72 63 65 2e 72 65 ffer = source.re
30b0: 61 64 28 72 65 71 5f 62 6c 6f 63 6b 5f 73 69 7a ad(req_block_siz
30c0: 65 29 0a 09 09 09 09 09 09 6c 65 6e 67 74 68 20 e).......length
30d0: 3d 20 6c 65 6e 28 62 75 66 66 65 72 29 0a 09 09 = len(buffer)...
30e0: 09 09 09 09 77 68 69 6c 65 20 6c 65 6e 67 74 68 ....while length
30f0: 20 3e 20 30 20 61 6e 64 20 73 74 72 65 61 6d 5f > 0 and stream_
3100: 6c 61 73 74 20 3c 20 65 6e 64 3a 0a 09 09 09 09 last < end:.....
3110: 09 09 09 73 74 72 65 61 6d 5f 70 6f 73 20 3d 20 ...stream_pos =
3120: 73 74 72 65 61 6d 5f 6c 61 73 74 20 2b 20 6c 65 stream_last + le
3130: 6e 67 74 68 0a 09 09 09 09 09 09 09 61 73 73 65 ngth........asse
3140: 72 74 20 73 74 72 65 61 6d 5f 70 6f 73 20 3c 3d rt stream_pos <=
3150: 20 65 6e 64 2c 20 27 52 65 63 65 69 76 65 64 20 end, 'Received
3160: 6d 6f 72 65 20 64 61 74 61 20 74 68 65 6e 20 72 more data then r
3170: 65 71 75 65 73 74 65 64 3a 20 70 6f 73 3a 7b 7d equested: pos:{}
3180: 20 73 74 61 72 74 3a 7b 7d 20 65 6e 64 3a 7b 7d start:{} end:{}
3190: 2e 27 2e 66 6f 72 6d 61 74 28 73 74 72 65 61 6d .'.format(stream
31a0: 5f 70 6f 73 2c 20 73 74 61 72 74 2c 20 65 6e 64 _pos, start, end
31b0: 29 0a 09 09 09 09 09 09 09 74 65 6d 70 5f 66 69 )........temp_fi
31c0: 6c 65 2e 73 65 65 6b 28 73 74 72 65 61 6d 5f 6c le.seek(stream_l
31d0: 61 73 74 29 0a 09 09 09 09 09 09 09 74 65 6d 70 ast)........temp
31e0: 5f 66 69 6c 65 2e 77 72 69 74 65 28 62 75 66 66 _file.write(buff
31f0: 65 72 29 0a 09 09 09 09 09 09 09 78 20 3d 20 6e er)........x = n
3200: 65 77 5f 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 ew_record['_part
3210: 73 27 5d 20 2d 20 73 70 61 63 65 6d 61 70 2e 53 s'] - spacemap.S
3220: 70 61 63 65 4d 61 70 28 7b 73 74 72 65 61 6d 5f paceMap({stream_
3230: 6c 61 73 74 3a 20 73 74 72 65 61 6d 5f 70 6f 73 last: stream_pos
3240: 7d 29 0a 09 09 09 09 09 09 09 6e 65 77 5f 72 65 })........new_re
3250: 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d 20 3d cord['_parts'] =
3260: 20 6e 65 77 5f 72 65 63 6f 72 64 5b 27 5f 70 61 new_record['_pa
3270: 72 74 73 27 5d 20 2d 20 73 70 61 63 65 6d 61 70 rts'] - spacemap
3280: 2e 53 70 61 63 65 4d 61 70 28 7b 73 74 72 65 61 .SpaceMap({strea
3290: 6d 5f 6c 61 73 74 3a 20 73 74 72 65 61 6d 5f 70 m_last: stream_p
32a0: 6f 73 7d 29 0a 09 09 09 09 09 09 09 69 6e 64 65 os})........inde
32b0: 78 5b 6d 79 5f 70 61 74 68 5d 20 3d 20 6f 6c 64 x[my_path] = old
32c0: 5f 72 65 63 6f 72 64 0a 09 09 09 09 09 09 09 69 _record........i
32d0: 6e 64 65 78 2e 73 79 6e 63 28 29 0a 09 09 09 09 ndex.sync().....
32e0: 09 09 09 6f 6c 64 5f 72 65 63 6f 72 64 20 3d 20 ...old_record =
32f0: 63 6f 70 79 2e 63 6f 70 79 28 6e 65 77 5f 72 65 copy.copy(new_re
3300: 63 6f 72 64 29 0a 09 09 09 09 09 09 09 73 74 72 cord)........str
3310: 65 61 6d 5f 6c 61 73 74 20 3d 20 73 74 72 65 61 eam_last = strea
3320: 6d 5f 70 6f 73 0a 09 09 09 09 09 09 09 69 66 20 m_pos........if
3330: 65 6e 64 20 2d 20 73 74 72 65 61 6d 5f 6c 61 73 end - stream_las
3340: 74 20 3c 20 62 6c 6f 63 6b 5f 73 69 7a 65 3a 0a t < block_size:.
3350: 09 09 09 09 09 09 09 09 72 65 71 5f 62 6c 6f 63 ........req_bloc
3360: 6b 5f 73 69 7a 65 20 3d 20 65 6e 64 20 2d 20 73 k_size = end - s
3370: 74 72 65 61 6d 5f 6c 61 73 74 0a 09 09 09 09 09 tream_last......
3380: 09 09 62 75 66 66 65 72 20 3d 20 73 6f 75 72 63 ..buffer = sourc
3390: 65 2e 72 65 61 64 28 72 65 71 5f 62 6c 6f 63 6b e.read(req_block
33a0: 5f 73 69 7a 65 29 0a 09 09 09 09 09 09 09 6c 65 _size)........le
33b0: 6e 67 74 68 20 3d 20 6c 65 6e 28 62 75 66 66 65 ngth = len(buffe
33c0: 72 29 0a 09 09 09 09 09 23 20 6d 6f 76 69 6e 67 r)......# moving
33d0: 20 64 6f 77 6e 6c 6f 61 64 65 64 20 64 61 74 61 downloaded data
33e0: 20 74 6f 20 72 65 61 6c 20 66 69 6c 65 0a 09 09 to real file...
33f0: 09 09 09 74 65 6d 70 5f 66 69 6c 65 2e 63 6c 6f ...temp_file.clo
3400: 73 65 28 29 0a 0a 09 09 09 09 69 6e 64 65 78 5b se()......index[
3410: 6d 79 5f 70 61 74 68 5d 20 3d 20 6e 65 77 5f 72 my_path] = new_r
3420: 65 63 6f 72 64 0a 09 09 09 09 69 6e 64 65 78 2e ecord.....index.
3430: 73 79 6e 63 28 29 0a 0a 09 09 09 65 78 63 65 70 sync().....excep
3440: 74 20 75 72 6c 6c 69 62 32 2e 48 54 54 50 45 72 t urllib2.HTTPEr
3450: 72 6f 72 20 61 73 20 65 72 72 6f 72 3a 0a 09 09 ror as error:...
3460: 09 09 23 20 69 6e 20 63 61 73 65 20 6f 66 20 65 ..# in case of e
3470: 72 72 6f 72 20 77 65 20 64 6f 6e 27 74 20 6e 65 rror we don't ne
3480: 65 64 20 74 6f 20 64 6f 20 61 6e 79 74 68 69 6e ed to do anythin
3490: 67 20 61 63 74 75 61 6c 6c 79 2c 0a 09 09 09 09 g actually,.....
34a0: 23 20 69 66 20 66 69 6c 65 20 64 6f 77 6e 6c 6f # if file downlo
34b0: 61 64 20 73 74 61 6c 6c 73 20 6f 72 20 66 61 69 ad stalls or fai
34c0: 6c 73 20 74 68 65 20 66 69 6c 65 20 77 6f 75 6c ls the file woul
34d0: 64 20 6e 6f 74 20 62 65 20 6d 6f 76 65 64 20 74 d not be moved t
34e0: 6f 20 69 74 27 73 20 6c 6f 63 61 74 69 6f 6e 0a o it's location.
34f0: 09 09 09 09 70 72 69 6e 74 28 65 72 72 6f 72 29 ....print(error)
3500: 0a 0a 09 09 70 72 69 6e 74 28 69 6e 64 65 78 5b ....print(index[
3510: 6d 79 5f 70 61 74 68 5d 29 0a 0a 09 09 69 66 20 my_path])....if
3520: 6e 6f 74 20 6f 73 2e 61 63 63 65 73 73 28 66 69 not os.access(fi
3530: 6c 65 5f 6e 61 6d 65 2c 20 6f 73 2e 52 5f 4f 4b le_name, os.R_OK
3540: 29 20 61 6e 64 20 6f 73 2e 61 63 63 65 73 73 28 ) and os.access(
3550: 74 65 6d 70 5f 6e 61 6d 65 2c 20 6f 73 2e 52 5f temp_name, os.R_
3560: 4f 4b 29 20 61 6e 64 20 27 5f 70 61 72 74 73 27 OK) and '_parts'
3570: 20 69 6e 20 69 6e 64 65 78 5b 6d 79 5f 70 61 74 in index[my_pat
3580: 68 5d 20 61 6e 64 20 69 6e 64 65 78 5b 6d 79 5f h] and index[my_
3590: 70 61 74 68 5d 5b 27 5f 70 61 72 74 73 27 5d 20 path]['_parts']
35a0: 3d 3d 20 73 70 61 63 65 6d 61 70 2e 53 70 61 63 == spacemap.Spac
35b0: 65 4d 61 70 28 29 3a 0a 09 09 09 23 20 6a 75 73 eMap():....# jus
35c0: 74 20 6d 6f 76 69 6e 67 0a 09 09 09 23 20 64 72 t moving....# dr
35d0: 6f 70 20 6f 6c 64 20 64 69 72 73 20 58 58 58 0a op old dirs XXX.
35e0: 09 09 09 70 72 69 6e 74 28 27 4d 6f 76 69 6e 67 ...print('Moving
35f0: 20 74 65 6d 70 6f 72 61 72 79 20 66 69 6c 65 20 temporary file
3600: 74 6f 20 6e 65 77 20 64 65 73 74 69 6e 61 74 69 to new destinati
3610: 6f 6e 2e 27 29 0a 09 09 09 6f 73 2e 72 65 6e 61 on.')....os.rena
3620: 6d 65 73 28 74 65 6d 70 5f 6e 61 6d 65 2c 20 66 mes(temp_name, f
3630: 69 6c 65 5f 6e 61 6d 65 29 0a 0a 09 09 69 66 20 ile_name)....if
3640: 6e 6f 74 20 6d 79 5f 70 61 74 68 20 69 6e 20 69 not my_path in i
3650: 6e 64 65 78 3a 0a 09 09 09 73 65 6c 66 2e 73 65 ndex:....self.se
3660: 6e 64 5f 72 65 73 70 6f 6e 73 65 28 35 30 32 29 nd_response(502)
3670: 0a 09 09 09 73 65 6c 66 2e 65 6e 64 5f 68 65 61 ....self.end_hea
3680: 64 65 72 73 28 29 0a 09 09 09 72 65 74 75 72 6e ders()....return
3690: 0a 0a 09 09 69 66 20 73 65 6c 66 2e 63 6f 6d 6d ....if self.comm
36a0: 61 6e 64 20 3d 3d 20 27 48 45 41 44 27 3a 0a 09 and == 'HEAD':..
36b0: 09 09 73 65 6c 66 2e 73 65 6e 64 5f 72 65 73 70 ..self.send_resp
36c0: 6f 6e 73 65 28 32 30 30 29 0a 09 09 09 69 66 20 onse(200)....if
36d0: 27 63 6f 6e 74 65 6e 74 2d 6c 65 6e 67 74 68 27 'content-length'
36e0: 20 69 6e 20 69 6e 64 65 78 5b 6d 79 5f 70 61 74 in index[my_pat
36f0: 68 5d 3a 0a 09 09 09 09 73 65 6c 66 2e 73 65 6e h]:.....self.sen
3700: 64 5f 68 65 61 64 65 72 28 27 63 6f 6e 74 65 6e d_header('conten
3710: 74 2d 6c 65 6e 67 74 68 27 2c 20 69 6e 64 65 78 t-length', index
3720: 5b 6d 79 5f 70 61 74 68 5d 5b 27 63 6f 6e 74 65 [my_path]['conte
3730: 6e 74 2d 6c 65 6e 67 74 68 27 5d 29 0a 09 09 09 nt-length'])....
3740: 73 65 6c 66 2e 73 65 6e 64 5f 68 65 61 64 65 72 self.send_header
3750: 28 27 61 63 63 65 70 74 2d 72 61 6e 67 65 73 27 ('accept-ranges'
3760: 2c 20 27 62 79 74 65 73 27 29 0a 09 09 09 73 65 , 'bytes')....se
3770: 6c 66 2e 73 65 6e 64 5f 68 65 61 64 65 72 28 27 lf.send_header('
3780: 63 6f 6e 74 65 6e 74 2d 74 79 70 65 27 2c 20 27 content-type', '
3790: 61 70 70 6c 69 63 61 74 69 6f 6e 2f 6f 63 74 65 application/octe
37a0: 74 2d 73 74 72 65 61 6d 27 29 0a 09 09 09 69 66 t-stream')....if
37b0: 20 27 6c 61 73 74 2d 6d 6f 64 69 66 69 65 64 27 'last-modified'
37c0: 20 69 6e 20 69 6e 64 65 78 5b 6d 79 5f 70 61 74 in index[my_pat
37d0: 68 5d 3a 0a 09 09 09 09 73 65 6c 66 2e 73 65 6e h]:.....self.sen
37e0: 64 5f 68 65 61 64 65 72 28 27 6c 61 73 74 2d 6d d_header('last-m
37f0: 6f 64 69 66 69 65 64 27 2c 20 69 6e 64 65 78 5b odified', index[
3800: 6d 79 5f 70 61 74 68 5d 5b 27 6c 61 73 74 2d 6d my_path]['last-m
3810: 6f 64 69 66 69 65 64 27 5d 29 0a 09 09 09 73 65 odified'])....se
3820: 6c 66 2e 65 6e 64 5f 68 65 61 64 65 72 73 28 29 lf.end_headers()
3830: 0a 09 09 65 6c 73 65 3a 0a 09 09 09 69 66 20 28 ...else:....if (
3840: 27 5f 70 61 72 74 73 27 20 69 6e 20 69 6e 64 65 '_parts' in inde
3850: 78 5b 6d 79 5f 70 61 74 68 5d 20 61 6e 64 20 69 x[my_path] and i
3860: 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5d 5b 27 5f ndex[my_path]['_
3870: 70 61 72 74 73 27 5d 20 21 3d 20 73 70 61 63 65 parts'] != space
3880: 6d 61 70 2e 53 70 61 63 65 4d 61 70 28 29 29 20 map.SpaceMap())
3890: 6f 72 20 6e 6f 74 20 6f 73 2e 61 63 63 65 73 73 or not os.access
38a0: 28 66 69 6c 65 5f 6e 61 6d 65 2c 20 6f 73 2e 52 (file_name, os.R
38b0: 5f 4f 4b 29 3a 0a 09 09 09 09 66 69 6c 65 5f 6e _OK):.....file_n
38c0: 61 6d 65 20 3d 20 74 65 6d 70 5f 6e 61 6d 65 0a ame = temp_name.
38d0: 0a 09 09 09 77 69 74 68 20 6f 70 65 6e 28 66 69 ....with open(fi
38e0: 6c 65 5f 6e 61 6d 65 2c 20 27 72 62 27 29 20 61 le_name, 'rb') a
38f0: 73 20 72 65 61 6c 5f 66 69 6c 65 3a 0a 09 09 09 s real_file:....
3900: 09 66 69 6c 65 5f 73 74 61 74 20 3d 20 6f 73 2e .file_stat = os.
3910: 73 74 61 74 28 66 69 6c 65 5f 6e 61 6d 65 29 0a stat(file_name).
3920: 09 09 09 09 69 66 20 27 72 61 6e 67 65 27 20 69 ....if 'range' i
3930: 6e 20 73 65 6c 66 2e 68 65 61 64 65 72 73 3a 0a n self.headers:.
3940: 09 09 09 09 09 73 65 6c 66 2e 73 65 6e 64 5f 72 .....self.send_r
3950: 65 73 70 6f 6e 73 65 28 32 30 36 29 0a 09 09 09 esponse(206)....
3960: 09 09 72 61 6e 67 65 73 20 3d 20 28 29 0a 09 09 ..ranges = ()...
3970: 09 09 09 72 65 71 75 65 73 74 65 64 5f 72 61 6e ...requested_ran
3980: 67 65 73 2e 72 65 77 69 6e 64 28 29 0a 09 09 09 ges.rewind()....
3990: 09 09 77 68 69 6c 65 20 54 72 75 65 3a 0a 09 09 ..while True:...
39a0: 09 09 09 09 70 61 69 72 20 3d 20 72 65 71 75 65 ....pair = reque
39b0: 73 74 65 64 5f 72 61 6e 67 65 73 2e 70 6f 70 28 sted_ranges.pop(
39c0: 29 0a 09 09 09 09 09 09 69 66 20 70 61 69 72 5b ).......if pair[
39d0: 30 5d 20 3d 3d 20 4e 6f 6e 65 3a 0a 09 09 09 09 0] == None:.....
39e0: 09 09 09 62 72 65 61 6b 0a 09 09 09 09 09 09 72 ...break.......r
39f0: 61 6e 67 65 73 20 2b 3d 20 27 7b 7d 2d 7b 7d 27 anges += '{}-{}'
3a00: 2e 66 6f 72 6d 61 74 28 70 61 69 72 5b 30 5d 2c .format(pair[0],
3a10: 20 73 74 72 28 70 61 69 72 5b 31 5d 20 2d 20 31 str(pair[1] - 1
3a20: 29 29 2c 0a 09 09 09 09 09 73 65 6c 66 2e 73 65 )),......self.se
3a30: 6e 64 5f 68 65 61 64 65 72 28 27 63 6f 6e 74 65 nd_header('conte
3a40: 6e 74 2d 72 61 6e 67 65 27 2c 20 27 62 79 74 65 nt-range', 'byte
3a50: 73 20 7b 7d 2f 7b 7d 27 2e 66 6f 72 6d 61 74 28 s {}/{}'.format(
3a60: 27 2c 27 2e 6a 6f 69 6e 28 72 61 6e 67 65 73 29 ','.join(ranges)
3a70: 2c 20 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5d , index[my_path]
3a80: 5b 27 63 6f 6e 74 65 6e 74 2d 6c 65 6e 67 74 68 ['content-length
3a90: 27 5d 29 29 0a 09 09 09 09 65 6c 73 65 3a 0a 09 '])).....else:..
3aa0: 09 09 09 09 73 65 6c 66 2e 73 65 6e 64 5f 72 65 ....self.send_re
3ab0: 73 70 6f 6e 73 65 28 32 30 30 29 0a 09 09 09 09 sponse(200).....
3ac0: 09 73 65 6c 66 2e 73 65 6e 64 5f 68 65 61 64 65 .self.send_heade
3ad0: 72 28 27 63 6f 6e 74 65 6e 74 2d 6c 65 6e 67 74 r('content-lengt
3ae0: 68 27 2c 20 73 74 72 28 66 69 6c 65 5f 73 74 61 h', str(file_sta
3af0: 74 2e 73 74 5f 73 69 7a 65 29 29 0a 09 09 09 09 t.st_size)).....
3b00: 09 72 65 71 75 65 73 74 65 64 5f 72 61 6e 67 65 .requested_range
3b10: 73 20 3d 20 73 70 61 63 65 6d 61 70 2e 53 70 61 s = spacemap.Spa
3b20: 63 65 4d 61 70 28 7b 30 3a 20 66 69 6c 65 5f 73 ceMap({0: file_s
3b30: 74 61 74 2e 73 74 5f 73 69 7a 65 7d 29 0a 09 09 tat.st_size})...
3b40: 09 09 69 66 20 27 6c 61 73 74 2d 6d 6f 64 69 66 ..if 'last-modif
3b50: 69 65 64 27 20 69 6e 20 69 6e 64 65 78 5b 6d 79 ied' in index[my
3b60: 5f 70 61 74 68 5d 3a 0a 09 09 09 09 09 73 65 6c _path]:......sel
3b70: 66 2e 73 65 6e 64 5f 68 65 61 64 65 72 28 27 6c f.send_header('l
3b80: 61 73 74 2d 6d 6f 64 69 66 69 65 64 27 2c 20 69 ast-modified', i
3b90: 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5d 5b 27 6c ndex[my_path]['l
3ba0: 61 73 74 2d 6d 6f 64 69 66 69 65 64 27 5d 29 0a ast-modified']).
3bb0: 09 09 09 09 73 65 6c 66 2e 73 65 6e 64 5f 68 65 ....self.send_he
3bc0: 61 64 65 72 28 27 63 6f 6e 74 65 6e 74 2d 74 79 ader('content-ty
3bd0: 70 65 27 2c 20 27 61 70 70 6c 69 63 61 74 69 6f pe', 'applicatio
3be0: 6e 2f 6f 63 74 65 74 2d 73 74 72 65 61 6d 27 29 n/octet-stream')
3bf0: 0a 09 09 09 09 73 65 6c 66 2e 65 6e 64 5f 68 65 .....self.end_he
3c00: 61 64 65 72 73 28 29 0a 09 09 09 09 69 66 20 73 aders().....if s
3c10: 65 6c 66 2e 63 6f 6d 6d 61 6e 64 20 69 6e 20 28 elf.command in (
3c20: 27 47 45 54 27 29 3a 0a 09 09 09 09 09 69 66 20 'GET'):......if
3c30: 6c 65 6e 28 72 65 71 75 65 73 74 65 64 5f 72 61 len(requested_ra
3c40: 6e 67 65 73 29 20 3e 20 30 3a 0a 09 09 09 09 09 nges) > 0:......
3c50: 09 72 65 71 75 65 73 74 65 64 5f 72 61 6e 67 65 .requested_range
3c60: 73 2e 72 65 77 69 6e 64 28 29 0a 09 09 09 09 09 s.rewind()......
3c70: 09 28 73 74 61 72 74 2c 20 65 6e 64 29 20 3d 20 .(start, end) =
3c80: 72 65 71 75 65 73 74 65 64 5f 72 61 6e 67 65 73 requested_ranges
3c90: 2e 70 6f 70 28 29 0a 09 09 09 09 09 65 6c 73 65 .pop()......else
3ca0: 3a 0a 09 09 09 09 09 09 73 74 61 72 74 20 3d 20 :.......start =
3cb0: 30 0a 09 09 09 09 09 09 23 20 58 58 58 20 75 67 0.......# XXX ug
3cc0: 6c 79 20 68 61 63 6b 0a 09 09 09 09 09 09 69 66 ly hack.......if
3cd0: 20 27 63 6f 6e 74 65 6e 74 2d 6c 65 6e 67 74 68 'content-length
3ce0: 27 20 69 6e 20 69 6e 64 65 78 5b 6d 79 5f 70 61 ' in index[my_pa
3cf0: 74 68 5d 3a 0a 09 09 09 09 09 09 09 65 6e 64 20 th]:........end
3d00: 3d 20 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5d = index[my_path]
3d10: 5b 27 63 6f 6e 74 65 6e 74 2d 6c 65 6e 67 74 68 ['content-length
3d20: 27 5d 0a 09 09 09 09 09 09 65 6c 73 65 3a 0a 09 '].......else:..
3d30: 09 09 09 09 09 09 65 6e 64 20 3d 20 30 0a 09 09 ......end = 0...
3d40: 09 09 09 72 65 61 6c 5f 66 69 6c 65 2e 73 65 65 ...real_file.see
3d50: 6b 28 73 74 61 72 74 29 0a 09 09 09 09 09 69 66 k(start)......if
3d60: 20 62 6c 6f 63 6b 5f 73 69 7a 65 20 3e 20 65 6e block_size > en
3d70: 64 20 2d 20 73 74 61 72 74 3a 0a 09 09 09 09 09 d - start:......
3d80: 09 72 65 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 20 .req_block_size
3d90: 3d 20 65 6e 64 20 2d 20 73 74 61 72 74 0a 09 09 = end - start...
3da0: 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 72 ...else:.......r
3db0: 65 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 20 3d 20 eq_block_size =
3dc0: 62 6c 6f 63 6b 5f 73 69 7a 65 0a 09 09 09 09 09 block_size......
3dd0: 62 75 66 66 65 72 20 3d 20 72 65 61 6c 5f 66 69 buffer = real_fi
3de0: 6c 65 2e 72 65 61 64 28 72 65 71 5f 62 6c 6f 63 le.read(req_bloc
3df0: 6b 5f 73 69 7a 65 29 0a 09 09 09 09 09 6c 65 6e k_size)......len
3e00: 67 74 68 20 3d 20 6c 65 6e 28 62 75 66 66 65 72 gth = len(buffer
3e10: 29 0a 09 09 09 09 09 77 68 69 6c 65 20 6c 65 6e )......while len
3e20: 67 74 68 20 3e 20 30 3a 0a 09 09 09 09 09 09 73 gth > 0:.......s
3e30: 65 6c 66 2e 77 66 69 6c 65 2e 77 72 69 74 65 28 elf.wfile.write(
3e40: 62 75 66 66 65 72 29 0a 09 09 09 09 09 09 73 74 buffer).......st
3e50: 61 72 74 20 2b 3d 20 6c 65 6e 28 62 75 66 66 65 art += len(buffe
3e60: 72 29 0a 09 09 09 09 09 09 69 66 20 72 65 71 5f r).......if req_
3e70: 62 6c 6f 63 6b 5f 73 69 7a 65 20 3e 20 65 6e 64 block_size > end
3e80: 20 2d 20 73 74 61 72 74 3a 0a 09 09 09 09 09 09 - start:.......
3e90: 09 72 65 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 20 .req_block_size
3ea0: 3d 20 65 6e 64 20 2d 20 73 74 61 72 74 0a 09 09 = end - start...
3eb0: 09 09 09 09 69 66 20 72 65 71 5f 62 6c 6f 63 6b ....if req_block
3ec0: 5f 73 69 7a 65 20 3d 3d 20 30 3a 0a 09 09 09 09 _size == 0:.....
3ed0: 09 09 09 62 72 65 61 6b 0a 09 09 09 09 09 09 62 ...break.......b
3ee0: 75 66 66 65 72 20 3d 20 72 65 61 6c 5f 66 69 6c uffer = real_fil
3ef0: 65 2e 72 65 61 64 28 72 65 71 5f 62 6c 6f 63 6b e.read(req_block
3f00: 5f 73 69 7a 65 29 0a 09 09 09 09 09 09 6c 65 6e _size).......len
3f10: 67 74 68 20 3d 20 6c 65 6e 28 62 75 66 66 65 72 gth = len(buffer
3f20: 29 0a 09 09 09 09 0a 09 64 65 66 20 64 6f 5f 48 ).......def do_H
3f30: 45 41 44 28 73 65 6c 66 29 3a 0a 09 09 72 65 74 EAD(self):...ret
3f40: 75 72 6e 20 73 65 6c 66 2e 5f 5f 70 72 6f 63 65 urn self.__proce
3f50: 73 73 28 29 0a 09 64 65 66 20 64 6f 5f 47 45 54 ss()..def do_GET
3f60: 28 73 65 6c 66 29 3a 0a 09 09 72 65 74 75 72 6e (self):...return
3f70: 20 73 65 6c 66 2e 5f 5f 70 72 6f 63 65 73 73 28 self.__process(
3f80: 29 0a 0a 63 6f 6e 66 69 67 2e 73 65 63 74 69 6f )..config.sectio
3f90: 6e 28 27 67 65 6e 65 72 61 6c 27 29 0a 73 65 72 n('general').ser
3fa0: 76 65 72 20 3d 20 42 61 73 65 48 54 54 50 53 65 ver = BaseHTTPSe
3fb0: 72 76 65 72 2e 48 54 54 50 53 65 72 76 65 72 28 rver.HTTPServer(
3fc0: 28 27 31 32 37 2e 30 2e 30 2e 31 27 2c 20 69 6e ('127.0.0.1', in
3fd0: 74 28 63 6f 6e 66 69 67 5b 27 70 6f 72 74 27 5d t(config['port']
3fe0: 29 29 2c 20 4d 79 52 65 71 75 65 73 74 48 61 6e )), MyRequestHan
3ff0: 64 6c 65 72 29 0a 73 65 72 76 65 72 2e 73 65 72 dler).server.ser
4000: 76 65 5f 66 6f 72 65 76 65 72 28 29 0a 0a 23 67 ve_forever()..#g
4010: 65 76 65 6e 74 2e 6a 6f 69 6e 61 6c 6c 28 29 0a event.joinall().