0000: 23 21 2f 75 73 72 2f 62 69 6e 2f 65 6e 76 20 70 #!/usr/bin/env p
0010: 79 74 68 6f 6e 33 2e 31 0a 0a 69 6d 70 6f 72 74 ython3.1..import
0020: 20 64 61 74 65 74 69 6d 65 2c 20 68 74 74 70 2e datetime, http.
0030: 63 6f 6f 6b 69 65 6a 61 72 2c 20 6f 73 2c 20 73 cookiejar, os, s
0040: 79 73 2c 20 73 68 65 6c 76 65 2c 20 73 70 61 63 ys, shelve, spac
0050: 65 6d 61 70 2c 20 72 65 2c 20 75 72 6c 6c 69 62 emap, re, urllib
0060: 2e 72 65 71 75 65 73 74 0a 0a 63 6c 61 73 73 20 .request..class
0070: 43 6f 6e 66 69 67 3a 0a 09 5f 5f 73 6c 6f 74 73 Config:..__slots
0080: 5f 5f 20 3d 20 66 72 6f 7a 65 6e 73 65 74 28 5b __ = frozenset([
0090: 27 5f 63 6f 6e 66 69 67 27 2c 20 27 5f 64 65 66 '_config', '_def
00a0: 61 75 6c 74 27 2c 20 27 5f 73 65 63 74 69 6f 6e ault', '_section
00b0: 27 2c 20 27 6f 70 74 69 6f 6e 73 27 2c 20 27 72 ', 'options', 'r
00c0: 6f 6f 74 27 5d 29 0a 09 5f 64 65 66 61 75 6c 74 oot']).._default
00d0: 20 3d 20 7b 0a 09 09 27 67 65 6e 65 72 61 6c 27 = {...'general'
00e0: 3a 20 7b 0a 09 09 09 27 70 6f 72 74 27 3a 20 27 : {....'port': '
00f0: 38 30 30 38 27 2c 0a 09 09 7d 2c 0a 09 09 27 5f 8008',...},...'_
0100: 6f 74 68 65 72 27 3a 20 7b 0a 09 09 09 27 76 65 other': {....'ve
0110: 72 62 6f 73 65 27 3a 20 27 6e 6f 27 2c 0a 09 09 rbose': 'no',...
0120: 09 27 6e 6f 65 74 61 67 27 3a 20 27 6e 6f 27 2c .'noetag': 'no',
0130: 0a 09 09 09 27 6e 6f 70 61 72 74 73 27 3a 20 27 ....'noparts': '
0140: 6e 6f 27 2c 0a 09 7d 2c 7d 0a 0a 09 23 20 66 75 no',..},}...# fu
0150: 6e 63 74 69 6f 6e 20 74 6f 20 72 65 61 64 20 69 nction to read i
0160: 6e 20 63 6f 6e 66 69 67 20 66 69 6c 65 0a 09 64 n config file..d
0170: 65 66 20 5f 5f 69 6e 69 74 5f 5f 28 73 65 6c 66 ef __init__(self
0180: 29 3a 0a 09 09 69 6d 70 6f 72 74 20 63 6f 6e 66 ):...import conf
0190: 69 67 70 61 72 73 65 72 2c 20 6f 70 74 70 61 72 igparser, optpar
01a0: 73 65 0a 0a 09 09 70 61 72 73 65 72 20 3d 20 6f se....parser = o
01b0: 70 74 70 61 72 73 65 2e 4f 70 74 69 6f 6e 50 61 ptparse.OptionPa
01c0: 72 73 65 72 28 29 0a 09 09 70 61 72 73 65 72 2e rser()...parser.
01d0: 61 64 64 5f 6f 70 74 69 6f 6e 28 27 2d 63 27 2c add_option('-c',
01e0: 20 27 2d 2d 63 6f 6e 66 69 67 27 2c 20 64 65 73 '--config', des
01f0: 74 20 3d 20 27 63 6f 6e 66 69 67 27 2c 20 68 65 t = 'config', he
0200: 6c 70 20 3d 20 27 63 6f 6e 66 69 67 20 66 69 6c lp = 'config fil
0210: 65 20 6c 6f 63 61 74 69 6f 6e 27 2c 20 6d 65 74 e location', met
0220: 61 76 61 72 20 3d 20 27 46 49 4c 45 27 2c 20 64 avar = 'FILE', d
0230: 65 66 61 75 6c 74 20 3d 20 27 73 61 6d 65 73 69 efault = 'samesi
0240: 74 65 2e 63 6f 6e 66 27 29 0a 09 09 28 73 65 6c te.conf')...(sel
0250: 66 2e 6f 70 74 69 6f 6e 73 2c 20 61 72 67 73 29 f.options, args)
0260: 20 3d 20 70 61 72 73 65 72 2e 70 61 72 73 65 5f = parser.parse_
0270: 61 72 67 73 28 29 0a 0a 09 09 61 73 73 65 72 74 args()....assert
0280: 20 6f 73 2e 61 63 63 65 73 73 28 73 65 6c 66 2e os.access(self.
0290: 6f 70 74 69 6f 6e 73 2e 63 6f 6e 66 69 67 2c 20 options.config,
02a0: 6f 73 2e 52 5f 4f 4b 29 2c 20 22 46 61 74 61 6c os.R_OK), "Fatal
02b0: 20 65 72 72 6f 72 3a 20 63 61 6e 27 74 20 72 65 error: can't re
02c0: 61 64 20 7b 7d 22 2e 66 6f 72 6d 61 74 28 73 65 ad {}".format(se
02d0: 6c 66 2e 6f 70 74 69 6f 6e 73 2e 63 6f 6e 66 69 lf.options.confi
02e0: 67 29 0a 0a 09 09 63 6f 6e 66 69 67 44 69 72 20 g)....configDir
02f0: 3d 20 72 65 2e 63 6f 6d 70 69 6c 65 28 27 5e 28 = re.compile('^(
0300: 2e 2a 29 2f 5b 5e 2f 5d 2b 24 27 29 2e 6d 61 74 .*)/[^/]+$').mat
0310: 63 68 28 73 65 6c 66 2e 6f 70 74 69 6f 6e 73 2e ch(self.options.
0320: 63 6f 6e 66 69 67 29 0a 09 09 69 66 20 63 6f 6e config)...if con
0330: 66 69 67 44 69 72 3a 0a 09 09 09 73 65 6c 66 2e figDir:....self.
0340: 72 6f 6f 74 20 3d 20 63 6f 6e 66 69 67 44 69 72 root = configDir
0350: 2e 67 72 6f 75 70 28 31 29 0a 09 09 65 6c 73 65 .group(1)...else
0360: 3a 0a 09 09 09 73 65 6c 66 2e 72 6f 6f 74 20 3d :....self.root =
0370: 20 6f 73 2e 67 65 74 63 77 64 28 29 0a 0a 09 09 os.getcwd()....
0380: 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 20 3d 20 63 self._config = c
0390: 6f 6e 66 69 67 70 61 72 73 65 72 2e 43 6f 6e 66 onfigparser.Conf
03a0: 69 67 50 61 72 73 65 72 28 29 0a 09 09 73 65 6c igParser()...sel
03b0: 66 2e 5f 63 6f 6e 66 69 67 2e 72 65 61 64 66 70 f._config.readfp
03c0: 28 6f 70 65 6e 28 73 65 6c 66 2e 6f 70 74 69 6f (open(self.optio
03d0: 6e 73 2e 63 6f 6e 66 69 67 29 29 0a 0a 09 09 66 ns.config))....f
03e0: 6f 72 20 73 65 63 74 69 6f 6e 20 69 6e 20 73 65 or section in se
03f0: 6c 66 2e 5f 63 6f 6e 66 69 67 2e 73 65 63 74 69 lf._config.secti
0400: 6f 6e 73 28 29 3a 0a 09 09 09 69 66 20 73 65 63 ons():....if sec
0410: 74 69 6f 6e 20 21 3d 20 27 67 65 6e 65 72 61 6c tion != 'general
0420: 27 3a 0a 09 09 09 09 69 66 20 73 65 6c 66 2e 5f ':.....if self._
0430: 63 6f 6e 66 69 67 2e 68 61 73 5f 6f 70 74 69 6f config.has_optio
0440: 6e 28 73 65 63 74 69 6f 6e 2c 20 27 64 69 72 27 n(section, 'dir'
0450: 29 3a 0a 09 09 09 09 09 69 66 20 72 65 2e 63 6f ):......if re.co
0460: 6d 70 69 6c 65 28 27 5e 2f 24 27 29 2e 6d 61 74 mpile('^/$').mat
0470: 63 68 28 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e ch(self._config.
0480: 67 65 74 28 73 65 63 74 69 6f 6e 2c 20 27 64 69 get(section, 'di
0490: 72 27 29 29 3a 0a 09 09 09 09 09 09 73 65 6c 66 r')):.......self
04a0: 2e 5f 63 6f 6e 66 69 67 2e 73 65 74 28 73 65 63 ._config.set(sec
04b0: 74 69 6f 6e 2c 20 27 64 69 72 27 2c 20 73 65 6c tion, 'dir', sel
04c0: 66 2e 72 6f 6f 74 20 2b 20 6f 73 2e 73 65 70 20 f.root + os.sep
04d0: 2b 20 73 65 63 74 69 6f 6e 29 0a 09 09 09 09 09 + section)......
04e0: 74 68 69 73 44 69 72 20 3d 20 72 65 2e 63 6f 6d thisDir = re.com
04f0: 70 69 6c 65 28 27 5e 28 2e 2a 29 2f 24 27 29 2e pile('^(.*)/$').
0500: 6d 61 74 63 68 28 73 65 6c 66 2e 5f 63 6f 6e 66 match(self._conf
0510: 69 67 2e 67 65 74 28 73 65 63 74 69 6f 6e 2c 20 ig.get(section,
0520: 27 64 69 72 27 29 29 0a 09 09 09 09 09 69 66 20 'dir'))......if
0530: 74 68 69 73 44 69 72 3a 0a 09 09 09 09 09 09 73 thisDir:.......s
0540: 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 73 65 74 28 elf._config.set(
0550: 73 65 63 74 69 6f 6e 2c 20 27 64 69 72 27 2c 20 section, 'dir',
0560: 74 68 69 73 44 69 72 2e 67 72 6f 75 70 28 31 29 thisDir.group(1)
0570: 29 0a 09 09 09 09 09 69 66 20 6e 6f 74 20 72 65 )......if not re
0580: 2e 63 6f 6d 70 69 6c 65 28 27 5e 2f 28 2e 2a 29 .compile('^/(.*)
0590: 24 27 29 2e 6d 61 74 63 68 28 73 65 6c 66 2e 5f $').match(self._
05a0: 63 6f 6e 66 69 67 2e 67 65 74 28 73 65 63 74 69 config.get(secti
05b0: 6f 6e 2c 20 27 64 69 72 27 29 29 3a 0a 09 09 09 on, 'dir')):....
05c0: 09 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e ...self._config.
05d0: 73 65 74 28 73 65 63 74 69 6f 6e 2c 20 27 64 69 set(section, 'di
05e0: 72 27 2c 20 73 65 6c 66 2e 72 6f 6f 74 20 2b 20 r', self.root +
05f0: 6f 73 2e 73 65 70 20 2b 20 73 65 6c 66 2e 5f 63 os.sep + self._c
0600: 6f 6e 66 69 67 2e 67 65 74 28 73 65 63 74 69 6f onfig.get(sectio
0610: 6e 2c 20 27 64 69 72 27 29 29 0a 09 09 09 09 65 n, 'dir')).....e
0620: 6c 73 65 3a 0a 09 09 09 09 09 73 65 6c 66 2e 5f lse:......self._
0630: 63 6f 6e 66 69 67 2e 73 65 74 28 73 65 63 74 69 config.set(secti
0640: 6f 6e 2c 20 27 64 69 72 27 2c 20 73 65 6c 66 2e on, 'dir', self.
0650: 72 6f 6f 74 20 2b 20 6f 73 2e 73 65 70 20 2b 20 root + os.sep +
0660: 73 65 63 74 69 6f 6e 29 0a 0a 09 09 09 09 69 66 section)......if
0670: 20 6e 6f 74 20 73 65 6c 66 2e 5f 63 6f 6e 66 69 not self._confi
0680: 67 2e 68 61 73 5f 6f 70 74 69 6f 6e 28 73 65 63 g.has_option(sec
0690: 74 69 6f 6e 2c 20 27 72 6f 6f 74 27 29 3a 0a 09 tion, 'root'):..
06a0: 09 09 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 ....self._config
06b0: 2e 73 65 74 28 73 65 63 74 69 6f 6e 2c 20 27 72 .set(section, 'r
06c0: 6f 6f 74 27 2c 20 73 65 63 74 69 6f 6e 29 0a 0a oot', section)..
06d0: 09 23 20 66 75 6e 63 74 69 6f 6e 20 74 6f 20 73 .# function to s
06e0: 65 6c 65 63 74 20 63 6f 6e 66 69 67 20 66 69 6c elect config fil
06f0: 65 20 73 65 63 74 69 6f 6e 20 6f 72 20 63 72 65 e section or cre
0700: 61 74 65 20 6f 6e 65 0a 09 64 65 66 20 73 65 63 ate one..def sec
0710: 74 69 6f 6e 28 73 65 6c 66 2c 20 73 65 63 74 69 tion(self, secti
0720: 6f 6e 29 3a 0a 09 09 69 66 20 6e 6f 74 20 73 65 on):...if not se
0730: 6c 66 2e 5f 63 6f 6e 66 69 67 2e 68 61 73 5f 73 lf._config.has_s
0740: 65 63 74 69 6f 6e 28 73 65 63 74 69 6f 6e 29 3a ection(section):
0750: 0a 09 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 ....self._config
0760: 2e 61 64 64 5f 73 65 63 74 69 6f 6e 28 73 65 63 .add_section(sec
0770: 74 69 6f 6e 29 0a 09 09 73 65 6c 66 2e 5f 73 65 tion)...self._se
0780: 63 74 69 6f 6e 20 3d 20 73 65 63 74 69 6f 6e 0a ction = section.
0790: 0a 09 23 20 66 75 6e 63 74 69 6f 6e 20 74 6f 20 ..# function to
07a0: 67 65 74 20 63 6f 6e 66 69 67 20 70 61 72 61 6d get config param
07b0: 65 74 65 72 2c 20 69 66 20 70 61 72 61 6d 65 74 eter, if paramet
07c0: 65 72 20 64 6f 65 73 6e 27 74 20 65 78 69 73 74 er doesn't exist
07d0: 73 20 74 68 65 20 64 65 66 61 75 6c 74 0a 09 23 s the default..#
07e0: 20 76 61 6c 75 65 20 6f 72 20 4e 6f 6e 65 20 69 value or None i
07f0: 73 20 73 75 62 73 74 69 74 75 74 65 64 0a 09 64 s substituted..d
0800: 65 66 20 5f 5f 67 65 74 69 74 65 6d 5f 5f 28 73 ef __getitem__(s
0810: 65 6c 66 2c 20 6e 61 6d 65 29 3a 0a 09 09 69 66 elf, name):...if
0820: 20 6e 6f 74 20 73 65 6c 66 2e 5f 63 6f 6e 66 69 not self._confi
0830: 67 2e 68 61 73 5f 6f 70 74 69 6f 6e 28 73 65 6c g.has_option(sel
0840: 66 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e 61 6d 65 f._section, name
0850: 29 3a 0a 09 09 09 69 66 20 73 65 6c 66 2e 5f 73 ):....if self._s
0860: 65 63 74 69 6f 6e 20 69 6e 20 73 65 6c 66 2e 5f ection in self._
0870: 64 65 66 61 75 6c 74 3a 0a 09 09 09 09 69 66 20 default:.....if
0880: 6e 61 6d 65 20 69 6e 20 73 65 6c 66 2e 5f 64 65 name in self._de
0890: 66 61 75 6c 74 5b 73 65 6c 66 2e 5f 73 65 63 74 fault[self._sect
08a0: 69 6f 6e 5d 3a 0a 09 09 09 09 09 73 65 6c 66 2e ion]:......self.
08b0: 5f 63 6f 6e 66 69 67 2e 73 65 74 28 73 65 6c 66 _config.set(self
08c0: 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e 61 6d 65 2c ._section, name,
08d0: 20 73 65 6c 66 2e 5f 64 65 66 61 75 6c 74 5b 73 self._default[s
08e0: 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 5d 5b 6e 61 elf._section][na
08f0: 6d 65 5d 29 0a 09 09 09 09 65 6c 73 65 3a 0a 09 me]).....else:..
0900: 09 09 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 ....self._config
0910: 2e 73 65 74 28 73 65 6c 66 2e 5f 73 65 63 74 69 .set(self._secti
0920: 6f 6e 2c 20 6e 61 6d 65 2c 20 4e 6f 6e 65 29 0a on, name, None).
0930: 09 09 09 65 6c 69 66 20 6e 61 6d 65 20 69 6e 20 ...elif name in
0940: 73 65 6c 66 2e 5f 64 65 66 61 75 6c 74 5b 27 5f self._default['_
0950: 6f 74 68 65 72 27 5d 3a 0a 09 09 09 09 73 65 6c other']:.....sel
0960: 66 2e 5f 63 6f 6e 66 69 67 2e 73 65 74 28 73 65 f._config.set(se
0970: 6c 66 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e 61 6d lf._section, nam
0980: 65 2c 20 73 65 6c 66 2e 5f 64 65 66 61 75 6c 74 e, self._default
0990: 5b 27 5f 6f 74 68 65 72 27 5d 5b 6e 61 6d 65 5d ['_other'][name]
09a0: 29 0a 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 73 )....else:.....s
09b0: 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 73 65 74 28 elf._config.set(
09c0: 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e self._section, n
09d0: 61 6d 65 2c 20 4e 6f 6e 65 29 0a 09 09 72 65 74 ame, None)...ret
09e0: 75 72 6e 28 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 urn(self._config
09f0: 2e 67 65 74 28 73 65 6c 66 2e 5f 73 65 63 74 69 .get(self._secti
0a00: 6f 6e 2c 20 6e 61 6d 65 29 29 0a 0a 63 6f 6e 66 on, name))..conf
0a10: 69 67 20 3d 20 43 6f 6e 66 69 67 28 29 0a 0a 23 ig = Config()..#
0a20: 61 73 73 65 72 74 20 6f 70 74 69 6f 6e 73 2e 70 assert options.p
0a30: 6f 72 74 20 6f 72 20 6f 73 2e 61 63 63 65 73 73 ort or os.access
0a40: 28 6f 70 74 69 6f 6e 73 2e 6c 6f 67 2c 20 6f 73 (options.log, os
0a50: 2e 52 5f 4f 4b 29 2c 20 27 4c 6f 67 20 66 69 6c .R_OK), 'Log fil
0a60: 65 20 75 6e 72 65 61 64 61 62 6c 65 27 0a 0a 63 e unreadable'..c
0a70: 6f 6e 73 74 5f 64 65 73 63 5f 66 69 65 6c 64 73 onst_desc_fields
0a80: 20 3d 20 73 65 74 28 5b 27 43 6f 6e 74 65 6e 74 = set(['Content
0a90: 2d 4c 65 6e 67 74 68 27 2c 20 27 50 72 61 67 6d -Length', 'Pragm
0aa0: 61 27 2c 20 27 4c 61 73 74 2d 4d 6f 64 69 66 69 a', 'Last-Modifi
0ab0: 65 64 27 5d 29 0a 63 6f 6e 73 74 5f 69 67 6e 6f ed']).const_igno
0ac0: 72 65 5f 66 69 65 6c 64 73 20 3d 20 73 65 74 28 re_fields = set(
0ad0: 5b 27 41 63 63 65 70 74 2d 52 61 6e 67 65 73 27 ['Accept-Ranges'
0ae0: 2c 20 27 41 67 65 27 2c 20 27 43 61 63 68 65 2d , 'Age', 'Cache-
0af0: 43 6f 6e 74 72 6f 6c 27 2c 20 27 43 6f 6e 6e 65 Control', 'Conne
0b00: 63 74 69 6f 6e 27 2c 20 27 43 6f 6e 74 65 6e 74 ction', 'Content
0b10: 2d 54 79 70 65 27 2c 20 27 44 61 74 65 27 2c 20 -Type', 'Date',
0b20: 27 45 78 70 69 72 65 73 27 2c 20 27 53 65 72 76 'Expires', 'Serv
0b30: 65 72 27 2c 20 27 56 69 61 27 2c 20 27 58 2d 43 er', 'Via', 'X-C
0b40: 61 63 68 65 27 2c 20 27 58 2d 43 61 63 68 65 2d ache', 'X-Cache-
0b50: 4c 6f 6f 6b 75 70 27 2c 20 27 58 2d 50 6f 77 65 Lookup', 'X-Powe
0b60: 72 65 64 2d 42 79 27 5d 29 0a 0a 62 6c 6f 63 6b red-By'])..block
0b70: 5f 73 69 7a 65 20 3d 20 34 30 39 36 0a 0a 27 27 _size = 4096..''
0b80: 27 0a 23 20 6c 61 74 65 72 2c 20 6b 71 75 65 75 '.# later, kqueu
0b90: 65 20 77 6f 75 6c 64 20 62 65 20 67 6f 6f 64 20 e would be good
0ba0: 62 75 74 20 6c 61 74 65 72 0a 63 6c 61 73 73 20 but later.class
0bb0: 43 6f 6e 6e 65 63 74 69 6f 6e 3a 0a 09 5f 5f 73 Connection:..__s
0bc0: 6c 6f 74 73 5f 5f 20 3d 20 66 72 6f 7a 65 6e 73 lots__ = frozens
0bd0: 65 74 28 28 27 5f 5f 61 64 64 72 65 73 73 27 2c et(('__address',
0be0: 20 27 5f 5f 69 6e 70 75 74 27 2c 20 27 5f 5f 73 '__input', '__s
0bf0: 6f 63 6b 65 74 27 2c 20 27 5f 5f 73 74 61 74 75 ocket', '__statu
0c00: 73 27 2c 20 27 65 72 72 6f 72 27 2c 20 27 6d 65 s', 'error', 'me
0c10: 74 68 6f 64 27 2c 20 27 75 72 6c 27 2c 20 27 68 thod', 'url', 'h
0c20: 74 74 70 5f 76 65 72 73 69 6f 6e 27 29 29 0a 0a ttp_version'))..
0c30: 09 64 65 66 20 5f 5f 69 6e 69 74 5f 5f 28 73 65 .def __init__(se
0c40: 6c 66 2c 20 73 6f 63 6b 65 74 2c 20 61 64 64 72 lf, socket, addr
0c50: 65 73 73 29 3a 0a 09 09 73 65 6c 66 2e 5f 5f 61 ess):...self.__a
0c60: 64 64 72 65 73 73 20 3d 20 61 64 64 72 65 73 73 ddress = address
0c70: 0a 09 09 73 65 6c 66 2e 5f 5f 69 6e 70 75 74 20 ...self.__input
0c80: 3d 20 62 27 27 0a 09 09 73 65 6c 66 2e 5f 5f 73 = b''...self.__s
0c90: 6f 63 6b 65 74 20 3d 20 73 6f 63 6b 65 74 0a 09 ocket = socket..
0ca0: 09 73 65 6c 66 2e 5f 5f 73 74 61 74 75 73 20 3d .self.__status =
0cb0: 20 30 0a 0a 09 64 65 66 20 72 65 61 64 28 73 65 0...def read(se
0cc0: 6c 66 2c 20 6b 65 76 29 3a 0a 09 09 62 75 66 66 lf, kev):...buff
0cd0: 65 72 20 3d 20 73 65 6c 66 2e 5f 5f 73 6f 63 6b er = self.__sock
0ce0: 65 74 2e 72 65 63 76 28 6b 65 76 2e 64 61 74 61 et.recv(kev.data
0cf0: 29 0a 09 09 65 78 68 61 75 73 74 65 64 20 3d 20 )...exhausted =
0d00: 46 61 6c 73 65 0a 09 09 69 66 20 6c 65 6e 28 62 False...if len(b
0d10: 75 66 66 65 72 29 20 3d 3d 20 30 3a 0a 09 09 09 uffer) == 0:....
0d20: 65 6f 66 20 3d 20 54 72 75 65 0a 09 09 65 6c 73 eof = True...els
0d30: 65 3a 0a 09 09 09 73 65 6c 66 2e 5f 5f 69 6e 70 e:....self.__inp
0d40: 75 74 20 2b 3d 20 62 75 66 66 65 72 0a 09 09 09 ut += buffer....
0d50: 77 68 69 6c 65 20 6e 6f 74 20 65 78 68 61 75 73 while not exhaus
0d60: 74 65 64 3a 0a 09 09 09 09 69 66 20 73 65 6c 66 ted:.....if self
0d70: 2e 5f 5f 73 74 61 74 75 73 20 3d 3d 20 2d 31 3a .__status == -1:
0d80: 0a 09 09 09 09 09 65 78 68 61 75 73 74 65 64 20 ......exhausted
0d90: 3d 20 54 72 75 65 0a 09 09 09 09 65 6c 69 66 20 = True.....elif
0da0: 73 65 6c 66 2e 5f 5f 73 74 61 74 75 73 20 3d 3d self.__status ==
0db0: 20 30 3a 0a 09 09 09 09 09 65 6e 64 73 74 72 69 0:......endstri
0dc0: 6e 67 20 3d 20 73 65 6c 66 2e 5f 5f 69 6e 70 75 ng = self.__inpu
0dd0: 74 2e 66 69 6e 64 28 62 27 5c 6e 27 29 0a 09 09 t.find(b'\n')...
0de0: 09 09 09 69 66 20 65 6e 64 73 74 72 69 6e 67 20 ...if endstring
0df0: 3e 20 30 3a 0a 09 09 09 09 09 09 70 72 69 6e 74 > 0:.......print
0e00: 28 27 50 72 6f 63 65 73 73 69 6e 67 20 72 65 71 ('Processing req
0e10: 75 65 73 74 20 6c 69 6e 65 2e 27 29 0a 09 09 09 uest line.')....
0e20: 09 09 09 6c 69 6e 65 20 3d 20 73 65 6c 66 2e 5f ...line = self._
0e30: 5f 69 6e 70 75 74 5b 3a 65 6e 64 73 74 72 69 6e _input[:endstrin
0e40: 67 5d 2e 64 65 63 6f 64 65 28 27 61 73 63 69 69 g].decode('ascii
0e50: 27 29 0a 09 09 09 09 09 09 73 65 6c 66 2e 5f 5f ').......self.__
0e60: 69 6e 70 75 74 20 3d 20 73 65 6c 66 2e 5f 5f 69 input = self.__i
0e70: 6e 70 75 74 5b 65 6e 64 73 74 72 69 6e 67 20 2b nput[endstring +
0e80: 20 31 3a 5d 0a 09 09 09 09 09 09 69 73 52 65 71 1:].......isReq
0e90: 75 65 73 74 20 3d 20 72 65 2e 63 6f 6d 70 69 6c uest = re.compil
0ea0: 65 28 27 28 47 45 54 29 20 28 5b 5e 20 5d 2b 29 e('(GET) ([^ ]+)
0eb0: 20 48 54 54 50 2f 28 31 5c 2e 30 29 27 29 2e 6d HTTP/(1\.0)').m
0ec0: 61 74 63 68 28 6c 69 6e 65 29 0a 09 09 09 09 09 atch(line)......
0ed0: 09 69 66 20 6e 6f 74 20 69 73 52 65 71 75 65 73 .if not isReques
0ee0: 74 3a 0a 09 09 09 09 09 09 09 73 65 6c 66 2e 65 t:........self.e
0ef0: 72 72 6f 72 20 3d 20 27 4e 6f 74 20 61 20 48 54 rror = 'Not a HT
0f00: 54 50 20 63 6f 6e 6e 65 63 74 69 6f 6e 2e 27 0a TP connection.'.
0f10: 09 09 09 09 09 09 09 73 65 6c 66 2e 5f 5f 73 74 .......self.__st
0f20: 61 74 75 73 20 3d 20 2d 31 0a 09 09 09 09 09 09 atus = -1.......
0f30: 65 6c 73 65 3a 0a 09 09 09 09 09 09 09 73 65 6c else:........sel
0f40: 66 2e 6d 65 74 68 6f 64 20 3d 20 69 73 52 65 71 f.method = isReq
0f50: 75 65 73 74 2e 67 72 6f 75 70 28 31 29 0a 09 09 uest.group(1)...
0f60: 09 09 09 09 09 73 65 6c 66 2e 75 72 6c 20 3d 20 .....self.url =
0f70: 69 73 52 65 71 75 65 73 74 2e 67 72 6f 75 70 28 isRequest.group(
0f80: 32 29 0a 09 09 09 09 09 09 09 73 65 6c 66 2e 68 2)........self.h
0f90: 74 74 70 5f 76 65 72 73 69 6f 6e 20 3d 20 69 73 ttp_version = is
0fa0: 52 65 71 75 65 73 74 2e 67 72 6f 75 70 28 33 29 Request.group(3)
0fb0: 0a 09 09 09 09 09 09 09 73 65 6c 66 2e 5f 5f 73 ........self.__s
0fc0: 74 61 74 75 73 20 3d 20 31 0a 09 09 09 09 09 65 tatus = 1......e
0fd0: 6c 73 65 3a 0a 09 09 09 09 09 09 65 78 68 61 75 lse:.......exhau
0fe0: 73 74 65 64 20 3d 20 54 72 75 65 0a 09 09 09 09 sted = True.....
0ff0: 65 6c 69 66 20 73 65 6c 66 2e 5f 5f 73 74 61 74 elif self.__stat
1000: 75 73 20 3d 3d 20 31 3a 0a 09 09 09 09 09 65 6e us == 1:......en
1010: 64 73 74 72 69 6e 67 20 3d 20 73 65 6c 66 2e 5f dstring = self._
1020: 5f 69 6e 70 75 74 2e 66 69 6e 64 28 62 27 5c 6e _input.find(b'\n
1030: 27 29 0a 09 09 09 09 09 69 66 20 65 6e 64 73 74 ')......if endst
1040: 72 69 6e 67 20 3e 20 30 3a 0a 09 09 09 09 09 09 ring > 0:.......
1050: 70 72 69 6e 74 28 27 50 72 6f 63 65 73 73 69 6e print('Processin
1060: 67 20 68 65 61 64 65 72 20 6c 69 6e 65 2e 27 20 g header line.'
1070: 2b 20 72 65 70 72 28 73 65 6c 66 2e 5f 5f 69 6e + repr(self.__in
1080: 70 75 74 29 29 0a 09 09 09 09 09 09 6c 69 6e 65 put)).......line
1090: 20 3d 20 73 65 6c 66 2e 5f 5f 69 6e 70 75 74 5b = self.__input[
10a0: 3a 65 6e 64 73 74 72 69 6e 67 5d 2e 64 65 63 6f :endstring].deco
10b0: 64 65 28 27 61 73 63 69 69 27 29 0a 09 09 09 09 de('ascii').....
10c0: 09 09 73 65 6c 66 2e 5f 5f 69 6e 70 75 74 20 3d ..self.__input =
10d0: 20 73 65 6c 66 2e 5f 5f 69 6e 70 75 74 5b 65 6e self.__input[en
10e0: 64 73 74 72 69 6e 67 20 2b 20 31 3a 5d 0a 09 09 dstring + 1:]...
10f0: 09 09 09 09 69 73 48 65 61 64 65 72 20 3d 20 72 ....isHeader = r
1100: 65 2e 63 6f 6d 70 69 6c 65 28 27 28 5b 5e 3a 5d e.compile('([^:]
1110: 2a 29 3a 20 2b 28 2e 2a 29 27 29 2e 6d 61 74 63 *): +(.*)').matc
1120: 68 28 6c 69 6e 65 29 0a 09 09 09 09 09 09 69 66 h(line).......if
1130: 20 6e 6f 74 20 69 73 48 65 61 64 65 72 3a 0a 09 not isHeader:..
1140: 09 09 09 09 09 09 73 65 6c 66 2e 65 72 72 6f 72 ......self.error
1150: 20 3d 20 27 42 61 64 20 68 65 61 64 65 72 2e 27 = 'Bad header.'
1160: 0a 09 09 09 09 09 09 09 72 65 74 75 72 6e 28 46 ........return(F
1170: 61 6c 73 65 29 0a 09 09 09 09 09 09 23 20 70 72 alse).......# pr
1180: 6f 63 65 73 73 20 68 65 61 64 65 72 20 68 65 72 ocess header her
1190: 65 0a 09 09 09 09 09 65 6c 69 66 20 65 6e 64 73 e......elif ends
11a0: 74 72 69 6e 67 20 3d 3d 20 30 3a 0a 09 09 09 09 tring == 0:.....
11b0: 09 09 73 65 6c 66 2e 5f 5f 73 74 61 74 75 73 20 ..self.__status
11c0: 3d 20 32 0a 09 09 09 09 09 65 6c 73 65 3a 0a 09 = 2......else:..
11d0: 09 09 09 09 09 65 78 68 61 75 73 74 65 64 20 3d .....exhausted =
11e0: 20 54 72 75 65 0a 0a 09 64 65 66 20 77 72 69 74 True...def writ
11f0: 65 28 73 65 6c 66 2c 20 6b 65 76 29 3a 0a 09 09 e(self, kev):...
1200: 70 61 73 73 0a 0a 69 66 20 6f 70 74 69 6f 6e 73 pass..if options
1210: 2e 70 6f 72 74 3a 0a 09 69 6d 70 6f 72 74 20 73 .port:..import s
1220: 65 6c 65 63 74 2c 20 73 6f 63 6b 65 74 0a 0a 09 elect, socket...
1230: 73 6f 63 6b 20 3d 20 73 6f 63 6b 65 74 2e 73 6f sock = socket.so
1240: 63 6b 65 74 28 73 6f 63 6b 65 74 2e 41 46 5f 49 cket(socket.AF_I
1250: 4e 45 54 2c 20 73 6f 63 6b 65 74 2e 53 4f 43 4b NET, socket.SOCK
1260: 5f 53 54 52 45 41 4d 29 0a 09 74 72 79 3a 0a 09 _STREAM)..try:..
1270: 09 73 6f 63 6b 2e 62 69 6e 64 28 28 27 31 32 37 .sock.bind(('127
1280: 2e 30 2e 30 2e 31 27 2c 20 69 6e 74 28 6f 70 74 .0.0.1', int(opt
1290: 69 6f 6e 73 2e 70 6f 72 74 29 29 29 0a 09 09 73 ions.port)))...s
12a0: 6f 63 6b 2e 6c 69 73 74 65 6e 28 2d 31 29 0a 0a ock.listen(-1)..
12b0: 09 09 6b 71 20 3d 20 73 65 6c 65 63 74 2e 6b 71 ..kq = select.kq
12c0: 75 65 75 65 28 29 0a 09 09 61 73 73 65 72 74 20 ueue()...assert
12d0: 6b 71 2e 66 69 6c 65 6e 6f 28 29 20 21 3d 20 2d kq.fileno() != -
12e0: 31 2c 20 22 46 61 74 61 6c 20 65 72 72 6f 72 3a 1, "Fatal error:
12f0: 20 63 61 6e 27 74 20 69 6e 69 74 69 61 6c 69 73 can't initialis
1300: 65 20 6b 71 75 65 75 65 2e 22 0a 0a 09 09 6b 71 e kqueue."....kq
1310: 2e 63 6f 6e 74 72 6f 6c 28 5b 73 65 6c 65 63 74 .control([select
1320: 2e 6b 65 76 65 6e 74 28 73 6f 63 6b 2c 20 73 65 .kevent(sock, se
1330: 6c 65 63 74 2e 4b 51 5f 46 49 4c 54 45 52 5f 52 lect.KQ_FILTER_R
1340: 45 41 44 2c 20 73 65 6c 65 63 74 2e 4b 51 5f 45 EAD, select.KQ_E
1350: 56 5f 41 44 44 29 5d 2c 20 30 29 0a 09 09 74 69 V_ADD)], 0)...ti
1360: 6d 65 6f 75 74 20 3d 20 4e 6f 6e 65 0a 0a 09 09 meout = None....
1370: 63 6f 6e 6e 65 63 74 69 6f 6e 73 20 3d 20 7b 73 connections = {s
1380: 6f 63 6b 2e 66 69 6c 65 6e 6f 28 29 3a 20 4e 6f ock.fileno(): No
1390: 6e 65 7d 0a 0a 09 09 77 68 69 6c 65 20 54 72 75 ne}....while Tru
13a0: 65 3a 0a 09 09 09 6b 65 76 73 20 3d 20 6b 71 2e e:....kevs = kq.
13b0: 63 6f 6e 74 72 6f 6c 28 4e 6f 6e 65 2c 20 31 2c control(None, 1,
13c0: 20 74 69 6d 65 6f 75 74 29 0a 0a 09 09 09 66 6f timeout).....fo
13d0: 72 20 6b 65 76 20 69 6e 20 6b 65 76 73 3a 0a 09 r kev in kevs:..
13e0: 09 09 09 69 66 20 74 79 70 65 28 63 6f 6e 6e 65 ...if type(conne
13f0: 63 74 69 6f 6e 73 5b 6b 65 76 2e 69 64 65 6e 74 ctions[kev.ident
1400: 5d 29 20 3d 3d 20 43 6f 6e 6e 65 63 74 69 6f 6e ]) == Connection
1410: 3a 0a 09 09 09 09 09 70 72 69 6e 74 28 6b 65 76 :......print(kev
1420: 2e 69 64 65 6e 74 2c 20 6b 65 76 2e 64 61 74 61 .ident, kev.data
1430: 2c 20 6b 65 76 2e 66 69 6c 74 65 72 2c 20 6b 65 , kev.filter, ke
1440: 76 2e 66 6c 61 67 73 29 0a 09 09 09 09 09 61 73 v.flags)......as
1450: 73 65 72 74 20 6b 65 76 2e 64 61 74 61 20 21 3d sert kev.data !=
1460: 20 30 2c 20 27 4e 6f 20 64 61 74 61 20 61 76 61 0, 'No data ava
1470: 69 6c 61 62 6c 65 2e 27 0a 09 09 09 09 09 69 66 ilable.'......if
1480: 20 6b 65 76 2e 66 69 6c 74 65 72 20 3d 3d 20 73 kev.filter == s
1490: 65 6c 65 63 74 2e 4b 51 5f 46 49 4c 54 45 52 5f elect.KQ_FILTER_
14a0: 52 45 41 44 3a 0a 09 09 09 09 09 09 63 6f 6e 6e READ:.......conn
14b0: 65 63 74 69 6f 6e 73 5b 6b 65 76 2e 69 64 65 6e ections[kev.iden
14c0: 74 5d 2e 72 65 61 64 28 6b 65 76 29 0a 09 09 09 t].read(kev)....
14d0: 09 09 65 6c 69 66 20 6b 65 76 2e 66 69 6c 74 65 ..elif kev.filte
14e0: 72 20 3d 3d 20 73 65 6c 65 63 74 2e 4b 51 5f 46 r == select.KQ_F
14f0: 49 4c 54 45 52 5f 57 52 49 54 45 3a 0a 09 09 09 ILTER_WRITE:....
1500: 09 09 09 63 6f 6e 6e 65 63 74 69 6f 6e 73 5b 6b ...connections[k
1510: 65 76 2e 69 64 65 6e 74 5d 2e 77 72 69 74 65 28 ev.ident].write(
1520: 6b 65 76 29 0a 09 09 09 09 09 65 6c 73 65 3a 0a kev)......else:.
1530: 09 09 09 09 09 09 61 73 73 65 72 74 20 6b 65 76 ......assert kev
1540: 2e 66 69 6c 74 65 72 20 69 6e 20 28 73 65 6c 65 .filter in (sele
1550: 63 74 2e 4b 51 5f 46 49 4c 54 45 52 5f 52 45 41 ct.KQ_FILTER_REA
1560: 44 2c 20 73 65 6c 65 63 74 2e 4b 51 5f 46 49 4c D, select.KQ_FIL
1570: 54 45 52 5f 57 52 49 54 45 29 2c 20 27 44 6f 20 TER_WRITE), 'Do
1580: 77 65 20 73 75 70 70 6f 72 74 20 6f 74 68 65 72 we support other
1590: 20 66 69 6c 74 65 72 73 3f 27 0a 09 09 09 09 65 filters?'.....e
15a0: 6c 73 65 3a 0a 09 09 09 09 09 28 63 6f 6e 6e 2c lse:......(conn,
15b0: 20 61 64 64 72 29 20 3d 20 73 6f 63 6b 2e 61 63 addr) = sock.ac
15c0: 63 65 70 74 28 29 0a 09 09 09 09 09 70 72 69 6e cept()......prin
15d0: 74 28 27 43 6f 6e 6e 65 63 74 69 6f 6e 20 66 72 t('Connection fr
15e0: 6f 6d 20 27 20 2b 20 72 65 70 72 28 61 64 64 72 om ' + repr(addr
15f0: 29 29 0a 09 09 09 09 09 6b 71 2e 63 6f 6e 74 72 ))......kq.contr
1600: 6f 6c 28 5b 73 65 6c 65 63 74 2e 6b 65 76 65 6e ol([select.keven
1610: 74 28 63 6f 6e 6e 2c 20 73 65 6c 65 63 74 2e 4b t(conn, select.K
1620: 51 5f 46 49 4c 54 45 52 5f 52 45 41 44 2c 20 73 Q_FILTER_READ, s
1630: 65 6c 65 63 74 2e 4b 51 5f 45 56 5f 41 44 44 29 elect.KQ_EV_ADD)
1640: 5d 2c 20 30 29 0a 09 09 09 09 09 63 6f 6e 6e 65 ], 0)......conne
1650: 63 74 69 6f 6e 73 5b 63 6f 6e 6e 2e 66 69 6c 65 ctions[conn.file
1660: 6e 6f 28 29 5d 20 3d 20 43 6f 6e 6e 65 63 74 69 no()] = Connecti
1670: 6f 6e 28 63 6f 6e 6e 2c 20 61 64 64 72 29 0a 0a on(conn, addr)..
1680: 09 09 09 09 69 66 20 6b 65 76 2e 66 6c 61 67 73 ....if kev.flags
1690: 20 3e 3e 20 31 35 20 3d 3d 20 31 3a 0a 09 09 09 >> 15 == 1:....
16a0: 09 09 6b 71 2e 63 6f 6e 74 72 6f 6c 28 5b 73 65 ..kq.control([se
16b0: 6c 65 63 74 2e 6b 65 76 65 6e 74 28 6b 65 76 2e lect.kevent(kev.
16c0: 69 64 65 6e 74 2c 20 73 65 6c 65 63 74 2e 4b 51 ident, select.KQ
16d0: 5f 46 49 4c 54 45 52 5f 52 45 41 44 2c 20 73 65 _FILTER_READ, se
16e0: 6c 65 63 74 2e 4b 51 5f 45 56 5f 44 45 4c 45 54 lect.KQ_EV_DELET
16f0: 45 29 5d 2c 20 30 29 0a 09 09 09 09 09 6b 71 2e E)], 0)......kq.
1700: 63 6f 6e 74 72 6f 6c 28 5b 73 65 6c 65 63 74 2e control([select.
1710: 6b 65 76 65 6e 74 28 6b 65 76 2e 69 64 65 6e 74 kevent(kev.ident
1720: 2c 20 73 65 6c 65 63 74 2e 4b 51 5f 46 49 4c 54 , select.KQ_FILT
1730: 45 52 5f 57 52 49 54 45 2c 20 73 65 6c 65 63 74 ER_WRITE, select
1740: 2e 4b 51 5f 45 56 5f 44 45 4c 45 54 45 29 5d 2c .KQ_EV_DELETE)],
1750: 20 30 29 0a 09 09 09 09 09 64 65 6c 28 63 6f 6e 0)......del(con
1760: 6e 65 63 74 69 6f 6e 73 5b 6b 65 76 2e 69 64 65 nections[kev.ide
1770: 6e 74 5d 29 0a 09 66 69 6e 61 6c 6c 79 3a 0a 09 nt])..finally:..
1780: 09 73 6f 63 6b 2e 63 6c 6f 73 65 28 29 0a 27 27 .sock.close().''
1790: 27 0a 0a 23 20 58 58 58 20 68 6f 77 20 61 62 6f '..# XXX how abo
17a0: 75 74 20 72 65 63 68 65 63 6b 69 6e 67 20 66 69 ut rechecking fi
17b0: 6c 65 73 3f 0a 69 66 20 54 72 75 65 3a 0a 09 69 les?.if True:..i
17c0: 6d 70 6f 72 74 20 68 74 74 70 2e 73 65 72 76 65 mport http.serve
17d0: 72 0a 0a 09 63 6c 61 73 73 20 4d 79 52 65 71 75 r...class MyRequ
17e0: 65 73 74 48 61 6e 64 6c 65 72 28 68 74 74 70 2e estHandler(http.
17f0: 73 65 72 76 65 72 2e 42 61 73 65 48 54 54 50 52 server.BaseHTTPR
1800: 65 71 75 65 73 74 48 61 6e 64 6c 65 72 29 3a 0a equestHandler):.
1810: 09 09 64 65 66 20 5f 5f 70 72 6f 63 65 73 73 28 ..def __process(
1820: 73 65 6c 66 29 3a 0a 09 09 09 23 20 72 65 6c 6f self):....# relo
1830: 61 64 20 6d 65 61 6e 73 20 66 69 6c 65 20 6e 65 ad means file ne
1840: 65 64 73 20 74 6f 20 62 65 20 72 65 6c 6f 61 64 eds to be reload
1850: 65 64 20 74 6f 20 73 65 72 76 65 20 72 65 71 75 ed to serve requ
1860: 65 73 74 0a 09 09 09 72 65 6c 6f 61 64 20 3d 20 est....reload =
1870: 46 61 6c 73 65 0a 09 09 09 23 20 72 65 63 68 65 False....# reche
1880: 63 6b 20 6d 65 61 6e 73 20 66 69 6c 65 20 6e 65 ck means file ne
1890: 65 64 73 20 74 6f 20 62 65 20 63 68 65 63 6b 65 eds to be checke
18a0: 64 2c 20 74 68 69 73 20 61 6c 73 6f 20 6d 65 61 d, this also mea
18b0: 6e 73 20 74 68 61 74 20 69 66 20 66 69 6c 65 20 ns that if file
18c0: 68 61 76 20 62 65 65 6e 20 6d 6f 64 69 66 69 65 hav been modifie
18d0: 64 20 77 65 20 63 61 6e 20 73 65 72 76 65 20 6f d we can serve o
18e0: 6c 64 65 72 20 63 6f 70 79 0a 09 09 09 72 65 63 lder copy....rec
18f0: 68 65 63 6b 20 3d 20 46 61 6c 73 65 0a 09 09 09 heck = False....
1900: 23 20 66 69 6c 65 5f 73 74 61 74 20 6d 65 61 6e # file_stat mean
1910: 73 20 66 69 6c 65 20 64 65 66 69 6e 69 74 65 6c s file definitel
1920: 79 20 65 78 69 73 74 73 0a 09 09 09 66 69 6c 65 y exists....file
1930: 5f 73 74 61 74 20 3d 20 4e 6f 6e 65 0a 09 09 09 _stat = None....
1940: 23 20 72 65 71 75 65 73 74 65 64 5f 72 61 6e 67 # requested_rang
1950: 65 73 20 68 6f 6c 64 73 20 64 61 74 61 20 61 62 es holds data ab
1960: 6f 75 74 20 61 6e 79 20 72 61 6e 67 65 20 72 65 out any range re
1970: 71 75 65 73 74 65 64 0a 09 09 09 72 65 71 75 65 quested....reque
1980: 73 74 65 64 5f 72 61 6e 67 65 73 20 3d 20 4e 6f sted_ranges = No
1990: 6e 65 0a 09 09 09 23 20 72 65 63 6f 72 64 73 20 ne....# records
19a0: 68 6f 6c 64 73 20 64 61 74 61 20 66 72 6f 6d 20 holds data from
19b0: 69 6e 64 65 78 20 6c 6f 63 61 6c 6c 79 2c 20 73 index locally, s
19c0: 68 6f 75 6c 64 20 62 65 20 77 72 69 74 74 65 6e hould be written
19d0: 20 62 61 63 6b 20 75 70 6f 6e 20 73 75 63 63 65 back upon succe
19e0: 73 73 66 75 6c 6c 20 63 6f 6d 70 6c 65 74 69 6f ssfull completio
19f0: 6e 0a 09 09 09 72 65 63 6f 72 64 20 3d 20 4e 6f n....record = No
1a00: 6e 65 0a 09 09 09 69 6e 66 6f 20 3d 20 27 43 68 ne....info = 'Ch
1a10: 65 63 6b 69 6e 67 20 66 69 6c 65 3a 20 27 20 2b ecking file: ' +
1a20: 20 73 65 6c 66 2e 70 61 74 68 0a 0a 09 09 09 6d self.path.....m
1a30: 79 50 61 74 68 20 3d 20 72 65 2e 63 6f 6d 70 69 yPath = re.compi
1a40: 6c 65 28 27 5e 28 2e 2a 3f 29 28 5c 3f 2e 2a 29 le('^(.*?)(\?.*)
1a50: 24 27 29 2e 6d 61 74 63 68 28 73 65 6c 66 2e 70 $').match(self.p
1a60: 61 74 68 29 0a 09 09 09 69 66 20 6d 79 50 61 74 ath)....if myPat
1a70: 68 3a 0a 09 09 09 09 6d 79 5f 70 61 74 68 20 3d h:.....my_path =
1a80: 20 6d 79 50 61 74 68 2e 67 72 6f 75 70 28 31 29 myPath.group(1)
1a90: 0a 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 6d 79 ....else:.....my
1aa0: 5f 70 61 74 68 20 3d 20 73 65 6c 66 2e 70 61 74 _path = self.pat
1ab0: 68 0a 0a 09 09 09 63 6f 6e 66 69 67 2e 73 65 63 h.....config.sec
1ac0: 74 69 6f 6e 28 73 65 6c 66 2e 68 65 61 64 65 72 tion(self.header
1ad0: 73 5b 27 48 6f 73 74 27 5d 29 0a 0a 09 09 09 69 s['Host']).....i
1ae0: 66 20 6e 6f 74 20 6f 73 2e 61 63 63 65 73 73 28 f not os.access(
1af0: 63 6f 6e 66 69 67 5b 27 64 69 72 27 5d 2c 20 6f config['dir'], o
1b00: 73 2e 58 5f 4f 4b 29 3a 0a 09 09 09 09 6f 73 2e s.X_OK):.....os.
1b10: 6d 6b 64 69 72 28 63 6f 6e 66 69 67 5b 27 64 69 mkdir(config['di
1b20: 72 27 5d 29 0a 09 09 09 23 20 74 68 69 73 20 69 r'])....# this i
1b30: 73 20 66 69 6c 65 20 69 6e 64 65 78 20 2d 20 65 s file index - e
1b40: 76 65 72 79 74 68 69 6e 67 20 69 73 20 73 74 6f verything is sto
1b50: 72 65 64 20 69 6e 20 74 68 69 73 20 66 69 6c 65 red in this file
1b60: 0a 09 09 09 23 20 5f 70 61 72 74 73 20 2d 20 6c ....# _parts - l
1b70: 69 73 74 20 6f 66 20 73 74 6f 72 65 64 20 70 61 ist of stored pa
1b80: 72 74 73 20 6f 66 20 66 69 6c 65 0a 09 09 09 23 rts of file....#
1b90: 20 5f 74 69 6d 65 20 2d 20 6c 61 73 74 20 74 69 _time - last ti
1ba0: 6d 65 20 74 68 65 20 66 69 6c 65 20 77 61 73 20 me the file was
1bb0: 63 68 65 63 6b 65 64 0a 09 09 09 23 20 65 76 65 checked....# eve
1bc0: 72 79 74 68 69 6e 67 20 65 6c 73 65 20 69 73 20 rything else is
1bd0: 6a 75 73 74 20 74 68 65 20 68 65 61 64 65 72 73 just the headers
1be0: 0a 09 09 09 69 6e 64 65 78 20 3d 20 73 68 65 6c ....index = shel
1bf0: 76 65 2e 6f 70 65 6e 28 63 6f 6e 66 69 67 5b 27 ve.open(config['
1c00: 64 69 72 27 5d 20 2b 20 6f 73 2e 73 65 70 20 2b dir'] + os.sep +
1c10: 20 27 2e 69 6e 64 65 78 27 29 0a 0a 09 09 09 64 '.index').....d
1c20: 65 73 63 5f 66 69 65 6c 64 73 20 3d 20 63 6f 6e esc_fields = con
1c30: 73 74 5f 64 65 73 63 5f 66 69 65 6c 64 73 2e 63 st_desc_fields.c
1c40: 6f 70 79 28 29 0a 09 09 09 69 67 6e 6f 72 65 5f opy()....ignore_
1c50: 66 69 65 6c 64 73 20 3d 20 63 6f 6e 73 74 5f 69 fields = const_i
1c60: 67 6e 6f 72 65 5f 66 69 65 6c 64 73 2e 63 6f 70 gnore_fields.cop
1c70: 79 28 29 0a 09 09 09 69 66 20 6e 6f 74 20 63 6f y()....if not co
1c80: 6e 66 69 67 5b 27 6e 6f 65 74 61 67 27 5d 3a 0a nfig['noetag']:.
1c90: 09 09 09 09 64 65 73 63 5f 66 69 65 6c 64 73 2e ....desc_fields.
1ca0: 61 64 64 28 27 45 54 61 67 27 29 0a 09 09 09 65 add('ETag')....e
1cb0: 6c 73 65 3a 0a 09 09 09 09 69 67 6e 6f 72 65 5f lse:.....ignore_
1cc0: 66 69 65 6c 64 73 2e 61 64 64 28 27 45 54 61 67 fields.add('ETag
1cd0: 27 29 0a 0a 09 09 09 70 72 6f 78 79 5f 69 67 6e ').....proxy_ign
1ce0: 6f 72 65 64 20 3d 20 28 27 41 63 63 65 70 74 27 ored = ('Accept'
1cf0: 2c 20 27 41 63 63 65 70 74 2d 45 6e 63 6f 64 69 , 'Accept-Encodi
1d00: 6e 67 27 2c 0a 09 09 09 09 27 43 61 63 68 65 2d ng',.....'Cache-
1d10: 43 6f 6e 74 72 6f 6c 27 2c 20 27 43 6f 6e 6e 65 Control', 'Conne
1d20: 63 74 69 6f 6e 27 2c 0a 09 09 09 09 27 48 6f 73 ction',.....'Hos
1d30: 74 27 2c 0a 09 09 09 09 27 49 66 2d 4d 6f 64 69 t',.....'If-Modi
1d40: 66 69 65 64 2d 53 69 6e 63 65 27 2c 20 27 49 66 fied-Since', 'If
1d50: 2d 55 6e 6d 6f 64 69 66 69 65 64 2d 53 69 6e 63 -Unmodified-Sinc
1d60: 65 27 2c 0a 09 09 09 09 27 55 73 65 72 2d 41 67 e',.....'User-Ag
1d70: 65 6e 74 27 2c 0a 09 09 09 09 27 56 69 61 27 2c ent',.....'Via',
1d80: 0a 09 09 09 09 27 58 2d 46 6f 72 77 61 72 64 65 .....'X-Forwarde
1d90: 64 2d 46 6f 72 27 2c 0a 09 09 09 29 0a 0a 09 09 d-For',....)....
1da0: 09 70 72 69 6e 74 28 27 3d 3d 3d 3d 3d 3d 3d 3d .print('========
1db0: 3d 3d 3d 3d 3d 3d 3d 5b 20 7b 7d 20 72 65 71 75 =======[ {} requ
1dc0: 65 73 74 20 5d 3d 3d 3d 27 2e 66 6f 72 6d 61 74 est ]==='.format
1dd0: 28 73 65 6c 66 2e 63 6f 6d 6d 61 6e 64 29 29 0a (self.command)).
1de0: 0a 09 09 09 66 6f 72 20 68 65 61 64 65 72 20 69 ....for header i
1df0: 6e 20 73 65 6c 66 2e 68 65 61 64 65 72 73 3a 0a n self.headers:.
1e00: 09 09 09 09 69 66 20 68 65 61 64 65 72 20 69 6e ....if header in
1e10: 20 70 72 6f 78 79 5f 69 67 6e 6f 72 65 64 3a 0a proxy_ignored:.
1e20: 09 09 09 09 09 70 61 73 73 0a 09 09 09 09 65 6c .....pass.....el
1e30: 69 66 20 68 65 61 64 65 72 20 69 6e 20 28 27 52 if header in ('R
1e40: 61 6e 67 65 27 29 3a 0a 09 09 09 09 09 69 73 52 ange'):......isR
1e50: 61 6e 67 65 20 3d 20 72 65 2e 63 6f 6d 70 69 6c ange = re.compil
1e60: 65 28 27 62 79 74 65 73 3d 28 5c 64 2b 29 2d 28 e('bytes=(\d+)-(
1e70: 5c 64 2b 29 27 29 2e 6d 61 74 63 68 28 73 65 6c \d+)').match(sel
1e80: 66 2e 68 65 61 64 65 72 73 5b 68 65 61 64 65 72 f.headers[header
1e90: 5d 29 0a 09 09 09 09 09 69 66 20 69 73 52 61 6e ])......if isRan
1ea0: 67 65 3a 0a 09 09 09 09 09 09 72 65 71 75 65 73 ge:.......reques
1eb0: 74 65 64 5f 72 61 6e 67 65 73 20 3d 20 73 70 61 ted_ranges = spa
1ec0: 63 65 6d 61 70 2e 53 70 61 63 65 4d 61 70 28 7b cemap.SpaceMap({
1ed0: 69 6e 74 28 69 73 52 61 6e 67 65 2e 67 72 6f 75 int(isRange.grou
1ee0: 70 28 31 29 29 3a 20 69 6e 74 28 69 73 52 61 6e p(1)): int(isRan
1ef0: 67 65 2e 67 72 6f 75 70 28 32 29 29 20 2b 20 31 ge.group(2)) + 1
1f00: 7d 29 0a 09 09 09 09 09 65 6c 73 65 3a 0a 09 09 })......else:...
1f10: 09 09 09 09 72 65 74 75 72 6e 28 29 0a 09 09 09 ....return()....
1f20: 09 65 6c 69 66 20 68 65 61 64 65 72 20 69 6e 20 .elif header in
1f30: 28 27 50 72 61 67 6d 61 27 29 3a 0a 09 09 09 09 ('Pragma'):.....
1f40: 09 69 66 20 6d 79 5f 70 61 74 68 20 69 6e 20 69 .if my_path in i
1f50: 6e 64 65 78 3a 0a 09 09 09 09 09 09 69 6e 64 65 ndex:.......inde
1f60: 78 5b 6d 79 5f 70 61 74 68 5d 5b 68 65 61 64 65 x[my_path][heade
1f70: 72 5d 20 3d 20 73 65 6c 66 2e 68 65 61 64 65 72 r] = self.header
1f80: 73 5b 68 65 61 64 65 72 5d 0a 09 09 09 09 65 6c s[header].....el
1f90: 73 65 3a 0a 09 09 09 09 09 70 72 69 6e 74 28 27 se:......print('
1fa0: 55 6e 6b 6e 6f 77 6e 20 68 65 61 64 65 72 20 2d Unknown header -
1fb0: 20 27 2c 20 68 65 61 64 65 72 2c 20 27 3a 20 27 ', header, ': '
1fc0: 2c 20 73 65 6c 66 2e 68 65 61 64 65 72 73 5b 68 , self.headers[h
1fd0: 65 61 64 65 72 5d 2c 20 73 65 70 3d 27 27 29 0a eader], sep='').
1fe0: 09 09 09 09 09 72 65 74 75 72 6e 28 29 0a 09 09 .....return()...
1ff0: 09 09 70 72 69 6e 74 28 68 65 61 64 65 72 2c 20 ..print(header,
2000: 73 65 6c 66 2e 68 65 61 64 65 72 73 5b 68 65 61 self.headers[hea
2010: 64 65 72 5d 29 0a 0a 09 09 09 23 20 63 72 65 61 der]).....# crea
2020: 74 69 6e 67 20 66 69 6c 65 20 6e 61 6d 65 20 66 ting file name f
2030: 72 6f 6d 20 6d 79 5f 70 61 74 68 0a 09 09 09 66 rom my_path....f
2040: 69 6c 65 5f 6e 61 6d 65 20 3d 20 63 6f 6e 66 69 ile_name = confi
2050: 67 5b 27 64 69 72 27 5d 20 2b 20 6f 73 2e 73 65 g['dir'] + os.se
2060: 70 20 2b 20 72 65 2e 63 6f 6d 70 69 6c 65 28 27 p + re.compile('
2070: 25 32 30 27 29 2e 73 75 62 28 27 20 27 2c 20 6d %20').sub(' ', m
2080: 79 5f 70 61 74 68 29 0a 09 09 09 23 20 70 61 72 y_path)....# par
2090: 74 69 61 6c 20 66 69 6c 65 20 6f 72 20 75 6e 66 tial file or unf
20a0: 69 6e 69 73 68 65 64 20 64 6f 77 6e 6c 6f 61 64 inished download
20b0: 0a 09 09 09 74 65 6d 70 5f 6e 61 6d 65 20 3d 20 ....temp_name =
20c0: 63 6f 6e 66 69 67 5b 27 64 69 72 27 5d 20 2b 20 config['dir'] +
20d0: 6f 73 2e 73 65 70 20 2b 20 27 2e 70 61 72 74 73 os.sep + '.parts
20e0: 27 20 2b 20 72 65 2e 63 6f 6d 70 69 6c 65 28 27 ' + re.compile('
20f0: 25 32 30 27 29 2e 73 75 62 28 27 20 27 2c 20 6d %20').sub(' ', m
2100: 79 5f 70 61 74 68 29 0a 0a 09 09 09 23 20 63 72 y_path).....# cr
2110: 65 61 74 69 6e 67 20 65 6d 70 74 79 20 70 6c 61 eating empty pla
2120: 63 65 68 6f 6c 64 65 72 20 69 6e 20 69 6e 64 65 ceholder in inde
2130: 78 0a 09 09 09 23 20 69 66 20 74 68 65 72 65 27 x....# if there'
2140: 73 20 6e 6f 20 73 70 61 63 65 20 6d 61 70 20 61 s no space map a
2150: 6e 64 20 74 68 65 72 65 27 73 20 6e 6f 20 66 69 nd there's no fi
2160: 6c 65 20 69 6e 20 72 65 61 6c 20 64 69 72 65 63 le in real direc
2170: 74 6f 72 79 20 2d 20 77 65 20 68 61 76 65 20 6e tory - we have n
2180: 6f 20 66 69 6c 65 0a 09 09 09 23 20 69 66 20 74 o file....# if t
2190: 68 65 72 65 27 73 20 61 6e 20 65 6d 70 74 79 20 here's an empty
21a0: 73 70 61 63 65 20 6d 61 70 20 2d 20 66 69 6c 65 space map - file
21b0: 20 69 73 20 66 75 6c 6c 0a 09 09 09 23 20 73 70 is full....# sp
21c0: 61 63 65 20 6d 61 70 20 67 65 6e 65 72 61 6c 6c ace map generall
21d0: 79 20 63 6f 76 65 72 73 20 65 76 65 72 79 20 62 y covers every b
21e0: 69 74 20 6f 66 20 66 69 6c 65 20 77 65 20 64 6f it of file we do
21f0: 6e 27 74 20 70 6f 73 65 73 73 20 63 75 72 72 65 n't posess curre
2200: 6e 74 6c 79 0a 09 09 09 69 66 20 6e 6f 74 20 6d ntly....if not m
2210: 79 5f 70 61 74 68 20 69 6e 20 69 6e 64 65 78 3a y_path in index:
2220: 0a 09 09 09 09 69 6e 66 6f 20 2b 3d 20 27 5c 6e .....info += '\n
2230: 54 68 69 73 20 6f 6e 65 20 69 73 20 6e 65 77 2e This one is new.
2240: 27 0a 09 09 09 09 72 65 6c 6f 61 64 20 3d 20 54 '.....reload = T
2250: 72 75 65 0a 09 09 09 09 72 65 63 6f 72 64 20 3d rue.....record =
2260: 20 7b 7d 0a 09 09 09 65 6c 73 65 3a 0a 09 09 09 {}....else:....
2270: 09 23 20 66 6f 72 63 69 62 6c 79 20 63 68 65 63 .# forcibly chec
2280: 6b 69 6e 67 20 66 69 6c 65 20 69 66 20 6e 6f 20 king file if no
2290: 66 69 6c 65 20 70 72 65 73 65 6e 74 0a 09 09 09 file present....
22a0: 09 69 66 20 6f 73 2e 61 63 63 65 73 73 28 66 69 .if os.access(fi
22b0: 6c 65 5f 6e 61 6d 65 2c 20 6f 73 2e 52 5f 4f 4b le_name, os.R_OK
22c0: 29 3a 0a 09 09 09 09 09 66 69 6c 65 5f 73 74 61 ):......file_sta
22d0: 74 20 3d 20 6f 73 2e 73 74 61 74 28 66 69 6c 65 t = os.stat(file
22e0: 5f 6e 61 6d 65 29 0a 09 09 09 09 65 6c 69 66 20 _name).....elif
22f0: 27 5f 70 61 72 74 73 27 20 69 6e 20 69 6e 64 65 '_parts' in inde
2300: 78 5b 6d 79 5f 70 61 74 68 5d 20 61 6e 64 20 6f x[my_path] and o
2310: 73 2e 61 63 63 65 73 73 28 74 65 6d 70 5f 6e 61 s.access(temp_na
2320: 6d 65 2c 20 6f 73 2e 52 5f 4f 4b 29 3a 0a 09 09 me, os.R_OK):...
2330: 09 09 09 66 69 6c 65 5f 73 74 61 74 20 3d 20 6f ...file_stat = o
2340: 73 2e 73 74 61 74 28 74 65 6d 70 5f 6e 61 6d 65 s.stat(temp_name
2350: 29 0a 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 ).....else:.....
2360: 09 69 6e 66 6f 20 2b 3d 20 27 5c 6e 46 69 6c 65 .info += '\nFile
2370: 20 6e 6f 74 20 66 6f 75 6e 64 20 6f 72 20 69 6e not found or in
2380: 61 63 63 65 73 73 69 62 6c 65 2e 27 0a 09 09 09 accessible.'....
2390: 09 09 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5d ..index[my_path]
23a0: 5b 27 5f 70 61 72 74 73 27 5d 20 3d 20 4e 6f 6e ['_parts'] = Non
23b0: 65 0a 09 09 09 09 09 72 65 6c 6f 61 64 20 3d 20 e......reload =
23c0: 54 72 75 65 0a 09 09 09 09 72 65 63 6f 72 64 20 True.....record
23d0: 3d 20 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5d = index[my_path]
23e0: 0a 0a 09 09 09 70 72 69 6e 74 28 72 65 63 6f 72 .....print(recor
23f0: 64 29 0a 0a 09 09 09 69 66 20 6e 6f 74 20 27 5f d).....if not '_
2400: 70 61 72 74 73 27 20 69 6e 20 72 65 63 6f 72 64 parts' in record
2410: 3a 0a 09 09 09 09 72 65 63 6f 72 64 5b 27 5f 70 :.....record['_p
2420: 61 72 74 73 27 5d 20 3d 20 4e 6f 6e 65 0a 0a 09 arts'] = None...
2430: 09 09 69 66 20 72 65 63 6f 72 64 5b 27 5f 70 61 ..if record['_pa
2440: 72 74 73 27 5d 20 3d 3d 20 4e 6f 6e 65 3a 0a 09 rts'] == None:..
2450: 09 09 09 72 65 63 68 65 63 6b 20 3d 20 54 72 75 ...recheck = Tru
2460: 65 0a 0a 09 09 09 23 20 66 6f 72 63 69 62 6c 79 e.....# forcibly
2470: 20 63 68 65 63 6b 69 6e 67 20 66 69 6c 65 20 69 checking file i
2480: 66 20 66 69 6c 65 20 73 69 7a 65 20 64 6f 65 73 f file size does
2490: 6e 27 74 20 6d 61 74 63 68 20 77 69 74 68 20 69 n't match with i
24a0: 6e 64 65 78 20 64 61 74 61 0a 09 09 09 69 66 20 ndex data....if
24b0: 6e 6f 74 20 72 65 6c 6f 61 64 3a 0a 09 09 09 09 not reload:.....
24c0: 69 66 20 27 5f 70 61 72 74 73 27 20 69 6e 20 72 if '_parts' in r
24d0: 65 63 6f 72 64 20 61 6e 64 20 72 65 63 6f 72 64 ecord and record
24e0: 5b 27 5f 70 61 72 74 73 27 5d 20 3d 3d 20 73 70 ['_parts'] == sp
24f0: 61 63 65 6d 61 70 2e 53 70 61 63 65 4d 61 70 28 acemap.SpaceMap(
2500: 29 3a 0a 09 09 09 09 09 69 66 20 27 43 6f 6e 74 ):......if 'Cont
2510: 65 6e 74 2d 4c 65 6e 67 74 68 27 20 69 6e 20 72 ent-Length' in r
2520: 65 63 6f 72 64 20 61 6e 64 20 66 69 6c 65 5f 73 ecord and file_s
2530: 74 61 74 20 61 6e 64 20 66 69 6c 65 5f 73 74 61 tat and file_sta
2540: 74 2e 73 74 5f 73 69 7a 65 20 21 3d 20 69 6e 74 t.st_size != int
2550: 28 72 65 63 6f 72 64 5b 27 43 6f 6e 74 65 6e 74 (record['Content
2560: 2d 4c 65 6e 67 74 68 27 5d 29 3a 0a 09 09 09 09 -Length']):.....
2570: 09 09 69 6e 66 6f 20 2b 3d 20 27 5c 6e 46 69 6c ..info += '\nFil
2580: 65 20 73 69 7a 65 20 69 73 20 7b 7d 20 61 6e 64 e size is {} and
2590: 20 73 74 6f 72 65 64 20 66 69 6c 65 20 73 69 7a stored file siz
25a0: 65 20 69 73 20 7b 7d 2e 27 2e 66 6f 72 6d 61 74 e is {}.'.format
25b0: 28 66 69 6c 65 5f 73 74 61 74 2e 73 74 5f 73 69 (file_stat.st_si
25c0: 7a 65 2c 20 72 65 63 6f 72 64 5b 27 43 6f 6e 74 ze, record['Cont
25d0: 65 6e 74 2d 4c 65 6e 67 74 68 27 5d 29 0a 09 09 ent-Length'])...
25e0: 09 09 09 09 72 65 63 6f 72 64 5b 27 5f 70 61 72 ....record['_par
25f0: 74 73 27 5d 20 3d 20 4e 6f 6e 65 0a 09 09 09 09 ts'] = None.....
2600: 09 09 72 65 6c 6f 61 64 20 3d 20 54 72 75 65 0a ..reload = True.
2610: 0a 09 09 09 23 20 66 6f 72 63 69 62 6c 79 20 63 ....# forcibly c
2620: 68 65 63 6b 69 6e 67 20 66 69 6c 65 20 69 66 20 hecking file if
2630: 69 6e 64 65 78 20 68 6f 6c 64 73 20 50 72 61 67 index holds Prag
2640: 6d 61 20 68 65 61 64 65 72 0a 09 09 09 69 66 20 ma header....if
2650: 6e 6f 74 20 72 65 6c 6f 61 64 20 61 6e 64 20 27 not reload and '
2660: 50 72 61 67 6d 61 27 20 69 6e 20 72 65 63 6f 72 Pragma' in recor
2670: 64 20 61 6e 64 20 72 65 63 6f 72 64 5b 27 50 72 d and record['Pr
2680: 61 67 6d 61 27 5d 20 3d 3d 20 27 6e 6f 2d 63 61 agma'] == 'no-ca
2690: 63 68 65 27 3a 0a 09 09 09 09 69 6e 66 6f 20 2b che':.....info +
26a0: 3d 27 5c 6e 50 72 61 67 6d 61 20 6f 6e 3a 20 72 ='\nPragma on: r
26b0: 65 63 68 65 63 6b 20 69 6d 6d 69 6e 65 6e 74 2e echeck imminent.
26c0: 27 0a 09 09 09 09 72 65 63 68 65 63 6b 20 3d 20 '.....recheck =
26d0: 54 72 75 65 0a 0a 09 09 09 23 20 73 6b 69 70 70 True.....# skipp
26e0: 69 6e 67 20 66 69 6c 65 20 70 72 6f 63 65 73 73 ing file process
26f0: 69 6e 67 20 69 66 20 74 68 65 72 65 27 73 20 6e ing if there's n
2700: 6f 20 6e 65 65 64 20 74 6f 20 72 65 63 68 65 63 o need to rechec
2710: 6b 20 69 74 20 61 6e 64 20 77 65 20 68 61 76 65 k it and we have
2720: 20 63 68 65 63 6b 65 64 20 69 74 20 61 74 20 6c checked it at l
2730: 65 61 73 74 20 34 20 68 6f 75 72 73 20 61 67 6f east 4 hours ago
2740: 0a 09 09 09 69 66 20 6e 6f 74 20 72 65 63 68 65 ....if not reche
2750: 63 6b 20 61 6e 64 20 6e 6f 74 20 72 65 6c 6f 61 ck and not reloa
2760: 64 20 61 6e 64 20 27 5f 74 69 6d 65 27 20 69 6e d and '_time' in
2770: 20 72 65 63 6f 72 64 20 61 6e 64 20 28 64 61 74 record and (dat
2780: 65 74 69 6d 65 2e 64 61 74 65 74 69 6d 65 2e 6e etime.datetime.n
2790: 6f 77 28 29 20 2d 20 64 61 74 65 74 69 6d 65 2e ow() - datetime.
27a0: 74 69 6d 65 64 65 6c 74 61 28 68 6f 75 72 73 20 timedelta(hours
27b0: 3d 20 34 29 20 2d 20 72 65 63 6f 72 64 5b 27 5f = 4) - record['_
27c0: 74 69 6d 65 27 5d 29 2e 64 61 79 73 20 3c 20 30 time']).days < 0
27d0: 3a 0a 09 09 09 09 72 65 63 68 65 63 6b 20 3d 20 :.....recheck =
27e0: 54 72 75 65 0a 0a 09 09 09 70 72 69 6e 74 28 69 True.....print(i
27f0: 6e 66 6f 29 0a 09 09 09 69 66 20 72 65 6c 6f 61 nfo)....if reloa
2800: 64 20 6f 72 20 72 65 63 68 65 63 6b 3a 0a 0a 09 d or recheck:...
2810: 09 09 09 74 72 79 3a 0a 09 09 09 09 09 72 65 71 ...try:......req
2820: 75 65 73 74 20 3d 20 27 68 74 74 70 3a 2f 2f 27 uest = 'http://'
2830: 20 2b 20 63 6f 6e 66 69 67 5b 27 72 6f 6f 74 27 + config['root'
2840: 5d 20 2b 20 6d 79 5f 70 61 74 68 0a 09 09 09 09 ] + my_path.....
2850: 09 6e 65 65 64 65 64 20 3d 20 4e 6f 6e 65 0a 09 .needed = None..
2860: 09 09 09 09 23 20 58 58 58 20 61 6e 64 20 69 66 ....# XXX and if
2870: 20 77 65 20 73 70 65 63 69 66 79 20 66 75 6c 6c we specify full
2880: 20 66 69 6c 65 20 77 65 20 64 6f 6e 27 74 20 67 file we don't g
2890: 6f 20 70 61 72 74 69 61 6c 3f 0a 09 09 09 09 09 o partial?......
28a0: 69 66 20 72 65 71 75 65 73 74 65 64 5f 72 61 6e if requested_ran
28b0: 67 65 73 20 21 3d 20 4e 6f 6e 65 3a 0a 09 09 09 ges != None:....
28c0: 09 09 09 69 66 20 27 5f 70 61 72 74 73 27 20 69 ...if '_parts' i
28d0: 6e 20 72 65 63 6f 72 64 20 61 6e 64 20 72 65 63 n record and rec
28e0: 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d 20 21 3d ord['_parts'] !=
28f0: 20 4e 6f 6e 65 3a 0a 09 09 09 09 09 09 09 69 66 None:........if
2900: 20 63 6f 6e 66 69 67 5b 27 6e 6f 70 61 72 74 73 config['noparts
2910: 27 5d 3a 0a 09 09 09 09 09 09 09 09 6e 65 65 64 ']:.........need
2920: 65 64 20 3d 20 72 65 63 6f 72 64 5b 27 5f 70 61 ed = record['_pa
2930: 72 74 73 27 5d 0a 09 09 09 09 09 09 09 65 6c 73 rts']........els
2940: 65 3a 0a 09 09 09 09 09 09 09 09 6e 65 65 64 65 e:.........neede
2950: 64 20 3d 20 72 65 63 6f 72 64 5b 27 5f 70 61 72 d = record['_par
2960: 74 73 27 5d 20 7c 20 72 65 71 75 65 73 74 65 64 ts'] | requested
2970: 5f 72 61 6e 67 65 73 0a 09 09 09 09 09 09 65 6c _ranges.......el
2980: 69 66 20 6e 6f 74 20 63 6f 6e 66 69 67 5b 27 6e if not config['n
2990: 6f 70 61 72 74 73 27 5d 3a 0a 09 09 09 09 09 09 oparts']:.......
29a0: 09 6e 65 65 64 65 64 20 3d 20 72 65 71 75 65 73 .needed = reques
29b0: 74 65 64 5f 72 61 6e 67 65 73 0a 09 09 09 09 09 ted_ranges......
29c0: 09 72 61 6e 67 65 73 20 3d 20 28 29 0a 09 09 09 .ranges = ()....
29d0: 09 09 09 70 72 69 6e 74 28 27 4d 69 73 73 69 6e ...print('Missin
29e0: 67 20 72 61 6e 67 65 73 3a 20 7b 7d 2c 20 72 65 g ranges: {}, re
29f0: 71 75 65 73 74 65 64 20 72 61 6e 67 65 73 3a 20 quested ranges:
2a00: 7b 7d 2c 20 6e 65 65 64 65 64 20 72 61 6e 67 65 {}, needed range
2a10: 73 3a 20 7b 7d 2e 27 2e 66 6f 72 6d 61 74 28 72 s: {}.'.format(r
2a20: 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d 2c ecord['_parts'],
2a30: 20 72 65 71 75 65 73 74 65 64 5f 72 61 6e 67 65 requested_range
2a40: 73 2c 20 6e 65 65 64 65 64 29 29 0a 09 09 09 09 s, needed)).....
2a50: 09 09 69 66 20 6e 65 65 64 65 64 20 21 3d 20 4e ..if needed != N
2a60: 6f 6e 65 20 61 6e 64 20 6c 65 6e 28 6e 65 65 64 one and len(need
2a70: 65 64 29 20 3e 20 30 3a 0a 09 09 09 09 09 09 09 ed) > 0:........
2a80: 6e 65 65 64 65 64 2e 72 65 77 69 6e 64 28 29 0a needed.rewind().
2a90: 09 09 09 09 09 09 09 77 68 69 6c 65 20 54 72 75 .......while Tru
2aa0: 65 3a 0a 09 09 09 09 09 09 09 09 72 61 6e 67 65 e:.........range
2ab0: 20 3d 20 6e 65 65 64 65 64 2e 70 6f 70 28 29 0a = needed.pop().
2ac0: 09 09 09 09 09 09 09 09 69 66 20 72 61 6e 67 65 ........if range
2ad0: 5b 30 5d 20 3d 3d 20 4e 6f 6e 65 3a 0a 09 09 09 [0] == None:....
2ae0: 09 09 09 09 09 09 62 72 65 61 6b 0a 09 09 09 09 ......break.....
2af0: 09 09 09 09 72 61 6e 67 65 73 20 2b 3d 20 27 7b ....ranges += '{
2b00: 7d 2d 7b 7d 27 2e 66 6f 72 6d 61 74 28 72 61 6e }-{}'.format(ran
2b10: 67 65 5b 30 5d 2c 20 72 61 6e 67 65 5b 31 5d 20 ge[0], range[1]
2b20: 2d 20 31 29 2c 0a 09 09 09 09 09 09 09 72 65 71 - 1),........req
2b30: 75 65 73 74 20 3d 20 75 72 6c 6c 69 62 2e 72 65 uest = urllib.re
2b40: 71 75 65 73 74 2e 52 65 71 75 65 73 74 28 72 65 quest.Request(re
2b50: 71 75 65 73 74 2c 20 68 65 61 64 65 72 73 20 3d quest, headers =
2b60: 20 7b 27 52 61 6e 67 65 27 3a 20 27 62 79 74 65 {'Range': 'byte
2b70: 73 3d 27 20 2b 20 27 2c 27 2e 6a 6f 69 6e 28 72 s=' + ','.join(r
2b80: 61 6e 67 65 73 29 7d 29 0a 0a 09 09 09 09 09 77 anges)}).......w
2b90: 69 74 68 20 75 72 6c 6c 69 62 2e 72 65 71 75 65 ith urllib.reque
2ba0: 73 74 2e 75 72 6c 6f 70 65 6e 28 72 65 71 75 65 st.urlopen(reque
2bb0: 73 74 29 20 61 73 20 73 6f 75 72 63 65 3a 0a 09 st) as source:..
2bc0: 09 09 09 09 09 6e 65 77 5f 72 65 63 6f 72 64 20 .....new_record
2bd0: 3d 20 7b 7d 0a 09 09 09 09 09 09 6e 65 77 5f 72 = {}.......new_r
2be0: 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d 20 ecord['_parts']
2bf0: 3d 20 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 = record['_parts
2c00: 27 5d 0a 09 09 09 09 09 09 68 65 61 64 65 72 73 '].......headers
2c10: 20 3d 20 73 6f 75 72 63 65 2e 69 6e 66 6f 28 29 = source.info()
2c20: 0a 0a 09 09 09 09 09 09 23 20 73 74 72 69 70 70 ........# stripp
2c30: 69 6e 67 20 75 6e 6e 65 65 64 65 64 20 68 65 61 ing unneeded hea
2c40: 64 65 72 73 20 28 58 58 58 20 6d 61 6b 65 20 74 ders (XXX make t
2c50: 68 69 73 20 69 6e 70 6c 61 63 65 3f 29 0a 09 09 his inplace?)...
2c60: 09 09 09 09 66 6f 72 20 68 65 61 64 65 72 20 69 ....for header i
2c70: 6e 20 68 65 61 64 65 72 73 3a 0a 09 09 09 09 09 n headers:......
2c80: 09 09 69 66 20 68 65 61 64 65 72 20 69 6e 20 64 ..if header in d
2c90: 65 73 63 5f 66 69 65 6c 64 73 3a 0a 09 09 09 09 esc_fields:.....
2ca0: 09 09 09 09 23 69 66 20 68 65 61 64 65 72 20 3d ....#if header =
2cb0: 3d 20 27 50 72 61 67 6d 61 27 20 61 6e 64 20 68 = 'Pragma' and h
2cc0: 65 61 64 65 72 73 5b 68 65 61 64 65 72 5d 20 21 eaders[header] !
2cd0: 3d 20 27 6e 6f 2d 63 61 63 68 65 27 3a 0a 09 09 = 'no-cache':...
2ce0: 09 09 09 09 09 09 69 66 20 68 65 61 64 65 72 20 ......if header
2cf0: 3d 3d 20 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 == 'Content-Leng
2d00: 74 68 27 3a 0a 09 09 09 09 09 09 09 09 09 69 66 th':..........if
2d10: 20 27 43 6f 6e 74 65 6e 74 2d 52 61 6e 67 65 27 'Content-Range'
2d20: 20 6e 6f 74 20 69 6e 20 68 65 61 64 65 72 73 3a not in headers:
2d30: 0a 09 09 09 09 09 09 09 09 09 09 6e 65 77 5f 72 ...........new_r
2d40: 65 63 6f 72 64 5b 68 65 61 64 65 72 5d 20 3d 20 ecord[header] =
2d50: 69 6e 74 28 68 65 61 64 65 72 73 5b 68 65 61 64 int(headers[head
2d60: 65 72 5d 29 0a 09 09 09 09 09 09 09 09 65 6c 73 er]).........els
2d70: 65 3a 0a 09 09 09 09 09 09 09 09 09 6e 65 77 5f e:..........new_
2d80: 72 65 63 6f 72 64 5b 68 65 61 64 65 72 5d 20 3d record[header] =
2d90: 20 68 65 61 64 65 72 73 5b 68 65 61 64 65 72 5d headers[header]
2da0: 0a 09 09 09 09 09 09 09 65 6c 69 66 20 68 65 61 ........elif hea
2db0: 64 65 72 20 3d 3d 20 27 43 6f 6e 74 65 6e 74 2d der == 'Content-
2dc0: 52 61 6e 67 65 27 3a 0a 09 09 09 09 09 09 09 09 Range':.........
2dd0: 72 61 6e 67 65 20 3d 20 72 65 2e 63 6f 6d 70 69 range = re.compi
2de0: 6c 65 28 27 5e 62 79 74 65 73 20 28 5c 64 2b 29 le('^bytes (\d+)
2df0: 2d 28 5c 64 2b 29 2f 28 5c 64 2b 29 24 27 29 2e -(\d+)/(\d+)$').
2e00: 6d 61 74 63 68 28 68 65 61 64 65 72 73 5b 68 65 match(headers[he
2e10: 61 64 65 72 5d 29 0a 09 09 09 09 09 09 09 09 69 ader]).........i
2e20: 66 20 72 61 6e 67 65 3a 0a 09 09 09 09 09 09 09 f range:........
2e30: 09 09 6e 65 77 5f 72 65 63 6f 72 64 5b 27 43 6f ..new_record['Co
2e40: 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 5d 20 3d ntent-Length'] =
2e50: 20 69 6e 74 28 72 61 6e 67 65 2e 67 72 6f 75 70 int(range.group
2e60: 28 33 29 29 0a 09 09 09 09 09 09 09 09 65 6c 73 (3)).........els
2e70: 65 3a 09 0a 09 09 09 09 09 09 09 09 09 61 73 73 e:...........ass
2e80: 65 72 74 20 46 61 6c 73 65 2c 20 27 43 6f 6e 74 ert False, 'Cont
2e90: 65 6e 74 2d 52 61 6e 67 65 20 75 6e 72 65 63 6f ent-Range unreco
2ea0: 67 6e 69 7a 65 64 2e 27 0a 09 09 09 09 09 09 09 gnized.'........
2eb0: 65 6c 69 66 20 6e 6f 74 20 68 65 61 64 65 72 20 elif not header
2ec0: 69 6e 20 69 67 6e 6f 72 65 5f 66 69 65 6c 64 73 in ignore_fields
2ed0: 3a 0a 09 09 09 09 09 09 09 09 70 72 69 6e 74 28 :.........print(
2ee0: 27 55 6e 64 65 66 69 6e 65 64 20 68 65 61 64 65 'Undefined heade
2ef0: 72 20 22 27 2c 20 68 65 61 64 65 72 2c 20 27 22 r "', header, '"
2f00: 3a 20 27 2c 20 68 65 61 64 65 72 73 5b 68 65 61 : ', headers[hea
2f10: 64 65 72 5d 2c 20 73 65 70 3d 27 27 29 0a 0a 09 der], sep='')...
2f20: 09 09 09 09 09 23 20 63 6f 6d 70 61 72 69 6e 67 .....# comparing
2f30: 20 68 65 61 64 65 72 73 20 77 69 74 68 20 64 61 headers with da
2f40: 74 61 20 66 6f 75 6e 64 20 69 6e 20 69 6e 64 65 ta found in inde
2f50: 78 0a 09 09 09 09 09 09 23 20 69 66 20 61 6e 79 x.......# if any
2f60: 20 68 65 61 64 65 72 20 68 61 73 20 63 68 61 6e header has chan
2f70: 67 65 64 20 28 65 78 63 65 70 74 20 50 72 61 67 ged (except Prag
2f80: 6d 61 29 20 66 69 6c 65 20 69 73 20 66 75 6c 6c ma) file is full
2f90: 79 20 64 6f 77 6e 6c 6f 61 64 65 64 0a 09 09 09 y downloaded....
2fa0: 09 09 09 23 20 73 61 6d 65 20 69 66 20 77 65 20 ...# same if we
2fb0: 67 65 74 20 6d 6f 72 65 20 6f 72 20 6c 65 73 73 get more or less
2fc0: 20 68 65 61 64 65 72 73 0a 09 09 09 09 09 09 6f headers.......o
2fd0: 6c 64 5f 6b 65 79 73 20 3d 20 73 65 74 28 72 65 ld_keys = set(re
2fe0: 63 6f 72 64 2e 6b 65 79 73 28 29 29 0a 09 09 09 cord.keys())....
2ff0: 09 09 09 6f 6c 64 5f 6b 65 79 73 2e 64 69 73 63 ...old_keys.disc
3000: 61 72 64 28 27 5f 74 69 6d 65 27 29 0a 09 09 09 ard('_time')....
3010: 09 09 09 6f 6c 64 5f 6b 65 79 73 2e 64 69 73 63 ...old_keys.disc
3020: 61 72 64 28 27 50 72 61 67 6d 61 27 29 0a 09 09 ard('Pragma')...
3030: 09 09 09 09 6d 6f 72 65 5f 6b 65 79 73 20 3d 20 ....more_keys =
3040: 73 65 74 28 6e 65 77 5f 72 65 63 6f 72 64 2e 6b set(new_record.k
3050: 65 79 73 28 29 29 20 2d 20 6f 6c 64 5f 6b 65 79 eys()) - old_key
3060: 73 0a 09 09 09 09 09 09 6d 6f 72 65 5f 6b 65 79 s.......more_key
3070: 73 2e 64 69 73 63 61 72 64 28 27 50 72 61 67 6d s.discard('Pragm
3080: 61 27 29 0a 09 09 09 09 09 09 6c 65 73 73 5f 6b a').......less_k
3090: 65 79 73 20 3d 20 6f 6c 64 5f 6b 65 79 73 20 2d eys = old_keys -
30a0: 20 73 65 74 28 6e 65 77 5f 72 65 63 6f 72 64 2e set(new_record.
30b0: 6b 65 79 73 28 29 29 0a 09 09 09 09 09 09 69 66 keys()).......if
30c0: 20 6c 65 6e 28 6d 6f 72 65 5f 6b 65 79 73 29 20 len(more_keys)
30d0: 3e 20 30 3a 0a 09 09 09 09 09 09 09 69 66 20 6e > 0:........if n
30e0: 6f 74 20 6c 65 6e 28 6f 6c 64 5f 6b 65 79 73 29 ot len(old_keys)
30f0: 20 3d 3d 20 30 3a 0a 09 09 09 09 09 09 09 09 70 == 0:.........p
3100: 72 69 6e 74 28 27 4d 6f 72 65 20 68 65 61 64 65 rint('More heade
3110: 72 73 20 61 70 70 65 61 72 3a 27 2c 20 6d 6f 72 rs appear:', mor
3120: 65 5f 6b 65 79 73 29 0a 09 09 09 09 09 09 09 72 e_keys)........r
3130: 65 6c 6f 61 64 20 3d 20 54 72 75 65 0a 09 09 09 eload = True....
3140: 09 09 09 65 6c 69 66 20 6c 65 6e 28 6c 65 73 73 ...elif len(less
3150: 5f 6b 65 79 73 29 20 3e 20 30 3a 0a 09 09 09 09 _keys) > 0:.....
3160: 09 09 09 70 72 69 6e 74 28 27 4c 65 73 73 20 68 ...print('Less h
3170: 65 61 64 65 72 73 20 61 70 70 65 61 72 3a 27 2c eaders appear:',
3180: 20 6c 65 73 73 5f 6b 65 79 73 29 0a 09 09 09 09 less_keys).....
3190: 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 09 66 ..else:........f
31a0: 6f 72 20 6b 65 79 20 69 6e 20 72 65 63 6f 72 64 or key in record
31b0: 2e 6b 65 79 73 28 29 3a 0a 09 09 09 09 09 09 09 .keys():........
31c0: 09 69 66 20 6b 65 79 5b 30 5d 20 21 3d 20 27 5f .if key[0] != '_
31d0: 27 20 61 6e 64 20 6b 65 79 20 21 3d 20 27 50 72 ' and key != 'Pr
31e0: 61 67 6d 61 27 20 61 6e 64 20 6e 6f 74 20 72 65 agma' and not re
31f0: 63 6f 72 64 5b 6b 65 79 5d 20 3d 3d 20 6e 65 77 cord[key] == new
3200: 5f 72 65 63 6f 72 64 5b 6b 65 79 5d 3a 0a 09 09 _record[key]:...
3210: 09 09 09 09 09 09 09 70 72 69 6e 74 28 27 48 65 .......print('He
3220: 61 64 65 72 20 22 27 2c 20 6b 65 79 2c 20 27 22 ader "', key, '"
3230: 20 63 68 61 6e 67 65 64 20 66 72 6f 6d 20 5b 27 changed from ['
3240: 2c 20 72 65 63 6f 72 64 5b 6b 65 79 5d 2c 20 27 , record[key], '
3250: 5d 20 74 6f 20 5b 27 2c 20 6e 65 77 5f 72 65 63 ] to [', new_rec
3260: 6f 72 64 5b 6b 65 79 5d 2c 20 27 5d 27 2c 20 73 ord[key], ']', s
3270: 65 70 3d 27 27 29 0a 09 09 09 09 09 09 09 09 09 ep='')..........
3280: 70 72 69 6e 74 28 74 79 70 65 28 72 65 63 6f 72 print(type(recor
3290: 64 5b 6b 65 79 5d 29 2c 20 74 79 70 65 28 6e 65 d[key]), type(ne
32a0: 77 5f 72 65 63 6f 72 64 5b 6b 65 79 5d 29 29 0a w_record[key])).
32b0: 09 09 09 09 09 09 09 09 09 72 65 6c 6f 61 64 20 .........reload
32c0: 3d 20 54 72 75 65 0a 0a 09 09 09 09 09 09 69 66 = True........if
32d0: 20 72 65 6c 6f 61 64 3a 0a 09 09 09 09 09 09 09 reload:........
32e0: 70 72 69 6e 74 28 27 52 65 6c 6f 61 64 69 6e 67 print('Reloading
32f0: 2e 27 29 0a 09 09 09 09 09 09 09 69 66 20 6f 73 .')........if os
3300: 2e 61 63 63 65 73 73 28 74 65 6d 70 5f 6e 61 6d .access(temp_nam
3310: 65 2c 20 6f 73 2e 52 5f 4f 4b 29 3a 0a 09 09 09 e, os.R_OK):....
3320: 09 09 09 09 09 6f 73 2e 75 6e 6c 69 6e 6b 28 74 .....os.unlink(t
3330: 65 6d 70 5f 6e 61 6d 65 29 0a 09 09 09 09 09 09 emp_name).......
3340: 09 69 66 20 6f 73 2e 61 63 63 65 73 73 28 66 69 .if os.access(fi
3350: 6c 65 5f 6e 61 6d 65 2c 20 6f 73 2e 52 5f 4f 4b le_name, os.R_OK
3360: 29 3a 0a 09 09 09 09 09 09 09 09 6f 73 2e 75 6e ):.........os.un
3370: 6c 69 6e 6b 28 66 69 6c 65 5f 6e 61 6d 65 29 0a link(file_name).
3380: 09 09 09 09 09 09 09 6e 65 77 5f 72 65 63 6f 72 .......new_recor
3390: 64 5b 27 5f 70 61 72 74 73 27 5d 20 3d 20 73 70 d['_parts'] = sp
33a0: 61 63 65 6d 61 70 2e 53 70 61 63 65 4d 61 70 28 acemap.SpaceMap(
33b0: 7b 30 3a 20 69 6e 74 28 6e 65 77 5f 72 65 63 6f {0: int(new_reco
33c0: 72 64 5b 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 rd['Content-Leng
33d0: 74 68 27 5d 29 7d 29 0a 09 09 09 09 09 09 70 72 th'])}).......pr
33e0: 69 6e 74 28 6e 65 77 5f 72 65 63 6f 72 64 29 0a int(new_record).
33f0: 0a 09 09 09 09 09 09 23 20 64 6f 77 6e 6c 6f 61 .......# downloa
3400: 64 69 6e 67 20 66 69 6c 65 20 6f 72 20 73 65 67 ding file or seg
3410: 6d 65 6e 74 0a 09 09 09 09 09 09 69 66 20 27 43 ment.......if 'C
3420: 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 20 69 ontent-Length' i
3430: 6e 20 6e 65 77 5f 72 65 63 6f 72 64 3a 0a 09 09 n new_record:...
3440: 09 09 09 09 09 69 66 20 6e 65 65 64 65 64 20 3d .....if needed =
3450: 3d 20 4e 6f 6e 65 3a 0a 09 09 09 09 09 09 09 09 = None:.........
3460: 6e 65 65 64 65 64 20 3d 20 6e 65 77 5f 72 65 63 needed = new_rec
3470: 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d 0a 09 09 ord['_parts']...
3480: 09 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 .....else:......
3490: 09 09 09 69 66 20 6c 65 6e 28 6e 65 65 64 65 64 ...if len(needed
34a0: 29 20 3e 20 31 3a 0a 09 09 09 09 09 09 09 09 09 ) > 1:..........
34b0: 70 72 69 6e 74 28 22 4d 75 6c 74 69 70 61 72 74 print("Multipart
34c0: 20 72 65 71 75 65 73 74 73 20 63 75 72 72 65 6e requests curren
34d0: 74 6c 79 20 6e 6f 74 20 73 75 70 70 6f 72 74 65 tly not supporte
34e0: 64 2e 22 29 0a 09 09 09 09 09 09 09 09 09 61 73 d.")..........as
34f0: 73 65 72 74 20 46 61 6c 73 65 2c 20 27 53 6b 69 sert False, 'Ski
3500: 70 20 74 68 69 73 20 6f 6e 65 20 66 6f 72 20 6e p this one for n
3510: 6f 77 2e 27 0a 09 09 09 09 09 09 65 6c 73 65 3a ow.'.......else:
3520: 0a 09 09 09 09 09 09 09 61 73 73 65 72 74 20 46 ........assert F
3530: 61 6c 73 65 2c 20 27 4e 6f 20 43 6f 6e 74 65 6e alse, 'No Conten
3540: 74 2d 4c 65 6e 67 74 68 20 6f 72 20 43 6f 6e 74 t-Length or Cont
3550: 65 6e 74 2d 52 61 6e 67 65 20 68 65 61 64 65 72 ent-Range header
3560: 2e 27 0a 0a 09 09 09 09 09 09 6e 65 77 5f 72 65 .'........new_re
3570: 63 6f 72 64 5b 27 5f 74 69 6d 65 27 5d 20 3d 20 cord['_time'] =
3580: 64 61 74 65 74 69 6d 65 2e 64 61 74 65 74 69 6d datetime.datetim
3590: 65 2e 6e 6f 77 28 29 0a 09 09 09 09 09 09 69 66 e.now().......if
35a0: 20 73 65 6c 66 2e 63 6f 6d 6d 61 6e 64 20 6e 6f self.command no
35b0: 74 20 69 6e 20 28 27 48 45 41 44 27 29 3a 0a 09 t in ('HEAD'):..
35c0: 09 09 09 09 09 09 23 20 66 69 6c 65 20 69 73 20 ......# file is
35d0: 63 72 65 61 74 65 64 20 61 74 20 74 65 6d 70 6f created at tempo
35e0: 72 61 72 79 20 6c 6f 63 61 74 69 6f 6e 20 61 6e rary location an
35f0: 64 20 6d 6f 76 65 64 20 69 6e 20 70 6c 61 63 65 d moved in place
3600: 20 6f 6e 6c 79 20 77 68 65 6e 20 64 6f 77 6e 6c only when downl
3610: 6f 61 64 20 63 6f 6d 70 6c 65 74 65 73 0a 09 09 oad completes...
3620: 09 09 09 09 09 69 66 20 6e 6f 74 20 6f 73 2e 61 .....if not os.a
3630: 63 63 65 73 73 28 74 65 6d 70 5f 6e 61 6d 65 2c ccess(temp_name,
3640: 20 6f 73 2e 52 5f 4f 4b 29 3a 0a 09 09 09 09 09 os.R_OK):......
3650: 09 09 09 65 6d 70 74 79 5f 6e 61 6d 65 20 3d 20 ...empty_name =
3660: 63 6f 6e 66 69 67 5b 27 64 69 72 27 5d 20 2b 20 config['dir'] +
3670: 6f 73 2e 73 65 70 20 2b 20 27 2e 74 6d 70 27 0a os.sep + '.tmp'.
3680: 09 09 09 09 09 09 09 09 77 69 74 68 20 6f 70 65 ........with ope
3690: 6e 28 65 6d 70 74 79 5f 6e 61 6d 65 2c 20 27 77 n(empty_name, 'w
36a0: 2b 62 27 29 20 61 73 20 73 6f 6d 65 5f 66 69 6c +b') as some_fil
36b0: 65 3a 0a 09 09 09 09 09 09 09 09 09 70 61 73 73 e:..........pass
36c0: 0a 09 09 09 09 09 09 09 09 6f 73 2e 72 65 6e 61 .........os.rena
36d0: 6d 65 73 28 65 6d 70 74 79 5f 6e 61 6d 65 2c 20 mes(empty_name,
36e0: 74 65 6d 70 5f 6e 61 6d 65 29 0a 09 09 09 09 09 temp_name)......
36f0: 09 09 74 65 6d 70 5f 66 69 6c 65 20 3d 20 6f 70 ..temp_file = op
3700: 65 6e 28 74 65 6d 70 5f 6e 61 6d 65 2c 20 27 72 en(temp_name, 'r
3710: 2b 62 27 29 0a 09 09 09 09 09 09 09 6e 65 65 64 +b')........need
3720: 65 64 2e 72 65 77 69 6e 64 28 29 0a 09 09 09 09 ed.rewind().....
3730: 09 09 09 77 68 69 6c 65 20 54 72 75 65 3a 0a 09 ...while True:..
3740: 09 09 09 09 09 09 09 28 73 74 61 72 74 2c 20 65 .......(start, e
3750: 6e 64 29 20 3d 20 6e 65 65 64 65 64 2e 70 6f 70 nd) = needed.pop
3760: 28 29 0a 09 09 09 09 09 09 09 09 69 66 20 73 74 ().........if st
3770: 61 72 74 20 3d 3d 20 4e 6f 6e 65 3a 0a 09 09 09 art == None:....
3780: 09 09 09 09 09 09 62 72 65 61 6b 0a 09 09 09 09 ......break.....
3790: 09 09 09 09 73 74 72 65 61 6d 5f 6c 61 73 74 20 ....stream_last
37a0: 3d 20 73 74 61 72 74 0a 09 09 09 09 09 09 09 09 = start.........
37b0: 6f 6c 64 5f 72 65 63 6f 72 64 20 3d 20 6e 65 77 old_record = new
37c0: 5f 72 65 63 6f 72 64 0a 09 09 09 09 09 09 09 09 _record.........
37d0: 69 66 20 65 6e 64 20 2d 20 73 74 61 72 74 20 3c if end - start <
37e0: 20 62 6c 6f 63 6b 5f 73 69 7a 65 3a 0a 09 09 09 block_size:....
37f0: 09 09 09 09 09 09 72 65 71 5f 62 6c 6f 63 6b 5f ......req_block_
3800: 73 69 7a 65 20 3d 20 65 6e 64 20 2d 20 73 74 61 size = end - sta
3810: 72 74 0a 09 09 09 09 09 09 09 09 65 6c 73 65 3a rt.........else:
3820: 0a 09 09 09 09 09 09 09 09 09 72 65 71 5f 62 6c ..........req_bl
3830: 6f 63 6b 5f 73 69 7a 65 20 3d 20 62 6c 6f 63 6b ock_size = block
3840: 5f 73 69 7a 65 0a 09 09 09 09 09 09 09 09 62 75 _size.........bu
3850: 66 66 65 72 20 3d 20 73 6f 75 72 63 65 2e 72 65 ffer = source.re
3860: 61 64 28 72 65 71 5f 62 6c 6f 63 6b 5f 73 69 7a ad(req_block_siz
3870: 65 29 0a 09 09 09 09 09 09 09 09 6c 65 6e 67 74 e).........lengt
3880: 68 20 3d 20 6c 65 6e 28 62 75 66 66 65 72 29 0a h = len(buffer).
3890: 09 09 09 09 09 09 09 09 77 68 69 6c 65 20 6c 65 ........while le
38a0: 6e 67 74 68 20 3e 20 30 20 61 6e 64 20 73 74 72 ngth > 0 and str
38b0: 65 61 6d 5f 6c 61 73 74 20 3c 20 65 6e 64 3a 0a eam_last < end:.
38c0: 09 09 09 09 09 09 09 09 09 73 74 72 65 61 6d 5f .........stream_
38d0: 70 6f 73 20 3d 20 73 74 72 65 61 6d 5f 6c 61 73 pos = stream_las
38e0: 74 20 2b 20 6c 65 6e 67 74 68 0a 09 09 09 09 09 t + length......
38f0: 09 09 09 09 61 73 73 65 72 74 20 6e 6f 74 20 73 ....assert not s
3900: 74 72 65 61 6d 5f 70 6f 73 20 3e 20 65 6e 64 2c tream_pos > end,
3910: 20 27 52 65 63 65 69 76 65 64 20 6d 6f 72 65 20 'Received more
3920: 64 61 74 61 20 74 68 65 6e 20 72 65 71 75 65 73 data then reques
3930: 74 65 64 3a 20 70 6f 73 3a 7b 7d 20 73 74 61 72 ted: pos:{} star
3940: 74 3a 7b 7d 20 65 6e 64 3a 7b 7d 2e 27 2e 66 6f t:{} end:{}.'.fo
3950: 72 6d 61 74 28 73 74 72 65 61 6d 5f 70 6f 73 2c rmat(stream_pos,
3960: 20 73 74 61 72 74 2c 20 65 6e 64 29 0a 09 09 09 start, end)....
3970: 09 09 09 09 09 09 74 65 6d 70 5f 66 69 6c 65 2e ......temp_file.
3980: 73 65 65 6b 28 73 74 72 65 61 6d 5f 6c 61 73 74 seek(stream_last
3990: 29 0a 09 09 09 09 09 09 09 09 09 74 65 6d 70 5f )..........temp_
39a0: 66 69 6c 65 2e 77 72 69 74 65 28 62 75 66 66 65 file.write(buffe
39b0: 72 29 0a 09 09 09 09 09 09 09 09 09 6e 65 77 5f r)..........new_
39c0: 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d record['_parts']
39d0: 20 3d 20 6e 65 77 5f 72 65 63 6f 72 64 5b 27 5f = new_record['_
39e0: 70 61 72 74 73 27 5d 20 2d 20 73 70 61 63 65 6d parts'] - spacem
39f0: 61 70 2e 53 70 61 63 65 4d 61 70 28 7b 73 74 72 ap.SpaceMap({str
3a00: 65 61 6d 5f 6c 61 73 74 3a 20 73 74 72 65 61 6d eam_last: stream
3a10: 5f 70 6f 73 7d 29 0a 09 09 09 09 09 09 09 09 09 _pos})..........
3a20: 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5d 20 3d index[my_path] =
3a30: 20 6f 6c 64 5f 72 65 63 6f 72 64 0a 09 09 09 09 old_record.....
3a40: 09 09 09 09 09 69 6e 64 65 78 2e 73 79 6e 63 28 .....index.sync(
3a50: 29 0a 09 09 09 09 09 09 09 09 09 6f 6c 64 5f 72 )..........old_r
3a60: 65 63 6f 72 64 20 3d 20 6e 65 77 5f 72 65 63 6f ecord = new_reco
3a70: 72 64 0a 09 09 09 09 09 09 09 09 09 73 74 72 65 rd..........stre
3a80: 61 6d 5f 6c 61 73 74 20 3d 20 73 74 72 65 61 6d am_last = stream
3a90: 5f 70 6f 73 0a 09 09 09 09 09 09 09 09 09 69 66 _pos..........if
3aa0: 20 65 6e 64 20 2d 20 73 74 72 65 61 6d 5f 6c 61 end - stream_la
3ab0: 73 74 20 3c 20 62 6c 6f 63 6b 5f 73 69 7a 65 3a st < block_size:
3ac0: 0a 09 09 09 09 09 09 09 09 09 09 72 65 71 5f 62 ...........req_b
3ad0: 6c 6f 63 6b 5f 73 69 7a 65 20 3d 20 65 6e 64 20 lock_size = end
3ae0: 2d 20 73 74 72 65 61 6d 5f 6c 61 73 74 0a 09 09 - stream_last...
3af0: 09 09 09 09 09 09 09 62 75 66 66 65 72 20 3d 20 .......buffer =
3b00: 73 6f 75 72 63 65 2e 72 65 61 64 28 72 65 71 5f source.read(req_
3b10: 62 6c 6f 63 6b 5f 73 69 7a 65 29 0a 09 09 09 09 block_size).....
3b20: 09 09 09 09 09 6c 65 6e 67 74 68 20 3d 20 6c 65 .....length = le
3b30: 6e 28 62 75 66 66 65 72 29 0a 09 09 09 09 09 09 n(buffer).......
3b40: 09 23 20 6d 6f 76 69 6e 67 20 64 6f 77 6e 6c 6f .# moving downlo
3b50: 61 64 65 64 20 64 61 74 61 20 74 6f 20 72 65 61 aded data to rea
3b60: 6c 20 66 69 6c 65 0a 09 09 09 09 09 09 09 74 65 l file........te
3b70: 6d 70 5f 66 69 6c 65 2e 63 6c 6f 73 65 28 29 0a mp_file.close().
3b80: 0a 09 09 09 09 09 09 70 72 69 6e 74 28 6e 65 77 .......print(new
3b90: 5f 72 65 63 6f 72 64 29 0a 09 09 09 09 09 09 69 _record).......i
3ba0: 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5d 20 3d 20 ndex[my_path] =
3bb0: 6e 65 77 5f 72 65 63 6f 72 64 0a 09 09 09 09 09 new_record......
3bc0: 09 69 6e 64 65 78 2e 73 79 6e 63 28 29 0a 0a 09 .index.sync()...
3bd0: 09 09 09 65 78 63 65 70 74 20 75 72 6c 6c 69 62 ...except urllib
3be0: 2e 65 72 72 6f 72 2e 48 54 54 50 45 72 72 6f 72 .error.HTTPError
3bf0: 20 61 73 20 65 72 72 6f 72 3a 0a 09 09 09 09 09 as error:......
3c00: 23 20 69 6e 20 63 61 73 65 20 6f 66 20 65 72 72 # in case of err
3c10: 6f 72 20 77 65 20 64 6f 6e 27 74 20 6e 65 65 64 or we don't need
3c20: 20 74 6f 20 64 6f 20 61 6e 79 74 68 69 6e 67 20 to do anything
3c30: 61 63 74 75 61 6c 6c 79 2c 0a 09 09 09 09 09 23 actually,......#
3c40: 20 69 66 20 66 69 6c 65 20 64 6f 77 6e 6c 6f 61 if file downloa
3c50: 64 20 73 74 61 6c 6c 73 20 6f 72 20 66 61 69 6c d stalls or fail
3c60: 73 20 74 68 65 20 66 69 6c 65 20 77 6f 75 6c 64 s the file would
3c70: 20 6e 6f 74 20 62 65 20 6d 6f 76 65 64 20 74 6f not be moved to
3c80: 20 69 74 27 73 20 6c 6f 63 61 74 69 6f 6e 0a 09 it's location..
3c90: 09 09 09 09 70 72 69 6e 74 28 65 72 72 6f 72 29 ....print(error)
3ca0: 0a 0a 09 09 09 69 66 20 27 5f 70 61 72 74 73 27 .....if '_parts'
3cb0: 20 69 6e 20 69 6e 64 65 78 5b 6d 79 5f 70 61 74 in index[my_pat
3cc0: 68 5d 20 61 6e 64 20 69 6e 64 65 78 5b 6d 79 5f h] and index[my_
3cd0: 70 61 74 68 5d 5b 27 5f 70 61 72 74 73 27 5d 20 path]['_parts']
3ce0: 3d 3d 20 73 70 61 63 65 6d 61 70 2e 53 70 61 63 == spacemap.Spac
3cf0: 65 4d 61 70 28 29 3a 0a 09 09 09 09 23 20 6a 75 eMap():.....# ju
3d00: 73 74 20 6d 6f 76 69 6e 67 0a 09 09 09 09 23 20 st moving.....#
3d10: 64 72 6f 70 20 6f 6c 64 20 64 69 72 73 20 58 58 drop old dirs XX
3d20: 58 0a 09 09 09 09 70 72 69 6e 74 28 27 4d 6f 76 X.....print('Mov
3d30: 69 6e 67 20 74 65 6d 70 6f 72 61 72 79 20 66 69 ing temporary fi
3d40: 6c 65 20 74 6f 20 6e 65 77 20 64 65 73 74 69 6e le to new destin
3d50: 61 74 69 6f 6e 2e 27 29 0a 09 09 09 09 6f 73 2e ation.').....os.
3d60: 72 65 6e 61 6d 65 73 28 74 65 6d 70 5f 6e 61 6d renames(temp_nam
3d70: 65 2c 20 66 69 6c 65 5f 6e 61 6d 65 29 0a 0a 09 e, file_name)...
3d80: 09 09 69 66 20 73 65 6c 66 2e 63 6f 6d 6d 61 6e ..if self.comman
3d90: 64 20 3d 3d 20 27 48 45 41 44 27 3a 0a 09 09 09 d == 'HEAD':....
3da0: 09 73 65 6c 66 2e 73 65 6e 64 5f 72 65 73 70 6f .self.send_respo
3db0: 6e 73 65 28 32 30 30 29 0a 09 09 09 09 69 66 20 nse(200).....if
3dc0: 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 'Content-Length'
3dd0: 20 69 6e 20 69 6e 64 65 78 5b 6d 79 5f 70 61 74 in index[my_pat
3de0: 68 5d 3a 0a 09 09 09 09 09 73 65 6c 66 2e 73 65 h]:......self.se
3df0: 6e 64 5f 68 65 61 64 65 72 28 27 43 6f 6e 74 65 nd_header('Conte
3e00: 6e 74 2d 4c 65 6e 67 74 68 27 2c 20 69 6e 64 65 nt-Length', inde
3e10: 78 5b 6d 79 5f 70 61 74 68 5d 5b 27 43 6f 6e 74 x[my_path]['Cont
3e20: 65 6e 74 2d 4c 65 6e 67 74 68 27 5d 29 0a 09 09 ent-Length'])...
3e30: 09 09 73 65 6c 66 2e 73 65 6e 64 5f 68 65 61 64 ..self.send_head
3e40: 65 72 28 27 41 63 63 65 70 74 2d 52 61 6e 67 65 er('Accept-Range
3e50: 73 27 2c 20 27 62 79 74 65 73 27 29 0a 09 09 09 s', 'bytes')....
3e60: 09 73 65 6c 66 2e 73 65 6e 64 5f 68 65 61 64 65 .self.send_heade
3e70: 72 28 27 43 6f 6e 74 65 6e 74 2d 54 79 70 65 27 r('Content-Type'
3e80: 2c 20 27 61 70 70 6c 69 63 61 74 69 6f 6e 2f 6f , 'application/o
3e90: 63 74 65 74 2d 73 74 72 65 61 6d 27 29 0a 09 09 ctet-stream')...
3ea0: 09 09 69 66 20 27 4c 61 73 74 2d 4d 6f 64 69 66 ..if 'Last-Modif
3eb0: 69 65 64 27 20 69 6e 20 69 6e 64 65 78 5b 6d 79 ied' in index[my
3ec0: 5f 70 61 74 68 5d 3a 0a 09 09 09 09 09 73 65 6c _path]:......sel
3ed0: 66 2e 73 65 6e 64 5f 68 65 61 64 65 72 28 27 4c f.send_header('L
3ee0: 61 73 74 2d 4d 6f 64 69 66 69 65 64 27 2c 20 69 ast-Modified', i
3ef0: 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5d 5b 27 4c ndex[my_path]['L
3f00: 61 73 74 2d 4d 6f 64 69 66 69 65 64 27 5d 29 0a ast-Modified']).
3f10: 09 09 09 09 73 65 6c 66 2e 65 6e 64 5f 68 65 61 ....self.end_hea
3f20: 64 65 72 73 28 29 0a 09 09 09 65 6c 73 65 3a 0a ders()....else:.
3f30: 09 09 09 09 69 66 20 28 27 5f 70 61 72 74 73 27 ....if ('_parts'
3f40: 20 69 6e 20 69 6e 64 65 78 5b 6d 79 5f 70 61 74 in index[my_pat
3f50: 68 5d 20 61 6e 64 20 69 6e 64 65 78 5b 6d 79 5f h] and index[my_
3f60: 70 61 74 68 5d 5b 27 5f 70 61 72 74 73 27 5d 20 path]['_parts']
3f70: 21 3d 20 73 70 61 63 65 6d 61 70 2e 53 70 61 63 != spacemap.Spac
3f80: 65 4d 61 70 28 29 29 20 6f 72 20 6e 6f 74 20 6f eMap()) or not o
3f90: 73 2e 61 63 63 65 73 73 28 66 69 6c 65 5f 6e 61 s.access(file_na
3fa0: 6d 65 2c 20 6f 73 2e 52 5f 4f 4b 29 3a 0a 09 09 me, os.R_OK):...
3fb0: 09 09 09 66 69 6c 65 5f 6e 61 6d 65 20 3d 20 74 ...file_name = t
3fc0: 65 6d 70 5f 6e 61 6d 65 0a 0a 09 09 09 09 77 69 emp_name......wi
3fd0: 74 68 20 6f 70 65 6e 28 66 69 6c 65 5f 6e 61 6d th open(file_nam
3fe0: 65 2c 20 27 72 62 27 29 20 61 73 20 72 65 61 6c e, 'rb') as real
3ff0: 5f 66 69 6c 65 3a 0a 09 09 09 09 09 66 69 6c 65 _file:......file
4000: 5f 73 74 61 74 20 3d 20 6f 73 2e 73 74 61 74 28 _stat = os.stat(
4010: 66 69 6c 65 5f 6e 61 6d 65 29 0a 09 09 09 09 09 file_name)......
4020: 69 66 20 27 52 61 6e 67 65 27 20 69 6e 20 73 65 if 'Range' in se
4030: 6c 66 2e 68 65 61 64 65 72 73 3a 0a 09 09 09 09 lf.headers:.....
4040: 09 09 73 65 6c 66 2e 73 65 6e 64 5f 72 65 73 70 ..self.send_resp
4050: 6f 6e 73 65 28 32 30 36 29 0a 09 09 09 09 09 09 onse(206).......
4060: 72 61 6e 67 65 73 20 3d 20 28 29 0a 09 09 09 09 ranges = ().....
4070: 09 09 72 65 71 75 65 73 74 65 64 5f 72 61 6e 67 ..requested_rang
4080: 65 73 2e 72 65 77 69 6e 64 28 29 0a 09 09 09 09 es.rewind().....
4090: 09 09 77 68 69 6c 65 20 54 72 75 65 3a 0a 09 09 ..while True:...
40a0: 09 09 09 09 09 70 61 69 72 20 3d 20 72 65 71 75 .....pair = requ
40b0: 65 73 74 65 64 5f 72 61 6e 67 65 73 2e 70 6f 70 ested_ranges.pop
40c0: 28 29 0a 09 09 09 09 09 09 09 69 66 20 70 61 69 ()........if pai
40d0: 72 5b 30 5d 20 3d 3d 20 4e 6f 6e 65 3a 0a 09 09 r[0] == None:...
40e0: 09 09 09 09 09 09 62 72 65 61 6b 0a 09 09 09 09 ......break.....
40f0: 09 09 09 72 61 6e 67 65 73 20 2b 3d 20 27 7b 7d ...ranges += '{}
4100: 2d 7b 7d 27 2e 66 6f 72 6d 61 74 28 70 61 69 72 -{}'.format(pair
4110: 5b 30 5d 2c 20 73 74 72 28 70 61 69 72 5b 31 5d [0], str(pair[1]
4120: 20 2d 20 31 29 29 2c 0a 09 09 09 09 09 09 73 65 - 1)),.......se
4130: 6c 66 2e 73 65 6e 64 5f 68 65 61 64 65 72 28 27 lf.send_header('
4140: 43 6f 6e 74 65 6e 74 2d 52 61 6e 67 65 27 2c 20 Content-Range',
4150: 27 62 79 74 65 73 20 7b 7d 2f 7b 7d 27 2e 66 6f 'bytes {}/{}'.fo
4160: 72 6d 61 74 28 27 2c 27 2e 6a 6f 69 6e 28 72 61 rmat(','.join(ra
4170: 6e 67 65 73 29 2c 20 69 6e 64 65 78 5b 6d 79 5f nges), index[my_
4180: 70 61 74 68 5d 5b 27 43 6f 6e 74 65 6e 74 2d 4c path]['Content-L
4190: 65 6e 67 74 68 27 5d 29 29 0a 09 09 09 09 09 65 ength']))......e
41a0: 6c 73 65 3a 0a 09 09 09 09 09 09 73 65 6c 66 2e lse:.......self.
41b0: 73 65 6e 64 5f 72 65 73 70 6f 6e 73 65 28 32 30 send_response(20
41c0: 30 29 0a 09 09 09 09 09 09 73 65 6c 66 2e 73 65 0).......self.se
41d0: 6e 64 5f 68 65 61 64 65 72 28 27 43 6f 6e 74 65 nd_header('Conte
41e0: 6e 74 2d 4c 65 6e 67 74 68 27 2c 20 73 74 72 28 nt-Length', str(
41f0: 66 69 6c 65 5f 73 74 61 74 2e 73 74 5f 73 69 7a file_stat.st_siz
4200: 65 29 29 0a 09 09 09 09 09 09 72 65 71 75 65 73 e)).......reques
4210: 74 65 64 5f 72 61 6e 67 65 73 20 3d 20 73 70 61 ted_ranges = spa
4220: 63 65 6d 61 70 2e 53 70 61 63 65 4d 61 70 28 7b cemap.SpaceMap({
4230: 30 3a 20 66 69 6c 65 5f 73 74 61 74 2e 73 74 5f 0: file_stat.st_
4240: 73 69 7a 65 7d 29 0a 09 09 09 09 09 73 65 6c 66 size})......self
4250: 2e 73 65 6e 64 5f 68 65 61 64 65 72 28 27 4c 61 .send_header('La
4260: 73 74 2d 4d 6f 64 69 66 69 65 64 27 2c 20 69 6e st-Modified', in
4270: 64 65 78 5b 6d 79 5f 70 61 74 68 5d 5b 27 4c 61 dex[my_path]['La
4280: 73 74 2d 4d 6f 64 69 66 69 65 64 27 5d 29 0a 09 st-Modified'])..
4290: 09 09 09 09 73 65 6c 66 2e 73 65 6e 64 5f 68 65 ....self.send_he
42a0: 61 64 65 72 28 27 43 6f 6e 74 65 6e 74 2d 54 79 ader('Content-Ty
42b0: 70 65 27 2c 20 27 61 70 70 6c 69 63 61 74 69 6f pe', 'applicatio
42c0: 6e 2f 6f 63 74 65 74 2d 73 74 72 65 61 6d 27 29 n/octet-stream')
42d0: 0a 09 09 09 09 09 73 65 6c 66 2e 65 6e 64 5f 68 ......self.end_h
42e0: 65 61 64 65 72 73 28 29 0a 09 09 09 09 09 69 66 eaders()......if
42f0: 20 73 65 6c 66 2e 63 6f 6d 6d 61 6e 64 20 69 6e self.command in
4300: 20 28 27 47 45 54 27 29 3a 0a 09 09 09 09 09 09 ('GET'):.......
4310: 69 66 20 6c 65 6e 28 72 65 71 75 65 73 74 65 64 if len(requested
4320: 5f 72 61 6e 67 65 73 29 20 3e 20 30 3a 0a 09 09 _ranges) > 0:...
4330: 09 09 09 09 09 72 65 71 75 65 73 74 65 64 5f 72 .....requested_r
4340: 61 6e 67 65 73 2e 72 65 77 69 6e 64 28 29 0a 09 anges.rewind()..
4350: 09 09 09 09 09 09 28 73 74 61 72 74 2c 20 65 6e ......(start, en
4360: 64 29 20 3d 20 72 65 71 75 65 73 74 65 64 5f 72 d) = requested_r
4370: 61 6e 67 65 73 2e 70 6f 70 28 29 0a 09 09 09 09 anges.pop().....
4380: 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 09 73 ..else:........s
4390: 74 61 72 74 20 3d 20 30 0a 09 09 09 09 09 09 09 tart = 0........
43a0: 65 6e 64 20 3d 20 69 6e 64 65 78 5b 6d 79 5f 70 end = index[my_p
43b0: 61 74 68 5d 5b 27 43 6f 6e 74 65 6e 74 2d 4c 65 ath]['Content-Le
43c0: 6e 67 74 68 27 5d 0a 09 09 09 09 09 09 72 65 61 ngth'].......rea
43d0: 6c 5f 66 69 6c 65 2e 73 65 65 6b 28 73 74 61 72 l_file.seek(star
43e0: 74 29 0a 09 09 09 09 09 09 69 66 20 62 6c 6f 63 t).......if bloc
43f0: 6b 5f 73 69 7a 65 20 3e 20 65 6e 64 20 2d 20 73 k_size > end - s
4400: 74 61 72 74 3a 0a 09 09 09 09 09 09 09 72 65 71 tart:........req
4410: 5f 62 6c 6f 63 6b 5f 73 69 7a 65 20 3d 20 65 6e _block_size = en
4420: 64 20 2d 20 73 74 61 72 74 0a 09 09 09 09 09 09 d - start.......
4430: 65 6c 73 65 3a 0a 09 09 09 09 09 09 09 72 65 71 else:........req
4440: 5f 62 6c 6f 63 6b 5f 73 69 7a 65 20 3d 20 62 6c _block_size = bl
4450: 6f 63 6b 5f 73 69 7a 65 0a 09 09 09 09 09 09 62 ock_size.......b
4460: 75 66 66 65 72 20 3d 20 72 65 61 6c 5f 66 69 6c uffer = real_fil
4470: 65 2e 72 65 61 64 28 72 65 71 5f 62 6c 6f 63 6b e.read(req_block
4480: 5f 73 69 7a 65 29 0a 09 09 09 09 09 09 6c 65 6e _size).......len
4490: 67 74 68 20 3d 20 6c 65 6e 28 62 75 66 66 65 72 gth = len(buffer
44a0: 29 0a 09 09 09 09 09 09 77 68 69 6c 65 20 6c 65 ).......while le
44b0: 6e 67 74 68 20 3e 20 30 3a 0a 09 09 09 09 09 09 ngth > 0:.......
44c0: 09 73 65 6c 66 2e 77 66 69 6c 65 2e 77 72 69 74 .self.wfile.writ
44d0: 65 28 62 75 66 66 65 72 29 0a 09 09 09 09 09 09 e(buffer).......
44e0: 09 73 74 61 72 74 20 2b 3d 20 6c 65 6e 28 62 75 .start += len(bu
44f0: 66 66 65 72 29 0a 09 09 09 09 09 09 09 69 66 20 ffer)........if
4500: 72 65 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 20 3e req_block_size >
4510: 20 65 6e 64 20 2d 20 73 74 61 72 74 3a 0a 09 09 end - start:...
4520: 09 09 09 09 09 09 72 65 71 5f 62 6c 6f 63 6b 5f ......req_block_
4530: 73 69 7a 65 20 3d 20 65 6e 64 20 2d 20 73 74 61 size = end - sta
4540: 72 74 0a 09 09 09 09 09 09 09 69 66 20 72 65 71 rt........if req
4550: 5f 62 6c 6f 63 6b 5f 73 69 7a 65 20 3d 3d 20 30 _block_size == 0
4560: 3a 0a 09 09 09 09 09 09 09 09 62 72 65 61 6b 0a :.........break.
4570: 09 09 09 09 09 09 09 62 75 66 66 65 72 20 3d 20 .......buffer =
4580: 72 65 61 6c 5f 66 69 6c 65 2e 72 65 61 64 28 72 real_file.read(r
4590: 65 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 29 0a 09 eq_block_size)..
45a0: 09 09 09 09 09 09 6c 65 6e 67 74 68 20 3d 20 6c ......length = l
45b0: 65 6e 28 62 75 66 66 65 72 29 0a 09 09 09 09 09 en(buffer)......
45c0: 0a 09 09 64 65 66 20 64 6f 5f 48 45 41 44 28 73 ...def do_HEAD(s
45d0: 65 6c 66 29 3a 0a 09 09 09 72 65 74 75 72 6e 20 elf):....return
45e0: 73 65 6c 66 2e 5f 5f 70 72 6f 63 65 73 73 28 29 self.__process()
45f0: 0a 09 09 64 65 66 20 64 6f 5f 47 45 54 28 73 65 ...def do_GET(se
4600: 6c 66 29 3a 0a 09 09 09 72 65 74 75 72 6e 20 73 lf):....return s
4610: 65 6c 66 2e 5f 5f 70 72 6f 63 65 73 73 28 29 0a elf.__process().
4620: 0a 09 63 6f 6e 66 69 67 2e 73 65 63 74 69 6f 6e ..config.section
4630: 28 27 67 65 6e 65 72 61 6c 27 29 0a 09 73 65 72 ('general')..ser
4640: 76 65 72 20 3d 20 68 74 74 70 2e 73 65 72 76 65 ver = http.serve
4650: 72 2e 48 54 54 50 53 65 72 76 65 72 28 28 27 31 r.HTTPServer(('1
4660: 32 37 2e 30 2e 30 2e 31 27 2c 20 69 6e 74 28 63 27.0.0.1', int(c
4670: 6f 6e 66 69 67 5b 27 70 6f 72 74 27 5d 29 29 2c onfig['port'])),
4680: 20 4d 79 52 65 71 75 65 73 74 48 61 6e 64 6c 65 MyRequestHandle
4690: 72 29 0a 09 73 65 72 76 65 72 2e 73 65 72 76 65 r)..server.serve
46a0: 5f 66 6f 72 65 76 65 72 28 29 0a 0a 65 6c 73 65 _forever()..else
46b0: 3a 0a 09 77 68 69 6c 65 20 54 72 75 65 3a 0a 09 :..while True:..
46c0: 09 75 6e 63 68 65 63 6b 65 64 5f 66 69 6c 65 73 .unchecked_files
46d0: 20 3d 20 73 65 74 28 29 0a 09 09 63 68 65 63 6b = set()...check
46e0: 65 64 5f 66 69 6c 65 73 20 3d 20 30 0a 0a 09 09 ed_files = 0....
46f0: 23 20 72 65 61 64 69 6e 67 20 6c 6f 67 20 61 6e # reading log an
4700: 64 20 73 74 6f 72 69 6e 67 20 66 6f 75 6e 64 20 d storing found
4710: 75 72 6c 73 20 66 6f 72 20 70 72 6f 63 65 73 73 urls for process
4720: 69 6e 67 0a 09 09 23 20 63 68 65 63 6b 20 66 69 ing...# check fi
4730: 6c 65 20 6d 74 69 6d 65 20 58 58 58 0a 09 09 77 le mtime XXX...w
4740: 69 74 68 20 6f 70 65 6e 28 6f 70 74 69 6f 6e 73 ith open(options
4750: 2e 6c 6f 67 2c 20 27 72 27 29 20 61 73 20 6c 6f .log, 'r') as lo
4760: 67 5f 66 69 6c 65 3a 0a 09 09 09 6c 6f 67 5f 6c g_file:....log_l
4770: 69 6e 65 20 3d 20 72 65 2e 63 6f 6d 70 69 6c 65 ine = re.compile
4780: 28 27 5e 5b 5e 20 5d 2b 20 2d 20 2d 20 5c 5b 2e ('^[^ ]+ - - \[.
4790: 2a 5d 20 22 28 47 45 54 7c 48 45 41 44 29 20 28 *] "(GET|HEAD) (
47a0: 2e 2a 3f 29 28 5c 3f 2e 2a 29 3f 20 48 54 54 50 .*?)(\?.*)? HTTP
47b0: 2f 31 2e 31 22 20 28 5c 64 2b 29 20 5c 64 2b 20 /1.1" (\d+) \d+
47c0: 22 28 2e 2a 29 22 20 22 28 2e 2a 29 22 24 27 29 "(.*)" "(.*)"$')
47d0: 0a 09 09 09 66 6f 72 20 6c 69 6e 65 20 69 6e 20 ....for line in
47e0: 6c 6f 67 5f 66 69 6c 65 3a 0a 09 09 09 09 74 68 log_file:.....th
47f0: 69 73 5f 6c 69 6e 65 20 3d 20 6c 6f 67 5f 6c 69 is_line = log_li
4800: 6e 65 2e 6d 61 74 63 68 28 6c 69 6e 65 2e 73 74 ne.match(line.st
4810: 72 69 70 28 29 29 0a 09 09 09 09 69 66 20 74 68 rip()).....if th
4820: 69 73 5f 6c 69 6e 65 3a 0a 09 09 09 09 09 75 6e is_line:......un
4830: 63 68 65 63 6b 65 64 5f 66 69 6c 65 73 2e 61 64 checked_files.ad
4840: 64 28 74 68 69 73 5f 6c 69 6e 65 2e 67 72 6f 75 d(this_line.grou
4850: 70 28 32 29 29 0a 0a 09 09 66 6f 72 20 75 72 6c p(2))....for url
4860: 20 69 6e 20 75 6e 63 68 65 63 6b 65 64 5f 66 69 in unchecked_fi
4870: 6c 65 73 3a 0a 09 09 09 72 65 6c 6f 61 64 20 3d les:....reload =
4880: 20 46 61 6c 73 65 0a 09 09 09 72 65 63 68 65 63 False....rechec
4890: 6b 20 3d 20 46 61 6c 73 65 0a 09 09 09 69 6e 66 k = False....inf
48a0: 6f 20 3d 20 27 43 68 65 63 6b 69 6e 67 20 66 69 o = 'Checking fi
48b0: 6c 65 3a 20 27 20 2b 20 75 72 6c 0a 0a 09 09 09 le: ' + url.....
48c0: 23 20 63 72 65 61 74 69 6e 67 20 65 6d 70 74 79 # creating empty
48d0: 20 70 6c 61 63 65 68 6f 6c 64 65 72 20 69 6e 20 placeholder in
48e0: 69 6e 64 65 78 0a 09 09 09 69 66 20 6e 6f 74 20 index....if not
48f0: 75 72 6c 20 69 6e 20 69 6e 64 65 78 3a 0a 09 09 url in index:...
4900: 09 09 69 6e 66 6f 20 2b 3d 20 27 5c 6e 54 68 69 ..info += '\nThi
4910: 73 20 6f 6e 65 20 69 73 20 6e 65 77 2e 27 0a 09 s one is new.'..
4920: 09 09 09 69 6e 64 65 78 5b 75 72 6c 5d 20 3d 20 ...index[url] =
4930: 7b 7d 0a 09 09 09 09 72 65 6c 6f 61 64 20 3d 20 {}.....reload =
4940: 54 72 75 65 0a 0a 09 09 09 23 20 63 72 65 61 74 True.....# creat
4950: 69 6e 67 20 66 69 6c 65 20 6e 61 6d 65 20 66 72 ing file name fr
4960: 6f 6d 20 75 72 6c 0a 09 09 09 66 69 6c 65 5f 6e om url....file_n
4970: 61 6d 65 20 3d 20 6f 70 74 69 6f 6e 73 2e 64 69 ame = options.di
4980: 72 20 2b 20 72 65 2e 63 6f 6d 70 69 6c 65 28 27 r + re.compile('
4990: 25 32 30 27 29 2e 73 75 62 28 27 20 27 2c 20 75 %20').sub(' ', u
49a0: 72 6c 29 0a 0a 09 09 09 23 20 66 6f 72 63 69 62 rl).....# forcib
49b0: 6c 79 20 63 68 65 63 6b 69 6e 67 20 66 69 6c 65 ly checking file
49c0: 20 69 66 20 6e 6f 20 66 69 6c 65 20 70 72 65 73 if no file pres
49d0: 65 6e 74 0a 09 09 09 69 66 20 6e 6f 74 20 72 65 ent....if not re
49e0: 6c 6f 61 64 20 61 6e 64 20 6e 6f 74 20 6f 73 2e load and not os.
49f0: 61 63 63 65 73 73 28 66 69 6c 65 5f 6e 61 6d 65 access(file_name
4a00: 2c 20 6f 73 2e 52 5f 4f 4b 29 3a 0a 09 09 09 09 , os.R_OK):.....
4a10: 69 6e 66 6f 20 2b 3d 20 27 5c 6e 46 69 6c 65 20 info += '\nFile
4a20: 6e 6f 74 20 66 6f 75 6e 64 20 6f 72 20 69 6e 61 not found or ina
4a30: 63 63 65 73 73 69 62 6c 65 2e 27 0a 09 09 09 09 ccessible.'.....
4a40: 72 65 6c 6f 61 64 20 3d 20 54 72 75 65 0a 0a 09 reload = True...
4a50: 09 09 23 20 66 6f 72 63 69 62 6c 79 20 63 68 65 ..# forcibly che
4a60: 63 6b 69 6e 67 20 66 69 6c 65 20 69 66 20 66 69 cking file if fi
4a70: 6c 65 20 73 69 7a 65 20 64 6f 65 73 6e 27 74 20 le size doesn't
4a80: 6d 61 74 63 68 20 77 69 74 68 20 69 6e 64 65 78 match with index
4a90: 20 64 61 74 61 0a 09 09 09 65 6c 69 66 20 6e 6f data....elif no
4aa0: 74 20 72 65 6c 6f 61 64 20 61 6e 64 20 27 43 6f t reload and 'Co
4ab0: 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 20 69 6e ntent-Length' in
4ac0: 20 69 6e 64 65 78 5b 75 72 6c 5d 20 61 6e 64 20 index[url] and
4ad0: 6f 73 2e 73 74 61 74 28 66 69 6c 65 5f 6e 61 6d os.stat(file_nam
4ae0: 65 29 2e 73 74 5f 73 69 7a 65 20 21 3d 20 69 6e e).st_size != in
4af0: 74 28 69 6e 64 65 78 5b 75 72 6c 5d 5b 27 43 6f t(index[url]['Co
4b00: 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 5d 29 3a ntent-Length']):
4b10: 0a 09 09 09 09 69 6e 66 6f 20 2b 3d 20 27 5c 6e .....info += '\n
4b20: 46 69 6c 65 20 73 69 7a 65 20 69 73 20 27 20 2b File size is ' +
4b30: 20 6f 73 2e 73 74 61 74 28 66 69 6c 65 5f 6e 61 os.stat(file_na
4b40: 6d 65 29 2e 73 74 5f 73 69 7a 65 20 2b 20 27 20 me).st_size + '
4b50: 61 6e 64 20 73 74 6f 72 65 64 20 66 69 6c 65 20 and stored file
4b60: 73 69 7a 65 20 69 73 20 27 20 2b 20 69 6e 64 65 size is ' + inde
4b70: 78 5b 75 72 6c 5d 5b 27 43 6f 6e 74 65 6e 74 2d x[url]['Content-
4b80: 4c 65 6e 67 74 68 27 5d 20 2b 20 27 2e 27 0a 09 Length'] + '.'..
4b90: 09 09 09 72 65 6c 6f 61 64 20 3d 20 54 72 75 65 ...reload = True
4ba0: 0a 0a 09 09 09 23 20 66 6f 72 63 69 62 6c 79 20 .....# forcibly
4bb0: 63 68 65 63 6b 69 6e 67 20 66 69 6c 65 20 69 66 checking file if
4bc0: 20 69 6e 64 65 78 20 68 6f 64 73 20 50 72 61 67 index hods Prag
4bd0: 6d 61 20 68 65 61 64 65 72 0a 09 09 09 69 66 20 ma header....if
4be0: 6e 6f 74 20 72 65 6c 6f 61 64 20 61 6e 64 20 27 not reload and '
4bf0: 50 72 61 67 6d 61 27 20 69 6e 20 69 6e 64 65 78 Pragma' in index
4c00: 5b 75 72 6c 5d 20 61 6e 64 20 69 6e 64 65 78 5b [url] and index[
4c10: 75 72 6c 5d 5b 27 50 72 61 67 6d 61 27 5d 20 3d url]['Pragma'] =
4c20: 3d 20 27 6e 6f 2d 63 61 63 68 65 27 3a 0a 09 09 = 'no-cache':...
4c30: 09 09 69 6e 66 6f 20 2b 3d 27 5c 6e 50 72 61 67 ..info +='\nPrag
4c40: 6d 61 20 6f 6e 3a 20 72 65 63 68 65 63 6b 20 69 ma on: recheck i
4c50: 6d 6d 69 6e 65 6e 74 2e 27 0a 09 09 09 09 72 65 mminent.'.....re
4c60: 63 68 65 63 6b 20 3d 20 54 72 75 65 0a 0a 09 09 check = True....
4c70: 09 23 20 73 6b 69 70 70 69 6e 67 20 66 69 6c 65 .# skipping file
4c80: 20 70 72 6f 63 65 73 73 69 6e 67 20 69 66 20 74 processing if t
4c90: 68 65 72 65 27 73 20 6e 6f 20 6e 65 65 64 20 74 here's no need t
4ca0: 6f 20 72 65 63 68 65 63 6b 20 69 74 20 61 6e 64 o recheck it and
4cb0: 20 77 65 20 68 61 76 65 20 63 68 65 63 6b 65 64 we have checked
4cc0: 20 69 74 20 61 74 20 6c 65 61 73 74 20 34 20 68 it at least 4 h
4cd0: 6f 75 72 73 20 61 67 6f 0a 09 09 09 69 66 20 6e ours ago....if n
4ce0: 6f 74 20 72 65 63 68 65 63 6b 20 61 6e 64 20 6e ot recheck and n
4cf0: 6f 74 20 72 65 6c 6f 61 64 20 61 6e 64 20 28 6f ot reload and (o
4d00: 70 74 69 6f 6e 73 2e 6e 6f 75 70 64 61 74 65 20 ptions.noupdate
4d10: 6f 72 20 28 27 5f 74 69 6d 65 27 20 69 6e 20 69 or ('_time' in i
4d20: 6e 64 65 78 5b 75 72 6c 5d 20 61 6e 64 20 28 64 ndex[url] and (d
4d30: 61 74 65 74 69 6d 65 2e 64 61 74 65 74 69 6d 65 atetime.datetime
4d40: 2e 6e 6f 77 28 29 20 2d 20 64 61 74 65 74 69 6d .now() - datetim
4d50: 65 2e 74 69 6d 65 64 65 6c 74 61 28 68 6f 75 72 e.timedelta(hour
4d60: 73 20 3d 20 34 29 20 2d 20 69 6e 64 65 78 5b 75 s = 4) - index[u
4d70: 72 6c 5d 5b 27 5f 74 69 6d 65 27 5d 29 2e 64 61 rl]['_time']).da
4d80: 79 73 20 3c 20 30 29 29 3a 0a 09 09 09 09 69 66 ys < 0)):.....if
4d90: 20 6f 70 74 69 6f 6e 73 2e 76 65 72 62 6f 73 65 options.verbose
4da0: 3a 0a 09 09 09 09 09 70 72 69 6e 74 28 69 6e 66 :......print(inf
4db0: 6f 29 0a 09 09 09 09 63 6f 6e 74 69 6e 75 65 0a o).....continue.
4dc0: 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 70 72 69 ...else:.....pri
4dd0: 6e 74 28 69 6e 66 6f 29 0a 0a 09 09 09 74 72 79 nt(info).....try
4de0: 3a 0a 09 09 09 09 77 69 74 68 20 75 72 6c 6c 69 :.....with urlli
4df0: 62 2e 72 65 71 75 65 73 74 2e 75 72 6c 6f 70 65 b.request.urlope
4e00: 6e 28 6f 70 74 69 6f 6e 73 2e 72 6f 6f 74 20 2b n(options.root +
4e10: 20 75 72 6c 29 20 61 73 20 73 6f 75 72 63 65 3a url) as source:
4e20: 0a 09 09 09 09 09 6e 65 77 5f 68 65 61 64 65 72 ......new_header
4e30: 73 20 3d 20 7b 7d 0a 09 09 09 09 09 68 65 61 64 s = {}......head
4e40: 65 72 73 20 3d 20 73 6f 75 72 63 65 2e 69 6e 66 ers = source.inf
4e50: 6f 28 29 0a 0a 09 09 09 09 09 23 20 73 74 72 69 o().......# stri
4e60: 70 70 69 6e 67 20 75 6e 6e 65 65 64 65 64 20 68 pping unneeded h
4e70: 65 61 64 65 72 73 20 28 58 58 58 20 6d 61 6b 65 eaders (XXX make
4e80: 20 74 68 69 73 20 69 6e 70 6c 61 63 65 3f 29 0a this inplace?).
4e90: 09 09 09 09 09 66 6f 72 20 68 65 61 64 65 72 20 .....for header
4ea0: 69 6e 20 68 65 61 64 65 72 73 3a 0a 09 09 09 09 in headers:.....
4eb0: 09 09 69 66 20 68 65 61 64 65 72 20 69 6e 20 64 ..if header in d
4ec0: 65 73 63 5f 66 69 65 6c 64 73 3a 0a 09 09 09 09 esc_fields:.....
4ed0: 09 09 09 69 66 20 68 65 61 64 65 72 20 3d 3d 20 ...if header ==
4ee0: 27 50 72 61 67 6d 61 27 20 61 6e 64 20 68 65 61 'Pragma' and hea
4ef0: 64 65 72 73 5b 68 65 61 64 65 72 5d 20 21 3d 20 ders[header] !=
4f00: 27 6e 6f 2d 63 61 63 68 65 27 3a 0a 09 09 09 09 'no-cache':.....
4f10: 09 09 09 09 70 72 69 6e 74 28 27 50 72 61 67 6d ....print('Pragm
4f20: 61 3a 27 2c 20 68 65 61 64 65 72 73 5b 68 65 61 a:', headers[hea
4f30: 64 65 72 5d 29 0a 09 09 09 09 09 09 09 6e 65 77 der])........new
4f40: 5f 68 65 61 64 65 72 73 5b 68 65 61 64 65 72 5d _headers[header]
4f50: 20 3d 20 68 65 61 64 65 72 73 5b 68 65 61 64 65 = headers[heade
4f60: 72 5d 0a 09 09 09 09 09 09 65 6c 69 66 20 6e 6f r].......elif no
4f70: 74 20 68 65 61 64 65 72 20 69 6e 20 69 67 6e 6f t header in igno
4f80: 72 65 5f 66 69 65 6c 64 73 3a 0a 09 09 09 09 09 re_fields:......
4f90: 09 09 70 72 69 6e 74 28 27 55 6e 64 65 66 69 6e ..print('Undefin
4fa0: 65 64 20 68 65 61 64 65 72 20 22 27 2c 20 68 65 ed header "', he
4fb0: 61 64 65 72 2c 20 27 22 3a 20 27 2c 20 68 65 61 ader, '": ', hea
4fc0: 64 65 72 73 5b 68 65 61 64 65 72 5d 2c 20 73 65 ders[header], se
4fd0: 70 3d 27 27 29 0a 0a 09 09 09 09 09 23 20 63 6f p='').......# co
4fe0: 6d 70 61 72 69 6e 67 20 68 65 61 64 65 72 73 20 mparing headers
4ff0: 77 69 74 68 20 64 61 74 61 20 66 6f 75 6e 64 20 with data found
5000: 69 6e 20 69 6e 64 65 78 0a 09 09 09 09 09 23 20 in index......#
5010: 69 66 20 61 6e 79 20 68 65 61 64 65 72 20 68 61 if any header ha
5020: 73 20 63 68 61 6e 67 65 64 20 28 65 78 63 65 70 s changed (excep
5030: 74 20 50 72 61 67 6d 61 29 20 66 69 6c 65 20 69 t Pragma) file i
5040: 73 20 66 75 6c 6c 79 20 64 6f 77 6e 6c 6f 61 64 s fully download
5050: 65 64 0a 09 09 09 09 09 23 20 73 61 6d 65 20 69 ed......# same i
5060: 66 20 77 65 20 67 65 74 20 6d 6f 72 65 20 6f 72 f we get more or
5070: 20 6c 65 73 73 20 68 65 61 64 65 72 73 0a 09 09 less headers...
5080: 09 09 09 6f 6c 64 5f 6b 65 79 73 20 3d 20 73 65 ...old_keys = se
5090: 74 28 69 6e 64 65 78 5b 75 72 6c 5d 2e 6b 65 79 t(index[url].key
50a0: 73 28 29 29 0a 09 09 09 09 09 6f 6c 64 5f 6b 65 s())......old_ke
50b0: 79 73 2e 64 69 73 63 61 72 64 28 27 5f 74 69 6d ys.discard('_tim
50c0: 65 27 29 0a 09 09 09 09 09 6f 6c 64 5f 6b 65 79 e')......old_key
50d0: 73 2e 64 69 73 63 61 72 64 28 27 50 72 61 67 6d s.discard('Pragm
50e0: 61 27 29 0a 09 09 09 09 09 6d 6f 72 65 5f 6b 65 a')......more_ke
50f0: 79 73 20 3d 20 73 65 74 28 6e 65 77 5f 68 65 61 ys = set(new_hea
5100: 64 65 72 73 2e 6b 65 79 73 28 29 29 20 2d 20 6f ders.keys()) - o
5110: 6c 64 5f 6b 65 79 73 0a 09 09 09 09 09 6d 6f 72 ld_keys......mor
5120: 65 5f 6b 65 79 73 2e 64 69 73 63 61 72 64 28 27 e_keys.discard('
5130: 50 72 61 67 6d 61 27 29 0a 09 09 09 09 09 6c 65 Pragma')......le
5140: 73 73 5f 6b 65 79 73 20 3d 20 6f 6c 64 5f 6b 65 ss_keys = old_ke
5150: 79 73 20 2d 20 73 65 74 28 6e 65 77 5f 68 65 61 ys - set(new_hea
5160: 64 65 72 73 2e 6b 65 79 73 28 29 29 0a 09 09 09 ders.keys())....
5170: 09 09 69 66 20 6c 65 6e 28 6d 6f 72 65 5f 6b 65 ..if len(more_ke
5180: 79 73 29 20 3e 20 30 3a 0a 09 09 09 09 09 09 69 ys) > 0:.......i
5190: 66 20 6e 6f 74 20 6c 65 6e 28 6f 6c 64 5f 6b 65 f not len(old_ke
51a0: 79 73 29 20 3d 3d 20 30 3a 0a 09 09 09 09 09 09 ys) == 0:.......
51b0: 09 70 72 69 6e 74 28 27 4d 6f 72 65 20 68 65 61 .print('More hea
51c0: 64 65 72 73 20 61 70 70 65 61 72 3a 27 2c 20 6d ders appear:', m
51d0: 6f 72 65 5f 6b 65 79 73 29 0a 09 09 09 09 09 09 ore_keys).......
51e0: 72 65 6c 6f 61 64 20 3d 20 54 72 75 65 0a 09 09 reload = True...
51f0: 09 09 09 65 6c 69 66 20 6c 65 6e 28 6c 65 73 73 ...elif len(less
5200: 5f 6b 65 79 73 29 20 3e 20 30 3a 0a 09 09 09 09 _keys) > 0:.....
5210: 09 09 70 72 69 6e 74 28 27 4c 65 73 73 20 68 65 ..print('Less he
5220: 61 64 65 72 73 20 61 70 70 65 61 72 3a 27 2c 20 aders appear:',
5230: 6c 65 73 73 5f 6b 65 79 73 29 0a 09 09 09 09 09 less_keys)......
5240: 65 6c 73 65 3a 0a 09 09 09 09 09 09 66 6f 72 20 else:.......for
5250: 6b 65 79 20 69 6e 20 69 6e 64 65 78 5b 75 72 6c key in index[url
5260: 5d 2e 6b 65 79 73 28 29 3a 0a 09 09 09 09 09 09 ].keys():.......
5270: 09 69 66 20 6b 65 79 5b 30 5d 20 21 3d 20 27 5f .if key[0] != '_
5280: 27 20 61 6e 64 20 6b 65 79 20 21 3d 20 27 50 72 ' and key != 'Pr
5290: 61 67 6d 61 27 20 61 6e 64 20 6e 6f 74 20 69 6e agma' and not in
52a0: 64 65 78 5b 75 72 6c 5d 5b 6b 65 79 5d 20 3d 3d dex[url][key] ==
52b0: 20 6e 65 77 5f 68 65 61 64 65 72 73 5b 6b 65 79 new_headers[key
52c0: 5d 3a 0a 09 09 09 09 09 09 09 09 70 72 69 6e 74 ]:.........print
52d0: 28 27 48 65 61 64 65 72 20 22 27 2c 20 6b 65 79 ('Header "', key
52e0: 2c 20 27 22 20 63 68 61 6e 67 65 64 20 66 72 6f , '" changed fro
52f0: 6d 20 5b 27 2c 20 69 6e 64 65 78 5b 75 72 6c 5d m [', index[url]
5300: 5b 6b 65 79 5d 2c 20 27 5d 20 74 6f 20 5b 27 2c [key], '] to [',
5310: 20 6e 65 77 5f 68 65 61 64 65 72 73 5b 6b 65 79 new_headers[key
5320: 5d 2c 20 27 5d 27 2c 20 73 65 70 3d 27 27 29 0a ], ']', sep='').
5330: 09 09 09 09 09 09 09 09 72 65 6c 6f 61 64 20 3d ........reload =
5340: 20 54 72 75 65 0a 0a 09 09 09 09 09 23 20 64 6f True.......# do
5350: 77 6e 6c 6f 61 64 69 6e 67 20 66 69 6c 65 0a 09 wnloading file..
5360: 09 09 09 09 69 66 20 72 65 6c 6f 61 64 3a 0a 09 ....if reload:..
5370: 09 09 09 09 09 69 66 20 27 43 6f 6e 74 65 6e 74 .....if 'Content
5380: 2d 4c 65 6e 67 74 68 27 20 69 6e 20 68 65 61 64 -Length' in head
5390: 65 72 73 3a 0a 09 09 09 09 09 09 09 70 72 69 6e ers:........prin
53a0: 74 28 27 44 6f 77 6e 6c 6f 61 64 69 6e 67 27 2c t('Downloading',
53b0: 20 68 65 61 64 65 72 73 5b 27 43 6f 6e 74 65 6e headers['Conten
53c0: 74 2d 4c 65 6e 67 74 68 27 5d 2c 20 27 62 79 74 t-Length'], 'byt
53d0: 65 73 20 5b 27 2c 20 65 6e 64 3d 27 27 29 0a 09 es [', end='')..
53e0: 09 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 .....else:......
53f0: 09 09 70 72 69 6e 74 28 27 44 6f 77 6e 6c 6f 61 ..print('Downloa
5400: 64 69 6e 67 20 5b 27 2c 20 65 6e 64 3d 27 27 29 ding [', end='')
5410: 0a 09 09 09 09 09 09 73 79 73 2e 73 74 64 6f 75 .......sys.stdou
5420: 74 2e 66 6c 75 73 68 28 29 0a 0a 09 09 09 09 09 t.flush().......
5430: 09 23 20 66 69 6c 65 20 69 73 20 63 72 65 61 74 .# file is creat
5440: 65 64 20 61 74 20 74 65 6d 70 6f 72 61 72 79 20 ed at temporary
5450: 6c 6f 63 61 74 69 6f 6e 20 61 6e 64 20 6d 6f 76 location and mov
5460: 65 64 20 69 6e 20 70 6c 61 63 65 20 6f 6e 6c 79 ed in place only
5470: 20 77 68 65 6e 20 64 6f 77 6e 6c 6f 61 64 20 63 when download c
5480: 6f 6d 70 6c 65 74 65 73 0a 09 09 09 09 09 09 74 ompletes.......t
5490: 65 6d 70 5f 66 69 6c 65 20 3d 20 6f 70 65 6e 28 emp_file = open(
54a0: 6f 70 74 69 6f 6e 73 2e 64 69 72 20 2b 20 6f 73 options.dir + os
54b0: 2e 73 65 70 20 2b 20 27 2e 74 6d 70 27 2c 20 27 .sep + '.tmp', '
54c0: 77 62 27 29 0a 09 09 09 09 09 09 62 75 66 66 65 wb').......buffe
54d0: 72 20 3d 20 73 6f 75 72 63 65 2e 72 65 61 64 28 r = source.read(
54e0: 62 6c 6f 63 6b 5f 73 69 7a 65 29 0a 09 09 09 09 block_size).....
54f0: 09 09 6d 65 67 61 62 6c 6f 63 6b 73 20 3d 20 30 ..megablocks = 0
5500: 0a 09 09 09 09 09 09 62 6c 6f 63 6b 73 20 3d 20 .......blocks =
5510: 30 0a 09 09 09 09 09 09 6d 65 67 73 20 3d 20 30 0.......megs = 0
5520: 0a 09 09 09 09 09 09 77 68 69 6c 65 20 6c 65 6e .......while len
5530: 28 62 75 66 66 65 72 29 20 3e 20 30 3a 0a 09 09 (buffer) > 0:...
5540: 09 09 09 09 09 74 65 6d 70 5f 66 69 6c 65 2e 77 .....temp_file.w
5550: 72 69 74 65 28 62 75 66 66 65 72 29 0a 09 09 09 rite(buffer)....
5560: 09 09 09 09 62 75 66 66 65 72 20 3d 20 73 6f 75 ....buffer = sou
5570: 72 63 65 2e 72 65 61 64 28 62 6c 6f 63 6b 5f 73 rce.read(block_s
5580: 69 7a 65 29 0a 09 09 09 09 09 09 09 62 6c 6f 63 ize)........bloc
5590: 6b 73 20 2b 3d 20 31 0a 09 09 09 09 09 09 09 69 ks += 1........i
55a0: 66 20 62 6c 6f 63 6b 73 20 3e 20 31 30 32 34 30 f blocks > 10240
55b0: 30 2f 62 6c 6f 63 6b 5f 73 69 7a 65 3a 0a 09 09 0/block_size:...
55c0: 09 09 09 09 09 09 6d 65 67 61 62 6c 6f 63 6b 73 ......megablocks
55d0: 20 2b 3d 20 31 0a 09 09 09 09 09 09 09 09 69 66 += 1.........if
55e0: 20 6d 65 67 61 62 6c 6f 63 6b 73 20 3e 20 31 30 megablocks > 10
55f0: 3a 0a 09 09 09 09 09 09 09 09 09 6d 65 67 61 62 :..........megab
5600: 6c 6f 63 6b 73 20 3d 20 6d 65 67 61 62 6c 6f 63 locks = megabloc
5610: 6b 73 20 2d 20 31 30 0a 09 09 09 09 09 09 09 09 ks - 10.........
5620: 09 6d 65 67 73 20 2b 3d 20 31 0a 09 09 09 09 09 .megs += 1......
5630: 09 09 09 09 70 72 69 6e 74 28 27 7b 7d 4d 62 27 ....print('{}Mb'
5640: 2e 66 6f 72 6d 61 74 28 6d 65 67 73 29 2c 20 65 .format(megs), e
5650: 6e 64 3d 27 27 29 0a 09 09 09 09 09 09 09 09 65 nd='').........e
5660: 6c 73 65 3a 0a 09 09 09 09 09 09 09 09 09 70 72 lse:..........pr
5670: 69 6e 74 28 27 2e 27 2c 20 65 6e 64 3d 27 27 29 int('.', end='')
5680: 0a 09 09 09 09 09 09 09 09 62 6c 6f 63 6b 73 20 .........blocks
5690: 3d 20 62 6c 6f 63 6b 73 20 2d 20 31 30 32 34 30 = blocks - 10240
56a0: 30 2f 62 6c 6f 63 6b 5f 73 69 7a 65 0a 09 09 09 0/block_size....
56b0: 09 09 09 09 73 79 73 2e 73 74 64 6f 75 74 2e 66 ....sys.stdout.f
56c0: 6c 75 73 68 28 29 0a 09 09 09 09 09 09 74 65 6d lush().......tem
56d0: 70 5f 66 69 6c 65 2e 63 6c 6f 73 65 28 29 0a 09 p_file.close()..
56e0: 09 09 09 09 09 70 72 69 6e 74 28 27 5d 27 29 0a .....print(']').
56f0: 09 09 09 09 09 09 6f 73 2e 72 65 6e 61 6d 65 73 ......os.renames
5700: 28 6f 70 74 69 6f 6e 73 2e 64 69 72 20 2b 20 6f (options.dir + o
5710: 73 2e 73 65 70 20 2b 20 27 2e 74 6d 70 27 2c 20 s.sep + '.tmp',
5720: 66 69 6c 65 5f 6e 61 6d 65 29 0a 0a 09 09 09 09 file_name)......
5730: 09 09 63 68 65 63 6b 65 64 5f 66 69 6c 65 73 20 ..checked_files
5740: 2b 3d 20 31 0a 0a 09 09 09 09 09 23 20 73 74 6f += 1.......# sto
5750: 72 69 6e 67 20 6e 65 77 20 74 69 6d 65 20 6d 61 ring new time ma
5760: 72 6b 20 61 6e 64 20 73 74 6f 72 69 6e 67 20 6e rk and storing n
5770: 65 77 20 68 65 61 64 65 72 73 0a 09 09 09 09 09 ew headers......
5780: 6e 65 77 5f 68 65 61 64 65 72 73 5b 27 5f 74 69 new_headers['_ti
5790: 6d 65 27 5d 20 3d 20 64 61 74 65 74 69 6d 65 2e me'] = datetime.
57a0: 64 61 74 65 74 69 6d 65 2e 6e 6f 77 28 29 0a 09 datetime.now()..
57b0: 09 09 09 09 69 6e 64 65 78 5b 75 72 6c 5d 20 3d ....index[url] =
57c0: 20 6e 65 77 5f 68 65 61 64 65 72 73 0a 09 09 09 new_headers....
57d0: 09 09 69 6e 64 65 78 2e 73 79 6e 63 28 29 0a 0a ..index.sync()..
57e0: 09 09 09 65 78 63 65 70 74 20 75 72 6c 6c 69 62 ...except urllib
57f0: 2e 65 72 72 6f 72 2e 48 54 54 50 45 72 72 6f 72 .error.HTTPError
5800: 20 61 73 20 65 72 72 6f 72 3a 0a 09 09 09 09 23 as error:.....#
5810: 20 69 6e 20 63 61 73 65 20 6f 66 20 65 72 72 6f in case of erro
5820: 72 20 77 65 20 64 6f 6e 27 74 20 6e 65 65 64 20 r we don't need
5830: 74 6f 20 64 6f 20 61 6e 79 74 68 69 6e 67 20 61 to do anything a
5840: 63 74 75 61 6c 6c 79 2c 0a 09 09 09 09 23 20 69 ctually,.....# i
5850: 66 20 66 69 6c 65 20 64 6f 77 6e 6c 6f 61 64 20 f file download
5860: 73 74 61 6c 6c 73 20 6f 72 20 66 61 69 6c 73 20 stalls or fails
5870: 74 68 65 20 66 69 6c 65 20 77 6f 75 6c 64 20 6e the file would n
5880: 6f 74 20 62 65 20 6d 6f 76 65 64 20 74 6f 20 69 ot be moved to i
5890: 74 27 73 20 6c 6f 63 61 74 69 6f 6e 0a 09 09 09 t's location....
58a0: 09 70 72 69 6e 74 28 65 72 72 6f 72 29 0a 0a 09 .print(error)...
58b0: 09 69 66 20 6f 70 74 69 6f 6e 73 2e 76 65 72 62 .if options.verb
58c0: 6f 73 65 3a 0a 09 09 09 70 72 69 6e 74 28 27 5b ose:....print('[
58d0: 27 2c 20 6c 65 6e 28 75 6e 63 68 65 63 6b 65 64 ', len(unchecked
58e0: 5f 66 69 6c 65 73 29 2c 20 27 2f 27 2c 20 63 68 _files), '/', ch
58f0: 65 63 6b 65 64 5f 66 69 6c 65 73 2c 20 27 5d 27 ecked_files, ']'
5900: 29 0a 0a 09 09 23 20 63 68 65 63 6b 69 6e 67 20 )....# checking
5910: 69 66 20 74 68 65 72 65 20 77 65 72 65 20 61 6e if there were an
5920: 79 20 66 69 6c 65 73 20 64 6f 77 6e 6c 6f 61 64 y files download
5930: 65 64 2c 20 69 66 20 79 65 73 20 2d 20 72 65 73 ed, if yes - res
5940: 74 61 72 74 69 6e 67 20 73 65 71 75 65 6e 63 65 tarting sequence
5950: 0a 09 09 69 66 20 63 68 65 63 6b 65 64 5f 66 69 ...if checked_fi
5960: 6c 65 73 20 3d 3d 20 30 3a 0a 09 09 09 62 72 65 les == 0:....bre
5970: 61 6b 0a ak.