Artifact f557383e696ff64f6163c64b9bce5707ba380e2c59792a4de259c1f10dbe0230:

• Executable file samesite.py — part of check-in [cab908195f] at 2010-09-06 20:53:47 on branch master — More features: * path substitution * more fields ignored in requests; * request now uses original path - not modified by stripping or substituting; * some headers are proxied to request; * when there is no file to send 502 error is returned; * recheck file before moving it to full dir; * Last-Modified only sent when present. (user: c.kworr@b84a3442-36b4-a7b2-c7ad-07429f13c525, size: 23613) [annotate] [blame] [check-ins using]

0000: 23 21 2f 75 73 72 2f 62 69 6e 2f 65 6e 76 20 70  #!/usr/bin/env p
0010: 79 74 68 6f 6e 33 2e 31 0a 0a 69 6d 70 6f 72 74  ython3.1..import
0020: 20 64 61 74 65 74 69 6d 65 2c 20 68 74 74 70 2e   datetime, http.
0030: 63 6f 6f 6b 69 65 6a 61 72 2c 20 6f 73 2c 20 73  cookiejar, os, s
0040: 79 73 2c 20 73 68 65 6c 76 65 2c 20 73 70 61 63  ys, shelve, spac
0050: 65 6d 61 70 2c 20 72 65 2c 20 75 72 6c 6c 69 62  emap, re, urllib
0060: 2e 72 65 71 75 65 73 74 0a 0a 63 6c 61 73 73 20  .request..class 
0070: 43 6f 6e 66 69 67 3a 0a 09 5f 5f 73 6c 6f 74 73  Config:..__slots
0080: 5f 5f 20 3d 20 66 72 6f 7a 65 6e 73 65 74 28 5b  __ = frozenset([
0090: 27 5f 63 6f 6e 66 69 67 27 2c 20 27 5f 64 65 66  '_config', '_def
00a0: 61 75 6c 74 27 2c 20 27 5f 73 65 63 74 69 6f 6e  ault', '_section
00b0: 27 2c 20 27 6f 70 74 69 6f 6e 73 27 2c 20 27 72  ', 'options', 'r
00c0: 6f 6f 74 27 5d 29 0a 09 5f 64 65 66 61 75 6c 74  oot']).._default
00d0: 20 3d 20 7b 0a 09 09 27 67 65 6e 65 72 61 6c 27   = {...'general'
00e0: 3a 20 7b 0a 09 09 09 27 70 6f 72 74 27 3a 20 27  : {....'port': '
00f0: 38 30 30 38 27 2c 0a 09 09 7d 2c 0a 09 09 27 5f  8008',...},...'_
0100: 6f 74 68 65 72 27 3a 20 7b 0a 09 09 09 27 76 65  other': {....'ve
0110: 72 62 6f 73 65 27 3a 20 27 6e 6f 27 2c 0a 09 09  rbose': 'no',...
0120: 09 27 6e 6f 65 74 61 67 27 3a 20 27 6e 6f 27 2c  .'noetag': 'no',
0130: 0a 09 09 09 27 6e 6f 70 61 72 74 73 27 3a 20 27  ....'noparts': '
0140: 6e 6f 27 2c 0a 09 09 09 27 73 74 72 69 70 27 3a  no',....'strip':
0150: 20 27 27 2c 0a 09 09 09 27 73 75 62 27 3a 20 27   '',....'sub': '
0160: 27 2c 0a 09 7d 2c 7d 0a 0a 09 23 20 66 75 6e 63  ',..},}...# func
0170: 74 69 6f 6e 20 74 6f 20 72 65 61 64 20 69 6e 20  tion to read in 
0180: 63 6f 6e 66 69 67 20 66 69 6c 65 0a 09 64 65 66  config file..def
0190: 20 5f 5f 69 6e 69 74 5f 5f 28 73 65 6c 66 29 3a   __init__(self):
01a0: 0a 09 09 69 6d 70 6f 72 74 20 63 6f 6e 66 69 67  ...import config
01b0: 70 61 72 73 65 72 2c 20 6f 70 74 70 61 72 73 65  parser, optparse
01c0: 0a 0a 09 09 70 61 72 73 65 72 20 3d 20 6f 70 74  ....parser = opt
01d0: 70 61 72 73 65 2e 4f 70 74 69 6f 6e 50 61 72 73  parse.OptionPars
01e0: 65 72 28 29 0a 09 09 70 61 72 73 65 72 2e 61 64  er()...parser.ad
01f0: 64 5f 6f 70 74 69 6f 6e 28 27 2d 63 27 2c 20 27  d_option('-c', '
0200: 2d 2d 63 6f 6e 66 69 67 27 2c 20 64 65 73 74 20  --config', dest 
0210: 3d 20 27 63 6f 6e 66 69 67 27 2c 20 68 65 6c 70  = 'config', help
0220: 20 3d 20 27 63 6f 6e 66 69 67 20 66 69 6c 65 20   = 'config file 
0230: 6c 6f 63 61 74 69 6f 6e 27 2c 20 6d 65 74 61 76  location', metav
0240: 61 72 20 3d 20 27 46 49 4c 45 27 2c 20 64 65 66  ar = 'FILE', def
0250: 61 75 6c 74 20 3d 20 27 73 61 6d 65 73 69 74 65  ault = 'samesite
0260: 2e 63 6f 6e 66 27 29 0a 09 09 28 73 65 6c 66 2e  .conf')...(self.
0270: 6f 70 74 69 6f 6e 73 2c 20 61 72 67 73 29 20 3d  options, args) =
0280: 20 70 61 72 73 65 72 2e 70 61 72 73 65 5f 61 72   parser.parse_ar
0290: 67 73 28 29 0a 0a 09 09 61 73 73 65 72 74 20 6f  gs()....assert o
02a0: 73 2e 61 63 63 65 73 73 28 73 65 6c 66 2e 6f 70  s.access(self.op
02b0: 74 69 6f 6e 73 2e 63 6f 6e 66 69 67 2c 20 6f 73  tions.config, os
02c0: 2e 52 5f 4f 4b 29 2c 20 22 46 61 74 61 6c 20 65  .R_OK), "Fatal e
02d0: 72 72 6f 72 3a 20 63 61 6e 27 74 20 72 65 61 64  rror: can't read
02e0: 20 7b 7d 22 2e 66 6f 72 6d 61 74 28 73 65 6c 66   {}".format(self
02f0: 2e 6f 70 74 69 6f 6e 73 2e 63 6f 6e 66 69 67 29  .options.config)
0300: 0a 0a 09 09 63 6f 6e 66 69 67 44 69 72 20 3d 20  ....configDir = 
0310: 72 65 2e 63 6f 6d 70 69 6c 65 28 27 5e 28 2e 2a  re.compile('^(.*
0320: 29 2f 5b 5e 2f 5d 2b 24 27 29 2e 6d 61 74 63 68  )/[^/]+$').match
0330: 28 73 65 6c 66 2e 6f 70 74 69 6f 6e 73 2e 63 6f  (self.options.co
0340: 6e 66 69 67 29 0a 09 09 69 66 20 63 6f 6e 66 69  nfig)...if confi
0350: 67 44 69 72 3a 0a 09 09 09 73 65 6c 66 2e 72 6f  gDir:....self.ro
0360: 6f 74 20 3d 20 63 6f 6e 66 69 67 44 69 72 2e 67  ot = configDir.g
0370: 72 6f 75 70 28 31 29 0a 09 09 65 6c 73 65 3a 0a  roup(1)...else:.
0380: 09 09 09 73 65 6c 66 2e 72 6f 6f 74 20 3d 20 6f  ...self.root = o
0390: 73 2e 67 65 74 63 77 64 28 29 0a 0a 09 09 73 65  s.getcwd()....se
03a0: 6c 66 2e 5f 63 6f 6e 66 69 67 20 3d 20 63 6f 6e  lf._config = con
03b0: 66 69 67 70 61 72 73 65 72 2e 43 6f 6e 66 69 67  figparser.Config
03c0: 50 61 72 73 65 72 28 29 0a 09 09 73 65 6c 66 2e  Parser()...self.
03d0: 5f 63 6f 6e 66 69 67 2e 72 65 61 64 66 70 28 6f  _config.readfp(o
03e0: 70 65 6e 28 73 65 6c 66 2e 6f 70 74 69 6f 6e 73  pen(self.options
03f0: 2e 63 6f 6e 66 69 67 29 29 0a 0a 09 09 66 6f 72  .config))....for
0400: 20 73 65 63 74 69 6f 6e 20 69 6e 20 73 65 6c 66   section in self
0410: 2e 5f 63 6f 6e 66 69 67 2e 73 65 63 74 69 6f 6e  ._config.section
0420: 73 28 29 3a 0a 09 09 09 69 66 20 73 65 63 74 69  s():....if secti
0430: 6f 6e 20 21 3d 20 27 67 65 6e 65 72 61 6c 27 3a  on != 'general':
0440: 0a 09 09 09 09 69 66 20 73 65 6c 66 2e 5f 63 6f  .....if self._co
0450: 6e 66 69 67 2e 68 61 73 5f 6f 70 74 69 6f 6e 28  nfig.has_option(
0460: 73 65 63 74 69 6f 6e 2c 20 27 64 69 72 27 29 3a  section, 'dir'):
0470: 0a 09 09 09 09 09 69 66 20 72 65 2e 63 6f 6d 70  ......if re.comp
0480: 69 6c 65 28 27 5e 2f 24 27 29 2e 6d 61 74 63 68  ile('^/$').match
0490: 28 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 67 65  (self._config.ge
04a0: 74 28 73 65 63 74 69 6f 6e 2c 20 27 64 69 72 27  t(section, 'dir'
04b0: 29 29 3a 0a 09 09 09 09 09 09 73 65 6c 66 2e 5f  )):.......self._
04c0: 63 6f 6e 66 69 67 2e 73 65 74 28 73 65 63 74 69  config.set(secti
04d0: 6f 6e 2c 20 27 64 69 72 27 2c 20 73 65 6c 66 2e  on, 'dir', self.
04e0: 72 6f 6f 74 20 2b 20 6f 73 2e 73 65 70 20 2b 20  root + os.sep + 
04f0: 73 65 63 74 69 6f 6e 29 0a 09 09 09 09 09 74 68  section)......th
0500: 69 73 44 69 72 20 3d 20 72 65 2e 63 6f 6d 70 69  isDir = re.compi
0510: 6c 65 28 27 5e 28 2e 2a 29 2f 24 27 29 2e 6d 61  le('^(.*)/$').ma
0520: 74 63 68 28 73 65 6c 66 2e 5f 63 6f 6e 66 69 67  tch(self._config
0530: 2e 67 65 74 28 73 65 63 74 69 6f 6e 2c 20 27 64  .get(section, 'd
0540: 69 72 27 29 29 0a 09 09 09 09 09 69 66 20 74 68  ir'))......if th
0550: 69 73 44 69 72 3a 0a 09 09 09 09 09 09 73 65 6c  isDir:.......sel
0560: 66 2e 5f 63 6f 6e 66 69 67 2e 73 65 74 28 73 65  f._config.set(se
0570: 63 74 69 6f 6e 2c 20 27 64 69 72 27 2c 20 74 68  ction, 'dir', th
0580: 69 73 44 69 72 2e 67 72 6f 75 70 28 31 29 29 0a  isDir.group(1)).
0590: 09 09 09 09 09 69 66 20 6e 6f 74 20 72 65 2e 63  .....if not re.c
05a0: 6f 6d 70 69 6c 65 28 27 5e 2f 28 2e 2a 29 24 27  ompile('^/(.*)$'
05b0: 29 2e 6d 61 74 63 68 28 73 65 6c 66 2e 5f 63 6f  ).match(self._co
05c0: 6e 66 69 67 2e 67 65 74 28 73 65 63 74 69 6f 6e  nfig.get(section
05d0: 2c 20 27 64 69 72 27 29 29 3a 0a 09 09 09 09 09  , 'dir')):......
05e0: 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 73 65  .self._config.se
05f0: 74 28 73 65 63 74 69 6f 6e 2c 20 27 64 69 72 27  t(section, 'dir'
0600: 2c 20 73 65 6c 66 2e 72 6f 6f 74 20 2b 20 6f 73  , self.root + os
0610: 2e 73 65 70 20 2b 20 73 65 6c 66 2e 5f 63 6f 6e  .sep + self._con
0620: 66 69 67 2e 67 65 74 28 73 65 63 74 69 6f 6e 2c  fig.get(section,
0630: 20 27 64 69 72 27 29 29 0a 09 09 09 09 65 6c 73   'dir')).....els
0640: 65 3a 0a 09 09 09 09 09 73 65 6c 66 2e 5f 63 6f  e:......self._co
0650: 6e 66 69 67 2e 73 65 74 28 73 65 63 74 69 6f 6e  nfig.set(section
0660: 2c 20 27 64 69 72 27 2c 20 73 65 6c 66 2e 72 6f  , 'dir', self.ro
0670: 6f 74 20 2b 20 6f 73 2e 73 65 70 20 2b 20 73 65  ot + os.sep + se
0680: 63 74 69 6f 6e 29 0a 0a 09 09 09 09 69 66 20 6e  ction)......if n
0690: 6f 74 20 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e  ot self._config.
06a0: 68 61 73 5f 6f 70 74 69 6f 6e 28 73 65 63 74 69  has_option(secti
06b0: 6f 6e 2c 20 27 72 6f 6f 74 27 29 3a 0a 09 09 09  on, 'root'):....
06c0: 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 73  ..self._config.s
06d0: 65 74 28 73 65 63 74 69 6f 6e 2c 20 27 72 6f 6f  et(section, 'roo
06e0: 74 27 2c 20 73 65 63 74 69 6f 6e 29 0a 0a 09 23  t', section)...#
06f0: 20 66 75 6e 63 74 69 6f 6e 20 74 6f 20 73 65 6c   function to sel
0700: 65 63 74 20 63 6f 6e 66 69 67 20 66 69 6c 65 20  ect config file 
0710: 73 65 63 74 69 6f 6e 20 6f 72 20 63 72 65 61 74  section or creat
0720: 65 20 6f 6e 65 0a 09 64 65 66 20 73 65 63 74 69  e one..def secti
0730: 6f 6e 28 73 65 6c 66 2c 20 73 65 63 74 69 6f 6e  on(self, section
0740: 29 3a 0a 09 09 69 66 20 6e 6f 74 20 73 65 6c 66  ):...if not self
0750: 2e 5f 63 6f 6e 66 69 67 2e 68 61 73 5f 73 65 63  ._config.has_sec
0760: 74 69 6f 6e 28 73 65 63 74 69 6f 6e 29 3a 0a 09  tion(section):..
0770: 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 61  ..self._config.a
0780: 64 64 5f 73 65 63 74 69 6f 6e 28 73 65 63 74 69  dd_section(secti
0790: 6f 6e 29 0a 09 09 73 65 6c 66 2e 5f 73 65 63 74  on)...self._sect
07a0: 69 6f 6e 20 3d 20 73 65 63 74 69 6f 6e 0a 0a 09  ion = section...
07b0: 23 20 66 75 6e 63 74 69 6f 6e 20 74 6f 20 67 65  # function to ge
07c0: 74 20 63 6f 6e 66 69 67 20 70 61 72 61 6d 65 74  t config paramet
07d0: 65 72 2c 20 69 66 20 70 61 72 61 6d 65 74 65 72  er, if parameter
07e0: 20 64 6f 65 73 6e 27 74 20 65 78 69 73 74 73 20   doesn't exists 
07f0: 74 68 65 20 64 65 66 61 75 6c 74 0a 09 23 20 76  the default..# v
0800: 61 6c 75 65 20 6f 72 20 4e 6f 6e 65 20 69 73 20  alue or None is 
0810: 73 75 62 73 74 69 74 75 74 65 64 0a 09 64 65 66  substituted..def
0820: 20 5f 5f 67 65 74 69 74 65 6d 5f 5f 28 73 65 6c   __getitem__(sel
0830: 66 2c 20 6e 61 6d 65 29 3a 0a 09 09 69 66 20 6e  f, name):...if n
0840: 6f 74 20 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e  ot self._config.
0850: 68 61 73 5f 6f 70 74 69 6f 6e 28 73 65 6c 66 2e  has_option(self.
0860: 5f 73 65 63 74 69 6f 6e 2c 20 6e 61 6d 65 29 3a  _section, name):
0870: 0a 09 09 09 69 66 20 73 65 6c 66 2e 5f 73 65 63  ....if self._sec
0880: 74 69 6f 6e 20 69 6e 20 73 65 6c 66 2e 5f 64 65  tion in self._de
0890: 66 61 75 6c 74 3a 0a 09 09 09 09 69 66 20 6e 61  fault:.....if na
08a0: 6d 65 20 69 6e 20 73 65 6c 66 2e 5f 64 65 66 61  me in self._defa
08b0: 75 6c 74 5b 73 65 6c 66 2e 5f 73 65 63 74 69 6f  ult[self._sectio
08c0: 6e 5d 3a 0a 09 09 09 09 09 73 65 6c 66 2e 5f 63  n]:......self._c
08d0: 6f 6e 66 69 67 2e 73 65 74 28 73 65 6c 66 2e 5f  onfig.set(self._
08e0: 73 65 63 74 69 6f 6e 2c 20 6e 61 6d 65 2c 20 73  section, name, s
08f0: 65 6c 66 2e 5f 64 65 66 61 75 6c 74 5b 73 65 6c  elf._default[sel
0900: 66 2e 5f 73 65 63 74 69 6f 6e 5d 5b 6e 61 6d 65  f._section][name
0910: 5d 29 0a 09 09 09 09 65 6c 73 65 3a 0a 09 09 09  ]).....else:....
0920: 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 73  ..self._config.s
0930: 65 74 28 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e  et(self._section
0940: 2c 20 6e 61 6d 65 2c 20 4e 6f 6e 65 29 0a 09 09  , name, None)...
0950: 09 65 6c 69 66 20 6e 61 6d 65 20 69 6e 20 73 65  .elif name in se
0960: 6c 66 2e 5f 64 65 66 61 75 6c 74 5b 27 5f 6f 74  lf._default['_ot
0970: 68 65 72 27 5d 3a 0a 09 09 09 09 73 65 6c 66 2e  her']:.....self.
0980: 5f 63 6f 6e 66 69 67 2e 73 65 74 28 73 65 6c 66  _config.set(self
0990: 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e 61 6d 65 2c  ._section, name,
09a0: 20 73 65 6c 66 2e 5f 64 65 66 61 75 6c 74 5b 27   self._default['
09b0: 5f 6f 74 68 65 72 27 5d 5b 6e 61 6d 65 5d 29 0a  _other'][name]).
09c0: 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 73 65 6c  ...else:.....sel
09d0: 66 2e 5f 63 6f 6e 66 69 67 2e 73 65 74 28 73 65  f._config.set(se
09e0: 6c 66 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e 61 6d  lf._section, nam
09f0: 65 2c 20 4e 6f 6e 65 29 0a 09 09 72 65 74 75 72  e, None)...retur
0a00: 6e 28 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 67  n(self._config.g
0a10: 65 74 28 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e  et(self._section
0a20: 2c 20 6e 61 6d 65 29 29 0a 0a 63 6f 6e 66 69 67  , name))..config
0a30: 20 3d 20 43 6f 6e 66 69 67 28 29 0a 0a 23 61 73   = Config()..#as
0a40: 73 65 72 74 20 6f 70 74 69 6f 6e 73 2e 70 6f 72  sert options.por
0a50: 74 20 6f 72 20 6f 73 2e 61 63 63 65 73 73 28 6f  t or os.access(o
0a60: 70 74 69 6f 6e 73 2e 6c 6f 67 2c 20 6f 73 2e 52  ptions.log, os.R
0a70: 5f 4f 4b 29 2c 20 27 4c 6f 67 20 66 69 6c 65 20  _OK), 'Log file 
0a80: 75 6e 72 65 61 64 61 62 6c 65 27 0a 0a 63 6f 6e  unreadable'..con
0a90: 73 74 5f 64 65 73 63 5f 66 69 65 6c 64 73 20 3d  st_desc_fields =
0aa0: 20 73 65 74 28 5b 27 43 6f 6e 74 65 6e 74 2d 4c   set(['Content-L
0ab0: 65 6e 67 74 68 27 2c 20 27 4c 61 73 74 2d 4d 6f  ength', 'Last-Mo
0ac0: 64 69 66 69 65 64 27 2c 20 27 50 72 61 67 6d 61  dified', 'Pragma
0ad0: 27 5d 29 0a 63 6f 6e 73 74 5f 69 67 6e 6f 72 65  ']).const_ignore
0ae0: 5f 66 69 65 6c 64 73 20 3d 20 73 65 74 28 5b 0a  _fields = set([.
0af0: 09 27 41 63 63 65 70 74 2d 52 61 6e 67 65 73 27  .'Accept-Ranges'
0b00: 2c 20 27 41 67 65 27 2c 0a 09 27 43 61 63 68 65  , 'Age',..'Cache
0b10: 2d 43 6f 6e 74 72 6f 6c 27 2c 20 27 43 6f 6e 6e  -Control', 'Conn
0b20: 65 63 74 69 6f 6e 27 2c 20 27 43 6f 6e 74 65 6e  ection', 'Conten
0b30: 74 2d 54 79 70 65 27 2c 0a 09 27 44 61 74 65 27  t-Type',..'Date'
0b40: 2c 0a 09 27 45 78 70 69 72 65 73 27 2c 0a 09 27  ,..'Expires',..'
0b50: 53 65 72 76 65 72 27 2c 0a 09 27 56 69 61 27 2c  Server',..'Via',
0b60: 0a 09 27 58 2d 43 61 63 68 65 27 2c 20 27 58 2d  ..'X-Cache', 'X-
0b70: 43 61 63 68 65 2d 4c 6f 6f 6b 75 70 27 2c 20 27  Cache-Lookup', '
0b80: 58 2d 50 6f 77 65 72 65 64 2d 42 79 27 0a 5d 29  X-Powered-By'.])
0b90: 0a 0a 62 6c 6f 63 6b 5f 73 69 7a 65 20 3d 20 34  ..block_size = 4
0ba0: 30 39 36 0a 0a 27 27 27 0a 23 20 6c 61 74 65 72  096..'''.# later
0bb0: 2c 20 6b 71 75 65 75 65 20 77 6f 75 6c 64 20 62  , kqueue would b
0bc0: 65 20 67 6f 6f 64 20 62 75 74 20 6c 61 74 65 72  e good but later
0bd0: 0a 63 6c 61 73 73 20 43 6f 6e 6e 65 63 74 69 6f  .class Connectio
0be0: 6e 3a 0a 09 5f 5f 73 6c 6f 74 73 5f 5f 20 3d 20  n:..__slots__ = 
0bf0: 66 72 6f 7a 65 6e 73 65 74 28 28 27 5f 5f 61 64  frozenset(('__ad
0c00: 64 72 65 73 73 27 2c 20 27 5f 5f 69 6e 70 75 74  dress', '__input
0c10: 27 2c 20 27 5f 5f 73 6f 63 6b 65 74 27 2c 20 27  ', '__socket', '
0c20: 5f 5f 73 74 61 74 75 73 27 2c 20 27 65 72 72 6f  __status', 'erro
0c30: 72 27 2c 20 27 6d 65 74 68 6f 64 27 2c 20 27 75  r', 'method', 'u
0c40: 72 6c 27 2c 20 27 68 74 74 70 5f 76 65 72 73 69  rl', 'http_versi
0c50: 6f 6e 27 29 29 0a 0a 09 64 65 66 20 5f 5f 69 6e  on'))...def __in
0c60: 69 74 5f 5f 28 73 65 6c 66 2c 20 73 6f 63 6b 65  it__(self, socke
0c70: 74 2c 20 61 64 64 72 65 73 73 29 3a 0a 09 09 73  t, address):...s
0c80: 65 6c 66 2e 5f 5f 61 64 64 72 65 73 73 20 3d 20  elf.__address = 
0c90: 61 64 64 72 65 73 73 0a 09 09 73 65 6c 66 2e 5f  address...self._
0ca0: 5f 69 6e 70 75 74 20 3d 20 62 27 27 0a 09 09 73  _input = b''...s
0cb0: 65 6c 66 2e 5f 5f 73 6f 63 6b 65 74 20 3d 20 73  elf.__socket = s
0cc0: 6f 63 6b 65 74 0a 09 09 73 65 6c 66 2e 5f 5f 73  ocket...self.__s
0cd0: 74 61 74 75 73 20 3d 20 30 0a 0a 09 64 65 66 20  tatus = 0...def 
0ce0: 72 65 61 64 28 73 65 6c 66 2c 20 6b 65 76 29 3a  read(self, kev):
0cf0: 0a 09 09 62 75 66 66 65 72 20 3d 20 73 65 6c 66  ...buffer = self
0d00: 2e 5f 5f 73 6f 63 6b 65 74 2e 72 65 63 76 28 6b  .__socket.recv(k
0d10: 65 76 2e 64 61 74 61 29 0a 09 09 65 78 68 61 75  ev.data)...exhau
0d20: 73 74 65 64 20 3d 20 46 61 6c 73 65 0a 09 09 69  sted = False...i
0d30: 66 20 6c 65 6e 28 62 75 66 66 65 72 29 20 3d 3d  f len(buffer) ==
0d40: 20 30 3a 0a 09 09 09 65 6f 66 20 3d 20 54 72 75   0:....eof = Tru
0d50: 65 0a 09 09 65 6c 73 65 3a 0a 09 09 09 73 65 6c  e...else:....sel
0d60: 66 2e 5f 5f 69 6e 70 75 74 20 2b 3d 20 62 75 66  f.__input += buf
0d70: 66 65 72 0a 09 09 09 77 68 69 6c 65 20 6e 6f 74  fer....while not
0d80: 20 65 78 68 61 75 73 74 65 64 3a 0a 09 09 09 09   exhausted:.....
0d90: 69 66 20 73 65 6c 66 2e 5f 5f 73 74 61 74 75 73  if self.__status
0da0: 20 3d 3d 20 2d 31 3a 0a 09 09 09 09 09 65 78 68   == -1:......exh
0db0: 61 75 73 74 65 64 20 3d 20 54 72 75 65 0a 09 09  austed = True...
0dc0: 09 09 65 6c 69 66 20 73 65 6c 66 2e 5f 5f 73 74  ..elif self.__st
0dd0: 61 74 75 73 20 3d 3d 20 30 3a 0a 09 09 09 09 09  atus == 0:......
0de0: 65 6e 64 73 74 72 69 6e 67 20 3d 20 73 65 6c 66  endstring = self
0df0: 2e 5f 5f 69 6e 70 75 74 2e 66 69 6e 64 28 62 27  .__input.find(b'
0e00: 5c 6e 27 29 0a 09 09 09 09 09 69 66 20 65 6e 64  \n')......if end
0e10: 73 74 72 69 6e 67 20 3e 20 30 3a 0a 09 09 09 09  string > 0:.....
0e20: 09 09 70 72 69 6e 74 28 27 50 72 6f 63 65 73 73  ..print('Process
0e30: 69 6e 67 20 72 65 71 75 65 73 74 20 6c 69 6e 65  ing request line
0e40: 2e 27 29 0a 09 09 09 09 09 09 6c 69 6e 65 20 3d  .').......line =
0e50: 20 73 65 6c 66 2e 5f 5f 69 6e 70 75 74 5b 3a 65   self.__input[:e
0e60: 6e 64 73 74 72 69 6e 67 5d 2e 64 65 63 6f 64 65  ndstring].decode
0e70: 28 27 61 73 63 69 69 27 29 0a 09 09 09 09 09 09  ('ascii').......
0e80: 73 65 6c 66 2e 5f 5f 69 6e 70 75 74 20 3d 20 73  self.__input = s
0e90: 65 6c 66 2e 5f 5f 69 6e 70 75 74 5b 65 6e 64 73  elf.__input[ends
0ea0: 74 72 69 6e 67 20 2b 20 31 3a 5d 0a 09 09 09 09  tring + 1:].....
0eb0: 09 09 69 73 52 65 71 75 65 73 74 20 3d 20 72 65  ..isRequest = re
0ec0: 2e 63 6f 6d 70 69 6c 65 28 27 28 47 45 54 29 20  .compile('(GET) 
0ed0: 28 5b 5e 20 5d 2b 29 20 48 54 54 50 2f 28 31 5c  ([^ ]+) HTTP/(1\
0ee0: 2e 30 29 27 29 2e 6d 61 74 63 68 28 6c 69 6e 65  .0)').match(line
0ef0: 29 0a 09 09 09 09 09 09 69 66 20 6e 6f 74 20 69  ).......if not i
0f00: 73 52 65 71 75 65 73 74 3a 0a 09 09 09 09 09 09  sRequest:.......
0f10: 09 73 65 6c 66 2e 65 72 72 6f 72 20 3d 20 27 4e  .self.error = 'N
0f20: 6f 74 20 61 20 48 54 54 50 20 63 6f 6e 6e 65 63  ot a HTTP connec
0f30: 74 69 6f 6e 2e 27 0a 09 09 09 09 09 09 09 73 65  tion.'........se
0f40: 6c 66 2e 5f 5f 73 74 61 74 75 73 20 3d 20 2d 31  lf.__status = -1
0f50: 0a 09 09 09 09 09 09 65 6c 73 65 3a 0a 09 09 09  .......else:....
0f60: 09 09 09 09 73 65 6c 66 2e 6d 65 74 68 6f 64 20  ....self.method 
0f70: 3d 20 69 73 52 65 71 75 65 73 74 2e 67 72 6f 75  = isRequest.grou
0f80: 70 28 31 29 0a 09 09 09 09 09 09 09 73 65 6c 66  p(1)........self
0f90: 2e 75 72 6c 20 3d 20 69 73 52 65 71 75 65 73 74  .url = isRequest
0fa0: 2e 67 72 6f 75 70 28 32 29 0a 09 09 09 09 09 09  .group(2).......
0fb0: 09 73 65 6c 66 2e 68 74 74 70 5f 76 65 72 73 69  .self.http_versi
0fc0: 6f 6e 20 3d 20 69 73 52 65 71 75 65 73 74 2e 67  on = isRequest.g
0fd0: 72 6f 75 70 28 33 29 0a 09 09 09 09 09 09 09 73  roup(3)........s
0fe0: 65 6c 66 2e 5f 5f 73 74 61 74 75 73 20 3d 20 31  elf.__status = 1
0ff0: 0a 09 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 09  ......else:.....
1000: 09 09 65 78 68 61 75 73 74 65 64 20 3d 20 54 72  ..exhausted = Tr
1010: 75 65 0a 09 09 09 09 65 6c 69 66 20 73 65 6c 66  ue.....elif self
1020: 2e 5f 5f 73 74 61 74 75 73 20 3d 3d 20 31 3a 0a  .__status == 1:.
1030: 09 09 09 09 09 65 6e 64 73 74 72 69 6e 67 20 3d  .....endstring =
1040: 20 73 65 6c 66 2e 5f 5f 69 6e 70 75 74 2e 66 69   self.__input.fi
1050: 6e 64 28 62 27 5c 6e 27 29 0a 09 09 09 09 09 69  nd(b'\n')......i
1060: 66 20 65 6e 64 73 74 72 69 6e 67 20 3e 20 30 3a  f endstring > 0:
1070: 0a 09 09 09 09 09 09 70 72 69 6e 74 28 27 50 72  .......print('Pr
1080: 6f 63 65 73 73 69 6e 67 20 68 65 61 64 65 72 20  ocessing header 
1090: 6c 69 6e 65 2e 27 20 2b 20 72 65 70 72 28 73 65  line.' + repr(se
10a0: 6c 66 2e 5f 5f 69 6e 70 75 74 29 29 0a 09 09 09  lf.__input))....
10b0: 09 09 09 6c 69 6e 65 20 3d 20 73 65 6c 66 2e 5f  ...line = self._
10c0: 5f 69 6e 70 75 74 5b 3a 65 6e 64 73 74 72 69 6e  _input[:endstrin
10d0: 67 5d 2e 64 65 63 6f 64 65 28 27 61 73 63 69 69  g].decode('ascii
10e0: 27 29 0a 09 09 09 09 09 09 73 65 6c 66 2e 5f 5f  ').......self.__
10f0: 69 6e 70 75 74 20 3d 20 73 65 6c 66 2e 5f 5f 69  input = self.__i
1100: 6e 70 75 74 5b 65 6e 64 73 74 72 69 6e 67 20 2b  nput[endstring +
1110: 20 31 3a 5d 0a 09 09 09 09 09 09 69 73 48 65 61   1:].......isHea
1120: 64 65 72 20 3d 20 72 65 2e 63 6f 6d 70 69 6c 65  der = re.compile
1130: 28 27 28 5b 5e 3a 5d 2a 29 3a 20 2b 28 2e 2a 29  ('([^:]*): +(.*)
1140: 27 29 2e 6d 61 74 63 68 28 6c 69 6e 65 29 0a 09  ').match(line)..
1150: 09 09 09 09 09 69 66 20 6e 6f 74 20 69 73 48 65  .....if not isHe
1160: 61 64 65 72 3a 0a 09 09 09 09 09 09 09 73 65 6c  ader:........sel
1170: 66 2e 65 72 72 6f 72 20 3d 20 27 42 61 64 20 68  f.error = 'Bad h
1180: 65 61 64 65 72 2e 27 0a 09 09 09 09 09 09 09 72  eader.'........r
1190: 65 74 75 72 6e 28 46 61 6c 73 65 29 0a 09 09 09  eturn(False)....
11a0: 09 09 09 23 20 70 72 6f 63 65 73 73 20 68 65 61  ...# process hea
11b0: 64 65 72 20 68 65 72 65 0a 09 09 09 09 09 65 6c  der here......el
11c0: 69 66 20 65 6e 64 73 74 72 69 6e 67 20 3d 3d 20  if endstring == 
11d0: 30 3a 0a 09 09 09 09 09 09 73 65 6c 66 2e 5f 5f  0:.......self.__
11e0: 73 74 61 74 75 73 20 3d 20 32 0a 09 09 09 09 09  status = 2......
11f0: 65 6c 73 65 3a 0a 09 09 09 09 09 09 65 78 68 61  else:.......exha
1200: 75 73 74 65 64 20 3d 20 54 72 75 65 0a 0a 09 64  usted = True...d
1210: 65 66 20 77 72 69 74 65 28 73 65 6c 66 2c 20 6b  ef write(self, k
1220: 65 76 29 3a 0a 09 09 70 61 73 73 0a 0a 69 66 20  ev):...pass..if 
1230: 6f 70 74 69 6f 6e 73 2e 70 6f 72 74 3a 0a 09 69  options.port:..i
1240: 6d 70 6f 72 74 20 73 65 6c 65 63 74 2c 20 73 6f  mport select, so
1250: 63 6b 65 74 0a 0a 09 73 6f 63 6b 20 3d 20 73 6f  cket...sock = so
1260: 63 6b 65 74 2e 73 6f 63 6b 65 74 28 73 6f 63 6b  cket.socket(sock
1270: 65 74 2e 41 46 5f 49 4e 45 54 2c 20 73 6f 63 6b  et.AF_INET, sock
1280: 65 74 2e 53 4f 43 4b 5f 53 54 52 45 41 4d 29 0a  et.SOCK_STREAM).
1290: 09 74 72 79 3a 0a 09 09 73 6f 63 6b 2e 62 69 6e  .try:...sock.bin
12a0: 64 28 28 27 31 32 37 2e 30 2e 30 2e 31 27 2c 20  d(('127.0.0.1', 
12b0: 69 6e 74 28 6f 70 74 69 6f 6e 73 2e 70 6f 72 74  int(options.port
12c0: 29 29 29 0a 09 09 73 6f 63 6b 2e 6c 69 73 74 65  )))...sock.liste
12d0: 6e 28 2d 31 29 0a 0a 09 09 6b 71 20 3d 20 73 65  n(-1)....kq = se
12e0: 6c 65 63 74 2e 6b 71 75 65 75 65 28 29 0a 09 09  lect.kqueue()...
12f0: 61 73 73 65 72 74 20 6b 71 2e 66 69 6c 65 6e 6f  assert kq.fileno
1300: 28 29 20 21 3d 20 2d 31 2c 20 22 46 61 74 61 6c  () != -1, "Fatal
1310: 20 65 72 72 6f 72 3a 20 63 61 6e 27 74 20 69 6e   error: can't in
1320: 69 74 69 61 6c 69 73 65 20 6b 71 75 65 75 65 2e  itialise kqueue.
1330: 22 0a 0a 09 09 6b 71 2e 63 6f 6e 74 72 6f 6c 28  "....kq.control(
1340: 5b 73 65 6c 65 63 74 2e 6b 65 76 65 6e 74 28 73  [select.kevent(s
1350: 6f 63 6b 2c 20 73 65 6c 65 63 74 2e 4b 51 5f 46  ock, select.KQ_F
1360: 49 4c 54 45 52 5f 52 45 41 44 2c 20 73 65 6c 65  ILTER_READ, sele
1370: 63 74 2e 4b 51 5f 45 56 5f 41 44 44 29 5d 2c 20  ct.KQ_EV_ADD)], 
1380: 30 29 0a 09 09 74 69 6d 65 6f 75 74 20 3d 20 4e  0)...timeout = N
1390: 6f 6e 65 0a 0a 09 09 63 6f 6e 6e 65 63 74 69 6f  one....connectio
13a0: 6e 73 20 3d 20 7b 73 6f 63 6b 2e 66 69 6c 65 6e  ns = {sock.filen
13b0: 6f 28 29 3a 20 4e 6f 6e 65 7d 0a 0a 09 09 77 68  o(): None}....wh
13c0: 69 6c 65 20 54 72 75 65 3a 0a 09 09 09 6b 65 76  ile True:....kev
13d0: 73 20 3d 20 6b 71 2e 63 6f 6e 74 72 6f 6c 28 4e  s = kq.control(N
13e0: 6f 6e 65 2c 20 31 2c 20 74 69 6d 65 6f 75 74 29  one, 1, timeout)
13f0: 0a 0a 09 09 09 66 6f 72 20 6b 65 76 20 69 6e 20  .....for kev in 
1400: 6b 65 76 73 3a 0a 09 09 09 09 69 66 20 74 79 70  kevs:.....if typ
1410: 65 28 63 6f 6e 6e 65 63 74 69 6f 6e 73 5b 6b 65  e(connections[ke
1420: 76 2e 69 64 65 6e 74 5d 29 20 3d 3d 20 43 6f 6e  v.ident]) == Con
1430: 6e 65 63 74 69 6f 6e 3a 0a 09 09 09 09 09 70 72  nection:......pr
1440: 69 6e 74 28 6b 65 76 2e 69 64 65 6e 74 2c 20 6b  int(kev.ident, k
1450: 65 76 2e 64 61 74 61 2c 20 6b 65 76 2e 66 69 6c  ev.data, kev.fil
1460: 74 65 72 2c 20 6b 65 76 2e 66 6c 61 67 73 29 0a  ter, kev.flags).
1470: 09 09 09 09 09 61 73 73 65 72 74 20 6b 65 76 2e  .....assert kev.
1480: 64 61 74 61 20 21 3d 20 30 2c 20 27 4e 6f 20 64  data != 0, 'No d
1490: 61 74 61 20 61 76 61 69 6c 61 62 6c 65 2e 27 0a  ata available.'.
14a0: 09 09 09 09 09 69 66 20 6b 65 76 2e 66 69 6c 74  .....if kev.filt
14b0: 65 72 20 3d 3d 20 73 65 6c 65 63 74 2e 4b 51 5f  er == select.KQ_
14c0: 46 49 4c 54 45 52 5f 52 45 41 44 3a 0a 09 09 09  FILTER_READ:....
14d0: 09 09 09 63 6f 6e 6e 65 63 74 69 6f 6e 73 5b 6b  ...connections[k
14e0: 65 76 2e 69 64 65 6e 74 5d 2e 72 65 61 64 28 6b  ev.ident].read(k
14f0: 65 76 29 0a 09 09 09 09 09 65 6c 69 66 20 6b 65  ev)......elif ke
1500: 76 2e 66 69 6c 74 65 72 20 3d 3d 20 73 65 6c 65  v.filter == sele
1510: 63 74 2e 4b 51 5f 46 49 4c 54 45 52 5f 57 52 49  ct.KQ_FILTER_WRI
1520: 54 45 3a 0a 09 09 09 09 09 09 63 6f 6e 6e 65 63  TE:.......connec
1530: 74 69 6f 6e 73 5b 6b 65 76 2e 69 64 65 6e 74 5d  tions[kev.ident]
1540: 2e 77 72 69 74 65 28 6b 65 76 29 0a 09 09 09 09  .write(kev).....
1550: 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 61 73 73  .else:.......ass
1560: 65 72 74 20 6b 65 76 2e 66 69 6c 74 65 72 20 69  ert kev.filter i
1570: 6e 20 28 73 65 6c 65 63 74 2e 4b 51 5f 46 49 4c  n (select.KQ_FIL
1580: 54 45 52 5f 52 45 41 44 2c 20 73 65 6c 65 63 74  TER_READ, select
1590: 2e 4b 51 5f 46 49 4c 54 45 52 5f 57 52 49 54 45  .KQ_FILTER_WRITE
15a0: 29 2c 20 27 44 6f 20 77 65 20 73 75 70 70 6f 72  ), 'Do we suppor
15b0: 74 20 6f 74 68 65 72 20 66 69 6c 74 65 72 73 3f  t other filters?
15c0: 27 0a 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 09  '.....else:.....
15d0: 09 28 63 6f 6e 6e 2c 20 61 64 64 72 29 20 3d 20  .(conn, addr) = 
15e0: 73 6f 63 6b 2e 61 63 63 65 70 74 28 29 0a 09 09  sock.accept()...
15f0: 09 09 09 70 72 69 6e 74 28 27 43 6f 6e 6e 65 63  ...print('Connec
1600: 74 69 6f 6e 20 66 72 6f 6d 20 27 20 2b 20 72 65  tion from ' + re
1610: 70 72 28 61 64 64 72 29 29 0a 09 09 09 09 09 6b  pr(addr))......k
1620: 71 2e 63 6f 6e 74 72 6f 6c 28 5b 73 65 6c 65 63  q.control([selec
1630: 74 2e 6b 65 76 65 6e 74 28 63 6f 6e 6e 2c 20 73  t.kevent(conn, s
1640: 65 6c 65 63 74 2e 4b 51 5f 46 49 4c 54 45 52 5f  elect.KQ_FILTER_
1650: 52 45 41 44 2c 20 73 65 6c 65 63 74 2e 4b 51 5f  READ, select.KQ_
1660: 45 56 5f 41 44 44 29 5d 2c 20 30 29 0a 09 09 09  EV_ADD)], 0)....
1670: 09 09 63 6f 6e 6e 65 63 74 69 6f 6e 73 5b 63 6f  ..connections[co
1680: 6e 6e 2e 66 69 6c 65 6e 6f 28 29 5d 20 3d 20 43  nn.fileno()] = C
1690: 6f 6e 6e 65 63 74 69 6f 6e 28 63 6f 6e 6e 2c 20  onnection(conn, 
16a0: 61 64 64 72 29 0a 0a 09 09 09 09 69 66 20 6b 65  addr)......if ke
16b0: 76 2e 66 6c 61 67 73 20 3e 3e 20 31 35 20 3d 3d  v.flags >> 15 ==
16c0: 20 31 3a 0a 09 09 09 09 09 6b 71 2e 63 6f 6e 74   1:......kq.cont
16d0: 72 6f 6c 28 5b 73 65 6c 65 63 74 2e 6b 65 76 65  rol([select.keve
16e0: 6e 74 28 6b 65 76 2e 69 64 65 6e 74 2c 20 73 65  nt(kev.ident, se
16f0: 6c 65 63 74 2e 4b 51 5f 46 49 4c 54 45 52 5f 52  lect.KQ_FILTER_R
1700: 45 41 44 2c 20 73 65 6c 65 63 74 2e 4b 51 5f 45  EAD, select.KQ_E
1710: 56 5f 44 45 4c 45 54 45 29 5d 2c 20 30 29 0a 09  V_DELETE)], 0)..
1720: 09 09 09 09 6b 71 2e 63 6f 6e 74 72 6f 6c 28 5b  ....kq.control([
1730: 73 65 6c 65 63 74 2e 6b 65 76 65 6e 74 28 6b 65  select.kevent(ke
1740: 76 2e 69 64 65 6e 74 2c 20 73 65 6c 65 63 74 2e  v.ident, select.
1750: 4b 51 5f 46 49 4c 54 45 52 5f 57 52 49 54 45 2c  KQ_FILTER_WRITE,
1760: 20 73 65 6c 65 63 74 2e 4b 51 5f 45 56 5f 44 45   select.KQ_EV_DE
1770: 4c 45 54 45 29 5d 2c 20 30 29 0a 09 09 09 09 09  LETE)], 0)......
1780: 64 65 6c 28 63 6f 6e 6e 65 63 74 69 6f 6e 73 5b  del(connections[
1790: 6b 65 76 2e 69 64 65 6e 74 5d 29 0a 09 66 69 6e  kev.ident])..fin
17a0: 61 6c 6c 79 3a 0a 09 09 73 6f 63 6b 2e 63 6c 6f  ally:...sock.clo
17b0: 73 65 28 29 0a 27 27 27 0a 0a 23 20 58 58 58 20  se().'''..# XXX 
17c0: 68 6f 77 20 61 62 6f 75 74 20 72 65 63 68 65 63  how about rechec
17d0: 6b 69 6e 67 20 66 69 6c 65 73 3f 0a 69 66 20 54  king files?.if T
17e0: 72 75 65 3a 0a 09 69 6d 70 6f 72 74 20 68 74 74  rue:..import htt
17f0: 70 2e 73 65 72 76 65 72 0a 0a 09 63 6c 61 73 73  p.server...class
1800: 20 4d 79 52 65 71 75 65 73 74 48 61 6e 64 6c 65   MyRequestHandle
1810: 72 28 68 74 74 70 2e 73 65 72 76 65 72 2e 42 61  r(http.server.Ba
1820: 73 65 48 54 54 50 52 65 71 75 65 73 74 48 61 6e  seHTTPRequestHan
1830: 64 6c 65 72 29 3a 0a 09 09 64 65 66 20 5f 5f 70  dler):...def __p
1840: 72 6f 63 65 73 73 28 73 65 6c 66 29 3a 0a 09 09  rocess(self):...
1850: 09 23 20 72 65 6c 6f 61 64 20 6d 65 61 6e 73 20  .# reload means 
1860: 66 69 6c 65 20 6e 65 65 64 73 20 74 6f 20 62 65  file needs to be
1870: 20 72 65 6c 6f 61 64 65 64 20 74 6f 20 73 65 72   reloaded to ser
1880: 76 65 20 72 65 71 75 65 73 74 0a 09 09 09 72 65  ve request....re
1890: 6c 6f 61 64 20 3d 20 46 61 6c 73 65 0a 09 09 09  load = False....
18a0: 23 20 72 65 63 68 65 63 6b 20 6d 65 61 6e 73 20  # recheck means 
18b0: 66 69 6c 65 20 6e 65 65 64 73 20 74 6f 20 62 65  file needs to be
18c0: 20 63 68 65 63 6b 65 64 2c 20 74 68 69 73 20 61   checked, this a
18d0: 6c 73 6f 20 6d 65 61 6e 73 20 74 68 61 74 20 69  lso means that i
18e0: 66 20 66 69 6c 65 20 68 61 76 20 62 65 65 6e 20  f file hav been 
18f0: 6d 6f 64 69 66 69 65 64 20 77 65 20 63 61 6e 20  modified we can 
1900: 73 65 72 76 65 20 6f 6c 64 65 72 20 63 6f 70 79  serve older copy
1910: 0a 09 09 09 72 65 63 68 65 63 6b 20 3d 20 46 61  ....recheck = Fa
1920: 6c 73 65 0a 09 09 09 23 20 66 69 6c 65 5f 73 74  lse....# file_st
1930: 61 74 20 6d 65 61 6e 73 20 66 69 6c 65 20 64 65  at means file de
1940: 66 69 6e 69 74 65 6c 79 20 65 78 69 73 74 73 0a  finitely exists.
1950: 09 09 09 66 69 6c 65 5f 73 74 61 74 20 3d 20 4e  ...file_stat = N
1960: 6f 6e 65 0a 09 09 09 23 20 72 65 71 75 65 73 74  one....# request
1970: 65 64 5f 72 61 6e 67 65 73 20 68 6f 6c 64 73 20  ed_ranges holds 
1980: 64 61 74 61 20 61 62 6f 75 74 20 61 6e 79 20 72  data about any r
1990: 61 6e 67 65 20 72 65 71 75 65 73 74 65 64 0a 09  ange requested..
19a0: 09 09 72 65 71 75 65 73 74 65 64 5f 72 61 6e 67  ..requested_rang
19b0: 65 73 20 3d 20 4e 6f 6e 65 0a 09 09 09 23 20 72  es = None....# r
19c0: 65 63 6f 72 64 73 20 68 6f 6c 64 73 20 64 61 74  ecords holds dat
19d0: 61 20 66 72 6f 6d 20 69 6e 64 65 78 20 6c 6f 63  a from index loc
19e0: 61 6c 6c 79 2c 20 73 68 6f 75 6c 64 20 62 65 20  ally, should be 
19f0: 77 72 69 74 74 65 6e 20 62 61 63 6b 20 75 70 6f  written back upo
1a00: 6e 20 73 75 63 63 65 73 73 66 75 6c 6c 20 63 6f  n successfull co
1a10: 6d 70 6c 65 74 69 6f 6e 0a 09 09 09 72 65 63 6f  mpletion....reco
1a20: 72 64 20 3d 20 4e 6f 6e 65 0a 0a 09 09 09 6d 79  rd = None.....my
1a30: 50 61 74 68 20 3d 20 72 65 2e 63 6f 6d 70 69 6c  Path = re.compil
1a40: 65 28 27 5e 28 2e 2a 3f 29 28 5c 3f 2e 2a 29 24  e('^(.*?)(\?.*)$
1a50: 27 29 2e 6d 61 74 63 68 28 73 65 6c 66 2e 70 61  ').match(self.pa
1a60: 74 68 29 0a 09 09 09 69 66 20 6d 79 50 61 74 68  th)....if myPath
1a70: 3a 0a 09 09 09 09 6d 79 5f 70 61 74 68 20 3d 20  :.....my_path = 
1a80: 6d 79 50 61 74 68 2e 67 72 6f 75 70 28 31 29 0a  myPath.group(1).
1a90: 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 6d 79 5f  ...else:.....my_
1aa0: 70 61 74 68 20 3d 20 73 65 6c 66 2e 70 61 74 68  path = self.path
1ab0: 0a 0a 09 09 09 63 6f 6e 66 69 67 2e 73 65 63 74  .....config.sect
1ac0: 69 6f 6e 28 73 65 6c 66 2e 68 65 61 64 65 72 73  ion(self.headers
1ad0: 5b 27 48 6f 73 74 27 5d 29 0a 0a 09 09 09 69 66  ['Host']).....if
1ae0: 20 63 6f 6e 66 69 67 5b 27 73 75 62 27 5d 20 21   config['sub'] !
1af0: 3d 20 4e 6f 6e 65 20 61 6e 64 20 63 6f 6e 66 69  = None and confi
1b00: 67 5b 27 73 74 72 69 70 27 5d 20 21 3d 20 4e 6f  g['strip'] != No
1b10: 6e 65 20 61 6e 64 20 6c 65 6e 28 63 6f 6e 66 69  ne and len(confi
1b20: 67 5b 27 73 74 72 69 70 27 5d 29 20 3e 20 30 3a  g['strip']) > 0:
1b30: 0a 09 09 09 09 73 74 72 69 6e 67 20 3d 20 72 65  .....string = re
1b40: 2e 63 6f 6d 70 69 6c 65 28 63 6f 6e 66 69 67 5b  .compile(config[
1b50: 27 73 74 72 69 70 27 5d 29 2e 73 75 62 28 63 6f  'strip']).sub(co
1b60: 6e 66 69 67 5b 27 73 75 62 27 5d 2c 20 6d 79 5f  nfig['sub'], my_
1b70: 70 61 74 68 29 0a 09 09 09 09 6d 79 5f 70 61 74  path).....my_pat
1b80: 68 20 3d 20 73 74 72 69 6e 67 0a 0a 09 09 09 69  h = string.....i
1b90: 6e 66 6f 20 3d 20 27 43 68 65 63 6b 69 6e 67 20  nfo = 'Checking 
1ba0: 66 69 6c 65 3a 20 27 20 2b 20 6d 79 5f 70 61 74  file: ' + my_pat
1bb0: 68 0a 0a 09 09 09 69 66 20 6e 6f 74 20 6f 73 2e  h.....if not os.
1bc0: 61 63 63 65 73 73 28 63 6f 6e 66 69 67 5b 27 64  access(config['d
1bd0: 69 72 27 5d 2c 20 6f 73 2e 58 5f 4f 4b 29 3a 0a  ir'], os.X_OK):.
1be0: 09 09 09 09 6f 73 2e 6d 6b 64 69 72 28 63 6f 6e  ....os.mkdir(con
1bf0: 66 69 67 5b 27 64 69 72 27 5d 29 0a 09 09 09 23  fig['dir'])....#
1c00: 20 74 68 69 73 20 69 73 20 66 69 6c 65 20 69 6e   this is file in
1c10: 64 65 78 20 2d 20 65 76 65 72 79 74 68 69 6e 67  dex - everything
1c20: 20 69 73 20 73 74 6f 72 65 64 20 69 6e 20 74 68   is stored in th
1c30: 69 73 20 66 69 6c 65 0a 09 09 09 23 20 5f 70 61  is file....# _pa
1c40: 72 74 73 20 2d 20 6c 69 73 74 20 6f 66 20 73 74  rts - list of st
1c50: 6f 72 65 64 20 70 61 72 74 73 20 6f 66 20 66 69  ored parts of fi
1c60: 6c 65 0a 09 09 09 23 20 5f 74 69 6d 65 20 2d 20  le....# _time - 
1c70: 6c 61 73 74 20 74 69 6d 65 20 74 68 65 20 66 69  last time the fi
1c80: 6c 65 20 77 61 73 20 63 68 65 63 6b 65 64 0a 09  le was checked..
1c90: 09 09 23 20 65 76 65 72 79 74 68 69 6e 67 20 65  ..# everything e
1ca0: 6c 73 65 20 69 73 20 6a 75 73 74 20 74 68 65 20  lse is just the 
1cb0: 68 65 61 64 65 72 73 0a 09 09 09 69 6e 64 65 78  headers....index
1cc0: 20 3d 20 73 68 65 6c 76 65 2e 6f 70 65 6e 28 63   = shelve.open(c
1cd0: 6f 6e 66 69 67 5b 27 64 69 72 27 5d 20 2b 20 6f  onfig['dir'] + o
1ce0: 73 2e 73 65 70 20 2b 20 27 2e 69 6e 64 65 78 27  s.sep + '.index'
1cf0: 29 0a 0a 09 09 09 64 65 73 63 5f 66 69 65 6c 64  ).....desc_field
1d00: 73 20 3d 20 63 6f 6e 73 74 5f 64 65 73 63 5f 66  s = const_desc_f
1d10: 69 65 6c 64 73 2e 63 6f 70 79 28 29 0a 09 09 09  ields.copy()....
1d20: 69 67 6e 6f 72 65 5f 66 69 65 6c 64 73 20 3d 20  ignore_fields = 
1d30: 63 6f 6e 73 74 5f 69 67 6e 6f 72 65 5f 66 69 65  const_ignore_fie
1d40: 6c 64 73 2e 63 6f 70 79 28 29 0a 09 09 09 69 66  lds.copy()....if
1d50: 20 6e 6f 74 20 63 6f 6e 66 69 67 5b 27 6e 6f 65   not config['noe
1d60: 74 61 67 27 5d 3a 0a 09 09 09 09 64 65 73 63 5f  tag']:.....desc_
1d70: 66 69 65 6c 64 73 2e 61 64 64 28 27 45 54 61 67  fields.add('ETag
1d80: 27 29 0a 09 09 09 65 6c 73 65 3a 0a 09 09 09 09  ')....else:.....
1d90: 69 67 6e 6f 72 65 5f 66 69 65 6c 64 73 2e 61 64  ignore_fields.ad
1da0: 64 28 27 45 54 61 67 27 29 0a 0a 09 09 09 70 72  d('ETag').....pr
1db0: 6f 78 79 5f 69 67 6e 6f 72 65 64 20 3d 20 73 65  oxy_ignored = se
1dc0: 74 28 5b 0a 09 09 09 09 27 41 63 63 65 70 74 27  t([.....'Accept'
1dd0: 2c 20 27 41 63 63 65 70 74 2d 43 68 61 72 73 65  , 'Accept-Charse
1de0: 74 27 2c 20 27 41 63 63 65 70 74 2d 45 6e 63 6f  t', 'Accept-Enco
1df0: 64 69 6e 67 27 2c 20 27 41 63 63 65 70 74 2d 4c  ding', 'Accept-L
1e00: 61 6e 67 75 61 67 65 27 2c 0a 09 09 09 09 27 43  anguage',.....'C
1e10: 61 63 68 65 2d 43 6f 6e 74 72 6f 6c 27 2c 20 27  ache-Control', '
1e20: 43 6f 6e 6e 65 63 74 69 6f 6e 27 2c 20 27 43 6f  Connection', 'Co
1e30: 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 2c 20 27  ntent-Length', '
1e40: 43 6f 6f 6b 69 65 27 2c 0a 09 09 09 09 27 48 6f  Cookie',.....'Ho
1e50: 73 74 27 2c 0a 09 09 09 09 27 49 66 2d 4d 6f 64  st',.....'If-Mod
1e60: 69 66 69 65 64 2d 53 69 6e 63 65 27 2c 20 27 49  ified-Since', 'I
1e70: 66 2d 55 6e 6d 6f 64 69 66 69 65 64 2d 53 69 6e  f-Unmodified-Sin
1e80: 63 65 27 2c 0a 09 09 09 09 27 52 65 66 65 72 65  ce',.....'Refere
1e90: 72 27 2c 0a 09 09 09 09 27 55 73 65 72 2d 41 67  r',.....'User-Ag
1ea0: 65 6e 74 27 2c 0a 09 09 09 09 27 56 69 61 27 2c  ent',.....'Via',
1eb0: 0a 09 09 09 09 27 58 2d 46 6f 72 77 61 72 64 65  .....'X-Forwarde
1ec0: 64 2d 46 6f 72 27 2c 20 27 58 2d 52 45 4d 4f 56  d-For', 'X-REMOV
1ed0: 45 44 27 2c 0a 09 09 09 5d 29 0a 0a 09 09 09 70  ED',....]).....p
1ee0: 72 69 6e 74 28 27 3d 3d 3d 3d 3d 3d 3d 3d 3d 3d  rint('==========
1ef0: 3d 3d 3d 3d 3d 5b 20 7b 7d 20 72 65 71 75 65 73  =====[ {} reques
1f00: 74 20 5d 3d 3d 3d 27 2e 66 6f 72 6d 61 74 28 73  t ]==='.format(s
1f10: 65 6c 66 2e 63 6f 6d 6d 61 6e 64 29 29 0a 0a 09  elf.command))...
1f20: 09 09 66 6f 72 20 68 65 61 64 65 72 20 69 6e 20  ..for header in 
1f30: 73 65 6c 66 2e 68 65 61 64 65 72 73 3a 0a 09 09  self.headers:...
1f40: 09 09 69 66 20 68 65 61 64 65 72 20 69 6e 20 70  ..if header in p
1f50: 72 6f 78 79 5f 69 67 6e 6f 72 65 64 3a 0a 09 09  roxy_ignored:...
1f60: 09 09 09 70 61 73 73 0a 09 09 09 09 65 6c 69 66  ...pass.....elif
1f70: 20 68 65 61 64 65 72 20 69 6e 20 28 27 52 61 6e   header in ('Ran
1f80: 67 65 27 29 3a 0a 09 09 09 09 09 69 73 52 61 6e  ge'):......isRan
1f90: 67 65 20 3d 20 72 65 2e 63 6f 6d 70 69 6c 65 28  ge = re.compile(
1fa0: 27 62 79 74 65 73 3d 28 5c 64 2b 29 2d 28 5c 64  'bytes=(\d+)-(\d
1fb0: 2b 29 27 29 2e 6d 61 74 63 68 28 73 65 6c 66 2e  +)').match(self.
1fc0: 68 65 61 64 65 72 73 5b 68 65 61 64 65 72 5d 29  headers[header])
1fd0: 0a 09 09 09 09 09 69 66 20 69 73 52 61 6e 67 65  ......if isRange
1fe0: 3a 0a 09 09 09 09 09 09 72 65 71 75 65 73 74 65  :.......requeste
1ff0: 64 5f 72 61 6e 67 65 73 20 3d 20 73 70 61 63 65  d_ranges = space
2000: 6d 61 70 2e 53 70 61 63 65 4d 61 70 28 7b 69 6e  map.SpaceMap({in
2010: 74 28 69 73 52 61 6e 67 65 2e 67 72 6f 75 70 28  t(isRange.group(
2020: 31 29 29 3a 20 69 6e 74 28 69 73 52 61 6e 67 65  1)): int(isRange
2030: 2e 67 72 6f 75 70 28 32 29 29 20 2b 20 31 7d 29  .group(2)) + 1})
2040: 0a 09 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 09  ......else:.....
2050: 09 09 72 65 74 75 72 6e 28 29 0a 09 09 09 09 65  ..return().....e
2060: 6c 69 66 20 68 65 61 64 65 72 20 69 6e 20 28 27  lif header in ('
2070: 50 72 61 67 6d 61 27 29 3a 0a 09 09 09 09 09 69  Pragma'):......i
2080: 66 20 6d 79 5f 70 61 74 68 20 69 6e 20 69 6e 64  f my_path in ind
2090: 65 78 3a 0a 09 09 09 09 09 09 69 6e 64 65 78 5b  ex:.......index[
20a0: 6d 79 5f 70 61 74 68 5d 5b 68 65 61 64 65 72 5d  my_path][header]
20b0: 20 3d 20 73 65 6c 66 2e 68 65 61 64 65 72 73 5b   = self.headers[
20c0: 68 65 61 64 65 72 5d 0a 09 09 09 09 65 6c 73 65  header].....else
20d0: 3a 0a 09 09 09 09 09 70 72 69 6e 74 28 27 55 6e  :......print('Un
20e0: 6b 6e 6f 77 6e 20 68 65 61 64 65 72 20 2d 20 27  known header - '
20f0: 2c 20 68 65 61 64 65 72 2c 20 27 3a 20 27 2c 20  , header, ': ', 
2100: 73 65 6c 66 2e 68 65 61 64 65 72 73 5b 68 65 61  self.headers[hea
2110: 64 65 72 5d 2c 20 73 65 70 3d 27 27 29 0a 09 09  der], sep='')...
2120: 09 09 09 72 65 74 75 72 6e 28 29 0a 09 09 09 09  ...return().....
2130: 70 72 69 6e 74 28 68 65 61 64 65 72 2c 20 73 65  print(header, se
2140: 6c 66 2e 68 65 61 64 65 72 73 5b 68 65 61 64 65  lf.headers[heade
2150: 72 5d 29 0a 0a 09 09 09 23 20 63 72 65 61 74 69  r]).....# creati
2160: 6e 67 20 66 69 6c 65 20 6e 61 6d 65 20 66 72 6f  ng file name fro
2170: 6d 20 6d 79 5f 70 61 74 68 0a 09 09 09 66 69 6c  m my_path....fil
2180: 65 5f 6e 61 6d 65 20 3d 20 63 6f 6e 66 69 67 5b  e_name = config[
2190: 27 64 69 72 27 5d 20 2b 20 6f 73 2e 73 65 70 20  'dir'] + os.sep 
21a0: 2b 20 72 65 2e 63 6f 6d 70 69 6c 65 28 27 25 32  + re.compile('%2
21b0: 30 27 29 2e 73 75 62 28 27 20 27 2c 20 6d 79 5f  0').sub(' ', my_
21c0: 70 61 74 68 29 0a 09 09 09 23 20 70 61 72 74 69  path)....# parti
21d0: 61 6c 20 66 69 6c 65 20 6f 72 20 75 6e 66 69 6e  al file or unfin
21e0: 69 73 68 65 64 20 64 6f 77 6e 6c 6f 61 64 0a 09  ished download..
21f0: 09 09 74 65 6d 70 5f 6e 61 6d 65 20 3d 20 63 6f  ..temp_name = co
2200: 6e 66 69 67 5b 27 64 69 72 27 5d 20 2b 20 6f 73  nfig['dir'] + os
2210: 2e 73 65 70 20 2b 20 27 2e 70 61 72 74 73 27 20  .sep + '.parts' 
2220: 2b 20 72 65 2e 63 6f 6d 70 69 6c 65 28 27 25 32  + re.compile('%2
2230: 30 27 29 2e 73 75 62 28 27 20 27 2c 20 6d 79 5f  0').sub(' ', my_
2240: 70 61 74 68 29 0a 0a 09 09 09 23 20 63 72 65 61  path).....# crea
2250: 74 69 6e 67 20 65 6d 70 74 79 20 70 6c 61 63 65  ting empty place
2260: 68 6f 6c 64 65 72 20 69 6e 20 69 6e 64 65 78 0a  holder in index.
2270: 09 09 09 23 20 69 66 20 74 68 65 72 65 27 73 20  ...# if there's 
2280: 6e 6f 20 73 70 61 63 65 20 6d 61 70 20 61 6e 64  no space map and
2290: 20 74 68 65 72 65 27 73 20 6e 6f 20 66 69 6c 65   there's no file
22a0: 20 69 6e 20 72 65 61 6c 20 64 69 72 65 63 74 6f   in real directo
22b0: 72 79 20 2d 20 77 65 20 68 61 76 65 20 6e 6f 20  ry - we have no 
22c0: 66 69 6c 65 0a 09 09 09 23 20 69 66 20 74 68 65  file....# if the
22d0: 72 65 27 73 20 61 6e 20 65 6d 70 74 79 20 73 70  re's an empty sp
22e0: 61 63 65 20 6d 61 70 20 2d 20 66 69 6c 65 20 69  ace map - file i
22f0: 73 20 66 75 6c 6c 0a 09 09 09 23 20 73 70 61 63  s full....# spac
2300: 65 20 6d 61 70 20 67 65 6e 65 72 61 6c 6c 79 20  e map generally 
2310: 63 6f 76 65 72 73 20 65 76 65 72 79 20 62 69 74  covers every bit
2320: 20 6f 66 20 66 69 6c 65 20 77 65 20 64 6f 6e 27   of file we don'
2330: 74 20 70 6f 73 65 73 73 20 63 75 72 72 65 6e 74  t posess current
2340: 6c 79 0a 09 09 09 69 66 20 6e 6f 74 20 6d 79 5f  ly....if not my_
2350: 70 61 74 68 20 69 6e 20 69 6e 64 65 78 3a 0a 09  path in index:..
2360: 09 09 09 69 6e 66 6f 20 2b 3d 20 27 5c 6e 54 68  ...info += '\nTh
2370: 69 73 20 6f 6e 65 20 69 73 20 6e 65 77 2e 27 0a  is one is new.'.
2380: 09 09 09 09 72 65 6c 6f 61 64 20 3d 20 54 72 75  ....reload = Tru
2390: 65 0a 09 09 09 09 72 65 63 6f 72 64 20 3d 20 7b  e.....record = {
23a0: 7d 0a 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 23  }....else:.....#
23b0: 20 66 6f 72 63 69 62 6c 79 20 63 68 65 63 6b 69   forcibly checki
23c0: 6e 67 20 66 69 6c 65 20 69 66 20 6e 6f 20 66 69  ng file if no fi
23d0: 6c 65 20 70 72 65 73 65 6e 74 0a 09 09 09 09 69  le present.....i
23e0: 66 20 6f 73 2e 61 63 63 65 73 73 28 66 69 6c 65  f os.access(file
23f0: 5f 6e 61 6d 65 2c 20 6f 73 2e 52 5f 4f 4b 29 3a  _name, os.R_OK):
2400: 0a 09 09 09 09 09 66 69 6c 65 5f 73 74 61 74 20  ......file_stat 
2410: 3d 20 6f 73 2e 73 74 61 74 28 66 69 6c 65 5f 6e  = os.stat(file_n
2420: 61 6d 65 29 0a 09 09 09 09 65 6c 69 66 20 27 5f  ame).....elif '_
2430: 70 61 72 74 73 27 20 69 6e 20 69 6e 64 65 78 5b  parts' in index[
2440: 6d 79 5f 70 61 74 68 5d 20 61 6e 64 20 6f 73 2e  my_path] and os.
2450: 61 63 63 65 73 73 28 74 65 6d 70 5f 6e 61 6d 65  access(temp_name
2460: 2c 20 6f 73 2e 52 5f 4f 4b 29 3a 0a 09 09 09 09  , os.R_OK):.....
2470: 09 66 69 6c 65 5f 73 74 61 74 20 3d 20 6f 73 2e  .file_stat = os.
2480: 73 74 61 74 28 74 65 6d 70 5f 6e 61 6d 65 29 0a  stat(temp_name).
2490: 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 69  ....else:......i
24a0: 6e 66 6f 20 2b 3d 20 27 5c 6e 46 69 6c 65 20 6e  nfo += '\nFile n
24b0: 6f 74 20 66 6f 75 6e 64 20 6f 72 20 69 6e 61 63  ot found or inac
24c0: 63 65 73 73 69 62 6c 65 2e 27 0a 09 09 09 09 09  cessible.'......
24d0: 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5d 5b 27  index[my_path]['
24e0: 5f 70 61 72 74 73 27 5d 20 3d 20 4e 6f 6e 65 0a  _parts'] = None.
24f0: 09 09 09 09 09 72 65 6c 6f 61 64 20 3d 20 54 72  .....reload = Tr
2500: 75 65 0a 09 09 09 09 72 65 63 6f 72 64 20 3d 20  ue.....record = 
2510: 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5d 0a 0a  index[my_path]..
2520: 09 09 09 69 66 20 6e 6f 74 20 27 5f 70 61 72 74  ...if not '_part
2530: 73 27 20 69 6e 20 72 65 63 6f 72 64 3a 0a 09 09  s' in record:...
2540: 09 09 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 73  ..record['_parts
2550: 27 5d 20 3d 20 4e 6f 6e 65 0a 0a 09 09 09 69 66  '] = None.....if
2560: 20 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 27   record['_parts'
2570: 5d 20 3d 3d 20 4e 6f 6e 65 3a 0a 09 09 09 09 72  ] == None:.....r
2580: 65 63 68 65 63 6b 20 3d 20 54 72 75 65 0a 0a 09  echeck = True...
2590: 09 09 23 20 66 6f 72 63 69 62 6c 79 20 63 68 65  ..# forcibly che
25a0: 63 6b 69 6e 67 20 66 69 6c 65 20 69 66 20 66 69  cking file if fi
25b0: 6c 65 20 73 69 7a 65 20 64 6f 65 73 6e 27 74 20  le size doesn't 
25c0: 6d 61 74 63 68 20 77 69 74 68 20 69 6e 64 65 78  match with index
25d0: 20 64 61 74 61 0a 09 09 09 69 66 20 6e 6f 74 20   data....if not 
25e0: 72 65 6c 6f 61 64 3a 0a 09 09 09 09 69 66 20 27  reload:.....if '
25f0: 5f 70 61 72 74 73 27 20 69 6e 20 72 65 63 6f 72  _parts' in recor
2600: 64 20 61 6e 64 20 72 65 63 6f 72 64 5b 27 5f 70  d and record['_p
2610: 61 72 74 73 27 5d 20 3d 3d 20 73 70 61 63 65 6d  arts'] == spacem
2620: 61 70 2e 53 70 61 63 65 4d 61 70 28 29 3a 0a 09  ap.SpaceMap():..
2630: 09 09 09 09 69 66 20 27 43 6f 6e 74 65 6e 74 2d  ....if 'Content-
2640: 4c 65 6e 67 74 68 27 20 69 6e 20 72 65 63 6f 72  Length' in recor
2650: 64 20 61 6e 64 20 66 69 6c 65 5f 73 74 61 74 20  d and file_stat 
2660: 61 6e 64 20 66 69 6c 65 5f 73 74 61 74 2e 73 74  and file_stat.st
2670: 5f 73 69 7a 65 20 21 3d 20 69 6e 74 28 72 65 63  _size != int(rec
2680: 6f 72 64 5b 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e  ord['Content-Len
2690: 67 74 68 27 5d 29 3a 0a 09 09 09 09 09 09 69 6e  gth']):.......in
26a0: 66 6f 20 2b 3d 20 27 5c 6e 46 69 6c 65 20 73 69  fo += '\nFile si
26b0: 7a 65 20 69 73 20 7b 7d 20 61 6e 64 20 73 74 6f  ze is {} and sto
26c0: 72 65 64 20 66 69 6c 65 20 73 69 7a 65 20 69 73  red file size is
26d0: 20 7b 7d 2e 27 2e 66 6f 72 6d 61 74 28 66 69 6c   {}.'.format(fil
26e0: 65 5f 73 74 61 74 2e 73 74 5f 73 69 7a 65 2c 20  e_stat.st_size, 
26f0: 72 65 63 6f 72 64 5b 27 43 6f 6e 74 65 6e 74 2d  record['Content-
2700: 4c 65 6e 67 74 68 27 5d 29 0a 09 09 09 09 09 09  Length']).......
2710: 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d  record['_parts']
2720: 20 3d 20 4e 6f 6e 65 0a 09 09 09 09 09 09 72 65   = None.......re
2730: 6c 6f 61 64 20 3d 20 54 72 75 65 0a 0a 09 09 09  load = True.....
2740: 23 20 66 6f 72 63 69 62 6c 79 20 63 68 65 63 6b  # forcibly check
2750: 69 6e 67 20 66 69 6c 65 20 69 66 20 69 6e 64 65  ing file if inde
2760: 78 20 68 6f 6c 64 73 20 50 72 61 67 6d 61 20 68  x holds Pragma h
2770: 65 61 64 65 72 0a 09 09 09 69 66 20 6e 6f 74 20  eader....if not 
2780: 72 65 6c 6f 61 64 20 61 6e 64 20 27 50 72 61 67  reload and 'Prag
2790: 6d 61 27 20 69 6e 20 72 65 63 6f 72 64 20 61 6e  ma' in record an
27a0: 64 20 72 65 63 6f 72 64 5b 27 50 72 61 67 6d 61  d record['Pragma
27b0: 27 5d 20 3d 3d 20 27 6e 6f 2d 63 61 63 68 65 27  '] == 'no-cache'
27c0: 3a 0a 09 09 09 09 69 6e 66 6f 20 2b 3d 27 5c 6e  :.....info +='\n
27d0: 50 72 61 67 6d 61 20 6f 6e 3a 20 72 65 63 68 65  Pragma on: reche
27e0: 63 6b 20 69 6d 6d 69 6e 65 6e 74 2e 27 0a 09 09  ck imminent.'...
27f0: 09 09 72 65 63 68 65 63 6b 20 3d 20 54 72 75 65  ..recheck = True
2800: 0a 0a 09 09 09 23 20 73 6b 69 70 70 69 6e 67 20  .....# skipping 
2810: 66 69 6c 65 20 70 72 6f 63 65 73 73 69 6e 67 20  file processing 
2820: 69 66 20 74 68 65 72 65 27 73 20 6e 6f 20 6e 65  if there's no ne
2830: 65 64 20 74 6f 20 72 65 63 68 65 63 6b 20 69 74  ed to recheck it
2840: 20 61 6e 64 20 77 65 20 68 61 76 65 20 63 68 65   and we have che
2850: 63 6b 65 64 20 69 74 20 61 74 20 6c 65 61 73 74  cked it at least
2860: 20 34 20 68 6f 75 72 73 20 61 67 6f 0a 09 09 09   4 hours ago....
2870: 69 66 20 6e 6f 74 20 72 65 63 68 65 63 6b 20 61  if not recheck a
2880: 6e 64 20 6e 6f 74 20 72 65 6c 6f 61 64 20 61 6e  nd not reload an
2890: 64 20 27 5f 74 69 6d 65 27 20 69 6e 20 72 65 63  d '_time' in rec
28a0: 6f 72 64 20 61 6e 64 20 28 64 61 74 65 74 69 6d  ord and (datetim
28b0: 65 2e 64 61 74 65 74 69 6d 65 2e 6e 6f 77 28 29  e.datetime.now()
28c0: 20 2d 20 64 61 74 65 74 69 6d 65 2e 74 69 6d 65   - datetime.time
28d0: 64 65 6c 74 61 28 68 6f 75 72 73 20 3d 20 34 29  delta(hours = 4)
28e0: 20 2d 20 72 65 63 6f 72 64 5b 27 5f 74 69 6d 65   - record['_time
28f0: 27 5d 29 2e 64 61 79 73 20 3c 20 30 3a 0a 09 09  ']).days < 0:...
2900: 09 09 72 65 63 68 65 63 6b 20 3d 20 54 72 75 65  ..recheck = True
2910: 0a 0a 09 09 09 70 72 69 6e 74 28 69 6e 66 6f 29  .....print(info)
2920: 0a 09 09 09 69 66 20 72 65 6c 6f 61 64 20 6f 72  ....if reload or
2930: 20 72 65 63 68 65 63 6b 3a 0a 0a 09 09 09 09 74   recheck:......t
2940: 72 79 3a 0a 09 09 09 09 09 72 65 71 75 65 73 74  ry:......request
2950: 20 3d 20 27 68 74 74 70 3a 2f 2f 27 20 2b 20 63   = 'http://' + c
2960: 6f 6e 66 69 67 5b 27 72 6f 6f 74 27 5d 20 2b 20  onfig['root'] + 
2970: 73 65 6c 66 2e 70 61 74 68 0a 09 09 09 09 09 6d  self.path......m
2980: 79 5f 68 65 61 64 65 72 73 20 3d 20 7b 7d 0a 09  y_headers = {}..
2990: 09 09 09 09 66 6f 72 20 68 65 61 64 65 72 20 69  ....for header i
29a0: 6e 20 28 27 43 61 63 68 65 2d 43 6f 6e 74 72 6f  n ('Cache-Contro
29b0: 6c 27 2c 20 27 43 6f 6f 6b 69 65 27 2c 20 27 52  l', 'Cookie', 'R
29c0: 65 66 65 72 65 72 27 2c 20 27 55 73 65 72 2d 41  eferer', 'User-A
29d0: 67 65 6e 74 27 29 3a 0a 09 09 09 09 09 09 69 66  gent'):.......if
29e0: 20 68 65 61 64 65 72 20 69 6e 20 73 65 6c 66 2e   header in self.
29f0: 68 65 61 64 65 72 73 3a 0a 09 09 09 09 09 09 09  headers:........
2a00: 6d 79 5f 68 65 61 64 65 72 73 5b 68 65 61 64 65  my_headers[heade
2a10: 72 5d 20 3d 20 73 65 6c 66 2e 68 65 61 64 65 72  r] = self.header
2a20: 73 5b 68 65 61 64 65 72 5d 0a 0a 09 09 09 09 09  s[header].......
2a30: 6e 65 65 64 65 64 20 3d 20 4e 6f 6e 65 0a 09 09  needed = None...
2a40: 09 09 09 23 20 58 58 58 20 61 6e 64 20 69 66 20  ...# XXX and if 
2a50: 77 65 20 73 70 65 63 69 66 79 20 66 75 6c 6c 20  we specify full 
2a60: 66 69 6c 65 20 77 65 20 64 6f 6e 27 74 20 67 6f  file we don't go
2a70: 20 70 61 72 74 69 61 6c 3f 0a 09 09 09 09 09 69   partial?......i
2a80: 66 20 72 65 71 75 65 73 74 65 64 5f 72 61 6e 67  f requested_rang
2a90: 65 73 20 21 3d 20 4e 6f 6e 65 3a 0a 09 09 09 09  es != None:.....
2aa0: 09 09 69 66 20 27 5f 70 61 72 74 73 27 20 69 6e  ..if '_parts' in
2ab0: 20 72 65 63 6f 72 64 20 61 6e 64 20 72 65 63 6f   record and reco
2ac0: 72 64 5b 27 5f 70 61 72 74 73 27 5d 20 21 3d 20  rd['_parts'] != 
2ad0: 4e 6f 6e 65 3a 0a 09 09 09 09 09 09 09 69 66 20  None:........if 
2ae0: 63 6f 6e 66 69 67 5b 27 6e 6f 70 61 72 74 73 27  config['noparts'
2af0: 5d 3a 0a 09 09 09 09 09 09 09 09 6e 65 65 64 65  ]:.........neede
2b00: 64 20 3d 20 72 65 63 6f 72 64 5b 27 5f 70 61 72  d = record['_par
2b10: 74 73 27 5d 0a 09 09 09 09 09 09 09 65 6c 73 65  ts']........else
2b20: 3a 0a 09 09 09 09 09 09 09 09 6e 65 65 64 65 64  :.........needed
2b30: 20 3d 20 72 65 63 6f 72 64 5b 27 5f 70 61 72 74   = record['_part
2b40: 73 27 5d 20 7c 20 72 65 71 75 65 73 74 65 64 5f  s'] | requested_
2b50: 72 61 6e 67 65 73 0a 09 09 09 09 09 09 65 6c 69  ranges.......eli
2b60: 66 20 6e 6f 74 20 63 6f 6e 66 69 67 5b 27 6e 6f  f not config['no
2b70: 70 61 72 74 73 27 5d 3a 0a 09 09 09 09 09 09 09  parts']:........
2b80: 6e 65 65 64 65 64 20 3d 20 72 65 71 75 65 73 74  needed = request
2b90: 65 64 5f 72 61 6e 67 65 73 0a 09 09 09 09 09 09  ed_ranges.......
2ba0: 72 61 6e 67 65 73 20 3d 20 28 29 0a 09 09 09 09  ranges = ().....
2bb0: 09 09 70 72 69 6e 74 28 27 4d 69 73 73 69 6e 67  ..print('Missing
2bc0: 20 72 61 6e 67 65 73 3a 20 7b 7d 2c 20 72 65 71   ranges: {}, req
2bd0: 75 65 73 74 65 64 20 72 61 6e 67 65 73 3a 20 7b  uested ranges: {
2be0: 7d 2c 20 6e 65 65 64 65 64 20 72 61 6e 67 65 73  }, needed ranges
2bf0: 3a 20 7b 7d 2e 27 2e 66 6f 72 6d 61 74 28 72 65  : {}.'.format(re
2c00: 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d 2c 20  cord['_parts'], 
2c10: 72 65 71 75 65 73 74 65 64 5f 72 61 6e 67 65 73  requested_ranges
2c20: 2c 20 6e 65 65 64 65 64 29 29 0a 09 09 09 09 09  , needed))......
2c30: 09 69 66 20 6e 65 65 64 65 64 20 21 3d 20 4e 6f  .if needed != No
2c40: 6e 65 20 61 6e 64 20 6c 65 6e 28 6e 65 65 64 65  ne and len(neede
2c50: 64 29 20 3e 20 30 3a 0a 09 09 09 09 09 09 09 6e  d) > 0:........n
2c60: 65 65 64 65 64 2e 72 65 77 69 6e 64 28 29 0a 09  eeded.rewind()..
2c70: 09 09 09 09 09 09 77 68 69 6c 65 20 54 72 75 65  ......while True
2c80: 3a 0a 09 09 09 09 09 09 09 09 72 61 6e 67 65 20  :.........range 
2c90: 3d 20 6e 65 65 64 65 64 2e 70 6f 70 28 29 0a 09  = needed.pop()..
2ca0: 09 09 09 09 09 09 09 69 66 20 72 61 6e 67 65 5b  .......if range[
2cb0: 30 5d 20 3d 3d 20 4e 6f 6e 65 3a 0a 09 09 09 09  0] == None:.....
2cc0: 09 09 09 09 09 62 72 65 61 6b 0a 09 09 09 09 09  .....break......
2cd0: 09 09 09 72 61 6e 67 65 73 20 2b 3d 20 27 7b 7d  ...ranges += '{}
2ce0: 2d 7b 7d 27 2e 66 6f 72 6d 61 74 28 72 61 6e 67  -{}'.format(rang
2cf0: 65 5b 30 5d 2c 20 72 61 6e 67 65 5b 31 5d 20 2d  e[0], range[1] -
2d00: 20 31 29 2c 0a 09 09 09 09 09 09 09 6d 79 5f 68   1),........my_h
2d10: 65 61 64 65 72 73 5b 27 52 61 6e 67 65 27 5d 20  eaders['Range'] 
2d20: 3d 20 27 62 79 74 65 73 3d 27 20 2b 20 27 2c 27  = 'bytes=' + ','
2d30: 2e 6a 6f 69 6e 28 72 61 6e 67 65 73 29 0a 0a 09  .join(ranges)...
2d40: 09 09 09 09 72 65 71 75 65 73 74 20 3d 20 75 72  ....request = ur
2d50: 6c 6c 69 62 2e 72 65 71 75 65 73 74 2e 52 65 71  llib.request.Req
2d60: 75 65 73 74 28 72 65 71 75 65 73 74 2c 20 68 65  uest(request, he
2d70: 61 64 65 72 73 20 3d 20 6d 79 5f 68 65 61 64 65  aders = my_heade
2d80: 72 73 29 0a 0a 09 09 09 09 09 77 69 74 68 20 75  rs).......with u
2d90: 72 6c 6c 69 62 2e 72 65 71 75 65 73 74 2e 75 72  rllib.request.ur
2da0: 6c 6f 70 65 6e 28 72 65 71 75 65 73 74 29 20 61  lopen(request) a
2db0: 73 20 73 6f 75 72 63 65 3a 0a 09 09 09 09 09 09  s source:.......
2dc0: 6e 65 77 5f 72 65 63 6f 72 64 20 3d 20 7b 7d 0a  new_record = {}.
2dd0: 09 09 09 09 09 09 6e 65 77 5f 72 65 63 6f 72 64  ......new_record
2de0: 5b 27 5f 70 61 72 74 73 27 5d 20 3d 20 72 65 63  ['_parts'] = rec
2df0: 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d 0a 09 09  ord['_parts']...
2e00: 09 09 09 09 68 65 61 64 65 72 73 20 3d 20 73 6f  ....headers = so
2e10: 75 72 63 65 2e 69 6e 66 6f 28 29 0a 0a 09 09 09  urce.info().....
2e20: 09 09 09 23 20 73 74 72 69 70 70 69 6e 67 20 75  ...# stripping u
2e30: 6e 6e 65 65 64 65 64 20 68 65 61 64 65 72 73 20  nneeded headers 
2e40: 28 58 58 58 20 6d 61 6b 65 20 74 68 69 73 20 69  (XXX make this i
2e50: 6e 70 6c 61 63 65 3f 29 0a 09 09 09 09 09 09 66  nplace?).......f
2e60: 6f 72 20 68 65 61 64 65 72 20 69 6e 20 68 65 61  or header in hea
2e70: 64 65 72 73 3a 0a 09 09 09 09 09 09 09 69 66 20  ders:........if 
2e80: 68 65 61 64 65 72 20 69 6e 20 64 65 73 63 5f 66  header in desc_f
2e90: 69 65 6c 64 73 3a 0a 09 09 09 09 09 09 09 09 23  ields:.........#
2ea0: 69 66 20 68 65 61 64 65 72 20 3d 3d 20 27 50 72  if header == 'Pr
2eb0: 61 67 6d 61 27 20 61 6e 64 20 68 65 61 64 65 72  agma' and header
2ec0: 73 5b 68 65 61 64 65 72 5d 20 21 3d 20 27 6e 6f  s[header] != 'no
2ed0: 2d 63 61 63 68 65 27 3a 0a 09 09 09 09 09 09 09  -cache':........
2ee0: 09 69 66 20 68 65 61 64 65 72 20 3d 3d 20 27 43  .if header == 'C
2ef0: 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 3a 0a  ontent-Length':.
2f00: 09 09 09 09 09 09 09 09 09 69 66 20 27 43 6f 6e  .........if 'Con
2f10: 74 65 6e 74 2d 52 61 6e 67 65 27 20 6e 6f 74 20  tent-Range' not 
2f20: 69 6e 20 68 65 61 64 65 72 73 3a 0a 09 09 09 09  in headers:.....
2f30: 09 09 09 09 09 09 6e 65 77 5f 72 65 63 6f 72 64  ......new_record
2f40: 5b 68 65 61 64 65 72 5d 20 3d 20 69 6e 74 28 68  [header] = int(h
2f50: 65 61 64 65 72 73 5b 68 65 61 64 65 72 5d 29 0a  eaders[header]).
2f60: 09 09 09 09 09 09 09 09 65 6c 73 65 3a 0a 09 09  ........else:...
2f70: 09 09 09 09 09 09 09 6e 65 77 5f 72 65 63 6f 72  .......new_recor
2f80: 64 5b 68 65 61 64 65 72 5d 20 3d 20 68 65 61 64  d[header] = head
2f90: 65 72 73 5b 68 65 61 64 65 72 5d 0a 09 09 09 09  ers[header].....
2fa0: 09 09 09 65 6c 69 66 20 68 65 61 64 65 72 20 3d  ...elif header =
2fb0: 3d 20 27 43 6f 6e 74 65 6e 74 2d 52 61 6e 67 65  = 'Content-Range
2fc0: 27 3a 0a 09 09 09 09 09 09 09 09 72 61 6e 67 65  ':.........range
2fd0: 20 3d 20 72 65 2e 63 6f 6d 70 69 6c 65 28 27 5e   = re.compile('^
2fe0: 62 79 74 65 73 20 28 5c 64 2b 29 2d 28 5c 64 2b  bytes (\d+)-(\d+
2ff0: 29 2f 28 5c 64 2b 29 24 27 29 2e 6d 61 74 63 68  )/(\d+)$').match
3000: 28 68 65 61 64 65 72 73 5b 68 65 61 64 65 72 5d  (headers[header]
3010: 29 0a 09 09 09 09 09 09 09 09 69 66 20 72 61 6e  ).........if ran
3020: 67 65 3a 0a 09 09 09 09 09 09 09 09 09 6e 65 77  ge:..........new
3030: 5f 72 65 63 6f 72 64 5b 27 43 6f 6e 74 65 6e 74  _record['Content
3040: 2d 4c 65 6e 67 74 68 27 5d 20 3d 20 69 6e 74 28  -Length'] = int(
3050: 72 61 6e 67 65 2e 67 72 6f 75 70 28 33 29 29 0a  range.group(3)).
3060: 09 09 09 09 09 09 09 09 65 6c 73 65 3a 09 0a 09  ........else:...
3070: 09 09 09 09 09 09 09 09 61 73 73 65 72 74 20 46  ........assert F
3080: 61 6c 73 65 2c 20 27 43 6f 6e 74 65 6e 74 2d 52  alse, 'Content-R
3090: 61 6e 67 65 20 75 6e 72 65 63 6f 67 6e 69 7a 65  ange unrecognize
30a0: 64 2e 27 0a 09 09 09 09 09 09 09 65 6c 69 66 20  d.'........elif 
30b0: 6e 6f 74 20 68 65 61 64 65 72 20 69 6e 20 69 67  not header in ig
30c0: 6e 6f 72 65 5f 66 69 65 6c 64 73 3a 0a 09 09 09  nore_fields:....
30d0: 09 09 09 09 09 70 72 69 6e 74 28 27 55 6e 64 65  .....print('Unde
30e0: 66 69 6e 65 64 20 68 65 61 64 65 72 20 22 27 2c  fined header "',
30f0: 20 68 65 61 64 65 72 2c 20 27 22 3a 20 27 2c 20   header, '": ', 
3100: 68 65 61 64 65 72 73 5b 68 65 61 64 65 72 5d 2c  headers[header],
3110: 20 73 65 70 3d 27 27 29 0a 0a 09 09 09 09 09 09   sep='')........
3120: 23 20 63 6f 6d 70 61 72 69 6e 67 20 68 65 61 64  # comparing head
3130: 65 72 73 20 77 69 74 68 20 64 61 74 61 20 66 6f  ers with data fo
3140: 75 6e 64 20 69 6e 20 69 6e 64 65 78 0a 09 09 09  und in index....
3150: 09 09 09 23 20 69 66 20 61 6e 79 20 68 65 61 64  ...# if any head
3160: 65 72 20 68 61 73 20 63 68 61 6e 67 65 64 20 28  er has changed (
3170: 65 78 63 65 70 74 20 50 72 61 67 6d 61 29 20 66  except Pragma) f
3180: 69 6c 65 20 69 73 20 66 75 6c 6c 79 20 64 6f 77  ile is fully dow
3190: 6e 6c 6f 61 64 65 64 0a 09 09 09 09 09 09 23 20  nloaded.......# 
31a0: 73 61 6d 65 20 69 66 20 77 65 20 67 65 74 20 6d  same if we get m
31b0: 6f 72 65 20 6f 72 20 6c 65 73 73 20 68 65 61 64  ore or less head
31c0: 65 72 73 0a 09 09 09 09 09 09 6f 6c 64 5f 6b 65  ers.......old_ke
31d0: 79 73 20 3d 20 73 65 74 28 72 65 63 6f 72 64 2e  ys = set(record.
31e0: 6b 65 79 73 28 29 29 0a 09 09 09 09 09 09 6f 6c  keys()).......ol
31f0: 64 5f 6b 65 79 73 2e 64 69 73 63 61 72 64 28 27  d_keys.discard('
3200: 5f 74 69 6d 65 27 29 0a 09 09 09 09 09 09 6f 6c  _time').......ol
3210: 64 5f 6b 65 79 73 2e 64 69 73 63 61 72 64 28 27  d_keys.discard('
3220: 50 72 61 67 6d 61 27 29 0a 09 09 09 09 09 09 6d  Pragma').......m
3230: 6f 72 65 5f 6b 65 79 73 20 3d 20 73 65 74 28 6e  ore_keys = set(n
3240: 65 77 5f 72 65 63 6f 72 64 2e 6b 65 79 73 28 29  ew_record.keys()
3250: 29 20 2d 20 6f 6c 64 5f 6b 65 79 73 0a 09 09 09  ) - old_keys....
3260: 09 09 09 6d 6f 72 65 5f 6b 65 79 73 2e 64 69 73  ...more_keys.dis
3270: 63 61 72 64 28 27 50 72 61 67 6d 61 27 29 0a 09  card('Pragma')..
3280: 09 09 09 09 09 6c 65 73 73 5f 6b 65 79 73 20 3d  .....less_keys =
3290: 20 6f 6c 64 5f 6b 65 79 73 20 2d 20 73 65 74 28   old_keys - set(
32a0: 6e 65 77 5f 72 65 63 6f 72 64 2e 6b 65 79 73 28  new_record.keys(
32b0: 29 29 0a 09 09 09 09 09 09 69 66 20 6c 65 6e 28  )).......if len(
32c0: 6d 6f 72 65 5f 6b 65 79 73 29 20 3e 20 30 3a 0a  more_keys) > 0:.
32d0: 09 09 09 09 09 09 09 69 66 20 6e 6f 74 20 6c 65  .......if not le
32e0: 6e 28 6f 6c 64 5f 6b 65 79 73 29 20 3d 3d 20 30  n(old_keys) == 0
32f0: 3a 0a 09 09 09 09 09 09 09 09 70 72 69 6e 74 28  :.........print(
3300: 27 4d 6f 72 65 20 68 65 61 64 65 72 73 20 61 70  'More headers ap
3310: 70 65 61 72 3a 27 2c 20 6d 6f 72 65 5f 6b 65 79  pear:', more_key
3320: 73 29 0a 09 09 09 09 09 09 09 72 65 6c 6f 61 64  s)........reload
3330: 20 3d 20 54 72 75 65 0a 09 09 09 09 09 09 65 6c   = True.......el
3340: 69 66 20 6c 65 6e 28 6c 65 73 73 5f 6b 65 79 73  if len(less_keys
3350: 29 20 3e 20 30 3a 0a 09 09 09 09 09 09 09 70 72  ) > 0:........pr
3360: 69 6e 74 28 27 4c 65 73 73 20 68 65 61 64 65 72  int('Less header
3370: 73 20 61 70 70 65 61 72 3a 27 2c 20 6c 65 73 73  s appear:', less
3380: 5f 6b 65 79 73 29 0a 09 09 09 09 09 09 65 6c 73  _keys).......els
3390: 65 3a 0a 09 09 09 09 09 09 09 66 6f 72 20 6b 65  e:........for ke
33a0: 79 20 69 6e 20 72 65 63 6f 72 64 2e 6b 65 79 73  y in record.keys
33b0: 28 29 3a 0a 09 09 09 09 09 09 09 09 69 66 20 6b  ():.........if k
33c0: 65 79 5b 30 5d 20 21 3d 20 27 5f 27 20 61 6e 64  ey[0] != '_' and
33d0: 20 6b 65 79 20 21 3d 20 27 50 72 61 67 6d 61 27   key != 'Pragma'
33e0: 20 61 6e 64 20 6e 6f 74 20 72 65 63 6f 72 64 5b   and not record[
33f0: 6b 65 79 5d 20 3d 3d 20 6e 65 77 5f 72 65 63 6f  key] == new_reco
3400: 72 64 5b 6b 65 79 5d 3a 0a 09 09 09 09 09 09 09  rd[key]:........
3410: 09 09 70 72 69 6e 74 28 27 48 65 61 64 65 72 20  ..print('Header 
3420: 22 27 2c 20 6b 65 79 2c 20 27 22 20 63 68 61 6e  "', key, '" chan
3430: 67 65 64 20 66 72 6f 6d 20 5b 27 2c 20 72 65 63  ged from [', rec
3440: 6f 72 64 5b 6b 65 79 5d 2c 20 27 5d 20 74 6f 20  ord[key], '] to 
3450: 5b 27 2c 20 6e 65 77 5f 72 65 63 6f 72 64 5b 6b  [', new_record[k
3460: 65 79 5d 2c 20 27 5d 27 2c 20 73 65 70 3d 27 27  ey], ']', sep=''
3470: 29 0a 09 09 09 09 09 09 09 09 09 70 72 69 6e 74  )..........print
3480: 28 74 79 70 65 28 72 65 63 6f 72 64 5b 6b 65 79  (type(record[key
3490: 5d 29 2c 20 74 79 70 65 28 6e 65 77 5f 72 65 63  ]), type(new_rec
34a0: 6f 72 64 5b 6b 65 79 5d 29 29 0a 09 09 09 09 09  ord[key]))......
34b0: 09 09 09 09 72 65 6c 6f 61 64 20 3d 20 54 72 75  ....reload = Tru
34c0: 65 0a 0a 09 09 09 09 09 09 69 66 20 72 65 6c 6f  e........if relo
34d0: 61 64 3a 0a 09 09 09 09 09 09 09 70 72 69 6e 74  ad:........print
34e0: 28 27 52 65 6c 6f 61 64 69 6e 67 2e 27 29 0a 09  ('Reloading.')..
34f0: 09 09 09 09 09 09 69 66 20 6f 73 2e 61 63 63 65  ......if os.acce
3500: 73 73 28 74 65 6d 70 5f 6e 61 6d 65 2c 20 6f 73  ss(temp_name, os
3510: 2e 52 5f 4f 4b 29 3a 0a 09 09 09 09 09 09 09 09  .R_OK):.........
3520: 6f 73 2e 75 6e 6c 69 6e 6b 28 74 65 6d 70 5f 6e  os.unlink(temp_n
3530: 61 6d 65 29 0a 09 09 09 09 09 09 09 69 66 20 6f  ame)........if o
3540: 73 2e 61 63 63 65 73 73 28 66 69 6c 65 5f 6e 61  s.access(file_na
3550: 6d 65 2c 20 6f 73 2e 52 5f 4f 4b 29 3a 0a 09 09  me, os.R_OK):...
3560: 09 09 09 09 09 09 6f 73 2e 75 6e 6c 69 6e 6b 28  ......os.unlink(
3570: 66 69 6c 65 5f 6e 61 6d 65 29 0a 09 09 09 09 09  file_name)......
3580: 09 09 6e 65 77 5f 72 65 63 6f 72 64 5b 27 5f 70  ..new_record['_p
3590: 61 72 74 73 27 5d 20 3d 20 73 70 61 63 65 6d 61  arts'] = spacema
35a0: 70 2e 53 70 61 63 65 4d 61 70 28 7b 30 3a 20 69  p.SpaceMap({0: i
35b0: 6e 74 28 6e 65 77 5f 72 65 63 6f 72 64 5b 27 43  nt(new_record['C
35c0: 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 5d 29  ontent-Length'])
35d0: 7d 29 0a 09 09 09 09 09 09 70 72 69 6e 74 28 6e  }).......print(n
35e0: 65 77 5f 72 65 63 6f 72 64 29 0a 0a 09 09 09 09  ew_record)......
35f0: 09 09 23 20 64 6f 77 6e 6c 6f 61 64 69 6e 67 20  ..# downloading 
3600: 66 69 6c 65 20 6f 72 20 73 65 67 6d 65 6e 74 0a  file or segment.
3610: 09 09 09 09 09 09 69 66 20 27 43 6f 6e 74 65 6e  ......if 'Conten
3620: 74 2d 4c 65 6e 67 74 68 27 20 69 6e 20 6e 65 77  t-Length' in new
3630: 5f 72 65 63 6f 72 64 3a 0a 09 09 09 09 09 09 09  _record:........
3640: 69 66 20 6e 65 65 64 65 64 20 3d 3d 20 4e 6f 6e  if needed == Non
3650: 65 3a 0a 09 09 09 09 09 09 09 09 6e 65 65 64 65  e:.........neede
3660: 64 20 3d 20 6e 65 77 5f 72 65 63 6f 72 64 5b 27  d = new_record['
3670: 5f 70 61 72 74 73 27 5d 0a 09 09 09 09 09 09 09  _parts']........
3680: 65 6c 73 65 3a 0a 09 09 09 09 09 09 09 09 69 66  else:.........if
3690: 20 6c 65 6e 28 6e 65 65 64 65 64 29 20 3e 20 31   len(needed) > 1
36a0: 3a 0a 09 09 09 09 09 09 09 09 09 70 72 69 6e 74  :..........print
36b0: 28 22 4d 75 6c 74 69 70 61 72 74 20 72 65 71 75  ("Multipart requ
36c0: 65 73 74 73 20 63 75 72 72 65 6e 74 6c 79 20 6e  ests currently n
36d0: 6f 74 20 73 75 70 70 6f 72 74 65 64 2e 22 29 0a  ot supported.").
36e0: 09 09 09 09 09 09 09 09 09 61 73 73 65 72 74 20  .........assert 
36f0: 46 61 6c 73 65 2c 20 27 53 6b 69 70 20 74 68 69  False, 'Skip thi
3700: 73 20 6f 6e 65 20 66 6f 72 20 6e 6f 77 2e 27 0a  s one for now.'.
3710: 09 09 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 09  ......else:.....
3720: 09 09 09 61 73 73 65 72 74 20 46 61 6c 73 65 2c  ...assert False,
3730: 20 27 4e 6f 20 43 6f 6e 74 65 6e 74 2d 4c 65 6e   'No Content-Len
3740: 67 74 68 20 6f 72 20 43 6f 6e 74 65 6e 74 2d 52  gth or Content-R
3750: 61 6e 67 65 20 68 65 61 64 65 72 2e 27 0a 0a 09  ange header.'...
3760: 09 09 09 09 09 6e 65 77 5f 72 65 63 6f 72 64 5b  .....new_record[
3770: 27 5f 74 69 6d 65 27 5d 20 3d 20 64 61 74 65 74  '_time'] = datet
3780: 69 6d 65 2e 64 61 74 65 74 69 6d 65 2e 6e 6f 77  ime.datetime.now
3790: 28 29 0a 09 09 09 09 09 09 69 66 20 73 65 6c 66  ().......if self
37a0: 2e 63 6f 6d 6d 61 6e 64 20 6e 6f 74 20 69 6e 20  .command not in 
37b0: 28 27 48 45 41 44 27 29 3a 0a 09 09 09 09 09 09  ('HEAD'):.......
37c0: 09 23 20 66 69 6c 65 20 69 73 20 63 72 65 61 74  .# file is creat
37d0: 65 64 20 61 74 20 74 65 6d 70 6f 72 61 72 79 20  ed at temporary 
37e0: 6c 6f 63 61 74 69 6f 6e 20 61 6e 64 20 6d 6f 76  location and mov
37f0: 65 64 20 69 6e 20 70 6c 61 63 65 20 6f 6e 6c 79  ed in place only
3800: 20 77 68 65 6e 20 64 6f 77 6e 6c 6f 61 64 20 63   when download c
3810: 6f 6d 70 6c 65 74 65 73 0a 09 09 09 09 09 09 09  ompletes........
3820: 69 66 20 6e 6f 74 20 6f 73 2e 61 63 63 65 73 73  if not os.access
3830: 28 74 65 6d 70 5f 6e 61 6d 65 2c 20 6f 73 2e 52  (temp_name, os.R
3840: 5f 4f 4b 29 3a 0a 09 09 09 09 09 09 09 09 65 6d  _OK):.........em
3850: 70 74 79 5f 6e 61 6d 65 20 3d 20 63 6f 6e 66 69  pty_name = confi
3860: 67 5b 27 64 69 72 27 5d 20 2b 20 6f 73 2e 73 65  g['dir'] + os.se
3870: 70 20 2b 20 27 2e 74 6d 70 27 0a 09 09 09 09 09  p + '.tmp'......
3880: 09 09 09 77 69 74 68 20 6f 70 65 6e 28 65 6d 70  ...with open(emp
3890: 74 79 5f 6e 61 6d 65 2c 20 27 77 2b 62 27 29 20  ty_name, 'w+b') 
38a0: 61 73 20 73 6f 6d 65 5f 66 69 6c 65 3a 0a 09 09  as some_file:...
38b0: 09 09 09 09 09 09 09 70 61 73 73 0a 09 09 09 09  .......pass.....
38c0: 09 09 09 09 6f 73 2e 72 65 6e 61 6d 65 73 28 65  ....os.renames(e
38d0: 6d 70 74 79 5f 6e 61 6d 65 2c 20 74 65 6d 70 5f  mpty_name, temp_
38e0: 6e 61 6d 65 29 0a 09 09 09 09 09 09 09 74 65 6d  name)........tem
38f0: 70 5f 66 69 6c 65 20 3d 20 6f 70 65 6e 28 74 65  p_file = open(te
3900: 6d 70 5f 6e 61 6d 65 2c 20 27 72 2b 62 27 29 0a  mp_name, 'r+b').
3910: 09 09 09 09 09 09 09 6e 65 65 64 65 64 2e 72 65  .......needed.re
3920: 77 69 6e 64 28 29 0a 09 09 09 09 09 09 09 77 68  wind()........wh
3930: 69 6c 65 20 54 72 75 65 3a 0a 09 09 09 09 09 09  ile True:.......
3940: 09 09 28 73 74 61 72 74 2c 20 65 6e 64 29 20 3d  ..(start, end) =
3950: 20 6e 65 65 64 65 64 2e 70 6f 70 28 29 0a 09 09   needed.pop()...
3960: 09 09 09 09 09 09 69 66 20 73 74 61 72 74 20 3d  ......if start =
3970: 3d 20 4e 6f 6e 65 3a 0a 09 09 09 09 09 09 09 09  = None:.........
3980: 09 62 72 65 61 6b 0a 09 09 09 09 09 09 09 09 73  .break.........s
3990: 74 72 65 61 6d 5f 6c 61 73 74 20 3d 20 73 74 61  tream_last = sta
39a0: 72 74 0a 09 09 09 09 09 09 09 09 6f 6c 64 5f 72  rt.........old_r
39b0: 65 63 6f 72 64 20 3d 20 6e 65 77 5f 72 65 63 6f  ecord = new_reco
39c0: 72 64 0a 09 09 09 09 09 09 09 09 69 66 20 65 6e  rd.........if en
39d0: 64 20 2d 20 73 74 61 72 74 20 3c 20 62 6c 6f 63  d - start < bloc
39e0: 6b 5f 73 69 7a 65 3a 0a 09 09 09 09 09 09 09 09  k_size:.........
39f0: 09 72 65 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 20  .req_block_size 
3a00: 3d 20 65 6e 64 20 2d 20 73 74 61 72 74 0a 09 09  = end - start...
3a10: 09 09 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 09  ......else:.....
3a20: 09 09 09 09 09 72 65 71 5f 62 6c 6f 63 6b 5f 73  .....req_block_s
3a30: 69 7a 65 20 3d 20 62 6c 6f 63 6b 5f 73 69 7a 65  ize = block_size
3a40: 0a 09 09 09 09 09 09 09 09 62 75 66 66 65 72 20  .........buffer 
3a50: 3d 20 73 6f 75 72 63 65 2e 72 65 61 64 28 72 65  = source.read(re
3a60: 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 29 0a 09 09  q_block_size)...
3a70: 09 09 09 09 09 09 6c 65 6e 67 74 68 20 3d 20 6c  ......length = l
3a80: 65 6e 28 62 75 66 66 65 72 29 0a 09 09 09 09 09  en(buffer)......
3a90: 09 09 09 77 68 69 6c 65 20 6c 65 6e 67 74 68 20  ...while length 
3aa0: 3e 20 30 20 61 6e 64 20 73 74 72 65 61 6d 5f 6c  > 0 and stream_l
3ab0: 61 73 74 20 3c 20 65 6e 64 3a 0a 09 09 09 09 09  ast < end:......
3ac0: 09 09 09 09 73 74 72 65 61 6d 5f 70 6f 73 20 3d  ....stream_pos =
3ad0: 20 73 74 72 65 61 6d 5f 6c 61 73 74 20 2b 20 6c   stream_last + l
3ae0: 65 6e 67 74 68 0a 09 09 09 09 09 09 09 09 09 61  ength..........a
3af0: 73 73 65 72 74 20 6e 6f 74 20 73 74 72 65 61 6d  ssert not stream
3b00: 5f 70 6f 73 20 3e 20 65 6e 64 2c 20 27 52 65 63  _pos > end, 'Rec
3b10: 65 69 76 65 64 20 6d 6f 72 65 20 64 61 74 61 20  eived more data 
3b20: 74 68 65 6e 20 72 65 71 75 65 73 74 65 64 3a 20  then requested: 
3b30: 70 6f 73 3a 7b 7d 20 73 74 61 72 74 3a 7b 7d 20  pos:{} start:{} 
3b40: 65 6e 64 3a 7b 7d 2e 27 2e 66 6f 72 6d 61 74 28  end:{}.'.format(
3b50: 73 74 72 65 61 6d 5f 70 6f 73 2c 20 73 74 61 72  stream_pos, star
3b60: 74 2c 20 65 6e 64 29 0a 09 09 09 09 09 09 09 09  t, end).........
3b70: 09 74 65 6d 70 5f 66 69 6c 65 2e 73 65 65 6b 28  .temp_file.seek(
3b80: 73 74 72 65 61 6d 5f 6c 61 73 74 29 0a 09 09 09  stream_last)....
3b90: 09 09 09 09 09 09 74 65 6d 70 5f 66 69 6c 65 2e  ......temp_file.
3ba0: 77 72 69 74 65 28 62 75 66 66 65 72 29 0a 09 09  write(buffer)...
3bb0: 09 09 09 09 09 09 09 6e 65 77 5f 72 65 63 6f 72  .......new_recor
3bc0: 64 5b 27 5f 70 61 72 74 73 27 5d 20 3d 20 6e 65  d['_parts'] = ne
3bd0: 77 5f 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 73  w_record['_parts
3be0: 27 5d 20 2d 20 73 70 61 63 65 6d 61 70 2e 53 70  '] - spacemap.Sp
3bf0: 61 63 65 4d 61 70 28 7b 73 74 72 65 61 6d 5f 6c  aceMap({stream_l
3c00: 61 73 74 3a 20 73 74 72 65 61 6d 5f 70 6f 73 7d  ast: stream_pos}
3c10: 29 0a 09 09 09 09 09 09 09 09 09 69 6e 64 65 78  )..........index
3c20: 5b 6d 79 5f 70 61 74 68 5d 20 3d 20 6f 6c 64 5f  [my_path] = old_
3c30: 72 65 63 6f 72 64 0a 09 09 09 09 09 09 09 09 09  record..........
3c40: 69 6e 64 65 78 2e 73 79 6e 63 28 29 0a 09 09 09  index.sync()....
3c50: 09 09 09 09 09 09 6f 6c 64 5f 72 65 63 6f 72 64  ......old_record
3c60: 20 3d 20 6e 65 77 5f 72 65 63 6f 72 64 0a 09 09   = new_record...
3c70: 09 09 09 09 09 09 09 73 74 72 65 61 6d 5f 6c 61  .......stream_la
3c80: 73 74 20 3d 20 73 74 72 65 61 6d 5f 70 6f 73 0a  st = stream_pos.
3c90: 09 09 09 09 09 09 09 09 09 69 66 20 65 6e 64 20  .........if end 
3ca0: 2d 20 73 74 72 65 61 6d 5f 6c 61 73 74 20 3c 20  - stream_last < 
3cb0: 62 6c 6f 63 6b 5f 73 69 7a 65 3a 0a 09 09 09 09  block_size:.....
3cc0: 09 09 09 09 09 09 72 65 71 5f 62 6c 6f 63 6b 5f  ......req_block_
3cd0: 73 69 7a 65 20 3d 20 65 6e 64 20 2d 20 73 74 72  size = end - str
3ce0: 65 61 6d 5f 6c 61 73 74 0a 09 09 09 09 09 09 09  eam_last........
3cf0: 09 09 62 75 66 66 65 72 20 3d 20 73 6f 75 72 63  ..buffer = sourc
3d00: 65 2e 72 65 61 64 28 72 65 71 5f 62 6c 6f 63 6b  e.read(req_block
3d10: 5f 73 69 7a 65 29 0a 09 09 09 09 09 09 09 09 09  _size)..........
3d20: 6c 65 6e 67 74 68 20 3d 20 6c 65 6e 28 62 75 66  length = len(buf
3d30: 66 65 72 29 0a 09 09 09 09 09 09 09 23 20 6d 6f  fer)........# mo
3d40: 76 69 6e 67 20 64 6f 77 6e 6c 6f 61 64 65 64 20  ving downloaded 
3d50: 64 61 74 61 20 74 6f 20 72 65 61 6c 20 66 69 6c  data to real fil
3d60: 65 0a 09 09 09 09 09 09 09 74 65 6d 70 5f 66 69  e........temp_fi
3d70: 6c 65 2e 63 6c 6f 73 65 28 29 0a 0a 09 09 09 09  le.close()......
3d80: 09 09 70 72 69 6e 74 28 6e 65 77 5f 72 65 63 6f  ..print(new_reco
3d90: 72 64 29 0a 09 09 09 09 09 09 69 6e 64 65 78 5b  rd).......index[
3da0: 6d 79 5f 70 61 74 68 5d 20 3d 20 6e 65 77 5f 72  my_path] = new_r
3db0: 65 63 6f 72 64 0a 09 09 09 09 09 09 69 6e 64 65  ecord.......inde
3dc0: 78 2e 73 79 6e 63 28 29 0a 0a 09 09 09 09 65 78  x.sync()......ex
3dd0: 63 65 70 74 20 75 72 6c 6c 69 62 2e 65 72 72 6f  cept urllib.erro
3de0: 72 2e 48 54 54 50 45 72 72 6f 72 20 61 73 20 65  r.HTTPError as e
3df0: 72 72 6f 72 3a 0a 09 09 09 09 09 23 20 69 6e 20  rror:......# in 
3e00: 63 61 73 65 20 6f 66 20 65 72 72 6f 72 20 77 65  case of error we
3e10: 20 64 6f 6e 27 74 20 6e 65 65 64 20 74 6f 20 64   don't need to d
3e20: 6f 20 61 6e 79 74 68 69 6e 67 20 61 63 74 75 61  o anything actua
3e30: 6c 6c 79 2c 0a 09 09 09 09 09 23 20 69 66 20 66  lly,......# if f
3e40: 69 6c 65 20 64 6f 77 6e 6c 6f 61 64 20 73 74 61  ile download sta
3e50: 6c 6c 73 20 6f 72 20 66 61 69 6c 73 20 74 68 65  lls or fails the
3e60: 20 66 69 6c 65 20 77 6f 75 6c 64 20 6e 6f 74 20   file would not 
3e70: 62 65 20 6d 6f 76 65 64 20 74 6f 20 69 74 27 73  be moved to it's
3e80: 20 6c 6f 63 61 74 69 6f 6e 0a 09 09 09 09 09 70   location......p
3e90: 72 69 6e 74 28 65 72 72 6f 72 29 0a 0a 09 09 09  rint(error).....
3ea0: 69 66 20 6e 6f 74 20 6f 73 2e 61 63 63 65 73 73  if not os.access
3eb0: 28 66 69 6c 65 5f 6e 61 6d 65 2c 20 6f 73 2e 52  (file_name, os.R
3ec0: 5f 4f 4b 29 20 61 6e 64 20 6f 73 2e 61 63 63 65  _OK) and os.acce
3ed0: 73 73 28 74 65 6d 70 5f 6e 61 6d 65 2c 20 6f 73  ss(temp_name, os
3ee0: 2e 52 5f 4f 4b 29 20 61 6e 64 20 27 5f 70 61 72  .R_OK) and '_par
3ef0: 74 73 27 20 69 6e 20 69 6e 64 65 78 5b 6d 79 5f  ts' in index[my_
3f00: 70 61 74 68 5d 20 61 6e 64 20 69 6e 64 65 78 5b  path] and index[
3f10: 6d 79 5f 70 61 74 68 5d 5b 27 5f 70 61 72 74 73  my_path]['_parts
3f20: 27 5d 20 3d 3d 20 73 70 61 63 65 6d 61 70 2e 53  '] == spacemap.S
3f30: 70 61 63 65 4d 61 70 28 29 3a 0a 09 09 09 09 23  paceMap():.....#
3f40: 20 6a 75 73 74 20 6d 6f 76 69 6e 67 0a 09 09 09   just moving....
3f50: 09 23 20 64 72 6f 70 20 6f 6c 64 20 64 69 72 73  .# drop old dirs
3f60: 20 58 58 58 0a 09 09 09 09 70 72 69 6e 74 28 27   XXX.....print('
3f70: 4d 6f 76 69 6e 67 20 74 65 6d 70 6f 72 61 72 79  Moving temporary
3f80: 20 66 69 6c 65 20 74 6f 20 6e 65 77 20 64 65 73   file to new des
3f90: 74 69 6e 61 74 69 6f 6e 2e 27 29 0a 09 09 09 09  tination.').....
3fa0: 6f 73 2e 72 65 6e 61 6d 65 73 28 74 65 6d 70 5f  os.renames(temp_
3fb0: 6e 61 6d 65 2c 20 66 69 6c 65 5f 6e 61 6d 65 29  name, file_name)
3fc0: 0a 0a 09 09 09 69 66 20 6e 6f 74 20 6d 79 5f 70  .....if not my_p
3fd0: 61 74 68 20 69 6e 20 69 6e 64 65 78 3a 0a 09 09  ath in index:...
3fe0: 09 09 73 65 6c 66 2e 73 65 6e 64 5f 72 65 73 70  ..self.send_resp
3ff0: 6f 6e 73 65 28 35 30 32 29 0a 09 09 09 09 73 65  onse(502).....se
4000: 6c 66 2e 65 6e 64 5f 68 65 61 64 65 72 73 28 29  lf.end_headers()
4010: 0a 09 09 09 09 72 65 74 75 72 6e 0a 0a 09 09 09  .....return.....
4020: 69 66 20 73 65 6c 66 2e 63 6f 6d 6d 61 6e 64 20  if self.command 
4030: 3d 3d 20 27 48 45 41 44 27 3a 0a 09 09 09 09 73  == 'HEAD':.....s
4040: 65 6c 66 2e 73 65 6e 64 5f 72 65 73 70 6f 6e 73  elf.send_respons
4050: 65 28 32 30 30 29 0a 09 09 09 09 69 66 20 27 43  e(200).....if 'C
4060: 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 20 69  ontent-Length' i
4070: 6e 20 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5d  n index[my_path]
4080: 3a 0a 09 09 09 09 09 73 65 6c 66 2e 73 65 6e 64  :......self.send
4090: 5f 68 65 61 64 65 72 28 27 43 6f 6e 74 65 6e 74  _header('Content
40a0: 2d 4c 65 6e 67 74 68 27 2c 20 69 6e 64 65 78 5b  -Length', index[
40b0: 6d 79 5f 70 61 74 68 5d 5b 27 43 6f 6e 74 65 6e  my_path]['Conten
40c0: 74 2d 4c 65 6e 67 74 68 27 5d 29 0a 09 09 09 09  t-Length']).....
40d0: 73 65 6c 66 2e 73 65 6e 64 5f 68 65 61 64 65 72  self.send_header
40e0: 28 27 41 63 63 65 70 74 2d 52 61 6e 67 65 73 27  ('Accept-Ranges'
40f0: 2c 20 27 62 79 74 65 73 27 29 0a 09 09 09 09 73  , 'bytes').....s
4100: 65 6c 66 2e 73 65 6e 64 5f 68 65 61 64 65 72 28  elf.send_header(
4110: 27 43 6f 6e 74 65 6e 74 2d 54 79 70 65 27 2c 20  'Content-Type', 
4120: 27 61 70 70 6c 69 63 61 74 69 6f 6e 2f 6f 63 74  'application/oct
4130: 65 74 2d 73 74 72 65 61 6d 27 29 0a 09 09 09 09  et-stream').....
4140: 69 66 20 27 4c 61 73 74 2d 4d 6f 64 69 66 69 65  if 'Last-Modifie
4150: 64 27 20 69 6e 20 69 6e 64 65 78 5b 6d 79 5f 70  d' in index[my_p
4160: 61 74 68 5d 3a 0a 09 09 09 09 09 73 65 6c 66 2e  ath]:......self.
4170: 73 65 6e 64 5f 68 65 61 64 65 72 28 27 4c 61 73  send_header('Las
4180: 74 2d 4d 6f 64 69 66 69 65 64 27 2c 20 69 6e 64  t-Modified', ind
4190: 65 78 5b 6d 79 5f 70 61 74 68 5d 5b 27 4c 61 73  ex[my_path]['Las
41a0: 74 2d 4d 6f 64 69 66 69 65 64 27 5d 29 0a 09 09  t-Modified'])...
41b0: 09 09 73 65 6c 66 2e 65 6e 64 5f 68 65 61 64 65  ..self.end_heade
41c0: 72 73 28 29 0a 09 09 09 65 6c 73 65 3a 0a 09 09  rs()....else:...
41d0: 09 09 69 66 20 28 27 5f 70 61 72 74 73 27 20 69  ..if ('_parts' i
41e0: 6e 20 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5d  n index[my_path]
41f0: 20 61 6e 64 20 69 6e 64 65 78 5b 6d 79 5f 70 61   and index[my_pa
4200: 74 68 5d 5b 27 5f 70 61 72 74 73 27 5d 20 21 3d  th]['_parts'] !=
4210: 20 73 70 61 63 65 6d 61 70 2e 53 70 61 63 65 4d   spacemap.SpaceM
4220: 61 70 28 29 29 20 6f 72 20 6e 6f 74 20 6f 73 2e  ap()) or not os.
4230: 61 63 63 65 73 73 28 66 69 6c 65 5f 6e 61 6d 65  access(file_name
4240: 2c 20 6f 73 2e 52 5f 4f 4b 29 3a 0a 09 09 09 09  , os.R_OK):.....
4250: 09 66 69 6c 65 5f 6e 61 6d 65 20 3d 20 74 65 6d  .file_name = tem
4260: 70 5f 6e 61 6d 65 0a 0a 09 09 09 09 77 69 74 68  p_name......with
4270: 20 6f 70 65 6e 28 66 69 6c 65 5f 6e 61 6d 65 2c   open(file_name,
4280: 20 27 72 62 27 29 20 61 73 20 72 65 61 6c 5f 66   'rb') as real_f
4290: 69 6c 65 3a 0a 09 09 09 09 09 66 69 6c 65 5f 73  ile:......file_s
42a0: 74 61 74 20 3d 20 6f 73 2e 73 74 61 74 28 66 69  tat = os.stat(fi
42b0: 6c 65 5f 6e 61 6d 65 29 0a 09 09 09 09 09 69 66  le_name)......if
42c0: 20 27 52 61 6e 67 65 27 20 69 6e 20 73 65 6c 66   'Range' in self
42d0: 2e 68 65 61 64 65 72 73 3a 0a 09 09 09 09 09 09  .headers:.......
42e0: 73 65 6c 66 2e 73 65 6e 64 5f 72 65 73 70 6f 6e  self.send_respon
42f0: 73 65 28 32 30 36 29 0a 09 09 09 09 09 09 72 61  se(206).......ra
4300: 6e 67 65 73 20 3d 20 28 29 0a 09 09 09 09 09 09  nges = ().......
4310: 72 65 71 75 65 73 74 65 64 5f 72 61 6e 67 65 73  requested_ranges
4320: 2e 72 65 77 69 6e 64 28 29 0a 09 09 09 09 09 09  .rewind().......
4330: 77 68 69 6c 65 20 54 72 75 65 3a 0a 09 09 09 09  while True:.....
4340: 09 09 09 70 61 69 72 20 3d 20 72 65 71 75 65 73  ...pair = reques
4350: 74 65 64 5f 72 61 6e 67 65 73 2e 70 6f 70 28 29  ted_ranges.pop()
4360: 0a 09 09 09 09 09 09 09 69 66 20 70 61 69 72 5b  ........if pair[
4370: 30 5d 20 3d 3d 20 4e 6f 6e 65 3a 0a 09 09 09 09  0] == None:.....
4380: 09 09 09 09 62 72 65 61 6b 0a 09 09 09 09 09 09  ....break.......
4390: 09 72 61 6e 67 65 73 20 2b 3d 20 27 7b 7d 2d 7b  .ranges += '{}-{
43a0: 7d 27 2e 66 6f 72 6d 61 74 28 70 61 69 72 5b 30  }'.format(pair[0
43b0: 5d 2c 20 73 74 72 28 70 61 69 72 5b 31 5d 20 2d  ], str(pair[1] -
43c0: 20 31 29 29 2c 0a 09 09 09 09 09 09 73 65 6c 66   1)),.......self
43d0: 2e 73 65 6e 64 5f 68 65 61 64 65 72 28 27 43 6f  .send_header('Co
43e0: 6e 74 65 6e 74 2d 52 61 6e 67 65 27 2c 20 27 62  ntent-Range', 'b
43f0: 79 74 65 73 20 7b 7d 2f 7b 7d 27 2e 66 6f 72 6d  ytes {}/{}'.form
4400: 61 74 28 27 2c 27 2e 6a 6f 69 6e 28 72 61 6e 67  at(','.join(rang
4410: 65 73 29 2c 20 69 6e 64 65 78 5b 6d 79 5f 70 61  es), index[my_pa
4420: 74 68 5d 5b 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e  th]['Content-Len
4430: 67 74 68 27 5d 29 29 0a 09 09 09 09 09 65 6c 73  gth']))......els
4440: 65 3a 0a 09 09 09 09 09 09 73 65 6c 66 2e 73 65  e:.......self.se
4450: 6e 64 5f 72 65 73 70 6f 6e 73 65 28 32 30 30 29  nd_response(200)
4460: 0a 09 09 09 09 09 09 73 65 6c 66 2e 73 65 6e 64  .......self.send
4470: 5f 68 65 61 64 65 72 28 27 43 6f 6e 74 65 6e 74  _header('Content
4480: 2d 4c 65 6e 67 74 68 27 2c 20 73 74 72 28 66 69  -Length', str(fi
4490: 6c 65 5f 73 74 61 74 2e 73 74 5f 73 69 7a 65 29  le_stat.st_size)
44a0: 29 0a 09 09 09 09 09 09 72 65 71 75 65 73 74 65  ).......requeste
44b0: 64 5f 72 61 6e 67 65 73 20 3d 20 73 70 61 63 65  d_ranges = space
44c0: 6d 61 70 2e 53 70 61 63 65 4d 61 70 28 7b 30 3a  map.SpaceMap({0:
44d0: 20 66 69 6c 65 5f 73 74 61 74 2e 73 74 5f 73 69   file_stat.st_si
44e0: 7a 65 7d 29 0a 09 09 09 09 09 69 66 20 27 4c 61  ze})......if 'La
44f0: 73 74 2d 4d 6f 64 69 66 69 65 64 27 20 69 6e 20  st-Modified' in 
4500: 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5d 3a 0a  index[my_path]:.
4510: 09 09 09 09 09 09 73 65 6c 66 2e 73 65 6e 64 5f  ......self.send_
4520: 68 65 61 64 65 72 28 27 4c 61 73 74 2d 4d 6f 64  header('Last-Mod
4530: 69 66 69 65 64 27 2c 20 69 6e 64 65 78 5b 6d 79  ified', index[my
4540: 5f 70 61 74 68 5d 5b 27 4c 61 73 74 2d 4d 6f 64  _path]['Last-Mod
4550: 69 66 69 65 64 27 5d 29 0a 09 09 09 09 09 73 65  ified'])......se
4560: 6c 66 2e 73 65 6e 64 5f 68 65 61 64 65 72 28 27  lf.send_header('
4570: 43 6f 6e 74 65 6e 74 2d 54 79 70 65 27 2c 20 27  Content-Type', '
4580: 61 70 70 6c 69 63 61 74 69 6f 6e 2f 6f 63 74 65  application/octe
4590: 74 2d 73 74 72 65 61 6d 27 29 0a 09 09 09 09 09  t-stream')......
45a0: 73 65 6c 66 2e 65 6e 64 5f 68 65 61 64 65 72 73  self.end_headers
45b0: 28 29 0a 09 09 09 09 09 69 66 20 73 65 6c 66 2e  ()......if self.
45c0: 63 6f 6d 6d 61 6e 64 20 69 6e 20 28 27 47 45 54  command in ('GET
45d0: 27 29 3a 0a 09 09 09 09 09 09 69 66 20 6c 65 6e  '):.......if len
45e0: 28 72 65 71 75 65 73 74 65 64 5f 72 61 6e 67 65  (requested_range
45f0: 73 29 20 3e 20 30 3a 0a 09 09 09 09 09 09 09 72  s) > 0:........r
4600: 65 71 75 65 73 74 65 64 5f 72 61 6e 67 65 73 2e  equested_ranges.
4610: 72 65 77 69 6e 64 28 29 0a 09 09 09 09 09 09 09  rewind()........
4620: 28 73 74 61 72 74 2c 20 65 6e 64 29 20 3d 20 72  (start, end) = r
4630: 65 71 75 65 73 74 65 64 5f 72 61 6e 67 65 73 2e  equested_ranges.
4640: 70 6f 70 28 29 0a 09 09 09 09 09 09 65 6c 73 65  pop().......else
4650: 3a 0a 09 09 09 09 09 09 09 73 74 61 72 74 20 3d  :........start =
4660: 20 30 0a 09 09 09 09 09 09 09 65 6e 64 20 3d 20   0........end = 
4670: 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5d 5b 27  index[my_path]['
4680: 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 5d  Content-Length']
4690: 0a 09 09 09 09 09 09 72 65 61 6c 5f 66 69 6c 65  .......real_file
46a0: 2e 73 65 65 6b 28 73 74 61 72 74 29 0a 09 09 09  .seek(start)....
46b0: 09 09 09 69 66 20 62 6c 6f 63 6b 5f 73 69 7a 65  ...if block_size
46c0: 20 3e 20 65 6e 64 20 2d 20 73 74 61 72 74 3a 0a   > end - start:.
46d0: 09 09 09 09 09 09 09 72 65 71 5f 62 6c 6f 63 6b  .......req_block
46e0: 5f 73 69 7a 65 20 3d 20 65 6e 64 20 2d 20 73 74  _size = end - st
46f0: 61 72 74 0a 09 09 09 09 09 09 65 6c 73 65 3a 0a  art.......else:.
4700: 09 09 09 09 09 09 09 72 65 71 5f 62 6c 6f 63 6b  .......req_block
4710: 5f 73 69 7a 65 20 3d 20 62 6c 6f 63 6b 5f 73 69  _size = block_si
4720: 7a 65 0a 09 09 09 09 09 09 62 75 66 66 65 72 20  ze.......buffer 
4730: 3d 20 72 65 61 6c 5f 66 69 6c 65 2e 72 65 61 64  = real_file.read
4740: 28 72 65 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 29  (req_block_size)
4750: 0a 09 09 09 09 09 09 6c 65 6e 67 74 68 20 3d 20  .......length = 
4760: 6c 65 6e 28 62 75 66 66 65 72 29 0a 09 09 09 09  len(buffer).....
4770: 09 09 77 68 69 6c 65 20 6c 65 6e 67 74 68 20 3e  ..while length >
4780: 20 30 3a 0a 09 09 09 09 09 09 09 73 65 6c 66 2e   0:........self.
4790: 77 66 69 6c 65 2e 77 72 69 74 65 28 62 75 66 66  wfile.write(buff
47a0: 65 72 29 0a 09 09 09 09 09 09 09 73 74 61 72 74  er)........start
47b0: 20 2b 3d 20 6c 65 6e 28 62 75 66 66 65 72 29 0a   += len(buffer).
47c0: 09 09 09 09 09 09 09 69 66 20 72 65 71 5f 62 6c  .......if req_bl
47d0: 6f 63 6b 5f 73 69 7a 65 20 3e 20 65 6e 64 20 2d  ock_size > end -
47e0: 20 73 74 61 72 74 3a 0a 09 09 09 09 09 09 09 09   start:.........
47f0: 72 65 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 20 3d  req_block_size =
4800: 20 65 6e 64 20 2d 20 73 74 61 72 74 0a 09 09 09   end - start....
4810: 09 09 09 09 69 66 20 72 65 71 5f 62 6c 6f 63 6b  ....if req_block
4820: 5f 73 69 7a 65 20 3d 3d 20 30 3a 0a 09 09 09 09  _size == 0:.....
4830: 09 09 09 09 62 72 65 61 6b 0a 09 09 09 09 09 09  ....break.......
4840: 09 62 75 66 66 65 72 20 3d 20 72 65 61 6c 5f 66  .buffer = real_f
4850: 69 6c 65 2e 72 65 61 64 28 72 65 71 5f 62 6c 6f  ile.read(req_blo
4860: 63 6b 5f 73 69 7a 65 29 0a 09 09 09 09 09 09 09  ck_size)........
4870: 6c 65 6e 67 74 68 20 3d 20 6c 65 6e 28 62 75 66  length = len(buf
4880: 66 65 72 29 0a 09 09 09 09 09 0a 09 09 64 65 66  fer).........def
4890: 20 64 6f 5f 48 45 41 44 28 73 65 6c 66 29 3a 0a   do_HEAD(self):.
48a0: 09 09 09 72 65 74 75 72 6e 20 73 65 6c 66 2e 5f  ...return self._
48b0: 5f 70 72 6f 63 65 73 73 28 29 0a 09 09 64 65 66  _process()...def
48c0: 20 64 6f 5f 47 45 54 28 73 65 6c 66 29 3a 0a 09   do_GET(self):..
48d0: 09 09 72 65 74 75 72 6e 20 73 65 6c 66 2e 5f 5f  ..return self.__
48e0: 70 72 6f 63 65 73 73 28 29 0a 0a 09 63 6f 6e 66  process()...conf
48f0: 69 67 2e 73 65 63 74 69 6f 6e 28 27 67 65 6e 65  ig.section('gene
4900: 72 61 6c 27 29 0a 09 73 65 72 76 65 72 20 3d 20  ral')..server = 
4910: 68 74 74 70 2e 73 65 72 76 65 72 2e 48 54 54 50  http.server.HTTP
4920: 53 65 72 76 65 72 28 28 27 31 32 37 2e 30 2e 30  Server(('127.0.0
4930: 2e 31 27 2c 20 69 6e 74 28 63 6f 6e 66 69 67 5b  .1', int(config[
4940: 27 70 6f 72 74 27 5d 29 29 2c 20 4d 79 52 65 71  'port'])), MyReq
4950: 75 65 73 74 48 61 6e 64 6c 65 72 29 0a 09 73 65  uestHandler)..se
4960: 72 76 65 72 2e 73 65 72 76 65 5f 66 6f 72 65 76  rver.serve_forev
4970: 65 72 28 29 0a 0a 65 6c 73 65 3a 0a 09 77 68 69  er()..else:..whi
4980: 6c 65 20 54 72 75 65 3a 0a 09 09 75 6e 63 68 65  le True:...unche
4990: 63 6b 65 64 5f 66 69 6c 65 73 20 3d 20 73 65 74  cked_files = set
49a0: 28 29 0a 09 09 63 68 65 63 6b 65 64 5f 66 69 6c  ()...checked_fil
49b0: 65 73 20 3d 20 30 0a 0a 09 09 23 20 72 65 61 64  es = 0....# read
49c0: 69 6e 67 20 6c 6f 67 20 61 6e 64 20 73 74 6f 72  ing log and stor
49d0: 69 6e 67 20 66 6f 75 6e 64 20 75 72 6c 73 20 66  ing found urls f
49e0: 6f 72 20 70 72 6f 63 65 73 73 69 6e 67 0a 09 09  or processing...
49f0: 23 20 63 68 65 63 6b 20 66 69 6c 65 20 6d 74 69  # check file mti
4a00: 6d 65 20 58 58 58 0a 09 09 77 69 74 68 20 6f 70  me XXX...with op
4a10: 65 6e 28 6f 70 74 69 6f 6e 73 2e 6c 6f 67 2c 20  en(options.log, 
4a20: 27 72 27 29 20 61 73 20 6c 6f 67 5f 66 69 6c 65  'r') as log_file
4a30: 3a 0a 09 09 09 6c 6f 67 5f 6c 69 6e 65 20 3d 20  :....log_line = 
4a40: 72 65 2e 63 6f 6d 70 69 6c 65 28 27 5e 5b 5e 20  re.compile('^[^ 
4a50: 5d 2b 20 2d 20 2d 20 5c 5b 2e 2a 5d 20 22 28 47  ]+ - - \[.*] "(G
4a60: 45 54 7c 48 45 41 44 29 20 28 2e 2a 3f 29 28 5c  ET|HEAD) (.*?)(\
4a70: 3f 2e 2a 29 3f 20 48 54 54 50 2f 31 2e 31 22 20  ?.*)? HTTP/1.1" 
4a80: 28 5c 64 2b 29 20 5c 64 2b 20 22 28 2e 2a 29 22  (\d+) \d+ "(.*)"
4a90: 20 22 28 2e 2a 29 22 24 27 29 0a 09 09 09 66 6f   "(.*)"$')....fo
4aa0: 72 20 6c 69 6e 65 20 69 6e 20 6c 6f 67 5f 66 69  r line in log_fi
4ab0: 6c 65 3a 0a 09 09 09 09 74 68 69 73 5f 6c 69 6e  le:.....this_lin
4ac0: 65 20 3d 20 6c 6f 67 5f 6c 69 6e 65 2e 6d 61 74  e = log_line.mat
4ad0: 63 68 28 6c 69 6e 65 2e 73 74 72 69 70 28 29 29  ch(line.strip())
4ae0: 0a 09 09 09 09 69 66 20 74 68 69 73 5f 6c 69 6e  .....if this_lin
4af0: 65 3a 0a 09 09 09 09 09 75 6e 63 68 65 63 6b 65  e:......unchecke
4b00: 64 5f 66 69 6c 65 73 2e 61 64 64 28 74 68 69 73  d_files.add(this
4b10: 5f 6c 69 6e 65 2e 67 72 6f 75 70 28 32 29 29 0a  _line.group(2)).
4b20: 0a 09 09 66 6f 72 20 75 72 6c 20 69 6e 20 75 6e  ...for url in un
4b30: 63 68 65 63 6b 65 64 5f 66 69 6c 65 73 3a 0a 09  checked_files:..
4b40: 09 09 72 65 6c 6f 61 64 20 3d 20 46 61 6c 73 65  ..reload = False
4b50: 0a 09 09 09 72 65 63 68 65 63 6b 20 3d 20 46 61  ....recheck = Fa
4b60: 6c 73 65 0a 09 09 09 69 6e 66 6f 20 3d 20 27 43  lse....info = 'C
4b70: 68 65 63 6b 69 6e 67 20 66 69 6c 65 3a 20 27 20  hecking file: ' 
4b80: 2b 20 75 72 6c 0a 0a 09 09 09 23 20 63 72 65 61  + url.....# crea
4b90: 74 69 6e 67 20 65 6d 70 74 79 20 70 6c 61 63 65  ting empty place
4ba0: 68 6f 6c 64 65 72 20 69 6e 20 69 6e 64 65 78 0a  holder in index.
4bb0: 09 09 09 69 66 20 6e 6f 74 20 75 72 6c 20 69 6e  ...if not url in
4bc0: 20 69 6e 64 65 78 3a 0a 09 09 09 09 69 6e 66 6f   index:.....info
4bd0: 20 2b 3d 20 27 5c 6e 54 68 69 73 20 6f 6e 65 20   += '\nThis one 
4be0: 69 73 20 6e 65 77 2e 27 0a 09 09 09 09 69 6e 64  is new.'.....ind
4bf0: 65 78 5b 75 72 6c 5d 20 3d 20 7b 7d 0a 09 09 09  ex[url] = {}....
4c00: 09 72 65 6c 6f 61 64 20 3d 20 54 72 75 65 0a 0a  .reload = True..
4c10: 09 09 09 23 20 63 72 65 61 74 69 6e 67 20 66 69  ...# creating fi
4c20: 6c 65 20 6e 61 6d 65 20 66 72 6f 6d 20 75 72 6c  le name from url
4c30: 0a 09 09 09 66 69 6c 65 5f 6e 61 6d 65 20 3d 20  ....file_name = 
4c40: 6f 70 74 69 6f 6e 73 2e 64 69 72 20 2b 20 72 65  options.dir + re
4c50: 2e 63 6f 6d 70 69 6c 65 28 27 25 32 30 27 29 2e  .compile('%20').
4c60: 73 75 62 28 27 20 27 2c 20 75 72 6c 29 0a 0a 09  sub(' ', url)...
4c70: 09 09 23 20 66 6f 72 63 69 62 6c 79 20 63 68 65  ..# forcibly che
4c80: 63 6b 69 6e 67 20 66 69 6c 65 20 69 66 20 6e 6f  cking file if no
4c90: 20 66 69 6c 65 20 70 72 65 73 65 6e 74 0a 09 09   file present...
4ca0: 09 69 66 20 6e 6f 74 20 72 65 6c 6f 61 64 20 61  .if not reload a
4cb0: 6e 64 20 6e 6f 74 20 6f 73 2e 61 63 63 65 73 73  nd not os.access
4cc0: 28 66 69 6c 65 5f 6e 61 6d 65 2c 20 6f 73 2e 52  (file_name, os.R
4cd0: 5f 4f 4b 29 3a 0a 09 09 09 09 69 6e 66 6f 20 2b  _OK):.....info +
4ce0: 3d 20 27 5c 6e 46 69 6c 65 20 6e 6f 74 20 66 6f  = '\nFile not fo
4cf0: 75 6e 64 20 6f 72 20 69 6e 61 63 63 65 73 73 69  und or inaccessi
4d00: 62 6c 65 2e 27 0a 09 09 09 09 72 65 6c 6f 61 64  ble.'.....reload
4d10: 20 3d 20 54 72 75 65 0a 0a 09 09 09 23 20 66 6f   = True.....# fo
4d20: 72 63 69 62 6c 79 20 63 68 65 63 6b 69 6e 67 20  rcibly checking 
4d30: 66 69 6c 65 20 69 66 20 66 69 6c 65 20 73 69 7a  file if file siz
4d40: 65 20 64 6f 65 73 6e 27 74 20 6d 61 74 63 68 20  e doesn't match 
4d50: 77 69 74 68 20 69 6e 64 65 78 20 64 61 74 61 0a  with index data.
4d60: 09 09 09 65 6c 69 66 20 6e 6f 74 20 72 65 6c 6f  ...elif not relo
4d70: 61 64 20 61 6e 64 20 27 43 6f 6e 74 65 6e 74 2d  ad and 'Content-
4d80: 4c 65 6e 67 74 68 27 20 69 6e 20 69 6e 64 65 78  Length' in index
4d90: 5b 75 72 6c 5d 20 61 6e 64 20 6f 73 2e 73 74 61  [url] and os.sta
4da0: 74 28 66 69 6c 65 5f 6e 61 6d 65 29 2e 73 74 5f  t(file_name).st_
4db0: 73 69 7a 65 20 21 3d 20 69 6e 74 28 69 6e 64 65  size != int(inde
4dc0: 78 5b 75 72 6c 5d 5b 27 43 6f 6e 74 65 6e 74 2d  x[url]['Content-
4dd0: 4c 65 6e 67 74 68 27 5d 29 3a 0a 09 09 09 09 69  Length']):.....i
4de0: 6e 66 6f 20 2b 3d 20 27 5c 6e 46 69 6c 65 20 73  nfo += '\nFile s
4df0: 69 7a 65 20 69 73 20 27 20 2b 20 6f 73 2e 73 74  ize is ' + os.st
4e00: 61 74 28 66 69 6c 65 5f 6e 61 6d 65 29 2e 73 74  at(file_name).st
4e10: 5f 73 69 7a 65 20 2b 20 27 20 61 6e 64 20 73 74  _size + ' and st
4e20: 6f 72 65 64 20 66 69 6c 65 20 73 69 7a 65 20 69  ored file size i
4e30: 73 20 27 20 2b 20 69 6e 64 65 78 5b 75 72 6c 5d  s ' + index[url]
4e40: 5b 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68  ['Content-Length
4e50: 27 5d 20 2b 20 27 2e 27 0a 09 09 09 09 72 65 6c  '] + '.'.....rel
4e60: 6f 61 64 20 3d 20 54 72 75 65 0a 0a 09 09 09 23  oad = True.....#
4e70: 20 66 6f 72 63 69 62 6c 79 20 63 68 65 63 6b 69   forcibly checki
4e80: 6e 67 20 66 69 6c 65 20 69 66 20 69 6e 64 65 78  ng file if index
4e90: 20 68 6f 64 73 20 50 72 61 67 6d 61 20 68 65 61   hods Pragma hea
4ea0: 64 65 72 0a 09 09 09 69 66 20 6e 6f 74 20 72 65  der....if not re
4eb0: 6c 6f 61 64 20 61 6e 64 20 27 50 72 61 67 6d 61  load and 'Pragma
4ec0: 27 20 69 6e 20 69 6e 64 65 78 5b 75 72 6c 5d 20  ' in index[url] 
4ed0: 61 6e 64 20 69 6e 64 65 78 5b 75 72 6c 5d 5b 27  and index[url]['
4ee0: 50 72 61 67 6d 61 27 5d 20 3d 3d 20 27 6e 6f 2d  Pragma'] == 'no-
4ef0: 63 61 63 68 65 27 3a 0a 09 09 09 09 69 6e 66 6f  cache':.....info
4f00: 20 2b 3d 27 5c 6e 50 72 61 67 6d 61 20 6f 6e 3a   +='\nPragma on:
4f10: 20 72 65 63 68 65 63 6b 20 69 6d 6d 69 6e 65 6e   recheck imminen
4f20: 74 2e 27 0a 09 09 09 09 72 65 63 68 65 63 6b 20  t.'.....recheck 
4f30: 3d 20 54 72 75 65 0a 0a 09 09 09 23 20 73 6b 69  = True.....# ski
4f40: 70 70 69 6e 67 20 66 69 6c 65 20 70 72 6f 63 65  pping file proce
4f50: 73 73 69 6e 67 20 69 66 20 74 68 65 72 65 27 73  ssing if there's
4f60: 20 6e 6f 20 6e 65 65 64 20 74 6f 20 72 65 63 68   no need to rech
4f70: 65 63 6b 20 69 74 20 61 6e 64 20 77 65 20 68 61  eck it and we ha
4f80: 76 65 20 63 68 65 63 6b 65 64 20 69 74 20 61 74  ve checked it at
4f90: 20 6c 65 61 73 74 20 34 20 68 6f 75 72 73 20 61   least 4 hours a
4fa0: 67 6f 0a 09 09 09 69 66 20 6e 6f 74 20 72 65 63  go....if not rec
4fb0: 68 65 63 6b 20 61 6e 64 20 6e 6f 74 20 72 65 6c  heck and not rel
4fc0: 6f 61 64 20 61 6e 64 20 28 6f 70 74 69 6f 6e 73  oad and (options
4fd0: 2e 6e 6f 75 70 64 61 74 65 20 6f 72 20 28 27 5f  .noupdate or ('_
4fe0: 74 69 6d 65 27 20 69 6e 20 69 6e 64 65 78 5b 75  time' in index[u
4ff0: 72 6c 5d 20 61 6e 64 20 28 64 61 74 65 74 69 6d  rl] and (datetim
5000: 65 2e 64 61 74 65 74 69 6d 65 2e 6e 6f 77 28 29  e.datetime.now()
5010: 20 2d 20 64 61 74 65 74 69 6d 65 2e 74 69 6d 65   - datetime.time
5020: 64 65 6c 74 61 28 68 6f 75 72 73 20 3d 20 34 29  delta(hours = 4)
5030: 20 2d 20 69 6e 64 65 78 5b 75 72 6c 5d 5b 27 5f   - index[url]['_
5040: 74 69 6d 65 27 5d 29 2e 64 61 79 73 20 3c 20 30  time']).days < 0
5050: 29 29 3a 0a 09 09 09 09 69 66 20 6f 70 74 69 6f  )):.....if optio
5060: 6e 73 2e 76 65 72 62 6f 73 65 3a 0a 09 09 09 09  ns.verbose:.....
5070: 09 70 72 69 6e 74 28 69 6e 66 6f 29 0a 09 09 09  .print(info)....
5080: 09 63 6f 6e 74 69 6e 75 65 0a 09 09 09 65 6c 73  .continue....els
5090: 65 3a 0a 09 09 09 09 70 72 69 6e 74 28 69 6e 66  e:.....print(inf
50a0: 6f 29 0a 0a 09 09 09 74 72 79 3a 0a 09 09 09 09  o).....try:.....
50b0: 77 69 74 68 20 75 72 6c 6c 69 62 2e 72 65 71 75  with urllib.requ
50c0: 65 73 74 2e 75 72 6c 6f 70 65 6e 28 6f 70 74 69  est.urlopen(opti
50d0: 6f 6e 73 2e 72 6f 6f 74 20 2b 20 75 72 6c 29 20  ons.root + url) 
50e0: 61 73 20 73 6f 75 72 63 65 3a 0a 09 09 09 09 09  as source:......
50f0: 6e 65 77 5f 68 65 61 64 65 72 73 20 3d 20 7b 7d  new_headers = {}
5100: 0a 09 09 09 09 09 68 65 61 64 65 72 73 20 3d 20  ......headers = 
5110: 73 6f 75 72 63 65 2e 69 6e 66 6f 28 29 0a 0a 09  source.info()...
5120: 09 09 09 09 23 20 73 74 72 69 70 70 69 6e 67 20  ....# stripping 
5130: 75 6e 6e 65 65 64 65 64 20 68 65 61 64 65 72 73  unneeded headers
5140: 20 28 58 58 58 20 6d 61 6b 65 20 74 68 69 73 20   (XXX make this 
5150: 69 6e 70 6c 61 63 65 3f 29 0a 09 09 09 09 09 66  inplace?)......f
5160: 6f 72 20 68 65 61 64 65 72 20 69 6e 20 68 65 61  or header in hea
5170: 64 65 72 73 3a 0a 09 09 09 09 09 09 69 66 20 68  ders:.......if h
5180: 65 61 64 65 72 20 69 6e 20 64 65 73 63 5f 66 69  eader in desc_fi
5190: 65 6c 64 73 3a 0a 09 09 09 09 09 09 09 69 66 20  elds:........if 
51a0: 68 65 61 64 65 72 20 3d 3d 20 27 50 72 61 67 6d  header == 'Pragm
51b0: 61 27 20 61 6e 64 20 68 65 61 64 65 72 73 5b 68  a' and headers[h
51c0: 65 61 64 65 72 5d 20 21 3d 20 27 6e 6f 2d 63 61  eader] != 'no-ca
51d0: 63 68 65 27 3a 0a 09 09 09 09 09 09 09 09 70 72  che':.........pr
51e0: 69 6e 74 28 27 50 72 61 67 6d 61 3a 27 2c 20 68  int('Pragma:', h
51f0: 65 61 64 65 72 73 5b 68 65 61 64 65 72 5d 29 0a  eaders[header]).
5200: 09 09 09 09 09 09 09 6e 65 77 5f 68 65 61 64 65  .......new_heade
5210: 72 73 5b 68 65 61 64 65 72 5d 20 3d 20 68 65 61  rs[header] = hea
5220: 64 65 72 73 5b 68 65 61 64 65 72 5d 0a 09 09 09  ders[header]....
5230: 09 09 09 65 6c 69 66 20 6e 6f 74 20 68 65 61 64  ...elif not head
5240: 65 72 20 69 6e 20 69 67 6e 6f 72 65 5f 66 69 65  er in ignore_fie
5250: 6c 64 73 3a 0a 09 09 09 09 09 09 09 70 72 69 6e  lds:........prin
5260: 74 28 27 55 6e 64 65 66 69 6e 65 64 20 68 65 61  t('Undefined hea
5270: 64 65 72 20 22 27 2c 20 68 65 61 64 65 72 2c 20  der "', header, 
5280: 27 22 3a 20 27 2c 20 68 65 61 64 65 72 73 5b 68  '": ', headers[h
5290: 65 61 64 65 72 5d 2c 20 73 65 70 3d 27 27 29 0a  eader], sep='').
52a0: 0a 09 09 09 09 09 23 20 63 6f 6d 70 61 72 69 6e  ......# comparin
52b0: 67 20 68 65 61 64 65 72 73 20 77 69 74 68 20 64  g headers with d
52c0: 61 74 61 20 66 6f 75 6e 64 20 69 6e 20 69 6e 64  ata found in ind
52d0: 65 78 0a 09 09 09 09 09 23 20 69 66 20 61 6e 79  ex......# if any
52e0: 20 68 65 61 64 65 72 20 68 61 73 20 63 68 61 6e   header has chan
52f0: 67 65 64 20 28 65 78 63 65 70 74 20 50 72 61 67  ged (except Prag
5300: 6d 61 29 20 66 69 6c 65 20 69 73 20 66 75 6c 6c  ma) file is full
5310: 79 20 64 6f 77 6e 6c 6f 61 64 65 64 0a 09 09 09  y downloaded....
5320: 09 09 23 20 73 61 6d 65 20 69 66 20 77 65 20 67  ..# same if we g
5330: 65 74 20 6d 6f 72 65 20 6f 72 20 6c 65 73 73 20  et more or less 
5340: 68 65 61 64 65 72 73 0a 09 09 09 09 09 6f 6c 64  headers......old
5350: 5f 6b 65 79 73 20 3d 20 73 65 74 28 69 6e 64 65  _keys = set(inde
5360: 78 5b 75 72 6c 5d 2e 6b 65 79 73 28 29 29 0a 09  x[url].keys())..
5370: 09 09 09 09 6f 6c 64 5f 6b 65 79 73 2e 64 69 73  ....old_keys.dis
5380: 63 61 72 64 28 27 5f 74 69 6d 65 27 29 0a 09 09  card('_time')...
5390: 09 09 09 6f 6c 64 5f 6b 65 79 73 2e 64 69 73 63  ...old_keys.disc
53a0: 61 72 64 28 27 50 72 61 67 6d 61 27 29 0a 09 09  ard('Pragma')...
53b0: 09 09 09 6d 6f 72 65 5f 6b 65 79 73 20 3d 20 73  ...more_keys = s
53c0: 65 74 28 6e 65 77 5f 68 65 61 64 65 72 73 2e 6b  et(new_headers.k
53d0: 65 79 73 28 29 29 20 2d 20 6f 6c 64 5f 6b 65 79  eys()) - old_key
53e0: 73 0a 09 09 09 09 09 6d 6f 72 65 5f 6b 65 79 73  s......more_keys
53f0: 2e 64 69 73 63 61 72 64 28 27 50 72 61 67 6d 61  .discard('Pragma
5400: 27 29 0a 09 09 09 09 09 6c 65 73 73 5f 6b 65 79  ')......less_key
5410: 73 20 3d 20 6f 6c 64 5f 6b 65 79 73 20 2d 20 73  s = old_keys - s
5420: 65 74 28 6e 65 77 5f 68 65 61 64 65 72 73 2e 6b  et(new_headers.k
5430: 65 79 73 28 29 29 0a 09 09 09 09 09 69 66 20 6c  eys())......if l
5440: 65 6e 28 6d 6f 72 65 5f 6b 65 79 73 29 20 3e 20  en(more_keys) > 
5450: 30 3a 0a 09 09 09 09 09 09 69 66 20 6e 6f 74 20  0:.......if not 
5460: 6c 65 6e 28 6f 6c 64 5f 6b 65 79 73 29 20 3d 3d  len(old_keys) ==
5470: 20 30 3a 0a 09 09 09 09 09 09 09 70 72 69 6e 74   0:........print
5480: 28 27 4d 6f 72 65 20 68 65 61 64 65 72 73 20 61  ('More headers a
5490: 70 70 65 61 72 3a 27 2c 20 6d 6f 72 65 5f 6b 65  ppear:', more_ke
54a0: 79 73 29 0a 09 09 09 09 09 09 72 65 6c 6f 61 64  ys).......reload
54b0: 20 3d 20 54 72 75 65 0a 09 09 09 09 09 65 6c 69   = True......eli
54c0: 66 20 6c 65 6e 28 6c 65 73 73 5f 6b 65 79 73 29  f len(less_keys)
54d0: 20 3e 20 30 3a 0a 09 09 09 09 09 09 70 72 69 6e   > 0:.......prin
54e0: 74 28 27 4c 65 73 73 20 68 65 61 64 65 72 73 20  t('Less headers 
54f0: 61 70 70 65 61 72 3a 27 2c 20 6c 65 73 73 5f 6b  appear:', less_k
5500: 65 79 73 29 0a 09 09 09 09 09 65 6c 73 65 3a 0a  eys)......else:.
5510: 09 09 09 09 09 09 66 6f 72 20 6b 65 79 20 69 6e  ......for key in
5520: 20 69 6e 64 65 78 5b 75 72 6c 5d 2e 6b 65 79 73   index[url].keys
5530: 28 29 3a 0a 09 09 09 09 09 09 09 69 66 20 6b 65  ():........if ke
5540: 79 5b 30 5d 20 21 3d 20 27 5f 27 20 61 6e 64 20  y[0] != '_' and 
5550: 6b 65 79 20 21 3d 20 27 50 72 61 67 6d 61 27 20  key != 'Pragma' 
5560: 61 6e 64 20 6e 6f 74 20 69 6e 64 65 78 5b 75 72  and not index[ur
5570: 6c 5d 5b 6b 65 79 5d 20 3d 3d 20 6e 65 77 5f 68  l][key] == new_h
5580: 65 61 64 65 72 73 5b 6b 65 79 5d 3a 0a 09 09 09  eaders[key]:....
5590: 09 09 09 09 09 70 72 69 6e 74 28 27 48 65 61 64  .....print('Head
55a0: 65 72 20 22 27 2c 20 6b 65 79 2c 20 27 22 20 63  er "', key, '" c
55b0: 68 61 6e 67 65 64 20 66 72 6f 6d 20 5b 27 2c 20  hanged from [', 
55c0: 69 6e 64 65 78 5b 75 72 6c 5d 5b 6b 65 79 5d 2c  index[url][key],
55d0: 20 27 5d 20 74 6f 20 5b 27 2c 20 6e 65 77 5f 68   '] to [', new_h
55e0: 65 61 64 65 72 73 5b 6b 65 79 5d 2c 20 27 5d 27  eaders[key], ']'
55f0: 2c 20 73 65 70 3d 27 27 29 0a 09 09 09 09 09 09  , sep='').......
5600: 09 09 72 65 6c 6f 61 64 20 3d 20 54 72 75 65 0a  ..reload = True.
5610: 0a 09 09 09 09 09 23 20 64 6f 77 6e 6c 6f 61 64  ......# download
5620: 69 6e 67 20 66 69 6c 65 0a 09 09 09 09 09 69 66  ing file......if
5630: 20 72 65 6c 6f 61 64 3a 0a 09 09 09 09 09 09 69   reload:.......i
5640: 66 20 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74  f 'Content-Lengt
5650: 68 27 20 69 6e 20 68 65 61 64 65 72 73 3a 0a 09  h' in headers:..
5660: 09 09 09 09 09 09 70 72 69 6e 74 28 27 44 6f 77  ......print('Dow
5670: 6e 6c 6f 61 64 69 6e 67 27 2c 20 68 65 61 64 65  nloading', heade
5680: 72 73 5b 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67  rs['Content-Leng
5690: 74 68 27 5d 2c 20 27 62 79 74 65 73 20 5b 27 2c  th'], 'bytes [',
56a0: 20 65 6e 64 3d 27 27 29 0a 09 09 09 09 09 09 65   end='').......e
56b0: 6c 73 65 3a 0a 09 09 09 09 09 09 09 70 72 69 6e  lse:........prin
56c0: 74 28 27 44 6f 77 6e 6c 6f 61 64 69 6e 67 20 5b  t('Downloading [
56d0: 27 2c 20 65 6e 64 3d 27 27 29 0a 09 09 09 09 09  ', end='')......
56e0: 09 73 79 73 2e 73 74 64 6f 75 74 2e 66 6c 75 73  .sys.stdout.flus
56f0: 68 28 29 0a 0a 09 09 09 09 09 09 23 20 66 69 6c  h()........# fil
5700: 65 20 69 73 20 63 72 65 61 74 65 64 20 61 74 20  e is created at 
5710: 74 65 6d 70 6f 72 61 72 79 20 6c 6f 63 61 74 69  temporary locati
5720: 6f 6e 20 61 6e 64 20 6d 6f 76 65 64 20 69 6e 20  on and moved in 
5730: 70 6c 61 63 65 20 6f 6e 6c 79 20 77 68 65 6e 20  place only when 
5740: 64 6f 77 6e 6c 6f 61 64 20 63 6f 6d 70 6c 65 74  download complet
5750: 65 73 0a 09 09 09 09 09 09 74 65 6d 70 5f 66 69  es.......temp_fi
5760: 6c 65 20 3d 20 6f 70 65 6e 28 6f 70 74 69 6f 6e  le = open(option
5770: 73 2e 64 69 72 20 2b 20 6f 73 2e 73 65 70 20 2b  s.dir + os.sep +
5780: 20 27 2e 74 6d 70 27 2c 20 27 77 62 27 29 0a 09   '.tmp', 'wb')..
5790: 09 09 09 09 09 62 75 66 66 65 72 20 3d 20 73 6f  .....buffer = so
57a0: 75 72 63 65 2e 72 65 61 64 28 62 6c 6f 63 6b 5f  urce.read(block_
57b0: 73 69 7a 65 29 0a 09 09 09 09 09 09 6d 65 67 61  size).......mega
57c0: 62 6c 6f 63 6b 73 20 3d 20 30 0a 09 09 09 09 09  blocks = 0......
57d0: 09 62 6c 6f 63 6b 73 20 3d 20 30 0a 09 09 09 09  .blocks = 0.....
57e0: 09 09 6d 65 67 73 20 3d 20 30 0a 09 09 09 09 09  ..megs = 0......
57f0: 09 77 68 69 6c 65 20 6c 65 6e 28 62 75 66 66 65  .while len(buffe
5800: 72 29 20 3e 20 30 3a 0a 09 09 09 09 09 09 09 74  r) > 0:........t
5810: 65 6d 70 5f 66 69 6c 65 2e 77 72 69 74 65 28 62  emp_file.write(b
5820: 75 66 66 65 72 29 0a 09 09 09 09 09 09 09 62 75  uffer)........bu
5830: 66 66 65 72 20 3d 20 73 6f 75 72 63 65 2e 72 65  ffer = source.re
5840: 61 64 28 62 6c 6f 63 6b 5f 73 69 7a 65 29 0a 09  ad(block_size)..
5850: 09 09 09 09 09 09 62 6c 6f 63 6b 73 20 2b 3d 20  ......blocks += 
5860: 31 0a 09 09 09 09 09 09 09 69 66 20 62 6c 6f 63  1........if bloc
5870: 6b 73 20 3e 20 31 30 32 34 30 30 2f 62 6c 6f 63  ks > 102400/bloc
5880: 6b 5f 73 69 7a 65 3a 0a 09 09 09 09 09 09 09 09  k_size:.........
5890: 6d 65 67 61 62 6c 6f 63 6b 73 20 2b 3d 20 31 0a  megablocks += 1.
58a0: 09 09 09 09 09 09 09 09 69 66 20 6d 65 67 61 62  ........if megab
58b0: 6c 6f 63 6b 73 20 3e 20 31 30 3a 0a 09 09 09 09  locks > 10:.....
58c0: 09 09 09 09 09 6d 65 67 61 62 6c 6f 63 6b 73 20  .....megablocks 
58d0: 3d 20 6d 65 67 61 62 6c 6f 63 6b 73 20 2d 20 31  = megablocks - 1
58e0: 30 0a 09 09 09 09 09 09 09 09 09 6d 65 67 73 20  0..........megs 
58f0: 2b 3d 20 31 0a 09 09 09 09 09 09 09 09 09 70 72  += 1..........pr
5900: 69 6e 74 28 27 7b 7d 4d 62 27 2e 66 6f 72 6d 61  int('{}Mb'.forma
5910: 74 28 6d 65 67 73 29 2c 20 65 6e 64 3d 27 27 29  t(megs), end='')
5920: 0a 09 09 09 09 09 09 09 09 65 6c 73 65 3a 0a 09  .........else:..
5930: 09 09 09 09 09 09 09 09 70 72 69 6e 74 28 27 2e  ........print('.
5940: 27 2c 20 65 6e 64 3d 27 27 29 0a 09 09 09 09 09  ', end='')......
5950: 09 09 09 62 6c 6f 63 6b 73 20 3d 20 62 6c 6f 63  ...blocks = bloc
5960: 6b 73 20 2d 20 31 30 32 34 30 30 2f 62 6c 6f 63  ks - 102400/bloc
5970: 6b 5f 73 69 7a 65 0a 09 09 09 09 09 09 09 73 79  k_size........sy
5980: 73 2e 73 74 64 6f 75 74 2e 66 6c 75 73 68 28 29  s.stdout.flush()
5990: 0a 09 09 09 09 09 09 74 65 6d 70 5f 66 69 6c 65  .......temp_file
59a0: 2e 63 6c 6f 73 65 28 29 0a 09 09 09 09 09 09 70  .close().......p
59b0: 72 69 6e 74 28 27 5d 27 29 0a 09 09 09 09 09 09  rint(']').......
59c0: 6f 73 2e 72 65 6e 61 6d 65 73 28 6f 70 74 69 6f  os.renames(optio
59d0: 6e 73 2e 64 69 72 20 2b 20 6f 73 2e 73 65 70 20  ns.dir + os.sep 
59e0: 2b 20 27 2e 74 6d 70 27 2c 20 66 69 6c 65 5f 6e  + '.tmp', file_n
59f0: 61 6d 65 29 0a 0a 09 09 09 09 09 09 63 68 65 63  ame)........chec
5a00: 6b 65 64 5f 66 69 6c 65 73 20 2b 3d 20 31 0a 0a  ked_files += 1..
5a10: 09 09 09 09 09 23 20 73 74 6f 72 69 6e 67 20 6e  .....# storing n
5a20: 65 77 20 74 69 6d 65 20 6d 61 72 6b 20 61 6e 64  ew time mark and
5a30: 20 73 74 6f 72 69 6e 67 20 6e 65 77 20 68 65 61   storing new hea
5a40: 64 65 72 73 0a 09 09 09 09 09 6e 65 77 5f 68 65  ders......new_he
5a50: 61 64 65 72 73 5b 27 5f 74 69 6d 65 27 5d 20 3d  aders['_time'] =
5a60: 20 64 61 74 65 74 69 6d 65 2e 64 61 74 65 74 69   datetime.dateti
5a70: 6d 65 2e 6e 6f 77 28 29 0a 09 09 09 09 09 69 6e  me.now()......in
5a80: 64 65 78 5b 75 72 6c 5d 20 3d 20 6e 65 77 5f 68  dex[url] = new_h
5a90: 65 61 64 65 72 73 0a 09 09 09 09 09 69 6e 64 65  eaders......inde
5aa0: 78 2e 73 79 6e 63 28 29 0a 0a 09 09 09 65 78 63  x.sync().....exc
5ab0: 65 70 74 20 75 72 6c 6c 69 62 2e 65 72 72 6f 72  ept urllib.error
5ac0: 2e 48 54 54 50 45 72 72 6f 72 20 61 73 20 65 72  .HTTPError as er
5ad0: 72 6f 72 3a 0a 09 09 09 09 23 20 69 6e 20 63 61  ror:.....# in ca
5ae0: 73 65 20 6f 66 20 65 72 72 6f 72 20 77 65 20 64  se of error we d
5af0: 6f 6e 27 74 20 6e 65 65 64 20 74 6f 20 64 6f 20  on't need to do 
5b00: 61 6e 79 74 68 69 6e 67 20 61 63 74 75 61 6c 6c  anything actuall
5b10: 79 2c 0a 09 09 09 09 23 20 69 66 20 66 69 6c 65  y,.....# if file
5b20: 20 64 6f 77 6e 6c 6f 61 64 20 73 74 61 6c 6c 73   download stalls
5b30: 20 6f 72 20 66 61 69 6c 73 20 74 68 65 20 66 69   or fails the fi
5b40: 6c 65 20 77 6f 75 6c 64 20 6e 6f 74 20 62 65 20  le would not be 
5b50: 6d 6f 76 65 64 20 74 6f 20 69 74 27 73 20 6c 6f  moved to it's lo
5b60: 63 61 74 69 6f 6e 0a 09 09 09 09 70 72 69 6e 74  cation.....print
5b70: 28 65 72 72 6f 72 29 0a 0a 09 09 69 66 20 6f 70  (error)....if op
5b80: 74 69 6f 6e 73 2e 76 65 72 62 6f 73 65 3a 0a 09  tions.verbose:..
5b90: 09 09 70 72 69 6e 74 28 27 5b 27 2c 20 6c 65 6e  ..print('[', len
5ba0: 28 75 6e 63 68 65 63 6b 65 64 5f 66 69 6c 65 73  (unchecked_files
5bb0: 29 2c 20 27 2f 27 2c 20 63 68 65 63 6b 65 64 5f  ), '/', checked_
5bc0: 66 69 6c 65 73 2c 20 27 5d 27 29 0a 0a 09 09 23  files, ']')....#
5bd0: 20 63 68 65 63 6b 69 6e 67 20 69 66 20 74 68 65   checking if the
5be0: 72 65 20 77 65 72 65 20 61 6e 79 20 66 69 6c 65  re were any file
5bf0: 73 20 64 6f 77 6e 6c 6f 61 64 65 64 2c 20 69 66  s downloaded, if
5c00: 20 79 65 73 20 2d 20 72 65 73 74 61 72 74 69 6e   yes - restartin
5c10: 67 20 73 65 71 75 65 6e 63 65 0a 09 09 69 66 20  g sequence...if 
5c20: 63 68 65 63 6b 65 64 5f 66 69 6c 65 73 20 3d 3d  checked_files ==
5c30: 20 30 3a 0a 09 09 09 62 72 65 61 6b 0a            0:....break.