Artifact 9f4d590842c169ee075765d85d720a1b344a23106dabc4c0182e0156755e55cf:

• Executable file samesite.py — part of check-in [439e1753a4] at 2010-09-07 11:24:22 on branch master — Some changes: * one more header known; * new code to select which parts of file should be downloaded, fixes (possibly) a very bad bug that makes continuing download totally unsable. (user: c.kworr@b84a3442-36b4-a7b2-c7ad-07429f13c525, size: 23706) [annotate] [blame] [check-ins using]

0000: 23 21 2f 75 73 72 2f 62 69 6e 2f 65 6e 76 20 70  #!/usr/bin/env p
0010: 79 74 68 6f 6e 33 2e 31 0a 0a 69 6d 70 6f 72 74  ython3.1..import
0020: 20 64 61 74 65 74 69 6d 65 2c 20 68 74 74 70 2e   datetime, http.
0030: 63 6f 6f 6b 69 65 6a 61 72 2c 20 6f 73 2c 20 73  cookiejar, os, s
0040: 79 73 2c 20 73 68 65 6c 76 65 2c 20 73 70 61 63  ys, shelve, spac
0050: 65 6d 61 70 2c 20 72 65 2c 20 75 72 6c 6c 69 62  emap, re, urllib
0060: 2e 72 65 71 75 65 73 74 0a 0a 63 6c 61 73 73 20  .request..class 
0070: 43 6f 6e 66 69 67 3a 0a 09 5f 5f 73 6c 6f 74 73  Config:..__slots
0080: 5f 5f 20 3d 20 66 72 6f 7a 65 6e 73 65 74 28 5b  __ = frozenset([
0090: 27 5f 63 6f 6e 66 69 67 27 2c 20 27 5f 64 65 66  '_config', '_def
00a0: 61 75 6c 74 27 2c 20 27 5f 73 65 63 74 69 6f 6e  ault', '_section
00b0: 27 2c 20 27 6f 70 74 69 6f 6e 73 27 2c 20 27 72  ', 'options', 'r
00c0: 6f 6f 74 27 5d 29 0a 09 5f 64 65 66 61 75 6c 74  oot']).._default
00d0: 20 3d 20 7b 0a 09 09 27 67 65 6e 65 72 61 6c 27   = {...'general'
00e0: 3a 20 7b 0a 09 09 09 27 70 6f 72 74 27 3a 20 27  : {....'port': '
00f0: 38 30 30 38 27 2c 0a 09 09 7d 2c 0a 09 09 27 5f  8008',...},...'_
0100: 6f 74 68 65 72 27 3a 20 7b 0a 09 09 09 27 76 65  other': {....'ve
0110: 72 62 6f 73 65 27 3a 20 27 6e 6f 27 2c 0a 09 09  rbose': 'no',...
0120: 09 27 6e 6f 65 74 61 67 27 3a 20 27 6e 6f 27 2c  .'noetag': 'no',
0130: 0a 09 09 09 27 6e 6f 70 61 72 74 73 27 3a 20 27  ....'noparts': '
0140: 6e 6f 27 2c 0a 09 09 09 27 73 74 72 69 70 27 3a  no',....'strip':
0150: 20 27 27 2c 0a 09 09 09 27 73 75 62 27 3a 20 27   '',....'sub': '
0160: 27 2c 0a 09 7d 2c 7d 0a 0a 09 23 20 66 75 6e 63  ',..},}...# func
0170: 74 69 6f 6e 20 74 6f 20 72 65 61 64 20 69 6e 20  tion to read in 
0180: 63 6f 6e 66 69 67 20 66 69 6c 65 0a 09 64 65 66  config file..def
0190: 20 5f 5f 69 6e 69 74 5f 5f 28 73 65 6c 66 29 3a   __init__(self):
01a0: 0a 09 09 69 6d 70 6f 72 74 20 63 6f 6e 66 69 67  ...import config
01b0: 70 61 72 73 65 72 2c 20 6f 70 74 70 61 72 73 65  parser, optparse
01c0: 0a 0a 09 09 70 61 72 73 65 72 20 3d 20 6f 70 74  ....parser = opt
01d0: 70 61 72 73 65 2e 4f 70 74 69 6f 6e 50 61 72 73  parse.OptionPars
01e0: 65 72 28 29 0a 09 09 70 61 72 73 65 72 2e 61 64  er()...parser.ad
01f0: 64 5f 6f 70 74 69 6f 6e 28 27 2d 63 27 2c 20 27  d_option('-c', '
0200: 2d 2d 63 6f 6e 66 69 67 27 2c 20 64 65 73 74 20  --config', dest 
0210: 3d 20 27 63 6f 6e 66 69 67 27 2c 20 68 65 6c 70  = 'config', help
0220: 20 3d 20 27 63 6f 6e 66 69 67 20 66 69 6c 65 20   = 'config file 
0230: 6c 6f 63 61 74 69 6f 6e 27 2c 20 6d 65 74 61 76  location', metav
0240: 61 72 20 3d 20 27 46 49 4c 45 27 2c 20 64 65 66  ar = 'FILE', def
0250: 61 75 6c 74 20 3d 20 27 73 61 6d 65 73 69 74 65  ault = 'samesite
0260: 2e 63 6f 6e 66 27 29 0a 09 09 28 73 65 6c 66 2e  .conf')...(self.
0270: 6f 70 74 69 6f 6e 73 2c 20 61 72 67 73 29 20 3d  options, args) =
0280: 20 70 61 72 73 65 72 2e 70 61 72 73 65 5f 61 72   parser.parse_ar
0290: 67 73 28 29 0a 0a 09 09 61 73 73 65 72 74 20 6f  gs()....assert o
02a0: 73 2e 61 63 63 65 73 73 28 73 65 6c 66 2e 6f 70  s.access(self.op
02b0: 74 69 6f 6e 73 2e 63 6f 6e 66 69 67 2c 20 6f 73  tions.config, os
02c0: 2e 52 5f 4f 4b 29 2c 20 22 46 61 74 61 6c 20 65  .R_OK), "Fatal e
02d0: 72 72 6f 72 3a 20 63 61 6e 27 74 20 72 65 61 64  rror: can't read
02e0: 20 7b 7d 22 2e 66 6f 72 6d 61 74 28 73 65 6c 66   {}".format(self
02f0: 2e 6f 70 74 69 6f 6e 73 2e 63 6f 6e 66 69 67 29  .options.config)
0300: 0a 0a 09 09 63 6f 6e 66 69 67 44 69 72 20 3d 20  ....configDir = 
0310: 72 65 2e 63 6f 6d 70 69 6c 65 28 27 5e 28 2e 2a  re.compile('^(.*
0320: 29 2f 5b 5e 2f 5d 2b 24 27 29 2e 6d 61 74 63 68  )/[^/]+$').match
0330: 28 73 65 6c 66 2e 6f 70 74 69 6f 6e 73 2e 63 6f  (self.options.co
0340: 6e 66 69 67 29 0a 09 09 69 66 20 63 6f 6e 66 69  nfig)...if confi
0350: 67 44 69 72 3a 0a 09 09 09 73 65 6c 66 2e 72 6f  gDir:....self.ro
0360: 6f 74 20 3d 20 63 6f 6e 66 69 67 44 69 72 2e 67  ot = configDir.g
0370: 72 6f 75 70 28 31 29 0a 09 09 65 6c 73 65 3a 0a  roup(1)...else:.
0380: 09 09 09 73 65 6c 66 2e 72 6f 6f 74 20 3d 20 6f  ...self.root = o
0390: 73 2e 67 65 74 63 77 64 28 29 0a 0a 09 09 73 65  s.getcwd()....se
03a0: 6c 66 2e 5f 63 6f 6e 66 69 67 20 3d 20 63 6f 6e  lf._config = con
03b0: 66 69 67 70 61 72 73 65 72 2e 43 6f 6e 66 69 67  figparser.Config
03c0: 50 61 72 73 65 72 28 29 0a 09 09 73 65 6c 66 2e  Parser()...self.
03d0: 5f 63 6f 6e 66 69 67 2e 72 65 61 64 66 70 28 6f  _config.readfp(o
03e0: 70 65 6e 28 73 65 6c 66 2e 6f 70 74 69 6f 6e 73  pen(self.options
03f0: 2e 63 6f 6e 66 69 67 29 29 0a 0a 09 09 66 6f 72  .config))....for
0400: 20 73 65 63 74 69 6f 6e 20 69 6e 20 73 65 6c 66   section in self
0410: 2e 5f 63 6f 6e 66 69 67 2e 73 65 63 74 69 6f 6e  ._config.section
0420: 73 28 29 3a 0a 09 09 09 69 66 20 73 65 63 74 69  s():....if secti
0430: 6f 6e 20 21 3d 20 27 67 65 6e 65 72 61 6c 27 3a  on != 'general':
0440: 0a 09 09 09 09 69 66 20 73 65 6c 66 2e 5f 63 6f  .....if self._co
0450: 6e 66 69 67 2e 68 61 73 5f 6f 70 74 69 6f 6e 28  nfig.has_option(
0460: 73 65 63 74 69 6f 6e 2c 20 27 64 69 72 27 29 3a  section, 'dir'):
0470: 0a 09 09 09 09 09 69 66 20 72 65 2e 63 6f 6d 70  ......if re.comp
0480: 69 6c 65 28 27 5e 2f 24 27 29 2e 6d 61 74 63 68  ile('^/$').match
0490: 28 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 67 65  (self._config.ge
04a0: 74 28 73 65 63 74 69 6f 6e 2c 20 27 64 69 72 27  t(section, 'dir'
04b0: 29 29 3a 0a 09 09 09 09 09 09 73 65 6c 66 2e 5f  )):.......self._
04c0: 63 6f 6e 66 69 67 2e 73 65 74 28 73 65 63 74 69  config.set(secti
04d0: 6f 6e 2c 20 27 64 69 72 27 2c 20 73 65 6c 66 2e  on, 'dir', self.
04e0: 72 6f 6f 74 20 2b 20 6f 73 2e 73 65 70 20 2b 20  root + os.sep + 
04f0: 73 65 63 74 69 6f 6e 29 0a 09 09 09 09 09 74 68  section)......th
0500: 69 73 44 69 72 20 3d 20 72 65 2e 63 6f 6d 70 69  isDir = re.compi
0510: 6c 65 28 27 5e 28 2e 2a 29 2f 24 27 29 2e 6d 61  le('^(.*)/$').ma
0520: 74 63 68 28 73 65 6c 66 2e 5f 63 6f 6e 66 69 67  tch(self._config
0530: 2e 67 65 74 28 73 65 63 74 69 6f 6e 2c 20 27 64  .get(section, 'd
0540: 69 72 27 29 29 0a 09 09 09 09 09 69 66 20 74 68  ir'))......if th
0550: 69 73 44 69 72 3a 0a 09 09 09 09 09 09 73 65 6c  isDir:.......sel
0560: 66 2e 5f 63 6f 6e 66 69 67 2e 73 65 74 28 73 65  f._config.set(se
0570: 63 74 69 6f 6e 2c 20 27 64 69 72 27 2c 20 74 68  ction, 'dir', th
0580: 69 73 44 69 72 2e 67 72 6f 75 70 28 31 29 29 0a  isDir.group(1)).
0590: 09 09 09 09 09 69 66 20 6e 6f 74 20 72 65 2e 63  .....if not re.c
05a0: 6f 6d 70 69 6c 65 28 27 5e 2f 28 2e 2a 29 24 27  ompile('^/(.*)$'
05b0: 29 2e 6d 61 74 63 68 28 73 65 6c 66 2e 5f 63 6f  ).match(self._co
05c0: 6e 66 69 67 2e 67 65 74 28 73 65 63 74 69 6f 6e  nfig.get(section
05d0: 2c 20 27 64 69 72 27 29 29 3a 0a 09 09 09 09 09  , 'dir')):......
05e0: 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 73 65  .self._config.se
05f0: 74 28 73 65 63 74 69 6f 6e 2c 20 27 64 69 72 27  t(section, 'dir'
0600: 2c 20 73 65 6c 66 2e 72 6f 6f 74 20 2b 20 6f 73  , self.root + os
0610: 2e 73 65 70 20 2b 20 73 65 6c 66 2e 5f 63 6f 6e  .sep + self._con
0620: 66 69 67 2e 67 65 74 28 73 65 63 74 69 6f 6e 2c  fig.get(section,
0630: 20 27 64 69 72 27 29 29 0a 09 09 09 09 65 6c 73   'dir')).....els
0640: 65 3a 0a 09 09 09 09 09 73 65 6c 66 2e 5f 63 6f  e:......self._co
0650: 6e 66 69 67 2e 73 65 74 28 73 65 63 74 69 6f 6e  nfig.set(section
0660: 2c 20 27 64 69 72 27 2c 20 73 65 6c 66 2e 72 6f  , 'dir', self.ro
0670: 6f 74 20 2b 20 6f 73 2e 73 65 70 20 2b 20 73 65  ot + os.sep + se
0680: 63 74 69 6f 6e 29 0a 0a 09 09 09 09 69 66 20 6e  ction)......if n
0690: 6f 74 20 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e  ot self._config.
06a0: 68 61 73 5f 6f 70 74 69 6f 6e 28 73 65 63 74 69  has_option(secti
06b0: 6f 6e 2c 20 27 72 6f 6f 74 27 29 3a 0a 09 09 09  on, 'root'):....
06c0: 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 73  ..self._config.s
06d0: 65 74 28 73 65 63 74 69 6f 6e 2c 20 27 72 6f 6f  et(section, 'roo
06e0: 74 27 2c 20 73 65 63 74 69 6f 6e 29 0a 0a 09 23  t', section)...#
06f0: 20 66 75 6e 63 74 69 6f 6e 20 74 6f 20 73 65 6c   function to sel
0700: 65 63 74 20 63 6f 6e 66 69 67 20 66 69 6c 65 20  ect config file 
0710: 73 65 63 74 69 6f 6e 20 6f 72 20 63 72 65 61 74  section or creat
0720: 65 20 6f 6e 65 0a 09 64 65 66 20 73 65 63 74 69  e one..def secti
0730: 6f 6e 28 73 65 6c 66 2c 20 73 65 63 74 69 6f 6e  on(self, section
0740: 29 3a 0a 09 09 69 66 20 6e 6f 74 20 73 65 6c 66  ):...if not self
0750: 2e 5f 63 6f 6e 66 69 67 2e 68 61 73 5f 73 65 63  ._config.has_sec
0760: 74 69 6f 6e 28 73 65 63 74 69 6f 6e 29 3a 0a 09  tion(section):..
0770: 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 61  ..self._config.a
0780: 64 64 5f 73 65 63 74 69 6f 6e 28 73 65 63 74 69  dd_section(secti
0790: 6f 6e 29 0a 09 09 73 65 6c 66 2e 5f 73 65 63 74  on)...self._sect
07a0: 69 6f 6e 20 3d 20 73 65 63 74 69 6f 6e 0a 0a 09  ion = section...
07b0: 23 20 66 75 6e 63 74 69 6f 6e 20 74 6f 20 67 65  # function to ge
07c0: 74 20 63 6f 6e 66 69 67 20 70 61 72 61 6d 65 74  t config paramet
07d0: 65 72 2c 20 69 66 20 70 61 72 61 6d 65 74 65 72  er, if parameter
07e0: 20 64 6f 65 73 6e 27 74 20 65 78 69 73 74 73 20   doesn't exists 
07f0: 74 68 65 20 64 65 66 61 75 6c 74 0a 09 23 20 76  the default..# v
0800: 61 6c 75 65 20 6f 72 20 4e 6f 6e 65 20 69 73 20  alue or None is 
0810: 73 75 62 73 74 69 74 75 74 65 64 0a 09 64 65 66  substituted..def
0820: 20 5f 5f 67 65 74 69 74 65 6d 5f 5f 28 73 65 6c   __getitem__(sel
0830: 66 2c 20 6e 61 6d 65 29 3a 0a 09 09 69 66 20 6e  f, name):...if n
0840: 6f 74 20 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e  ot self._config.
0850: 68 61 73 5f 6f 70 74 69 6f 6e 28 73 65 6c 66 2e  has_option(self.
0860: 5f 73 65 63 74 69 6f 6e 2c 20 6e 61 6d 65 29 3a  _section, name):
0870: 0a 09 09 09 69 66 20 73 65 6c 66 2e 5f 73 65 63  ....if self._sec
0880: 74 69 6f 6e 20 69 6e 20 73 65 6c 66 2e 5f 64 65  tion in self._de
0890: 66 61 75 6c 74 3a 0a 09 09 09 09 69 66 20 6e 61  fault:.....if na
08a0: 6d 65 20 69 6e 20 73 65 6c 66 2e 5f 64 65 66 61  me in self._defa
08b0: 75 6c 74 5b 73 65 6c 66 2e 5f 73 65 63 74 69 6f  ult[self._sectio
08c0: 6e 5d 3a 0a 09 09 09 09 09 73 65 6c 66 2e 5f 63  n]:......self._c
08d0: 6f 6e 66 69 67 2e 73 65 74 28 73 65 6c 66 2e 5f  onfig.set(self._
08e0: 73 65 63 74 69 6f 6e 2c 20 6e 61 6d 65 2c 20 73  section, name, s
08f0: 65 6c 66 2e 5f 64 65 66 61 75 6c 74 5b 73 65 6c  elf._default[sel
0900: 66 2e 5f 73 65 63 74 69 6f 6e 5d 5b 6e 61 6d 65  f._section][name
0910: 5d 29 0a 09 09 09 09 65 6c 73 65 3a 0a 09 09 09  ]).....else:....
0920: 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 73  ..self._config.s
0930: 65 74 28 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e  et(self._section
0940: 2c 20 6e 61 6d 65 2c 20 4e 6f 6e 65 29 0a 09 09  , name, None)...
0950: 09 65 6c 69 66 20 6e 61 6d 65 20 69 6e 20 73 65  .elif name in se
0960: 6c 66 2e 5f 64 65 66 61 75 6c 74 5b 27 5f 6f 74  lf._default['_ot
0970: 68 65 72 27 5d 3a 0a 09 09 09 09 73 65 6c 66 2e  her']:.....self.
0980: 5f 63 6f 6e 66 69 67 2e 73 65 74 28 73 65 6c 66  _config.set(self
0990: 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e 61 6d 65 2c  ._section, name,
09a0: 20 73 65 6c 66 2e 5f 64 65 66 61 75 6c 74 5b 27   self._default['
09b0: 5f 6f 74 68 65 72 27 5d 5b 6e 61 6d 65 5d 29 0a  _other'][name]).
09c0: 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 73 65 6c  ...else:.....sel
09d0: 66 2e 5f 63 6f 6e 66 69 67 2e 73 65 74 28 73 65  f._config.set(se
09e0: 6c 66 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e 61 6d  lf._section, nam
09f0: 65 2c 20 4e 6f 6e 65 29 0a 09 09 72 65 74 75 72  e, None)...retur
0a00: 6e 28 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 67  n(self._config.g
0a10: 65 74 28 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e  et(self._section
0a20: 2c 20 6e 61 6d 65 29 29 0a 0a 63 6f 6e 66 69 67  , name))..config
0a30: 20 3d 20 43 6f 6e 66 69 67 28 29 0a 0a 23 61 73   = Config()..#as
0a40: 73 65 72 74 20 6f 70 74 69 6f 6e 73 2e 70 6f 72  sert options.por
0a50: 74 20 6f 72 20 6f 73 2e 61 63 63 65 73 73 28 6f  t or os.access(o
0a60: 70 74 69 6f 6e 73 2e 6c 6f 67 2c 20 6f 73 2e 52  ptions.log, os.R
0a70: 5f 4f 4b 29 2c 20 27 4c 6f 67 20 66 69 6c 65 20  _OK), 'Log file 
0a80: 75 6e 72 65 61 64 61 62 6c 65 27 0a 0a 63 6f 6e  unreadable'..con
0a90: 73 74 5f 64 65 73 63 5f 66 69 65 6c 64 73 20 3d  st_desc_fields =
0aa0: 20 73 65 74 28 5b 27 43 6f 6e 74 65 6e 74 2d 4c   set(['Content-L
0ab0: 65 6e 67 74 68 27 2c 20 27 4c 61 73 74 2d 4d 6f  ength', 'Last-Mo
0ac0: 64 69 66 69 65 64 27 2c 20 27 50 72 61 67 6d 61  dified', 'Pragma
0ad0: 27 5d 29 0a 63 6f 6e 73 74 5f 69 67 6e 6f 72 65  ']).const_ignore
0ae0: 5f 66 69 65 6c 64 73 20 3d 20 73 65 74 28 5b 0a  _fields = set([.
0af0: 09 27 41 63 63 65 70 74 2d 52 61 6e 67 65 73 27  .'Accept-Ranges'
0b00: 2c 20 27 41 67 65 27 2c 0a 09 27 43 61 63 68 65  , 'Age',..'Cache
0b10: 2d 43 6f 6e 74 72 6f 6c 27 2c 20 27 43 6f 6e 6e  -Control', 'Conn
0b20: 65 63 74 69 6f 6e 27 2c 20 27 43 6f 6e 74 65 6e  ection', 'Conten
0b30: 74 2d 54 79 70 65 27 2c 0a 09 27 44 61 74 65 27  t-Type',..'Date'
0b40: 2c 0a 09 27 45 78 70 69 72 65 73 27 2c 0a 09 27  ,..'Expires',..'
0b50: 52 65 66 65 72 65 72 27 2c 0a 09 27 53 65 72 76  Referer',..'Serv
0b60: 65 72 27 2c 0a 09 27 56 69 61 27 2c 0a 09 27 58  er',..'Via',..'X
0b70: 2d 43 61 63 68 65 27 2c 20 27 58 2d 43 61 63 68  -Cache', 'X-Cach
0b80: 65 2d 4c 6f 6f 6b 75 70 27 2c 20 27 58 2d 50 6f  e-Lookup', 'X-Po
0b90: 77 65 72 65 64 2d 42 79 27 0a 5d 29 0a 0a 62 6c  wered-By'.])..bl
0ba0: 6f 63 6b 5f 73 69 7a 65 20 3d 20 34 30 39 36 0a  ock_size = 4096.
0bb0: 0a 27 27 27 0a 23 20 6c 61 74 65 72 2c 20 6b 71  .'''.# later, kq
0bc0: 75 65 75 65 20 77 6f 75 6c 64 20 62 65 20 67 6f  ueue would be go
0bd0: 6f 64 20 62 75 74 20 6c 61 74 65 72 0a 63 6c 61  od but later.cla
0be0: 73 73 20 43 6f 6e 6e 65 63 74 69 6f 6e 3a 0a 09  ss Connection:..
0bf0: 5f 5f 73 6c 6f 74 73 5f 5f 20 3d 20 66 72 6f 7a  __slots__ = froz
0c00: 65 6e 73 65 74 28 28 27 5f 5f 61 64 64 72 65 73  enset(('__addres
0c10: 73 27 2c 20 27 5f 5f 69 6e 70 75 74 27 2c 20 27  s', '__input', '
0c20: 5f 5f 73 6f 63 6b 65 74 27 2c 20 27 5f 5f 73 74  __socket', '__st
0c30: 61 74 75 73 27 2c 20 27 65 72 72 6f 72 27 2c 20  atus', 'error', 
0c40: 27 6d 65 74 68 6f 64 27 2c 20 27 75 72 6c 27 2c  'method', 'url',
0c50: 20 27 68 74 74 70 5f 76 65 72 73 69 6f 6e 27 29   'http_version')
0c60: 29 0a 0a 09 64 65 66 20 5f 5f 69 6e 69 74 5f 5f  )...def __init__
0c70: 28 73 65 6c 66 2c 20 73 6f 63 6b 65 74 2c 20 61  (self, socket, a
0c80: 64 64 72 65 73 73 29 3a 0a 09 09 73 65 6c 66 2e  ddress):...self.
0c90: 5f 5f 61 64 64 72 65 73 73 20 3d 20 61 64 64 72  __address = addr
0ca0: 65 73 73 0a 09 09 73 65 6c 66 2e 5f 5f 69 6e 70  ess...self.__inp
0cb0: 75 74 20 3d 20 62 27 27 0a 09 09 73 65 6c 66 2e  ut = b''...self.
0cc0: 5f 5f 73 6f 63 6b 65 74 20 3d 20 73 6f 63 6b 65  __socket = socke
0cd0: 74 0a 09 09 73 65 6c 66 2e 5f 5f 73 74 61 74 75  t...self.__statu
0ce0: 73 20 3d 20 30 0a 0a 09 64 65 66 20 72 65 61 64  s = 0...def read
0cf0: 28 73 65 6c 66 2c 20 6b 65 76 29 3a 0a 09 09 62  (self, kev):...b
0d00: 75 66 66 65 72 20 3d 20 73 65 6c 66 2e 5f 5f 73  uffer = self.__s
0d10: 6f 63 6b 65 74 2e 72 65 63 76 28 6b 65 76 2e 64  ocket.recv(kev.d
0d20: 61 74 61 29 0a 09 09 65 78 68 61 75 73 74 65 64  ata)...exhausted
0d30: 20 3d 20 46 61 6c 73 65 0a 09 09 69 66 20 6c 65   = False...if le
0d40: 6e 28 62 75 66 66 65 72 29 20 3d 3d 20 30 3a 0a  n(buffer) == 0:.
0d50: 09 09 09 65 6f 66 20 3d 20 54 72 75 65 0a 09 09  ...eof = True...
0d60: 65 6c 73 65 3a 0a 09 09 09 73 65 6c 66 2e 5f 5f  else:....self.__
0d70: 69 6e 70 75 74 20 2b 3d 20 62 75 66 66 65 72 0a  input += buffer.
0d80: 09 09 09 77 68 69 6c 65 20 6e 6f 74 20 65 78 68  ...while not exh
0d90: 61 75 73 74 65 64 3a 0a 09 09 09 09 69 66 20 73  austed:.....if s
0da0: 65 6c 66 2e 5f 5f 73 74 61 74 75 73 20 3d 3d 20  elf.__status == 
0db0: 2d 31 3a 0a 09 09 09 09 09 65 78 68 61 75 73 74  -1:......exhaust
0dc0: 65 64 20 3d 20 54 72 75 65 0a 09 09 09 09 65 6c  ed = True.....el
0dd0: 69 66 20 73 65 6c 66 2e 5f 5f 73 74 61 74 75 73  if self.__status
0de0: 20 3d 3d 20 30 3a 0a 09 09 09 09 09 65 6e 64 73   == 0:......ends
0df0: 74 72 69 6e 67 20 3d 20 73 65 6c 66 2e 5f 5f 69  tring = self.__i
0e00: 6e 70 75 74 2e 66 69 6e 64 28 62 27 5c 6e 27 29  nput.find(b'\n')
0e10: 0a 09 09 09 09 09 69 66 20 65 6e 64 73 74 72 69  ......if endstri
0e20: 6e 67 20 3e 20 30 3a 0a 09 09 09 09 09 09 70 72  ng > 0:.......pr
0e30: 69 6e 74 28 27 50 72 6f 63 65 73 73 69 6e 67 20  int('Processing 
0e40: 72 65 71 75 65 73 74 20 6c 69 6e 65 2e 27 29 0a  request line.').
0e50: 09 09 09 09 09 09 6c 69 6e 65 20 3d 20 73 65 6c  ......line = sel
0e60: 66 2e 5f 5f 69 6e 70 75 74 5b 3a 65 6e 64 73 74  f.__input[:endst
0e70: 72 69 6e 67 5d 2e 64 65 63 6f 64 65 28 27 61 73  ring].decode('as
0e80: 63 69 69 27 29 0a 09 09 09 09 09 09 73 65 6c 66  cii').......self
0e90: 2e 5f 5f 69 6e 70 75 74 20 3d 20 73 65 6c 66 2e  .__input = self.
0ea0: 5f 5f 69 6e 70 75 74 5b 65 6e 64 73 74 72 69 6e  __input[endstrin
0eb0: 67 20 2b 20 31 3a 5d 0a 09 09 09 09 09 09 69 73  g + 1:].......is
0ec0: 52 65 71 75 65 73 74 20 3d 20 72 65 2e 63 6f 6d  Request = re.com
0ed0: 70 69 6c 65 28 27 28 47 45 54 29 20 28 5b 5e 20  pile('(GET) ([^ 
0ee0: 5d 2b 29 20 48 54 54 50 2f 28 31 5c 2e 30 29 27  ]+) HTTP/(1\.0)'
0ef0: 29 2e 6d 61 74 63 68 28 6c 69 6e 65 29 0a 09 09  ).match(line)...
0f00: 09 09 09 09 69 66 20 6e 6f 74 20 69 73 52 65 71  ....if not isReq
0f10: 75 65 73 74 3a 0a 09 09 09 09 09 09 09 73 65 6c  uest:........sel
0f20: 66 2e 65 72 72 6f 72 20 3d 20 27 4e 6f 74 20 61  f.error = 'Not a
0f30: 20 48 54 54 50 20 63 6f 6e 6e 65 63 74 69 6f 6e   HTTP connection
0f40: 2e 27 0a 09 09 09 09 09 09 09 73 65 6c 66 2e 5f  .'........self._
0f50: 5f 73 74 61 74 75 73 20 3d 20 2d 31 0a 09 09 09  _status = -1....
0f60: 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 09  ...else:........
0f70: 73 65 6c 66 2e 6d 65 74 68 6f 64 20 3d 20 69 73  self.method = is
0f80: 52 65 71 75 65 73 74 2e 67 72 6f 75 70 28 31 29  Request.group(1)
0f90: 0a 09 09 09 09 09 09 09 73 65 6c 66 2e 75 72 6c  ........self.url
0fa0: 20 3d 20 69 73 52 65 71 75 65 73 74 2e 67 72 6f   = isRequest.gro
0fb0: 75 70 28 32 29 0a 09 09 09 09 09 09 09 73 65 6c  up(2)........sel
0fc0: 66 2e 68 74 74 70 5f 76 65 72 73 69 6f 6e 20 3d  f.http_version =
0fd0: 20 69 73 52 65 71 75 65 73 74 2e 67 72 6f 75 70   isRequest.group
0fe0: 28 33 29 0a 09 09 09 09 09 09 09 73 65 6c 66 2e  (3)........self.
0ff0: 5f 5f 73 74 61 74 75 73 20 3d 20 31 0a 09 09 09  __status = 1....
1000: 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 65 78  ..else:.......ex
1010: 68 61 75 73 74 65 64 20 3d 20 54 72 75 65 0a 09  hausted = True..
1020: 09 09 09 65 6c 69 66 20 73 65 6c 66 2e 5f 5f 73  ...elif self.__s
1030: 74 61 74 75 73 20 3d 3d 20 31 3a 0a 09 09 09 09  tatus == 1:.....
1040: 09 65 6e 64 73 74 72 69 6e 67 20 3d 20 73 65 6c  .endstring = sel
1050: 66 2e 5f 5f 69 6e 70 75 74 2e 66 69 6e 64 28 62  f.__input.find(b
1060: 27 5c 6e 27 29 0a 09 09 09 09 09 69 66 20 65 6e  '\n')......if en
1070: 64 73 74 72 69 6e 67 20 3e 20 30 3a 0a 09 09 09  dstring > 0:....
1080: 09 09 09 70 72 69 6e 74 28 27 50 72 6f 63 65 73  ...print('Proces
1090: 73 69 6e 67 20 68 65 61 64 65 72 20 6c 69 6e 65  sing header line
10a0: 2e 27 20 2b 20 72 65 70 72 28 73 65 6c 66 2e 5f  .' + repr(self._
10b0: 5f 69 6e 70 75 74 29 29 0a 09 09 09 09 09 09 6c  _input)).......l
10c0: 69 6e 65 20 3d 20 73 65 6c 66 2e 5f 5f 69 6e 70  ine = self.__inp
10d0: 75 74 5b 3a 65 6e 64 73 74 72 69 6e 67 5d 2e 64  ut[:endstring].d
10e0: 65 63 6f 64 65 28 27 61 73 63 69 69 27 29 0a 09  ecode('ascii')..
10f0: 09 09 09 09 09 73 65 6c 66 2e 5f 5f 69 6e 70 75  .....self.__inpu
1100: 74 20 3d 20 73 65 6c 66 2e 5f 5f 69 6e 70 75 74  t = self.__input
1110: 5b 65 6e 64 73 74 72 69 6e 67 20 2b 20 31 3a 5d  [endstring + 1:]
1120: 0a 09 09 09 09 09 09 69 73 48 65 61 64 65 72 20  .......isHeader 
1130: 3d 20 72 65 2e 63 6f 6d 70 69 6c 65 28 27 28 5b  = re.compile('([
1140: 5e 3a 5d 2a 29 3a 20 2b 28 2e 2a 29 27 29 2e 6d  ^:]*): +(.*)').m
1150: 61 74 63 68 28 6c 69 6e 65 29 0a 09 09 09 09 09  atch(line)......
1160: 09 69 66 20 6e 6f 74 20 69 73 48 65 61 64 65 72  .if not isHeader
1170: 3a 0a 09 09 09 09 09 09 09 73 65 6c 66 2e 65 72  :........self.er
1180: 72 6f 72 20 3d 20 27 42 61 64 20 68 65 61 64 65  ror = 'Bad heade
1190: 72 2e 27 0a 09 09 09 09 09 09 09 72 65 74 75 72  r.'........retur
11a0: 6e 28 46 61 6c 73 65 29 0a 09 09 09 09 09 09 23  n(False).......#
11b0: 20 70 72 6f 63 65 73 73 20 68 65 61 64 65 72 20   process header 
11c0: 68 65 72 65 0a 09 09 09 09 09 65 6c 69 66 20 65  here......elif e
11d0: 6e 64 73 74 72 69 6e 67 20 3d 3d 20 30 3a 0a 09  ndstring == 0:..
11e0: 09 09 09 09 09 73 65 6c 66 2e 5f 5f 73 74 61 74  .....self.__stat
11f0: 75 73 20 3d 20 32 0a 09 09 09 09 09 65 6c 73 65  us = 2......else
1200: 3a 0a 09 09 09 09 09 09 65 78 68 61 75 73 74 65  :.......exhauste
1210: 64 20 3d 20 54 72 75 65 0a 0a 09 64 65 66 20 77  d = True...def w
1220: 72 69 74 65 28 73 65 6c 66 2c 20 6b 65 76 29 3a  rite(self, kev):
1230: 0a 09 09 70 61 73 73 0a 0a 69 66 20 6f 70 74 69  ...pass..if opti
1240: 6f 6e 73 2e 70 6f 72 74 3a 0a 09 69 6d 70 6f 72  ons.port:..impor
1250: 74 20 73 65 6c 65 63 74 2c 20 73 6f 63 6b 65 74  t select, socket
1260: 0a 0a 09 73 6f 63 6b 20 3d 20 73 6f 63 6b 65 74  ...sock = socket
1270: 2e 73 6f 63 6b 65 74 28 73 6f 63 6b 65 74 2e 41  .socket(socket.A
1280: 46 5f 49 4e 45 54 2c 20 73 6f 63 6b 65 74 2e 53  F_INET, socket.S
1290: 4f 43 4b 5f 53 54 52 45 41 4d 29 0a 09 74 72 79  OCK_STREAM)..try
12a0: 3a 0a 09 09 73 6f 63 6b 2e 62 69 6e 64 28 28 27  :...sock.bind(('
12b0: 31 32 37 2e 30 2e 30 2e 31 27 2c 20 69 6e 74 28  127.0.0.1', int(
12c0: 6f 70 74 69 6f 6e 73 2e 70 6f 72 74 29 29 29 0a  options.port))).
12d0: 09 09 73 6f 63 6b 2e 6c 69 73 74 65 6e 28 2d 31  ..sock.listen(-1
12e0: 29 0a 0a 09 09 6b 71 20 3d 20 73 65 6c 65 63 74  )....kq = select
12f0: 2e 6b 71 75 65 75 65 28 29 0a 09 09 61 73 73 65  .kqueue()...asse
1300: 72 74 20 6b 71 2e 66 69 6c 65 6e 6f 28 29 20 21  rt kq.fileno() !
1310: 3d 20 2d 31 2c 20 22 46 61 74 61 6c 20 65 72 72  = -1, "Fatal err
1320: 6f 72 3a 20 63 61 6e 27 74 20 69 6e 69 74 69 61  or: can't initia
1330: 6c 69 73 65 20 6b 71 75 65 75 65 2e 22 0a 0a 09  lise kqueue."...
1340: 09 6b 71 2e 63 6f 6e 74 72 6f 6c 28 5b 73 65 6c  .kq.control([sel
1350: 65 63 74 2e 6b 65 76 65 6e 74 28 73 6f 63 6b 2c  ect.kevent(sock,
1360: 20 73 65 6c 65 63 74 2e 4b 51 5f 46 49 4c 54 45   select.KQ_FILTE
1370: 52 5f 52 45 41 44 2c 20 73 65 6c 65 63 74 2e 4b  R_READ, select.K
1380: 51 5f 45 56 5f 41 44 44 29 5d 2c 20 30 29 0a 09  Q_EV_ADD)], 0)..
1390: 09 74 69 6d 65 6f 75 74 20 3d 20 4e 6f 6e 65 0a  .timeout = None.
13a0: 0a 09 09 63 6f 6e 6e 65 63 74 69 6f 6e 73 20 3d  ...connections =
13b0: 20 7b 73 6f 63 6b 2e 66 69 6c 65 6e 6f 28 29 3a   {sock.fileno():
13c0: 20 4e 6f 6e 65 7d 0a 0a 09 09 77 68 69 6c 65 20   None}....while 
13d0: 54 72 75 65 3a 0a 09 09 09 6b 65 76 73 20 3d 20  True:....kevs = 
13e0: 6b 71 2e 63 6f 6e 74 72 6f 6c 28 4e 6f 6e 65 2c  kq.control(None,
13f0: 20 31 2c 20 74 69 6d 65 6f 75 74 29 0a 0a 09 09   1, timeout)....
1400: 09 66 6f 72 20 6b 65 76 20 69 6e 20 6b 65 76 73  .for kev in kevs
1410: 3a 0a 09 09 09 09 69 66 20 74 79 70 65 28 63 6f  :.....if type(co
1420: 6e 6e 65 63 74 69 6f 6e 73 5b 6b 65 76 2e 69 64  nnections[kev.id
1430: 65 6e 74 5d 29 20 3d 3d 20 43 6f 6e 6e 65 63 74  ent]) == Connect
1440: 69 6f 6e 3a 0a 09 09 09 09 09 70 72 69 6e 74 28  ion:......print(
1450: 6b 65 76 2e 69 64 65 6e 74 2c 20 6b 65 76 2e 64  kev.ident, kev.d
1460: 61 74 61 2c 20 6b 65 76 2e 66 69 6c 74 65 72 2c  ata, kev.filter,
1470: 20 6b 65 76 2e 66 6c 61 67 73 29 0a 09 09 09 09   kev.flags).....
1480: 09 61 73 73 65 72 74 20 6b 65 76 2e 64 61 74 61  .assert kev.data
1490: 20 21 3d 20 30 2c 20 27 4e 6f 20 64 61 74 61 20   != 0, 'No data 
14a0: 61 76 61 69 6c 61 62 6c 65 2e 27 0a 09 09 09 09  available.'.....
14b0: 09 69 66 20 6b 65 76 2e 66 69 6c 74 65 72 20 3d  .if kev.filter =
14c0: 3d 20 73 65 6c 65 63 74 2e 4b 51 5f 46 49 4c 54  = select.KQ_FILT
14d0: 45 52 5f 52 45 41 44 3a 0a 09 09 09 09 09 09 63  ER_READ:.......c
14e0: 6f 6e 6e 65 63 74 69 6f 6e 73 5b 6b 65 76 2e 69  onnections[kev.i
14f0: 64 65 6e 74 5d 2e 72 65 61 64 28 6b 65 76 29 0a  dent].read(kev).
1500: 09 09 09 09 09 65 6c 69 66 20 6b 65 76 2e 66 69  .....elif kev.fi
1510: 6c 74 65 72 20 3d 3d 20 73 65 6c 65 63 74 2e 4b  lter == select.K
1520: 51 5f 46 49 4c 54 45 52 5f 57 52 49 54 45 3a 0a  Q_FILTER_WRITE:.
1530: 09 09 09 09 09 09 63 6f 6e 6e 65 63 74 69 6f 6e  ......connection
1540: 73 5b 6b 65 76 2e 69 64 65 6e 74 5d 2e 77 72 69  s[kev.ident].wri
1550: 74 65 28 6b 65 76 29 0a 09 09 09 09 09 65 6c 73  te(kev)......els
1560: 65 3a 0a 09 09 09 09 09 09 61 73 73 65 72 74 20  e:.......assert 
1570: 6b 65 76 2e 66 69 6c 74 65 72 20 69 6e 20 28 73  kev.filter in (s
1580: 65 6c 65 63 74 2e 4b 51 5f 46 49 4c 54 45 52 5f  elect.KQ_FILTER_
1590: 52 45 41 44 2c 20 73 65 6c 65 63 74 2e 4b 51 5f  READ, select.KQ_
15a0: 46 49 4c 54 45 52 5f 57 52 49 54 45 29 2c 20 27  FILTER_WRITE), '
15b0: 44 6f 20 77 65 20 73 75 70 70 6f 72 74 20 6f 74  Do we support ot
15c0: 68 65 72 20 66 69 6c 74 65 72 73 3f 27 0a 09 09  her filters?'...
15d0: 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 28 63 6f  ..else:......(co
15e0: 6e 6e 2c 20 61 64 64 72 29 20 3d 20 73 6f 63 6b  nn, addr) = sock
15f0: 2e 61 63 63 65 70 74 28 29 0a 09 09 09 09 09 70  .accept()......p
1600: 72 69 6e 74 28 27 43 6f 6e 6e 65 63 74 69 6f 6e  rint('Connection
1610: 20 66 72 6f 6d 20 27 20 2b 20 72 65 70 72 28 61   from ' + repr(a
1620: 64 64 72 29 29 0a 09 09 09 09 09 6b 71 2e 63 6f  ddr))......kq.co
1630: 6e 74 72 6f 6c 28 5b 73 65 6c 65 63 74 2e 6b 65  ntrol([select.ke
1640: 76 65 6e 74 28 63 6f 6e 6e 2c 20 73 65 6c 65 63  vent(conn, selec
1650: 74 2e 4b 51 5f 46 49 4c 54 45 52 5f 52 45 41 44  t.KQ_FILTER_READ
1660: 2c 20 73 65 6c 65 63 74 2e 4b 51 5f 45 56 5f 41  , select.KQ_EV_A
1670: 44 44 29 5d 2c 20 30 29 0a 09 09 09 09 09 63 6f  DD)], 0)......co
1680: 6e 6e 65 63 74 69 6f 6e 73 5b 63 6f 6e 6e 2e 66  nnections[conn.f
1690: 69 6c 65 6e 6f 28 29 5d 20 3d 20 43 6f 6e 6e 65  ileno()] = Conne
16a0: 63 74 69 6f 6e 28 63 6f 6e 6e 2c 20 61 64 64 72  ction(conn, addr
16b0: 29 0a 0a 09 09 09 09 69 66 20 6b 65 76 2e 66 6c  )......if kev.fl
16c0: 61 67 73 20 3e 3e 20 31 35 20 3d 3d 20 31 3a 0a  ags >> 15 == 1:.
16d0: 09 09 09 09 09 6b 71 2e 63 6f 6e 74 72 6f 6c 28  .....kq.control(
16e0: 5b 73 65 6c 65 63 74 2e 6b 65 76 65 6e 74 28 6b  [select.kevent(k
16f0: 65 76 2e 69 64 65 6e 74 2c 20 73 65 6c 65 63 74  ev.ident, select
1700: 2e 4b 51 5f 46 49 4c 54 45 52 5f 52 45 41 44 2c  .KQ_FILTER_READ,
1710: 20 73 65 6c 65 63 74 2e 4b 51 5f 45 56 5f 44 45   select.KQ_EV_DE
1720: 4c 45 54 45 29 5d 2c 20 30 29 0a 09 09 09 09 09  LETE)], 0)......
1730: 6b 71 2e 63 6f 6e 74 72 6f 6c 28 5b 73 65 6c 65  kq.control([sele
1740: 63 74 2e 6b 65 76 65 6e 74 28 6b 65 76 2e 69 64  ct.kevent(kev.id
1750: 65 6e 74 2c 20 73 65 6c 65 63 74 2e 4b 51 5f 46  ent, select.KQ_F
1760: 49 4c 54 45 52 5f 57 52 49 54 45 2c 20 73 65 6c  ILTER_WRITE, sel
1770: 65 63 74 2e 4b 51 5f 45 56 5f 44 45 4c 45 54 45  ect.KQ_EV_DELETE
1780: 29 5d 2c 20 30 29 0a 09 09 09 09 09 64 65 6c 28  )], 0)......del(
1790: 63 6f 6e 6e 65 63 74 69 6f 6e 73 5b 6b 65 76 2e  connections[kev.
17a0: 69 64 65 6e 74 5d 29 0a 09 66 69 6e 61 6c 6c 79  ident])..finally
17b0: 3a 0a 09 09 73 6f 63 6b 2e 63 6c 6f 73 65 28 29  :...sock.close()
17c0: 0a 27 27 27 0a 0a 23 20 58 58 58 20 68 6f 77 20  .'''..# XXX how 
17d0: 61 62 6f 75 74 20 72 65 63 68 65 63 6b 69 6e 67  about rechecking
17e0: 20 66 69 6c 65 73 3f 0a 69 66 20 54 72 75 65 3a   files?.if True:
17f0: 0a 09 69 6d 70 6f 72 74 20 68 74 74 70 2e 73 65  ..import http.se
1800: 72 76 65 72 0a 0a 09 63 6c 61 73 73 20 4d 79 52  rver...class MyR
1810: 65 71 75 65 73 74 48 61 6e 64 6c 65 72 28 68 74  equestHandler(ht
1820: 74 70 2e 73 65 72 76 65 72 2e 42 61 73 65 48 54  tp.server.BaseHT
1830: 54 50 52 65 71 75 65 73 74 48 61 6e 64 6c 65 72  TPRequestHandler
1840: 29 3a 0a 09 09 64 65 66 20 5f 5f 70 72 6f 63 65  ):...def __proce
1850: 73 73 28 73 65 6c 66 29 3a 0a 09 09 09 23 20 72  ss(self):....# r
1860: 65 6c 6f 61 64 20 6d 65 61 6e 73 20 66 69 6c 65  eload means file
1870: 20 6e 65 65 64 73 20 74 6f 20 62 65 20 72 65 6c   needs to be rel
1880: 6f 61 64 65 64 20 74 6f 20 73 65 72 76 65 20 72  oaded to serve r
1890: 65 71 75 65 73 74 0a 09 09 09 72 65 6c 6f 61 64  equest....reload
18a0: 20 3d 20 46 61 6c 73 65 0a 09 09 09 23 20 72 65   = False....# re
18b0: 63 68 65 63 6b 20 6d 65 61 6e 73 20 66 69 6c 65  check means file
18c0: 20 6e 65 65 64 73 20 74 6f 20 62 65 20 63 68 65   needs to be che
18d0: 63 6b 65 64 2c 20 74 68 69 73 20 61 6c 73 6f 20  cked, this also 
18e0: 6d 65 61 6e 73 20 74 68 61 74 20 69 66 20 66 69  means that if fi
18f0: 6c 65 20 68 61 76 20 62 65 65 6e 20 6d 6f 64 69  le hav been modi
1900: 66 69 65 64 20 77 65 20 63 61 6e 20 73 65 72 76  fied we can serv
1910: 65 20 6f 6c 64 65 72 20 63 6f 70 79 0a 09 09 09  e older copy....
1920: 72 65 63 68 65 63 6b 20 3d 20 46 61 6c 73 65 0a  recheck = False.
1930: 09 09 09 23 20 66 69 6c 65 5f 73 74 61 74 20 6d  ...# file_stat m
1940: 65 61 6e 73 20 66 69 6c 65 20 64 65 66 69 6e 69  eans file defini
1950: 74 65 6c 79 20 65 78 69 73 74 73 0a 09 09 09 66  tely exists....f
1960: 69 6c 65 5f 73 74 61 74 20 3d 20 4e 6f 6e 65 0a  ile_stat = None.
1970: 09 09 09 23 20 72 65 71 75 65 73 74 65 64 5f 72  ...# requested_r
1980: 61 6e 67 65 73 20 68 6f 6c 64 73 20 64 61 74 61  anges holds data
1990: 20 61 62 6f 75 74 20 61 6e 79 20 72 61 6e 67 65   about any range
19a0: 20 72 65 71 75 65 73 74 65 64 0a 09 09 09 72 65   requested....re
19b0: 71 75 65 73 74 65 64 5f 72 61 6e 67 65 73 20 3d  quested_ranges =
19c0: 20 4e 6f 6e 65 0a 09 09 09 23 20 72 65 63 6f 72   None....# recor
19d0: 64 73 20 68 6f 6c 64 73 20 64 61 74 61 20 66 72  ds holds data fr
19e0: 6f 6d 20 69 6e 64 65 78 20 6c 6f 63 61 6c 6c 79  om index locally
19f0: 2c 20 73 68 6f 75 6c 64 20 62 65 20 77 72 69 74  , should be writ
1a00: 74 65 6e 20 62 61 63 6b 20 75 70 6f 6e 20 73 75  ten back upon su
1a10: 63 63 65 73 73 66 75 6c 6c 20 63 6f 6d 70 6c 65  ccessfull comple
1a20: 74 69 6f 6e 0a 09 09 09 72 65 63 6f 72 64 20 3d  tion....record =
1a30: 20 4e 6f 6e 65 0a 0a 09 09 09 6d 79 50 61 74 68   None.....myPath
1a40: 20 3d 20 72 65 2e 63 6f 6d 70 69 6c 65 28 27 5e   = re.compile('^
1a50: 28 2e 2a 3f 29 28 5c 3f 2e 2a 29 24 27 29 2e 6d  (.*?)(\?.*)$').m
1a60: 61 74 63 68 28 73 65 6c 66 2e 70 61 74 68 29 0a  atch(self.path).
1a70: 09 09 09 69 66 20 6d 79 50 61 74 68 3a 0a 09 09  ...if myPath:...
1a80: 09 09 6d 79 5f 70 61 74 68 20 3d 20 6d 79 50 61  ..my_path = myPa
1a90: 74 68 2e 67 72 6f 75 70 28 31 29 0a 09 09 09 65  th.group(1)....e
1aa0: 6c 73 65 3a 0a 09 09 09 09 6d 79 5f 70 61 74 68  lse:.....my_path
1ab0: 20 3d 20 73 65 6c 66 2e 70 61 74 68 0a 0a 09 09   = self.path....
1ac0: 09 63 6f 6e 66 69 67 2e 73 65 63 74 69 6f 6e 28  .config.section(
1ad0: 73 65 6c 66 2e 68 65 61 64 65 72 73 5b 27 48 6f  self.headers['Ho
1ae0: 73 74 27 5d 29 0a 0a 09 09 09 69 66 20 63 6f 6e  st']).....if con
1af0: 66 69 67 5b 27 73 75 62 27 5d 20 21 3d 20 4e 6f  fig['sub'] != No
1b00: 6e 65 20 61 6e 64 20 63 6f 6e 66 69 67 5b 27 73  ne and config['s
1b10: 74 72 69 70 27 5d 20 21 3d 20 4e 6f 6e 65 20 61  trip'] != None a
1b20: 6e 64 20 6c 65 6e 28 63 6f 6e 66 69 67 5b 27 73  nd len(config['s
1b30: 74 72 69 70 27 5d 29 20 3e 20 30 3a 0a 09 09 09  trip']) > 0:....
1b40: 09 73 74 72 69 6e 67 20 3d 20 72 65 2e 63 6f 6d  .string = re.com
1b50: 70 69 6c 65 28 63 6f 6e 66 69 67 5b 27 73 74 72  pile(config['str
1b60: 69 70 27 5d 29 2e 73 75 62 28 63 6f 6e 66 69 67  ip']).sub(config
1b70: 5b 27 73 75 62 27 5d 2c 20 6d 79 5f 70 61 74 68  ['sub'], my_path
1b80: 29 0a 09 09 09 09 6d 79 5f 70 61 74 68 20 3d 20  ).....my_path = 
1b90: 73 74 72 69 6e 67 0a 0a 09 09 09 69 6e 66 6f 20  string.....info 
1ba0: 3d 20 27 43 68 65 63 6b 69 6e 67 20 66 69 6c 65  = 'Checking file
1bb0: 3a 20 27 20 2b 20 6d 79 5f 70 61 74 68 0a 0a 09  : ' + my_path...
1bc0: 09 09 69 66 20 6e 6f 74 20 6f 73 2e 61 63 63 65  ..if not os.acce
1bd0: 73 73 28 63 6f 6e 66 69 67 5b 27 64 69 72 27 5d  ss(config['dir']
1be0: 2c 20 6f 73 2e 58 5f 4f 4b 29 3a 0a 09 09 09 09  , os.X_OK):.....
1bf0: 6f 73 2e 6d 6b 64 69 72 28 63 6f 6e 66 69 67 5b  os.mkdir(config[
1c00: 27 64 69 72 27 5d 29 0a 09 09 09 23 20 74 68 69  'dir'])....# thi
1c10: 73 20 69 73 20 66 69 6c 65 20 69 6e 64 65 78 20  s is file index 
1c20: 2d 20 65 76 65 72 79 74 68 69 6e 67 20 69 73 20  - everything is 
1c30: 73 74 6f 72 65 64 20 69 6e 20 74 68 69 73 20 66  stored in this f
1c40: 69 6c 65 0a 09 09 09 23 20 5f 70 61 72 74 73 20  ile....# _parts 
1c50: 2d 20 6c 69 73 74 20 6f 66 20 73 74 6f 72 65 64  - list of stored
1c60: 20 70 61 72 74 73 20 6f 66 20 66 69 6c 65 0a 09   parts of file..
1c70: 09 09 23 20 5f 74 69 6d 65 20 2d 20 6c 61 73 74  ..# _time - last
1c80: 20 74 69 6d 65 20 74 68 65 20 66 69 6c 65 20 77   time the file w
1c90: 61 73 20 63 68 65 63 6b 65 64 0a 09 09 09 23 20  as checked....# 
1ca0: 65 76 65 72 79 74 68 69 6e 67 20 65 6c 73 65 20  everything else 
1cb0: 69 73 20 6a 75 73 74 20 74 68 65 20 68 65 61 64  is just the head
1cc0: 65 72 73 0a 09 09 09 69 6e 64 65 78 20 3d 20 73  ers....index = s
1cd0: 68 65 6c 76 65 2e 6f 70 65 6e 28 63 6f 6e 66 69  helve.open(confi
1ce0: 67 5b 27 64 69 72 27 5d 20 2b 20 6f 73 2e 73 65  g['dir'] + os.se
1cf0: 70 20 2b 20 27 2e 69 6e 64 65 78 27 29 0a 0a 09  p + '.index')...
1d00: 09 09 64 65 73 63 5f 66 69 65 6c 64 73 20 3d 20  ..desc_fields = 
1d10: 63 6f 6e 73 74 5f 64 65 73 63 5f 66 69 65 6c 64  const_desc_field
1d20: 73 2e 63 6f 70 79 28 29 0a 09 09 09 69 67 6e 6f  s.copy()....igno
1d30: 72 65 5f 66 69 65 6c 64 73 20 3d 20 63 6f 6e 73  re_fields = cons
1d40: 74 5f 69 67 6e 6f 72 65 5f 66 69 65 6c 64 73 2e  t_ignore_fields.
1d50: 63 6f 70 79 28 29 0a 09 09 09 69 66 20 6e 6f 74  copy()....if not
1d60: 20 63 6f 6e 66 69 67 5b 27 6e 6f 65 74 61 67 27   config['noetag'
1d70: 5d 3a 0a 09 09 09 09 64 65 73 63 5f 66 69 65 6c  ]:.....desc_fiel
1d80: 64 73 2e 61 64 64 28 27 45 54 61 67 27 29 0a 09  ds.add('ETag')..
1d90: 09 09 65 6c 73 65 3a 0a 09 09 09 09 69 67 6e 6f  ..else:.....igno
1da0: 72 65 5f 66 69 65 6c 64 73 2e 61 64 64 28 27 45  re_fields.add('E
1db0: 54 61 67 27 29 0a 0a 09 09 09 70 72 6f 78 79 5f  Tag').....proxy_
1dc0: 69 67 6e 6f 72 65 64 20 3d 20 73 65 74 28 5b 0a  ignored = set([.
1dd0: 09 09 09 09 27 41 63 63 65 70 74 27 2c 20 27 41  ....'Accept', 'A
1de0: 63 63 65 70 74 2d 43 68 61 72 73 65 74 27 2c 20  ccept-Charset', 
1df0: 27 41 63 63 65 70 74 2d 45 6e 63 6f 64 69 6e 67  'Accept-Encoding
1e00: 27 2c 20 27 41 63 63 65 70 74 2d 4c 61 6e 67 75  ', 'Accept-Langu
1e10: 61 67 65 27 2c 0a 09 09 09 09 27 43 61 63 68 65  age',.....'Cache
1e20: 2d 43 6f 6e 74 72 6f 6c 27 2c 20 27 43 6f 6e 6e  -Control', 'Conn
1e30: 65 63 74 69 6f 6e 27 2c 20 27 43 6f 6e 74 65 6e  ection', 'Conten
1e40: 74 2d 4c 65 6e 67 74 68 27 2c 20 27 43 6f 6f 6b  t-Length', 'Cook
1e50: 69 65 27 2c 0a 09 09 09 09 27 48 6f 73 74 27 2c  ie',.....'Host',
1e60: 0a 09 09 09 09 27 49 66 2d 4d 6f 64 69 66 69 65  .....'If-Modifie
1e70: 64 2d 53 69 6e 63 65 27 2c 20 27 49 66 2d 55 6e  d-Since', 'If-Un
1e80: 6d 6f 64 69 66 69 65 64 2d 53 69 6e 63 65 27 2c  modified-Since',
1e90: 0a 09 09 09 09 27 52 65 66 65 72 65 72 27 2c 0a  .....'Referer',.
1ea0: 09 09 09 09 27 55 73 65 72 2d 41 67 65 6e 74 27  ....'User-Agent'
1eb0: 2c 0a 09 09 09 09 27 56 69 61 27 2c 0a 09 09 09  ,.....'Via',....
1ec0: 09 27 58 2d 46 6f 72 77 61 72 64 65 64 2d 46 6f  .'X-Forwarded-Fo
1ed0: 72 27 2c 20 27 58 2d 52 45 4d 4f 56 45 44 27 2c  r', 'X-REMOVED',
1ee0: 0a 09 09 09 5d 29 0a 0a 09 09 09 70 72 69 6e 74  ....]).....print
1ef0: 28 27 3d 3d 3d 3d 3d 3d 3d 3d 3d 3d 3d 3d 3d 3d  ('==============
1f00: 3d 5b 20 7b 7d 20 72 65 71 75 65 73 74 20 5d 3d  =[ {} request ]=
1f10: 3d 3d 27 2e 66 6f 72 6d 61 74 28 73 65 6c 66 2e  =='.format(self.
1f20: 63 6f 6d 6d 61 6e 64 29 29 0a 0a 09 09 09 66 6f  command)).....fo
1f30: 72 20 68 65 61 64 65 72 20 69 6e 20 73 65 6c 66  r header in self
1f40: 2e 68 65 61 64 65 72 73 3a 0a 09 09 09 09 69 66  .headers:.....if
1f50: 20 68 65 61 64 65 72 20 69 6e 20 70 72 6f 78 79   header in proxy
1f60: 5f 69 67 6e 6f 72 65 64 3a 0a 09 09 09 09 09 70  _ignored:......p
1f70: 61 73 73 0a 09 09 09 09 65 6c 69 66 20 68 65 61  ass.....elif hea
1f80: 64 65 72 20 69 6e 20 28 27 52 61 6e 67 65 27 29  der in ('Range')
1f90: 3a 0a 09 09 09 09 09 69 73 52 61 6e 67 65 20 3d  :......isRange =
1fa0: 20 72 65 2e 63 6f 6d 70 69 6c 65 28 27 62 79 74   re.compile('byt
1fb0: 65 73 3d 28 5c 64 2b 29 2d 28 5c 64 2b 29 27 29  es=(\d+)-(\d+)')
1fc0: 2e 6d 61 74 63 68 28 73 65 6c 66 2e 68 65 61 64  .match(self.head
1fd0: 65 72 73 5b 68 65 61 64 65 72 5d 29 0a 09 09 09  ers[header])....
1fe0: 09 09 69 66 20 69 73 52 61 6e 67 65 3a 0a 09 09  ..if isRange:...
1ff0: 09 09 09 09 72 65 71 75 65 73 74 65 64 5f 72 61  ....requested_ra
2000: 6e 67 65 73 20 3d 20 73 70 61 63 65 6d 61 70 2e  nges = spacemap.
2010: 53 70 61 63 65 4d 61 70 28 7b 69 6e 74 28 69 73  SpaceMap({int(is
2020: 52 61 6e 67 65 2e 67 72 6f 75 70 28 31 29 29 3a  Range.group(1)):
2030: 20 69 6e 74 28 69 73 52 61 6e 67 65 2e 67 72 6f   int(isRange.gro
2040: 75 70 28 32 29 29 20 2b 20 31 7d 29 0a 09 09 09  up(2)) + 1})....
2050: 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 72 65  ..else:.......re
2060: 74 75 72 6e 28 29 0a 09 09 09 09 65 6c 69 66 20  turn().....elif 
2070: 68 65 61 64 65 72 20 69 6e 20 28 27 50 72 61 67  header in ('Prag
2080: 6d 61 27 29 3a 0a 09 09 09 09 09 69 66 20 6d 79  ma'):......if my
2090: 5f 70 61 74 68 20 69 6e 20 69 6e 64 65 78 3a 0a  _path in index:.
20a0: 09 09 09 09 09 09 69 6e 64 65 78 5b 6d 79 5f 70  ......index[my_p
20b0: 61 74 68 5d 5b 68 65 61 64 65 72 5d 20 3d 20 73  ath][header] = s
20c0: 65 6c 66 2e 68 65 61 64 65 72 73 5b 68 65 61 64  elf.headers[head
20d0: 65 72 5d 0a 09 09 09 09 65 6c 73 65 3a 0a 09 09  er].....else:...
20e0: 09 09 09 70 72 69 6e 74 28 27 55 6e 6b 6e 6f 77  ...print('Unknow
20f0: 6e 20 68 65 61 64 65 72 20 2d 20 27 2c 20 68 65  n header - ', he
2100: 61 64 65 72 2c 20 27 3a 20 27 2c 20 73 65 6c 66  ader, ': ', self
2110: 2e 68 65 61 64 65 72 73 5b 68 65 61 64 65 72 5d  .headers[header]
2120: 2c 20 73 65 70 3d 27 27 29 0a 09 09 09 09 09 72  , sep='')......r
2130: 65 74 75 72 6e 28 29 0a 09 09 09 09 70 72 69 6e  eturn().....prin
2140: 74 28 68 65 61 64 65 72 2c 20 73 65 6c 66 2e 68  t(header, self.h
2150: 65 61 64 65 72 73 5b 68 65 61 64 65 72 5d 29 0a  eaders[header]).
2160: 0a 09 09 09 23 20 63 72 65 61 74 69 6e 67 20 66  ....# creating f
2170: 69 6c 65 20 6e 61 6d 65 20 66 72 6f 6d 20 6d 79  ile name from my
2180: 5f 70 61 74 68 0a 09 09 09 66 69 6c 65 5f 6e 61  _path....file_na
2190: 6d 65 20 3d 20 63 6f 6e 66 69 67 5b 27 64 69 72  me = config['dir
21a0: 27 5d 20 2b 20 6f 73 2e 73 65 70 20 2b 20 72 65  '] + os.sep + re
21b0: 2e 63 6f 6d 70 69 6c 65 28 27 25 32 30 27 29 2e  .compile('%20').
21c0: 73 75 62 28 27 20 27 2c 20 6d 79 5f 70 61 74 68  sub(' ', my_path
21d0: 29 0a 09 09 09 23 20 70 61 72 74 69 61 6c 20 66  )....# partial f
21e0: 69 6c 65 20 6f 72 20 75 6e 66 69 6e 69 73 68 65  ile or unfinishe
21f0: 64 20 64 6f 77 6e 6c 6f 61 64 0a 09 09 09 74 65  d download....te
2200: 6d 70 5f 6e 61 6d 65 20 3d 20 63 6f 6e 66 69 67  mp_name = config
2210: 5b 27 64 69 72 27 5d 20 2b 20 6f 73 2e 73 65 70  ['dir'] + os.sep
2220: 20 2b 20 27 2e 70 61 72 74 73 27 20 2b 20 72 65   + '.parts' + re
2230: 2e 63 6f 6d 70 69 6c 65 28 27 25 32 30 27 29 2e  .compile('%20').
2240: 73 75 62 28 27 20 27 2c 20 6d 79 5f 70 61 74 68  sub(' ', my_path
2250: 29 0a 0a 09 09 09 23 20 63 72 65 61 74 69 6e 67  ).....# creating
2260: 20 65 6d 70 74 79 20 70 6c 61 63 65 68 6f 6c 64   empty placehold
2270: 65 72 20 69 6e 20 69 6e 64 65 78 0a 09 09 09 23  er in index....#
2280: 20 69 66 20 74 68 65 72 65 27 73 20 6e 6f 20 73   if there's no s
2290: 70 61 63 65 20 6d 61 70 20 61 6e 64 20 74 68 65  pace map and the
22a0: 72 65 27 73 20 6e 6f 20 66 69 6c 65 20 69 6e 20  re's no file in 
22b0: 72 65 61 6c 20 64 69 72 65 63 74 6f 72 79 20 2d  real directory -
22c0: 20 77 65 20 68 61 76 65 20 6e 6f 20 66 69 6c 65   we have no file
22d0: 0a 09 09 09 23 20 69 66 20 74 68 65 72 65 27 73  ....# if there's
22e0: 20 61 6e 20 65 6d 70 74 79 20 73 70 61 63 65 20   an empty space 
22f0: 6d 61 70 20 2d 20 66 69 6c 65 20 69 73 20 66 75  map - file is fu
2300: 6c 6c 0a 09 09 09 23 20 73 70 61 63 65 20 6d 61  ll....# space ma
2310: 70 20 67 65 6e 65 72 61 6c 6c 79 20 63 6f 76 65  p generally cove
2320: 72 73 20 65 76 65 72 79 20 62 69 74 20 6f 66 20  rs every bit of 
2330: 66 69 6c 65 20 77 65 20 64 6f 6e 27 74 20 70 6f  file we don't po
2340: 73 65 73 73 20 63 75 72 72 65 6e 74 6c 79 0a 09  sess currently..
2350: 09 09 69 66 20 6e 6f 74 20 6d 79 5f 70 61 74 68  ..if not my_path
2360: 20 69 6e 20 69 6e 64 65 78 3a 0a 09 09 09 09 69   in index:.....i
2370: 6e 66 6f 20 2b 3d 20 27 5c 6e 54 68 69 73 20 6f  nfo += '\nThis o
2380: 6e 65 20 69 73 20 6e 65 77 2e 27 0a 09 09 09 09  ne is new.'.....
2390: 72 65 6c 6f 61 64 20 3d 20 54 72 75 65 0a 09 09  reload = True...
23a0: 09 09 72 65 63 6f 72 64 20 3d 20 7b 7d 0a 09 09  ..record = {}...
23b0: 09 65 6c 73 65 3a 0a 09 09 09 09 23 20 66 6f 72  .else:.....# for
23c0: 63 69 62 6c 79 20 63 68 65 63 6b 69 6e 67 20 66  cibly checking f
23d0: 69 6c 65 20 69 66 20 6e 6f 20 66 69 6c 65 20 70  ile if no file p
23e0: 72 65 73 65 6e 74 0a 09 09 09 09 69 66 20 6f 73  resent.....if os
23f0: 2e 61 63 63 65 73 73 28 66 69 6c 65 5f 6e 61 6d  .access(file_nam
2400: 65 2c 20 6f 73 2e 52 5f 4f 4b 29 3a 0a 09 09 09  e, os.R_OK):....
2410: 09 09 69 6e 66 6f 20 2b 3d 20 27 5c 6e 46 75 6c  ..info += '\nFul
2420: 6c 20 66 69 6c 65 20 66 6f 75 6e 64 2e 27 0a 09  l file found.'..
2430: 09 09 09 09 66 69 6c 65 5f 73 74 61 74 20 3d 20  ....file_stat = 
2440: 6f 73 2e 73 74 61 74 28 66 69 6c 65 5f 6e 61 6d  os.stat(file_nam
2450: 65 29 0a 09 09 09 09 65 6c 69 66 20 27 5f 70 61  e).....elif '_pa
2460: 72 74 73 27 20 69 6e 20 69 6e 64 65 78 5b 6d 79  rts' in index[my
2470: 5f 70 61 74 68 5d 20 61 6e 64 20 6f 73 2e 61 63  _path] and os.ac
2480: 63 65 73 73 28 74 65 6d 70 5f 6e 61 6d 65 2c 20  cess(temp_name, 
2490: 6f 73 2e 52 5f 4f 4b 29 3a 0a 09 09 09 09 09 69  os.R_OK):......i
24a0: 6e 66 6f 20 2b 3d 20 27 5c 6e 50 61 72 74 69 61  nfo += '\nPartia
24b0: 6c 20 66 69 6c 65 20 66 6f 75 6e 64 2e 27 0a 09  l file found.'..
24c0: 09 09 09 09 66 69 6c 65 5f 73 74 61 74 20 3d 20  ....file_stat = 
24d0: 6f 73 2e 73 74 61 74 28 74 65 6d 70 5f 6e 61 6d  os.stat(temp_nam
24e0: 65 29 0a 09 09 09 09 65 6c 73 65 3a 0a 09 09 09  e).....else:....
24f0: 09 09 69 6e 66 6f 20 2b 3d 20 27 5c 6e 46 69 6c  ..info += '\nFil
2500: 65 20 6e 6f 74 20 66 6f 75 6e 64 20 6f 72 20 69  e not found or i
2510: 6e 61 63 63 65 73 73 69 62 6c 65 2e 27 0a 09 09  naccessible.'...
2520: 09 09 09 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68  ...index[my_path
2530: 5d 5b 27 5f 70 61 72 74 73 27 5d 20 3d 20 4e 6f  ]['_parts'] = No
2540: 6e 65 0a 09 09 09 09 09 72 65 6c 6f 61 64 20 3d  ne......reload =
2550: 20 54 72 75 65 0a 09 09 09 09 72 65 63 6f 72 64   True.....record
2560: 20 3d 20 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68   = index[my_path
2570: 5d 0a 0a 09 09 09 69 66 20 6e 6f 74 20 27 5f 70  ].....if not '_p
2580: 61 72 74 73 27 20 69 6e 20 72 65 63 6f 72 64 3a  arts' in record:
2590: 0a 09 09 09 09 72 65 63 6f 72 64 5b 27 5f 70 61  .....record['_pa
25a0: 72 74 73 27 5d 20 3d 20 4e 6f 6e 65 0a 0a 09 09  rts'] = None....
25b0: 09 69 66 20 72 65 63 6f 72 64 5b 27 5f 70 61 72  .if record['_par
25c0: 74 73 27 5d 20 3d 3d 20 4e 6f 6e 65 3a 0a 09 09  ts'] == None:...
25d0: 09 09 72 65 63 68 65 63 6b 20 3d 20 54 72 75 65  ..recheck = True
25e0: 0a 0a 09 09 09 23 20 66 6f 72 63 69 62 6c 79 20  .....# forcibly 
25f0: 63 68 65 63 6b 69 6e 67 20 66 69 6c 65 20 69 66  checking file if
2600: 20 66 69 6c 65 20 73 69 7a 65 20 64 6f 65 73 6e   file size doesn
2610: 27 74 20 6d 61 74 63 68 20 77 69 74 68 20 69 6e  't match with in
2620: 64 65 78 20 64 61 74 61 0a 09 09 09 69 66 20 6e  dex data....if n
2630: 6f 74 20 72 65 6c 6f 61 64 3a 0a 09 09 09 09 69  ot reload:.....i
2640: 66 20 27 5f 70 61 72 74 73 27 20 69 6e 20 72 65  f '_parts' in re
2650: 63 6f 72 64 20 61 6e 64 20 72 65 63 6f 72 64 5b  cord and record[
2660: 27 5f 70 61 72 74 73 27 5d 20 3d 3d 20 73 70 61  '_parts'] == spa
2670: 63 65 6d 61 70 2e 53 70 61 63 65 4d 61 70 28 29  cemap.SpaceMap()
2680: 3a 0a 09 09 09 09 09 69 66 20 27 43 6f 6e 74 65  :......if 'Conte
2690: 6e 74 2d 4c 65 6e 67 74 68 27 20 69 6e 20 72 65  nt-Length' in re
26a0: 63 6f 72 64 20 61 6e 64 20 66 69 6c 65 5f 73 74  cord and file_st
26b0: 61 74 20 61 6e 64 20 66 69 6c 65 5f 73 74 61 74  at and file_stat
26c0: 2e 73 74 5f 73 69 7a 65 20 21 3d 20 69 6e 74 28  .st_size != int(
26d0: 72 65 63 6f 72 64 5b 27 43 6f 6e 74 65 6e 74 2d  record['Content-
26e0: 4c 65 6e 67 74 68 27 5d 29 3a 0a 09 09 09 09 09  Length']):......
26f0: 09 69 6e 66 6f 20 2b 3d 20 27 5c 6e 46 69 6c 65  .info += '\nFile
2700: 20 73 69 7a 65 20 69 73 20 7b 7d 20 61 6e 64 20   size is {} and 
2710: 73 74 6f 72 65 64 20 66 69 6c 65 20 73 69 7a 65  stored file size
2720: 20 69 73 20 7b 7d 2e 27 2e 66 6f 72 6d 61 74 28   is {}.'.format(
2730: 66 69 6c 65 5f 73 74 61 74 2e 73 74 5f 73 69 7a  file_stat.st_siz
2740: 65 2c 20 72 65 63 6f 72 64 5b 27 43 6f 6e 74 65  e, record['Conte
2750: 6e 74 2d 4c 65 6e 67 74 68 27 5d 29 0a 09 09 09  nt-Length'])....
2760: 09 09 09 72 65 63 6f 72 64 5b 27 5f 70 61 72 74  ...record['_part
2770: 73 27 5d 20 3d 20 4e 6f 6e 65 0a 09 09 09 09 09  s'] = None......
2780: 09 72 65 6c 6f 61 64 20 3d 20 54 72 75 65 0a 0a  .reload = True..
2790: 09 09 09 23 20 66 6f 72 63 69 62 6c 79 20 63 68  ...# forcibly ch
27a0: 65 63 6b 69 6e 67 20 66 69 6c 65 20 69 66 20 69  ecking file if i
27b0: 6e 64 65 78 20 68 6f 6c 64 73 20 50 72 61 67 6d  ndex holds Pragm
27c0: 61 20 68 65 61 64 65 72 0a 09 09 09 69 66 20 6e  a header....if n
27d0: 6f 74 20 72 65 6c 6f 61 64 20 61 6e 64 20 27 50  ot reload and 'P
27e0: 72 61 67 6d 61 27 20 69 6e 20 72 65 63 6f 72 64  ragma' in record
27f0: 20 61 6e 64 20 72 65 63 6f 72 64 5b 27 50 72 61   and record['Pra
2800: 67 6d 61 27 5d 20 3d 3d 20 27 6e 6f 2d 63 61 63  gma'] == 'no-cac
2810: 68 65 27 3a 0a 09 09 09 09 69 6e 66 6f 20 2b 3d  he':.....info +=
2820: 27 5c 6e 50 72 61 67 6d 61 20 6f 6e 3a 20 72 65  '\nPragma on: re
2830: 63 68 65 63 6b 20 69 6d 6d 69 6e 65 6e 74 2e 27  check imminent.'
2840: 0a 09 09 09 09 72 65 63 68 65 63 6b 20 3d 20 54  .....recheck = T
2850: 72 75 65 0a 0a 09 09 09 23 20 73 6b 69 70 70 69  rue.....# skippi
2860: 6e 67 20 66 69 6c 65 20 70 72 6f 63 65 73 73 69  ng file processi
2870: 6e 67 20 69 66 20 74 68 65 72 65 27 73 20 6e 6f  ng if there's no
2880: 20 6e 65 65 64 20 74 6f 20 72 65 63 68 65 63 6b   need to recheck
2890: 20 69 74 20 61 6e 64 20 77 65 20 68 61 76 65 20   it and we have 
28a0: 63 68 65 63 6b 65 64 20 69 74 20 61 74 20 6c 65  checked it at le
28b0: 61 73 74 20 34 20 68 6f 75 72 73 20 61 67 6f 0a  ast 4 hours ago.
28c0: 09 09 09 69 66 20 6e 6f 74 20 72 65 63 68 65 63  ...if not rechec
28d0: 6b 20 61 6e 64 20 6e 6f 74 20 72 65 6c 6f 61 64  k and not reload
28e0: 20 61 6e 64 20 27 5f 74 69 6d 65 27 20 69 6e 20   and '_time' in 
28f0: 72 65 63 6f 72 64 20 61 6e 64 20 28 64 61 74 65  record and (date
2900: 74 69 6d 65 2e 64 61 74 65 74 69 6d 65 2e 6e 6f  time.datetime.no
2910: 77 28 29 20 2d 20 64 61 74 65 74 69 6d 65 2e 74  w() - datetime.t
2920: 69 6d 65 64 65 6c 74 61 28 68 6f 75 72 73 20 3d  imedelta(hours =
2930: 20 34 29 20 2d 20 72 65 63 6f 72 64 5b 27 5f 74   4) - record['_t
2940: 69 6d 65 27 5d 29 2e 64 61 79 73 20 3c 20 30 3a  ime']).days < 0:
2950: 0a 09 09 09 09 72 65 63 68 65 63 6b 20 3d 20 54  .....recheck = T
2960: 72 75 65 0a 0a 09 09 09 70 72 69 6e 74 28 69 6e  rue.....print(in
2970: 66 6f 29 0a 09 09 09 69 66 20 72 65 6c 6f 61 64  fo)....if reload
2980: 20 6f 72 20 72 65 63 68 65 63 6b 3a 0a 0a 09 09   or recheck:....
2990: 09 09 74 72 79 3a 0a 09 09 09 09 09 72 65 71 75  ..try:......requ
29a0: 65 73 74 20 3d 20 27 68 74 74 70 3a 2f 2f 27 20  est = 'http://' 
29b0: 2b 20 63 6f 6e 66 69 67 5b 27 72 6f 6f 74 27 5d  + config['root']
29c0: 20 2b 20 73 65 6c 66 2e 70 61 74 68 0a 09 09 09   + self.path....
29d0: 09 09 6d 79 5f 68 65 61 64 65 72 73 20 3d 20 7b  ..my_headers = {
29e0: 7d 0a 09 09 09 09 09 66 6f 72 20 68 65 61 64 65  }......for heade
29f0: 72 20 69 6e 20 28 27 43 61 63 68 65 2d 43 6f 6e  r in ('Cache-Con
2a00: 74 72 6f 6c 27 2c 20 27 43 6f 6f 6b 69 65 27 2c  trol', 'Cookie',
2a10: 20 27 52 65 66 65 72 65 72 27 2c 20 27 55 73 65   'Referer', 'Use
2a20: 72 2d 41 67 65 6e 74 27 29 3a 0a 09 09 09 09 09  r-Agent'):......
2a30: 09 69 66 20 68 65 61 64 65 72 20 69 6e 20 73 65  .if header in se
2a40: 6c 66 2e 68 65 61 64 65 72 73 3a 0a 09 09 09 09  lf.headers:.....
2a50: 09 09 09 6d 79 5f 68 65 61 64 65 72 73 5b 68 65  ...my_headers[he
2a60: 61 64 65 72 5d 20 3d 20 73 65 6c 66 2e 68 65 61  ader] = self.hea
2a70: 64 65 72 73 5b 68 65 61 64 65 72 5d 0a 0a 09 09  ders[header]....
2a80: 09 09 09 6e 65 65 64 65 64 20 3d 20 4e 6f 6e 65  ...needed = None
2a90: 0a 09 09 09 09 09 69 66 20 27 5f 70 61 72 74 73  ......if '_parts
2aa0: 27 20 69 6e 20 72 65 63 6f 72 64 20 61 6e 64 20  ' in record and 
2ab0: 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d  record['_parts']
2ac0: 20 21 3d 20 4e 6f 6e 65 3a 0a 09 09 09 09 09 09   != None:.......
2ad0: 69 66 20 63 6f 6e 66 69 67 5b 27 6e 6f 70 61 72  if config['nopar
2ae0: 74 73 27 5d 20 6f 72 20 72 65 71 75 65 73 74 65  ts'] or requeste
2af0: 64 5f 72 61 6e 67 65 73 20 3d 3d 20 4e 6f 6e 65  d_ranges == None
2b00: 3a 0a 09 09 09 09 09 09 09 6e 65 65 64 65 64 20  :........needed 
2b10: 3d 20 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 73  = record['_parts
2b20: 27 5d 0a 09 09 09 09 09 09 65 6c 73 65 3a 0a 09  '].......else:..
2b30: 09 09 09 09 09 09 6e 65 65 64 65 64 20 3d 20 72  ......needed = r
2b40: 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d 20  ecord['_parts'] 
2b50: 7c 20 72 65 71 75 65 73 74 65 64 5f 72 61 6e 67  | requested_rang
2b60: 65 73 0a 09 09 09 09 09 65 6c 69 66 20 6e 6f 74  es......elif not
2b70: 20 63 6f 6e 66 69 67 5b 27 6e 6f 70 61 72 74 73   config['noparts
2b80: 27 5d 3a 0a 09 09 09 09 09 09 6e 65 65 64 65 64  ']:.......needed
2b90: 20 3d 20 72 65 71 75 65 73 74 65 64 5f 72 61 6e   = requested_ran
2ba0: 67 65 73 0a 09 09 09 09 09 72 61 6e 67 65 73 20  ges......ranges 
2bb0: 3d 20 28 29 0a 09 09 09 09 09 70 72 69 6e 74 28  = ()......print(
2bc0: 27 4d 69 73 73 69 6e 67 20 72 61 6e 67 65 73 3a  'Missing ranges:
2bd0: 20 7b 7d 2c 20 72 65 71 75 65 73 74 65 64 20 72   {}, requested r
2be0: 61 6e 67 65 73 3a 20 7b 7d 2c 20 6e 65 65 64 65  anges: {}, neede
2bf0: 64 20 72 61 6e 67 65 73 3a 20 7b 7d 2e 27 2e 66  d ranges: {}.'.f
2c00: 6f 72 6d 61 74 28 72 65 63 6f 72 64 5b 27 5f 70  ormat(record['_p
2c10: 61 72 74 73 27 5d 2c 20 72 65 71 75 65 73 74 65  arts'], requeste
2c20: 64 5f 72 61 6e 67 65 73 2c 20 6e 65 65 64 65 64  d_ranges, needed
2c30: 29 29 0a 09 09 09 09 09 69 66 20 6e 65 65 64 65  ))......if neede
2c40: 64 20 21 3d 20 4e 6f 6e 65 20 61 6e 64 20 6c 65  d != None and le
2c50: 6e 28 6e 65 65 64 65 64 29 20 3e 20 30 3a 0a 09  n(needed) > 0:..
2c60: 09 09 09 09 09 6e 65 65 64 65 64 2e 72 65 77 69  .....needed.rewi
2c70: 6e 64 28 29 0a 09 09 09 09 09 09 77 68 69 6c 65  nd().......while
2c80: 20 54 72 75 65 3a 0a 09 09 09 09 09 09 09 72 61   True:........ra
2c90: 6e 67 65 20 3d 20 6e 65 65 64 65 64 2e 70 6f 70  nge = needed.pop
2ca0: 28 29 0a 09 09 09 09 09 09 09 69 66 20 72 61 6e  ()........if ran
2cb0: 67 65 5b 30 5d 20 3d 3d 20 4e 6f 6e 65 3a 0a 09  ge[0] == None:..
2cc0: 09 09 09 09 09 09 09 62 72 65 61 6b 0a 09 09 09  .......break....
2cd0: 09 09 09 09 72 61 6e 67 65 73 20 2b 3d 20 27 7b  ....ranges += '{
2ce0: 7d 2d 7b 7d 27 2e 66 6f 72 6d 61 74 28 72 61 6e  }-{}'.format(ran
2cf0: 67 65 5b 30 5d 2c 20 72 61 6e 67 65 5b 31 5d 20  ge[0], range[1] 
2d00: 2d 20 31 29 2c 0a 09 09 09 09 09 09 6d 79 5f 68  - 1),.......my_h
2d10: 65 61 64 65 72 73 5b 27 52 61 6e 67 65 27 5d 20  eaders['Range'] 
2d20: 3d 20 27 62 79 74 65 73 3d 27 20 2b 20 27 2c 27  = 'bytes=' + ','
2d30: 2e 6a 6f 69 6e 28 72 61 6e 67 65 73 29 0a 0a 09  .join(ranges)...
2d40: 09 09 09 09 72 65 71 75 65 73 74 20 3d 20 75 72  ....request = ur
2d50: 6c 6c 69 62 2e 72 65 71 75 65 73 74 2e 52 65 71  llib.request.Req
2d60: 75 65 73 74 28 72 65 71 75 65 73 74 2c 20 68 65  uest(request, he
2d70: 61 64 65 72 73 20 3d 20 6d 79 5f 68 65 61 64 65  aders = my_heade
2d80: 72 73 29 0a 0a 09 09 09 09 09 77 69 74 68 20 75  rs).......with u
2d90: 72 6c 6c 69 62 2e 72 65 71 75 65 73 74 2e 75 72  rllib.request.ur
2da0: 6c 6f 70 65 6e 28 72 65 71 75 65 73 74 29 20 61  lopen(request) a
2db0: 73 20 73 6f 75 72 63 65 3a 0a 09 09 09 09 09 09  s source:.......
2dc0: 6e 65 77 5f 72 65 63 6f 72 64 20 3d 20 7b 7d 0a  new_record = {}.
2dd0: 09 09 09 09 09 09 6e 65 77 5f 72 65 63 6f 72 64  ......new_record
2de0: 5b 27 5f 70 61 72 74 73 27 5d 20 3d 20 72 65 63  ['_parts'] = rec
2df0: 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d 0a 09 09  ord['_parts']...
2e00: 09 09 09 09 68 65 61 64 65 72 73 20 3d 20 73 6f  ....headers = so
2e10: 75 72 63 65 2e 69 6e 66 6f 28 29 0a 0a 09 09 09  urce.info().....
2e20: 09 09 09 23 20 73 74 72 69 70 70 69 6e 67 20 75  ...# stripping u
2e30: 6e 6e 65 65 64 65 64 20 68 65 61 64 65 72 73 20  nneeded headers 
2e40: 28 58 58 58 20 6d 61 6b 65 20 74 68 69 73 20 69  (XXX make this i
2e50: 6e 70 6c 61 63 65 3f 29 0a 09 09 09 09 09 09 66  nplace?).......f
2e60: 6f 72 20 68 65 61 64 65 72 20 69 6e 20 68 65 61  or header in hea
2e70: 64 65 72 73 3a 0a 09 09 09 09 09 09 09 69 66 20  ders:........if 
2e80: 68 65 61 64 65 72 20 69 6e 20 64 65 73 63 5f 66  header in desc_f
2e90: 69 65 6c 64 73 3a 0a 09 09 09 09 09 09 09 09 23  ields:.........#
2ea0: 69 66 20 68 65 61 64 65 72 20 3d 3d 20 27 50 72  if header == 'Pr
2eb0: 61 67 6d 61 27 20 61 6e 64 20 68 65 61 64 65 72  agma' and header
2ec0: 73 5b 68 65 61 64 65 72 5d 20 21 3d 20 27 6e 6f  s[header] != 'no
2ed0: 2d 63 61 63 68 65 27 3a 0a 09 09 09 09 09 09 09  -cache':........
2ee0: 09 69 66 20 68 65 61 64 65 72 20 3d 3d 20 27 43  .if header == 'C
2ef0: 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 3a 0a  ontent-Length':.
2f00: 09 09 09 09 09 09 09 09 09 69 66 20 27 43 6f 6e  .........if 'Con
2f10: 74 65 6e 74 2d 52 61 6e 67 65 27 20 6e 6f 74 20  tent-Range' not 
2f20: 69 6e 20 68 65 61 64 65 72 73 3a 0a 09 09 09 09  in headers:.....
2f30: 09 09 09 09 09 09 6e 65 77 5f 72 65 63 6f 72 64  ......new_record
2f40: 5b 68 65 61 64 65 72 5d 20 3d 20 69 6e 74 28 68  [header] = int(h
2f50: 65 61 64 65 72 73 5b 68 65 61 64 65 72 5d 29 0a  eaders[header]).
2f60: 09 09 09 09 09 09 09 09 65 6c 73 65 3a 0a 09 09  ........else:...
2f70: 09 09 09 09 09 09 09 6e 65 77 5f 72 65 63 6f 72  .......new_recor
2f80: 64 5b 68 65 61 64 65 72 5d 20 3d 20 68 65 61 64  d[header] = head
2f90: 65 72 73 5b 68 65 61 64 65 72 5d 0a 09 09 09 09  ers[header].....
2fa0: 09 09 09 65 6c 69 66 20 68 65 61 64 65 72 20 3d  ...elif header =
2fb0: 3d 20 27 43 6f 6e 74 65 6e 74 2d 52 61 6e 67 65  = 'Content-Range
2fc0: 27 3a 0a 09 09 09 09 09 09 09 09 72 61 6e 67 65  ':.........range
2fd0: 20 3d 20 72 65 2e 63 6f 6d 70 69 6c 65 28 27 5e   = re.compile('^
2fe0: 62 79 74 65 73 20 28 5c 64 2b 29 2d 28 5c 64 2b  bytes (\d+)-(\d+
2ff0: 29 2f 28 5c 64 2b 29 24 27 29 2e 6d 61 74 63 68  )/(\d+)$').match
3000: 28 68 65 61 64 65 72 73 5b 68 65 61 64 65 72 5d  (headers[header]
3010: 29 0a 09 09 09 09 09 09 09 09 69 66 20 72 61 6e  ).........if ran
3020: 67 65 3a 0a 09 09 09 09 09 09 09 09 09 6e 65 77  ge:..........new
3030: 5f 72 65 63 6f 72 64 5b 27 43 6f 6e 74 65 6e 74  _record['Content
3040: 2d 4c 65 6e 67 74 68 27 5d 20 3d 20 69 6e 74 28  -Length'] = int(
3050: 72 61 6e 67 65 2e 67 72 6f 75 70 28 33 29 29 0a  range.group(3)).
3060: 09 09 09 09 09 09 09 09 65 6c 73 65 3a 09 0a 09  ........else:...
3070: 09 09 09 09 09 09 09 09 61 73 73 65 72 74 20 46  ........assert F
3080: 61 6c 73 65 2c 20 27 43 6f 6e 74 65 6e 74 2d 52  alse, 'Content-R
3090: 61 6e 67 65 20 75 6e 72 65 63 6f 67 6e 69 7a 65  ange unrecognize
30a0: 64 2e 27 0a 09 09 09 09 09 09 09 65 6c 69 66 20  d.'........elif 
30b0: 6e 6f 74 20 68 65 61 64 65 72 20 69 6e 20 69 67  not header in ig
30c0: 6e 6f 72 65 5f 66 69 65 6c 64 73 3a 0a 09 09 09  nore_fields:....
30d0: 09 09 09 09 09 70 72 69 6e 74 28 27 55 6e 64 65  .....print('Unde
30e0: 66 69 6e 65 64 20 68 65 61 64 65 72 20 22 27 2c  fined header "',
30f0: 20 68 65 61 64 65 72 2c 20 27 22 3a 20 27 2c 20   header, '": ', 
3100: 68 65 61 64 65 72 73 5b 68 65 61 64 65 72 5d 2c  headers[header],
3110: 20 73 65 70 3d 27 27 29 0a 0a 09 09 09 09 09 09   sep='')........
3120: 23 20 63 6f 6d 70 61 72 69 6e 67 20 68 65 61 64  # comparing head
3130: 65 72 73 20 77 69 74 68 20 64 61 74 61 20 66 6f  ers with data fo
3140: 75 6e 64 20 69 6e 20 69 6e 64 65 78 0a 09 09 09  und in index....
3150: 09 09 09 23 20 69 66 20 61 6e 79 20 68 65 61 64  ...# if any head
3160: 65 72 20 68 61 73 20 63 68 61 6e 67 65 64 20 28  er has changed (
3170: 65 78 63 65 70 74 20 50 72 61 67 6d 61 29 20 66  except Pragma) f
3180: 69 6c 65 20 69 73 20 66 75 6c 6c 79 20 64 6f 77  ile is fully dow
3190: 6e 6c 6f 61 64 65 64 0a 09 09 09 09 09 09 23 20  nloaded.......# 
31a0: 73 61 6d 65 20 69 66 20 77 65 20 67 65 74 20 6d  same if we get m
31b0: 6f 72 65 20 6f 72 20 6c 65 73 73 20 68 65 61 64  ore or less head
31c0: 65 72 73 0a 09 09 09 09 09 09 6f 6c 64 5f 6b 65  ers.......old_ke
31d0: 79 73 20 3d 20 73 65 74 28 72 65 63 6f 72 64 2e  ys = set(record.
31e0: 6b 65 79 73 28 29 29 0a 09 09 09 09 09 09 6f 6c  keys()).......ol
31f0: 64 5f 6b 65 79 73 2e 64 69 73 63 61 72 64 28 27  d_keys.discard('
3200: 5f 74 69 6d 65 27 29 0a 09 09 09 09 09 09 6f 6c  _time').......ol
3210: 64 5f 6b 65 79 73 2e 64 69 73 63 61 72 64 28 27  d_keys.discard('
3220: 50 72 61 67 6d 61 27 29 0a 09 09 09 09 09 09 6d  Pragma').......m
3230: 6f 72 65 5f 6b 65 79 73 20 3d 20 73 65 74 28 6e  ore_keys = set(n
3240: 65 77 5f 72 65 63 6f 72 64 2e 6b 65 79 73 28 29  ew_record.keys()
3250: 29 20 2d 20 6f 6c 64 5f 6b 65 79 73 0a 09 09 09  ) - old_keys....
3260: 09 09 09 6d 6f 72 65 5f 6b 65 79 73 2e 64 69 73  ...more_keys.dis
3270: 63 61 72 64 28 27 50 72 61 67 6d 61 27 29 0a 09  card('Pragma')..
3280: 09 09 09 09 09 6c 65 73 73 5f 6b 65 79 73 20 3d  .....less_keys =
3290: 20 6f 6c 64 5f 6b 65 79 73 20 2d 20 73 65 74 28   old_keys - set(
32a0: 6e 65 77 5f 72 65 63 6f 72 64 2e 6b 65 79 73 28  new_record.keys(
32b0: 29 29 0a 09 09 09 09 09 09 69 66 20 6c 65 6e 28  )).......if len(
32c0: 6d 6f 72 65 5f 6b 65 79 73 29 20 3e 20 30 3a 0a  more_keys) > 0:.
32d0: 09 09 09 09 09 09 09 69 66 20 6e 6f 74 20 6c 65  .......if not le
32e0: 6e 28 6f 6c 64 5f 6b 65 79 73 29 20 3d 3d 20 30  n(old_keys) == 0
32f0: 3a 0a 09 09 09 09 09 09 09 09 70 72 69 6e 74 28  :.........print(
3300: 27 4d 6f 72 65 20 68 65 61 64 65 72 73 20 61 70  'More headers ap
3310: 70 65 61 72 3a 27 2c 20 6d 6f 72 65 5f 6b 65 79  pear:', more_key
3320: 73 29 0a 09 09 09 09 09 09 09 72 65 6c 6f 61 64  s)........reload
3330: 20 3d 20 54 72 75 65 0a 09 09 09 09 09 09 65 6c   = True.......el
3340: 69 66 20 6c 65 6e 28 6c 65 73 73 5f 6b 65 79 73  if len(less_keys
3350: 29 20 3e 20 30 3a 0a 09 09 09 09 09 09 09 70 72  ) > 0:........pr
3360: 69 6e 74 28 27 4c 65 73 73 20 68 65 61 64 65 72  int('Less header
3370: 73 20 61 70 70 65 61 72 3a 27 2c 20 6c 65 73 73  s appear:', less
3380: 5f 6b 65 79 73 29 0a 09 09 09 09 09 09 65 6c 73  _keys).......els
3390: 65 3a 0a 09 09 09 09 09 09 09 66 6f 72 20 6b 65  e:........for ke
33a0: 79 20 69 6e 20 72 65 63 6f 72 64 2e 6b 65 79 73  y in record.keys
33b0: 28 29 3a 0a 09 09 09 09 09 09 09 09 69 66 20 6b  ():.........if k
33c0: 65 79 5b 30 5d 20 21 3d 20 27 5f 27 20 61 6e 64  ey[0] != '_' and
33d0: 20 6b 65 79 20 21 3d 20 27 50 72 61 67 6d 61 27   key != 'Pragma'
33e0: 20 61 6e 64 20 6e 6f 74 20 72 65 63 6f 72 64 5b   and not record[
33f0: 6b 65 79 5d 20 3d 3d 20 6e 65 77 5f 72 65 63 6f  key] == new_reco
3400: 72 64 5b 6b 65 79 5d 3a 0a 09 09 09 09 09 09 09  rd[key]:........
3410: 09 09 70 72 69 6e 74 28 27 48 65 61 64 65 72 20  ..print('Header 
3420: 22 27 2c 20 6b 65 79 2c 20 27 22 20 63 68 61 6e  "', key, '" chan
3430: 67 65 64 20 66 72 6f 6d 20 5b 27 2c 20 72 65 63  ged from [', rec
3440: 6f 72 64 5b 6b 65 79 5d 2c 20 27 5d 20 74 6f 20  ord[key], '] to 
3450: 5b 27 2c 20 6e 65 77 5f 72 65 63 6f 72 64 5b 6b  [', new_record[k
3460: 65 79 5d 2c 20 27 5d 27 2c 20 73 65 70 3d 27 27  ey], ']', sep=''
3470: 29 0a 09 09 09 09 09 09 09 09 09 70 72 69 6e 74  )..........print
3480: 28 74 79 70 65 28 72 65 63 6f 72 64 5b 6b 65 79  (type(record[key
3490: 5d 29 2c 20 74 79 70 65 28 6e 65 77 5f 72 65 63  ]), type(new_rec
34a0: 6f 72 64 5b 6b 65 79 5d 29 29 0a 09 09 09 09 09  ord[key]))......
34b0: 09 09 09 09 72 65 6c 6f 61 64 20 3d 20 54 72 75  ....reload = Tru
34c0: 65 0a 0a 09 09 09 09 09 09 69 66 20 72 65 6c 6f  e........if relo
34d0: 61 64 3a 0a 09 09 09 09 09 09 09 70 72 69 6e 74  ad:........print
34e0: 28 27 52 65 6c 6f 61 64 69 6e 67 2e 27 29 0a 09  ('Reloading.')..
34f0: 09 09 09 09 09 09 69 66 20 6f 73 2e 61 63 63 65  ......if os.acce
3500: 73 73 28 74 65 6d 70 5f 6e 61 6d 65 2c 20 6f 73  ss(temp_name, os
3510: 2e 52 5f 4f 4b 29 3a 0a 09 09 09 09 09 09 09 09  .R_OK):.........
3520: 6f 73 2e 75 6e 6c 69 6e 6b 28 74 65 6d 70 5f 6e  os.unlink(temp_n
3530: 61 6d 65 29 0a 09 09 09 09 09 09 09 69 66 20 6f  ame)........if o
3540: 73 2e 61 63 63 65 73 73 28 66 69 6c 65 5f 6e 61  s.access(file_na
3550: 6d 65 2c 20 6f 73 2e 52 5f 4f 4b 29 3a 0a 09 09  me, os.R_OK):...
3560: 09 09 09 09 09 09 6f 73 2e 75 6e 6c 69 6e 6b 28  ......os.unlink(
3570: 66 69 6c 65 5f 6e 61 6d 65 29 0a 09 09 09 09 09  file_name)......
3580: 09 09 6e 65 77 5f 72 65 63 6f 72 64 5b 27 5f 70  ..new_record['_p
3590: 61 72 74 73 27 5d 20 3d 20 73 70 61 63 65 6d 61  arts'] = spacema
35a0: 70 2e 53 70 61 63 65 4d 61 70 28 7b 30 3a 20 69  p.SpaceMap({0: i
35b0: 6e 74 28 6e 65 77 5f 72 65 63 6f 72 64 5b 27 43  nt(new_record['C
35c0: 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 5d 29  ontent-Length'])
35d0: 7d 29 0a 09 09 09 09 09 09 70 72 69 6e 74 28 6e  }).......print(n
35e0: 65 77 5f 72 65 63 6f 72 64 29 0a 0a 09 09 09 09  ew_record)......
35f0: 09 09 23 20 64 6f 77 6e 6c 6f 61 64 69 6e 67 20  ..# downloading 
3600: 66 69 6c 65 20 6f 72 20 73 65 67 6d 65 6e 74 0a  file or segment.
3610: 09 09 09 09 09 09 69 66 20 27 43 6f 6e 74 65 6e  ......if 'Conten
3620: 74 2d 4c 65 6e 67 74 68 27 20 69 6e 20 6e 65 77  t-Length' in new
3630: 5f 72 65 63 6f 72 64 3a 0a 09 09 09 09 09 09 09  _record:........
3640: 69 66 20 6e 65 65 64 65 64 20 3d 3d 20 4e 6f 6e  if needed == Non
3650: 65 3a 0a 09 09 09 09 09 09 09 09 6e 65 65 64 65  e:.........neede
3660: 64 20 3d 20 6e 65 77 5f 72 65 63 6f 72 64 5b 27  d = new_record['
3670: 5f 70 61 72 74 73 27 5d 0a 09 09 09 09 09 09 09  _parts']........
3680: 65 6c 73 65 3a 0a 09 09 09 09 09 09 09 09 69 66  else:.........if
3690: 20 6c 65 6e 28 6e 65 65 64 65 64 29 20 3e 20 31   len(needed) > 1
36a0: 3a 0a 09 09 09 09 09 09 09 09 09 70 72 69 6e 74  :..........print
36b0: 28 22 4d 75 6c 74 69 70 61 72 74 20 72 65 71 75  ("Multipart requ
36c0: 65 73 74 73 20 63 75 72 72 65 6e 74 6c 79 20 6e  ests currently n
36d0: 6f 74 20 73 75 70 70 6f 72 74 65 64 2e 22 29 0a  ot supported.").
36e0: 09 09 09 09 09 09 09 09 09 61 73 73 65 72 74 20  .........assert 
36f0: 46 61 6c 73 65 2c 20 27 53 6b 69 70 20 74 68 69  False, 'Skip thi
3700: 73 20 6f 6e 65 20 66 6f 72 20 6e 6f 77 2e 27 0a  s one for now.'.
3710: 09 09 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 09  ......else:.....
3720: 09 09 09 61 73 73 65 72 74 20 46 61 6c 73 65 2c  ...assert False,
3730: 20 27 4e 6f 20 43 6f 6e 74 65 6e 74 2d 4c 65 6e   'No Content-Len
3740: 67 74 68 20 6f 72 20 43 6f 6e 74 65 6e 74 2d 52  gth or Content-R
3750: 61 6e 67 65 20 68 65 61 64 65 72 2e 27 0a 0a 09  ange header.'...
3760: 09 09 09 09 09 6e 65 77 5f 72 65 63 6f 72 64 5b  .....new_record[
3770: 27 5f 74 69 6d 65 27 5d 20 3d 20 64 61 74 65 74  '_time'] = datet
3780: 69 6d 65 2e 64 61 74 65 74 69 6d 65 2e 6e 6f 77  ime.datetime.now
3790: 28 29 0a 09 09 09 09 09 09 69 66 20 73 65 6c 66  ().......if self
37a0: 2e 63 6f 6d 6d 61 6e 64 20 6e 6f 74 20 69 6e 20  .command not in 
37b0: 28 27 48 45 41 44 27 29 3a 0a 09 09 09 09 09 09  ('HEAD'):.......
37c0: 09 23 20 66 69 6c 65 20 69 73 20 63 72 65 61 74  .# file is creat
37d0: 65 64 20 61 74 20 74 65 6d 70 6f 72 61 72 79 20  ed at temporary 
37e0: 6c 6f 63 61 74 69 6f 6e 20 61 6e 64 20 6d 6f 76  location and mov
37f0: 65 64 20 69 6e 20 70 6c 61 63 65 20 6f 6e 6c 79  ed in place only
3800: 20 77 68 65 6e 20 64 6f 77 6e 6c 6f 61 64 20 63   when download c
3810: 6f 6d 70 6c 65 74 65 73 0a 09 09 09 09 09 09 09  ompletes........
3820: 69 66 20 6e 6f 74 20 6f 73 2e 61 63 63 65 73 73  if not os.access
3830: 28 74 65 6d 70 5f 6e 61 6d 65 2c 20 6f 73 2e 52  (temp_name, os.R
3840: 5f 4f 4b 29 3a 0a 09 09 09 09 09 09 09 09 65 6d  _OK):.........em
3850: 70 74 79 5f 6e 61 6d 65 20 3d 20 63 6f 6e 66 69  pty_name = confi
3860: 67 5b 27 64 69 72 27 5d 20 2b 20 6f 73 2e 73 65  g['dir'] + os.se
3870: 70 20 2b 20 27 2e 74 6d 70 27 0a 09 09 09 09 09  p + '.tmp'......
3880: 09 09 09 77 69 74 68 20 6f 70 65 6e 28 65 6d 70  ...with open(emp
3890: 74 79 5f 6e 61 6d 65 2c 20 27 77 2b 62 27 29 20  ty_name, 'w+b') 
38a0: 61 73 20 73 6f 6d 65 5f 66 69 6c 65 3a 0a 09 09  as some_file:...
38b0: 09 09 09 09 09 09 09 70 61 73 73 0a 09 09 09 09  .......pass.....
38c0: 09 09 09 09 6f 73 2e 72 65 6e 61 6d 65 73 28 65  ....os.renames(e
38d0: 6d 70 74 79 5f 6e 61 6d 65 2c 20 74 65 6d 70 5f  mpty_name, temp_
38e0: 6e 61 6d 65 29 0a 09 09 09 09 09 09 09 74 65 6d  name)........tem
38f0: 70 5f 66 69 6c 65 20 3d 20 6f 70 65 6e 28 74 65  p_file = open(te
3900: 6d 70 5f 6e 61 6d 65 2c 20 27 72 2b 62 27 29 0a  mp_name, 'r+b').
3910: 09 09 09 09 09 09 09 69 66 20 72 65 71 75 65 73  .......if reques
3920: 74 65 64 5f 72 61 6e 67 65 73 20 3d 3d 20 4e 6f  ted_ranges == No
3930: 6e 65 20 61 6e 64 20 6e 65 65 64 65 64 20 3d 3d  ne and needed ==
3940: 20 4e 6f 6e 65 3a 0a 09 09 09 09 09 09 09 09 6e   None:.........n
3950: 65 65 64 65 64 20 3d 20 6e 65 77 5f 72 65 63 6f  eeded = new_reco
3960: 72 64 5b 27 5f 70 61 72 74 73 27 5d 0a 09 09 09  rd['_parts']....
3970: 09 09 09 09 6e 65 65 64 65 64 2e 72 65 77 69 6e  ....needed.rewin
3980: 64 28 29 0a 09 09 09 09 09 09 09 77 68 69 6c 65  d()........while
3990: 20 54 72 75 65 3a 0a 09 09 09 09 09 09 09 09 28   True:.........(
39a0: 73 74 61 72 74 2c 20 65 6e 64 29 20 3d 20 6e 65  start, end) = ne
39b0: 65 64 65 64 2e 70 6f 70 28 29 0a 09 09 09 09 09  eded.pop()......
39c0: 09 09 09 69 66 20 73 74 61 72 74 20 3d 3d 20 4e  ...if start == N
39d0: 6f 6e 65 3a 0a 09 09 09 09 09 09 09 09 09 62 72  one:..........br
39e0: 65 61 6b 0a 09 09 09 09 09 09 09 09 73 74 72 65  eak.........stre
39f0: 61 6d 5f 6c 61 73 74 20 3d 20 73 74 61 72 74 0a  am_last = start.
3a00: 09 09 09 09 09 09 09 09 6f 6c 64 5f 72 65 63 6f  ........old_reco
3a10: 72 64 20 3d 20 6e 65 77 5f 72 65 63 6f 72 64 0a  rd = new_record.
3a20: 09 09 09 09 09 09 09 09 69 66 20 65 6e 64 20 2d  ........if end -
3a30: 20 73 74 61 72 74 20 3c 20 62 6c 6f 63 6b 5f 73   start < block_s
3a40: 69 7a 65 3a 0a 09 09 09 09 09 09 09 09 09 72 65  ize:..........re
3a50: 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 20 3d 20 65  q_block_size = e
3a60: 6e 64 20 2d 20 73 74 61 72 74 0a 09 09 09 09 09  nd - start......
3a70: 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 09  ...else:........
3a80: 09 09 72 65 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65  ..req_block_size
3a90: 20 3d 20 62 6c 6f 63 6b 5f 73 69 7a 65 0a 09 09   = block_size...
3aa0: 09 09 09 09 09 09 62 75 66 66 65 72 20 3d 20 73  ......buffer = s
3ab0: 6f 75 72 63 65 2e 72 65 61 64 28 72 65 71 5f 62  ource.read(req_b
3ac0: 6c 6f 63 6b 5f 73 69 7a 65 29 0a 09 09 09 09 09  lock_size)......
3ad0: 09 09 09 6c 65 6e 67 74 68 20 3d 20 6c 65 6e 28  ...length = len(
3ae0: 62 75 66 66 65 72 29 0a 09 09 09 09 09 09 09 09  buffer).........
3af0: 77 68 69 6c 65 20 6c 65 6e 67 74 68 20 3e 20 30  while length > 0
3b00: 20 61 6e 64 20 73 74 72 65 61 6d 5f 6c 61 73 74   and stream_last
3b10: 20 3c 20 65 6e 64 3a 0a 09 09 09 09 09 09 09 09   < end:.........
3b20: 09 73 74 72 65 61 6d 5f 70 6f 73 20 3d 20 73 74  .stream_pos = st
3b30: 72 65 61 6d 5f 6c 61 73 74 20 2b 20 6c 65 6e 67  ream_last + leng
3b40: 74 68 0a 09 09 09 09 09 09 09 09 09 61 73 73 65  th..........asse
3b50: 72 74 20 6e 6f 74 20 73 74 72 65 61 6d 5f 70 6f  rt not stream_po
3b60: 73 20 3e 20 65 6e 64 2c 20 27 52 65 63 65 69 76  s > end, 'Receiv
3b70: 65 64 20 6d 6f 72 65 20 64 61 74 61 20 74 68 65  ed more data the
3b80: 6e 20 72 65 71 75 65 73 74 65 64 3a 20 70 6f 73  n requested: pos
3b90: 3a 7b 7d 20 73 74 61 72 74 3a 7b 7d 20 65 6e 64  :{} start:{} end
3ba0: 3a 7b 7d 2e 27 2e 66 6f 72 6d 61 74 28 73 74 72  :{}.'.format(str
3bb0: 65 61 6d 5f 70 6f 73 2c 20 73 74 61 72 74 2c 20  eam_pos, start, 
3bc0: 65 6e 64 29 0a 09 09 09 09 09 09 09 09 09 74 65  end)..........te
3bd0: 6d 70 5f 66 69 6c 65 2e 73 65 65 6b 28 73 74 72  mp_file.seek(str
3be0: 65 61 6d 5f 6c 61 73 74 29 0a 09 09 09 09 09 09  eam_last).......
3bf0: 09 09 09 74 65 6d 70 5f 66 69 6c 65 2e 77 72 69  ...temp_file.wri
3c00: 74 65 28 62 75 66 66 65 72 29 0a 09 09 09 09 09  te(buffer)......
3c10: 09 09 09 09 6e 65 77 5f 72 65 63 6f 72 64 5b 27  ....new_record['
3c20: 5f 70 61 72 74 73 27 5d 20 3d 20 6e 65 77 5f 72  _parts'] = new_r
3c30: 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d 20  ecord['_parts'] 
3c40: 2d 20 73 70 61 63 65 6d 61 70 2e 53 70 61 63 65  - spacemap.Space
3c50: 4d 61 70 28 7b 73 74 72 65 61 6d 5f 6c 61 73 74  Map({stream_last
3c60: 3a 20 73 74 72 65 61 6d 5f 70 6f 73 7d 29 0a 09  : stream_pos})..
3c70: 09 09 09 09 09 09 09 09 69 6e 64 65 78 5b 6d 79  ........index[my
3c80: 5f 70 61 74 68 5d 20 3d 20 6f 6c 64 5f 72 65 63  _path] = old_rec
3c90: 6f 72 64 0a 09 09 09 09 09 09 09 09 09 69 6e 64  ord..........ind
3ca0: 65 78 2e 73 79 6e 63 28 29 0a 09 09 09 09 09 09  ex.sync().......
3cb0: 09 09 09 6f 6c 64 5f 72 65 63 6f 72 64 20 3d 20  ...old_record = 
3cc0: 6e 65 77 5f 72 65 63 6f 72 64 0a 09 09 09 09 09  new_record......
3cd0: 09 09 09 09 73 74 72 65 61 6d 5f 6c 61 73 74 20  ....stream_last 
3ce0: 3d 20 73 74 72 65 61 6d 5f 70 6f 73 0a 09 09 09  = stream_pos....
3cf0: 09 09 09 09 09 09 69 66 20 65 6e 64 20 2d 20 73  ......if end - s
3d00: 74 72 65 61 6d 5f 6c 61 73 74 20 3c 20 62 6c 6f  tream_last < blo
3d10: 63 6b 5f 73 69 7a 65 3a 0a 09 09 09 09 09 09 09  ck_size:........
3d20: 09 09 09 72 65 71 5f 62 6c 6f 63 6b 5f 73 69 7a  ...req_block_siz
3d30: 65 20 3d 20 65 6e 64 20 2d 20 73 74 72 65 61 6d  e = end - stream
3d40: 5f 6c 61 73 74 0a 09 09 09 09 09 09 09 09 09 62  _last..........b
3d50: 75 66 66 65 72 20 3d 20 73 6f 75 72 63 65 2e 72  uffer = source.r
3d60: 65 61 64 28 72 65 71 5f 62 6c 6f 63 6b 5f 73 69  ead(req_block_si
3d70: 7a 65 29 0a 09 09 09 09 09 09 09 09 09 6c 65 6e  ze)..........len
3d80: 67 74 68 20 3d 20 6c 65 6e 28 62 75 66 66 65 72  gth = len(buffer
3d90: 29 0a 09 09 09 09 09 09 09 23 20 6d 6f 76 69 6e  )........# movin
3da0: 67 20 64 6f 77 6e 6c 6f 61 64 65 64 20 64 61 74  g downloaded dat
3db0: 61 20 74 6f 20 72 65 61 6c 20 66 69 6c 65 0a 09  a to real file..
3dc0: 09 09 09 09 09 09 74 65 6d 70 5f 66 69 6c 65 2e  ......temp_file.
3dd0: 63 6c 6f 73 65 28 29 0a 0a 09 09 09 09 09 09 70  close()........p
3de0: 72 69 6e 74 28 6e 65 77 5f 72 65 63 6f 72 64 29  rint(new_record)
3df0: 0a 09 09 09 09 09 09 69 6e 64 65 78 5b 6d 79 5f  .......index[my_
3e00: 70 61 74 68 5d 20 3d 20 6e 65 77 5f 72 65 63 6f  path] = new_reco
3e10: 72 64 0a 09 09 09 09 09 09 69 6e 64 65 78 2e 73  rd.......index.s
3e20: 79 6e 63 28 29 0a 0a 09 09 09 09 65 78 63 65 70  ync()......excep
3e30: 74 20 75 72 6c 6c 69 62 2e 65 72 72 6f 72 2e 48  t urllib.error.H
3e40: 54 54 50 45 72 72 6f 72 20 61 73 20 65 72 72 6f  TTPError as erro
3e50: 72 3a 0a 09 09 09 09 09 23 20 69 6e 20 63 61 73  r:......# in cas
3e60: 65 20 6f 66 20 65 72 72 6f 72 20 77 65 20 64 6f  e of error we do
3e70: 6e 27 74 20 6e 65 65 64 20 74 6f 20 64 6f 20 61  n't need to do a
3e80: 6e 79 74 68 69 6e 67 20 61 63 74 75 61 6c 6c 79  nything actually
3e90: 2c 0a 09 09 09 09 09 23 20 69 66 20 66 69 6c 65  ,......# if file
3ea0: 20 64 6f 77 6e 6c 6f 61 64 20 73 74 61 6c 6c 73   download stalls
3eb0: 20 6f 72 20 66 61 69 6c 73 20 74 68 65 20 66 69   or fails the fi
3ec0: 6c 65 20 77 6f 75 6c 64 20 6e 6f 74 20 62 65 20  le would not be 
3ed0: 6d 6f 76 65 64 20 74 6f 20 69 74 27 73 20 6c 6f  moved to it's lo
3ee0: 63 61 74 69 6f 6e 0a 09 09 09 09 09 70 72 69 6e  cation......prin
3ef0: 74 28 65 72 72 6f 72 29 0a 0a 09 09 09 69 66 20  t(error).....if 
3f00: 6e 6f 74 20 6f 73 2e 61 63 63 65 73 73 28 66 69  not os.access(fi
3f10: 6c 65 5f 6e 61 6d 65 2c 20 6f 73 2e 52 5f 4f 4b  le_name, os.R_OK
3f20: 29 20 61 6e 64 20 6f 73 2e 61 63 63 65 73 73 28  ) and os.access(
3f30: 74 65 6d 70 5f 6e 61 6d 65 2c 20 6f 73 2e 52 5f  temp_name, os.R_
3f40: 4f 4b 29 20 61 6e 64 20 27 5f 70 61 72 74 73 27  OK) and '_parts'
3f50: 20 69 6e 20 69 6e 64 65 78 5b 6d 79 5f 70 61 74   in index[my_pat
3f60: 68 5d 20 61 6e 64 20 69 6e 64 65 78 5b 6d 79 5f  h] and index[my_
3f70: 70 61 74 68 5d 5b 27 5f 70 61 72 74 73 27 5d 20  path]['_parts'] 
3f80: 3d 3d 20 73 70 61 63 65 6d 61 70 2e 53 70 61 63  == spacemap.Spac
3f90: 65 4d 61 70 28 29 3a 0a 09 09 09 09 23 20 6a 75  eMap():.....# ju
3fa0: 73 74 20 6d 6f 76 69 6e 67 0a 09 09 09 09 23 20  st moving.....# 
3fb0: 64 72 6f 70 20 6f 6c 64 20 64 69 72 73 20 58 58  drop old dirs XX
3fc0: 58 0a 09 09 09 09 70 72 69 6e 74 28 27 4d 6f 76  X.....print('Mov
3fd0: 69 6e 67 20 74 65 6d 70 6f 72 61 72 79 20 66 69  ing temporary fi
3fe0: 6c 65 20 74 6f 20 6e 65 77 20 64 65 73 74 69 6e  le to new destin
3ff0: 61 74 69 6f 6e 2e 27 29 0a 09 09 09 09 6f 73 2e  ation.').....os.
4000: 72 65 6e 61 6d 65 73 28 74 65 6d 70 5f 6e 61 6d  renames(temp_nam
4010: 65 2c 20 66 69 6c 65 5f 6e 61 6d 65 29 0a 0a 09  e, file_name)...
4020: 09 09 69 66 20 6e 6f 74 20 6d 79 5f 70 61 74 68  ..if not my_path
4030: 20 69 6e 20 69 6e 64 65 78 3a 0a 09 09 09 09 73   in index:.....s
4040: 65 6c 66 2e 73 65 6e 64 5f 72 65 73 70 6f 6e 73  elf.send_respons
4050: 65 28 35 30 32 29 0a 09 09 09 09 73 65 6c 66 2e  e(502).....self.
4060: 65 6e 64 5f 68 65 61 64 65 72 73 28 29 0a 09 09  end_headers()...
4070: 09 09 72 65 74 75 72 6e 0a 0a 09 09 09 69 66 20  ..return.....if 
4080: 73 65 6c 66 2e 63 6f 6d 6d 61 6e 64 20 3d 3d 20  self.command == 
4090: 27 48 45 41 44 27 3a 0a 09 09 09 09 73 65 6c 66  'HEAD':.....self
40a0: 2e 73 65 6e 64 5f 72 65 73 70 6f 6e 73 65 28 32  .send_response(2
40b0: 30 30 29 0a 09 09 09 09 69 66 20 27 43 6f 6e 74  00).....if 'Cont
40c0: 65 6e 74 2d 4c 65 6e 67 74 68 27 20 69 6e 20 69  ent-Length' in i
40d0: 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5d 3a 0a 09  ndex[my_path]:..
40e0: 09 09 09 09 73 65 6c 66 2e 73 65 6e 64 5f 68 65  ....self.send_he
40f0: 61 64 65 72 28 27 43 6f 6e 74 65 6e 74 2d 4c 65  ader('Content-Le
4100: 6e 67 74 68 27 2c 20 69 6e 64 65 78 5b 6d 79 5f  ngth', index[my_
4110: 70 61 74 68 5d 5b 27 43 6f 6e 74 65 6e 74 2d 4c  path]['Content-L
4120: 65 6e 67 74 68 27 5d 29 0a 09 09 09 09 73 65 6c  ength']).....sel
4130: 66 2e 73 65 6e 64 5f 68 65 61 64 65 72 28 27 41  f.send_header('A
4140: 63 63 65 70 74 2d 52 61 6e 67 65 73 27 2c 20 27  ccept-Ranges', '
4150: 62 79 74 65 73 27 29 0a 09 09 09 09 73 65 6c 66  bytes').....self
4160: 2e 73 65 6e 64 5f 68 65 61 64 65 72 28 27 43 6f  .send_header('Co
4170: 6e 74 65 6e 74 2d 54 79 70 65 27 2c 20 27 61 70  ntent-Type', 'ap
4180: 70 6c 69 63 61 74 69 6f 6e 2f 6f 63 74 65 74 2d  plication/octet-
4190: 73 74 72 65 61 6d 27 29 0a 09 09 09 09 69 66 20  stream').....if 
41a0: 27 4c 61 73 74 2d 4d 6f 64 69 66 69 65 64 27 20  'Last-Modified' 
41b0: 69 6e 20 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68  in index[my_path
41c0: 5d 3a 0a 09 09 09 09 09 73 65 6c 66 2e 73 65 6e  ]:......self.sen
41d0: 64 5f 68 65 61 64 65 72 28 27 4c 61 73 74 2d 4d  d_header('Last-M
41e0: 6f 64 69 66 69 65 64 27 2c 20 69 6e 64 65 78 5b  odified', index[
41f0: 6d 79 5f 70 61 74 68 5d 5b 27 4c 61 73 74 2d 4d  my_path]['Last-M
4200: 6f 64 69 66 69 65 64 27 5d 29 0a 09 09 09 09 73  odified']).....s
4210: 65 6c 66 2e 65 6e 64 5f 68 65 61 64 65 72 73 28  elf.end_headers(
4220: 29 0a 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 69  )....else:.....i
4230: 66 20 28 27 5f 70 61 72 74 73 27 20 69 6e 20 69  f ('_parts' in i
4240: 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5d 20 61 6e  ndex[my_path] an
4250: 64 20 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5d  d index[my_path]
4260: 5b 27 5f 70 61 72 74 73 27 5d 20 21 3d 20 73 70  ['_parts'] != sp
4270: 61 63 65 6d 61 70 2e 53 70 61 63 65 4d 61 70 28  acemap.SpaceMap(
4280: 29 29 20 6f 72 20 6e 6f 74 20 6f 73 2e 61 63 63  )) or not os.acc
4290: 65 73 73 28 66 69 6c 65 5f 6e 61 6d 65 2c 20 6f  ess(file_name, o
42a0: 73 2e 52 5f 4f 4b 29 3a 0a 09 09 09 09 09 66 69  s.R_OK):......fi
42b0: 6c 65 5f 6e 61 6d 65 20 3d 20 74 65 6d 70 5f 6e  le_name = temp_n
42c0: 61 6d 65 0a 0a 09 09 09 09 77 69 74 68 20 6f 70  ame......with op
42d0: 65 6e 28 66 69 6c 65 5f 6e 61 6d 65 2c 20 27 72  en(file_name, 'r
42e0: 62 27 29 20 61 73 20 72 65 61 6c 5f 66 69 6c 65  b') as real_file
42f0: 3a 0a 09 09 09 09 09 66 69 6c 65 5f 73 74 61 74  :......file_stat
4300: 20 3d 20 6f 73 2e 73 74 61 74 28 66 69 6c 65 5f   = os.stat(file_
4310: 6e 61 6d 65 29 0a 09 09 09 09 09 69 66 20 27 52  name)......if 'R
4320: 61 6e 67 65 27 20 69 6e 20 73 65 6c 66 2e 68 65  ange' in self.he
4330: 61 64 65 72 73 3a 0a 09 09 09 09 09 09 73 65 6c  aders:.......sel
4340: 66 2e 73 65 6e 64 5f 72 65 73 70 6f 6e 73 65 28  f.send_response(
4350: 32 30 36 29 0a 09 09 09 09 09 09 72 61 6e 67 65  206).......range
4360: 73 20 3d 20 28 29 0a 09 09 09 09 09 09 72 65 71  s = ().......req
4370: 75 65 73 74 65 64 5f 72 61 6e 67 65 73 2e 72 65  uested_ranges.re
4380: 77 69 6e 64 28 29 0a 09 09 09 09 09 09 77 68 69  wind().......whi
4390: 6c 65 20 54 72 75 65 3a 0a 09 09 09 09 09 09 09  le True:........
43a0: 70 61 69 72 20 3d 20 72 65 71 75 65 73 74 65 64  pair = requested
43b0: 5f 72 61 6e 67 65 73 2e 70 6f 70 28 29 0a 09 09  _ranges.pop()...
43c0: 09 09 09 09 09 69 66 20 70 61 69 72 5b 30 5d 20  .....if pair[0] 
43d0: 3d 3d 20 4e 6f 6e 65 3a 0a 09 09 09 09 09 09 09  == None:........
43e0: 09 62 72 65 61 6b 0a 09 09 09 09 09 09 09 72 61  .break........ra
43f0: 6e 67 65 73 20 2b 3d 20 27 7b 7d 2d 7b 7d 27 2e  nges += '{}-{}'.
4400: 66 6f 72 6d 61 74 28 70 61 69 72 5b 30 5d 2c 20  format(pair[0], 
4410: 73 74 72 28 70 61 69 72 5b 31 5d 20 2d 20 31 29  str(pair[1] - 1)
4420: 29 2c 0a 09 09 09 09 09 09 73 65 6c 66 2e 73 65  ),.......self.se
4430: 6e 64 5f 68 65 61 64 65 72 28 27 43 6f 6e 74 65  nd_header('Conte
4440: 6e 74 2d 52 61 6e 67 65 27 2c 20 27 62 79 74 65  nt-Range', 'byte
4450: 73 20 7b 7d 2f 7b 7d 27 2e 66 6f 72 6d 61 74 28  s {}/{}'.format(
4460: 27 2c 27 2e 6a 6f 69 6e 28 72 61 6e 67 65 73 29  ','.join(ranges)
4470: 2c 20 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5d  , index[my_path]
4480: 5b 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68  ['Content-Length
4490: 27 5d 29 29 0a 09 09 09 09 09 65 6c 73 65 3a 0a  ']))......else:.
44a0: 09 09 09 09 09 09 73 65 6c 66 2e 73 65 6e 64 5f  ......self.send_
44b0: 72 65 73 70 6f 6e 73 65 28 32 30 30 29 0a 09 09  response(200)...
44c0: 09 09 09 09 73 65 6c 66 2e 73 65 6e 64 5f 68 65  ....self.send_he
44d0: 61 64 65 72 28 27 43 6f 6e 74 65 6e 74 2d 4c 65  ader('Content-Le
44e0: 6e 67 74 68 27 2c 20 73 74 72 28 66 69 6c 65 5f  ngth', str(file_
44f0: 73 74 61 74 2e 73 74 5f 73 69 7a 65 29 29 0a 09  stat.st_size))..
4500: 09 09 09 09 09 72 65 71 75 65 73 74 65 64 5f 72  .....requested_r
4510: 61 6e 67 65 73 20 3d 20 73 70 61 63 65 6d 61 70  anges = spacemap
4520: 2e 53 70 61 63 65 4d 61 70 28 7b 30 3a 20 66 69  .SpaceMap({0: fi
4530: 6c 65 5f 73 74 61 74 2e 73 74 5f 73 69 7a 65 7d  le_stat.st_size}
4540: 29 0a 09 09 09 09 09 69 66 20 27 4c 61 73 74 2d  )......if 'Last-
4550: 4d 6f 64 69 66 69 65 64 27 20 69 6e 20 69 6e 64  Modified' in ind
4560: 65 78 5b 6d 79 5f 70 61 74 68 5d 3a 0a 09 09 09  ex[my_path]:....
4570: 09 09 09 73 65 6c 66 2e 73 65 6e 64 5f 68 65 61  ...self.send_hea
4580: 64 65 72 28 27 4c 61 73 74 2d 4d 6f 64 69 66 69  der('Last-Modifi
4590: 65 64 27 2c 20 69 6e 64 65 78 5b 6d 79 5f 70 61  ed', index[my_pa
45a0: 74 68 5d 5b 27 4c 61 73 74 2d 4d 6f 64 69 66 69  th]['Last-Modifi
45b0: 65 64 27 5d 29 0a 09 09 09 09 09 73 65 6c 66 2e  ed'])......self.
45c0: 73 65 6e 64 5f 68 65 61 64 65 72 28 27 43 6f 6e  send_header('Con
45d0: 74 65 6e 74 2d 54 79 70 65 27 2c 20 27 61 70 70  tent-Type', 'app
45e0: 6c 69 63 61 74 69 6f 6e 2f 6f 63 74 65 74 2d 73  lication/octet-s
45f0: 74 72 65 61 6d 27 29 0a 09 09 09 09 09 73 65 6c  tream')......sel
4600: 66 2e 65 6e 64 5f 68 65 61 64 65 72 73 28 29 0a  f.end_headers().
4610: 09 09 09 09 09 69 66 20 73 65 6c 66 2e 63 6f 6d  .....if self.com
4620: 6d 61 6e 64 20 69 6e 20 28 27 47 45 54 27 29 3a  mand in ('GET'):
4630: 0a 09 09 09 09 09 09 69 66 20 6c 65 6e 28 72 65  .......if len(re
4640: 71 75 65 73 74 65 64 5f 72 61 6e 67 65 73 29 20  quested_ranges) 
4650: 3e 20 30 3a 0a 09 09 09 09 09 09 09 72 65 71 75  > 0:........requ
4660: 65 73 74 65 64 5f 72 61 6e 67 65 73 2e 72 65 77  ested_ranges.rew
4670: 69 6e 64 28 29 0a 09 09 09 09 09 09 09 28 73 74  ind()........(st
4680: 61 72 74 2c 20 65 6e 64 29 20 3d 20 72 65 71 75  art, end) = requ
4690: 65 73 74 65 64 5f 72 61 6e 67 65 73 2e 70 6f 70  ested_ranges.pop
46a0: 28 29 0a 09 09 09 09 09 09 65 6c 73 65 3a 0a 09  ().......else:..
46b0: 09 09 09 09 09 09 73 74 61 72 74 20 3d 20 30 0a  ......start = 0.
46c0: 09 09 09 09 09 09 09 65 6e 64 20 3d 20 69 6e 64  .......end = ind
46d0: 65 78 5b 6d 79 5f 70 61 74 68 5d 5b 27 43 6f 6e  ex[my_path]['Con
46e0: 74 65 6e 74 2d 4c 65 6e 67 74 68 27 5d 0a 09 09  tent-Length']...
46f0: 09 09 09 09 72 65 61 6c 5f 66 69 6c 65 2e 73 65  ....real_file.se
4700: 65 6b 28 73 74 61 72 74 29 0a 09 09 09 09 09 09  ek(start).......
4710: 69 66 20 62 6c 6f 63 6b 5f 73 69 7a 65 20 3e 20  if block_size > 
4720: 65 6e 64 20 2d 20 73 74 61 72 74 3a 0a 09 09 09  end - start:....
4730: 09 09 09 09 72 65 71 5f 62 6c 6f 63 6b 5f 73 69  ....req_block_si
4740: 7a 65 20 3d 20 65 6e 64 20 2d 20 73 74 61 72 74  ze = end - start
4750: 0a 09 09 09 09 09 09 65 6c 73 65 3a 0a 09 09 09  .......else:....
4760: 09 09 09 09 72 65 71 5f 62 6c 6f 63 6b 5f 73 69  ....req_block_si
4770: 7a 65 20 3d 20 62 6c 6f 63 6b 5f 73 69 7a 65 0a  ze = block_size.
4780: 09 09 09 09 09 09 62 75 66 66 65 72 20 3d 20 72  ......buffer = r
4790: 65 61 6c 5f 66 69 6c 65 2e 72 65 61 64 28 72 65  eal_file.read(re
47a0: 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 29 0a 09 09  q_block_size)...
47b0: 09 09 09 09 6c 65 6e 67 74 68 20 3d 20 6c 65 6e  ....length = len
47c0: 28 62 75 66 66 65 72 29 0a 09 09 09 09 09 09 77  (buffer).......w
47d0: 68 69 6c 65 20 6c 65 6e 67 74 68 20 3e 20 30 3a  hile length > 0:
47e0: 0a 09 09 09 09 09 09 09 73 65 6c 66 2e 77 66 69  ........self.wfi
47f0: 6c 65 2e 77 72 69 74 65 28 62 75 66 66 65 72 29  le.write(buffer)
4800: 0a 09 09 09 09 09 09 09 73 74 61 72 74 20 2b 3d  ........start +=
4810: 20 6c 65 6e 28 62 75 66 66 65 72 29 0a 09 09 09   len(buffer)....
4820: 09 09 09 09 69 66 20 72 65 71 5f 62 6c 6f 63 6b  ....if req_block
4830: 5f 73 69 7a 65 20 3e 20 65 6e 64 20 2d 20 73 74  _size > end - st
4840: 61 72 74 3a 0a 09 09 09 09 09 09 09 09 72 65 71  art:.........req
4850: 5f 62 6c 6f 63 6b 5f 73 69 7a 65 20 3d 20 65 6e  _block_size = en
4860: 64 20 2d 20 73 74 61 72 74 0a 09 09 09 09 09 09  d - start.......
4870: 09 69 66 20 72 65 71 5f 62 6c 6f 63 6b 5f 73 69  .if req_block_si
4880: 7a 65 20 3d 3d 20 30 3a 0a 09 09 09 09 09 09 09  ze == 0:........
4890: 09 62 72 65 61 6b 0a 09 09 09 09 09 09 09 62 75  .break........bu
48a0: 66 66 65 72 20 3d 20 72 65 61 6c 5f 66 69 6c 65  ffer = real_file
48b0: 2e 72 65 61 64 28 72 65 71 5f 62 6c 6f 63 6b 5f  .read(req_block_
48c0: 73 69 7a 65 29 0a 09 09 09 09 09 09 09 6c 65 6e  size)........len
48d0: 67 74 68 20 3d 20 6c 65 6e 28 62 75 66 66 65 72  gth = len(buffer
48e0: 29 0a 09 09 09 09 09 0a 09 09 64 65 66 20 64 6f  ).........def do
48f0: 5f 48 45 41 44 28 73 65 6c 66 29 3a 0a 09 09 09  _HEAD(self):....
4900: 72 65 74 75 72 6e 20 73 65 6c 66 2e 5f 5f 70 72  return self.__pr
4910: 6f 63 65 73 73 28 29 0a 09 09 64 65 66 20 64 6f  ocess()...def do
4920: 5f 47 45 54 28 73 65 6c 66 29 3a 0a 09 09 09 72  _GET(self):....r
4930: 65 74 75 72 6e 20 73 65 6c 66 2e 5f 5f 70 72 6f  eturn self.__pro
4940: 63 65 73 73 28 29 0a 0a 09 63 6f 6e 66 69 67 2e  cess()...config.
4950: 73 65 63 74 69 6f 6e 28 27 67 65 6e 65 72 61 6c  section('general
4960: 27 29 0a 09 73 65 72 76 65 72 20 3d 20 68 74 74  ')..server = htt
4970: 70 2e 73 65 72 76 65 72 2e 48 54 54 50 53 65 72  p.server.HTTPSer
4980: 76 65 72 28 28 27 31 32 37 2e 30 2e 30 2e 31 27  ver(('127.0.0.1'
4990: 2c 20 69 6e 74 28 63 6f 6e 66 69 67 5b 27 70 6f  , int(config['po
49a0: 72 74 27 5d 29 29 2c 20 4d 79 52 65 71 75 65 73  rt'])), MyReques
49b0: 74 48 61 6e 64 6c 65 72 29 0a 09 73 65 72 76 65  tHandler)..serve
49c0: 72 2e 73 65 72 76 65 5f 66 6f 72 65 76 65 72 28  r.serve_forever(
49d0: 29 0a 0a 65 6c 73 65 3a 0a 09 77 68 69 6c 65 20  )..else:..while 
49e0: 54 72 75 65 3a 0a 09 09 75 6e 63 68 65 63 6b 65  True:...unchecke
49f0: 64 5f 66 69 6c 65 73 20 3d 20 73 65 74 28 29 0a  d_files = set().
4a00: 09 09 63 68 65 63 6b 65 64 5f 66 69 6c 65 73 20  ..checked_files 
4a10: 3d 20 30 0a 0a 09 09 23 20 72 65 61 64 69 6e 67  = 0....# reading
4a20: 20 6c 6f 67 20 61 6e 64 20 73 74 6f 72 69 6e 67   log and storing
4a30: 20 66 6f 75 6e 64 20 75 72 6c 73 20 66 6f 72 20   found urls for 
4a40: 70 72 6f 63 65 73 73 69 6e 67 0a 09 09 23 20 63  processing...# c
4a50: 68 65 63 6b 20 66 69 6c 65 20 6d 74 69 6d 65 20  heck file mtime 
4a60: 58 58 58 0a 09 09 77 69 74 68 20 6f 70 65 6e 28  XXX...with open(
4a70: 6f 70 74 69 6f 6e 73 2e 6c 6f 67 2c 20 27 72 27  options.log, 'r'
4a80: 29 20 61 73 20 6c 6f 67 5f 66 69 6c 65 3a 0a 09  ) as log_file:..
4a90: 09 09 6c 6f 67 5f 6c 69 6e 65 20 3d 20 72 65 2e  ..log_line = re.
4aa0: 63 6f 6d 70 69 6c 65 28 27 5e 5b 5e 20 5d 2b 20  compile('^[^ ]+ 
4ab0: 2d 20 2d 20 5c 5b 2e 2a 5d 20 22 28 47 45 54 7c  - - \[.*] "(GET|
4ac0: 48 45 41 44 29 20 28 2e 2a 3f 29 28 5c 3f 2e 2a  HEAD) (.*?)(\?.*
4ad0: 29 3f 20 48 54 54 50 2f 31 2e 31 22 20 28 5c 64  )? HTTP/1.1" (\d
4ae0: 2b 29 20 5c 64 2b 20 22 28 2e 2a 29 22 20 22 28  +) \d+ "(.*)" "(
4af0: 2e 2a 29 22 24 27 29 0a 09 09 09 66 6f 72 20 6c  .*)"$')....for l
4b00: 69 6e 65 20 69 6e 20 6c 6f 67 5f 66 69 6c 65 3a  ine in log_file:
4b10: 0a 09 09 09 09 74 68 69 73 5f 6c 69 6e 65 20 3d  .....this_line =
4b20: 20 6c 6f 67 5f 6c 69 6e 65 2e 6d 61 74 63 68 28   log_line.match(
4b30: 6c 69 6e 65 2e 73 74 72 69 70 28 29 29 0a 09 09  line.strip())...
4b40: 09 09 69 66 20 74 68 69 73 5f 6c 69 6e 65 3a 0a  ..if this_line:.
4b50: 09 09 09 09 09 75 6e 63 68 65 63 6b 65 64 5f 66  .....unchecked_f
4b60: 69 6c 65 73 2e 61 64 64 28 74 68 69 73 5f 6c 69  iles.add(this_li
4b70: 6e 65 2e 67 72 6f 75 70 28 32 29 29 0a 0a 09 09  ne.group(2))....
4b80: 66 6f 72 20 75 72 6c 20 69 6e 20 75 6e 63 68 65  for url in unche
4b90: 63 6b 65 64 5f 66 69 6c 65 73 3a 0a 09 09 09 72  cked_files:....r
4ba0: 65 6c 6f 61 64 20 3d 20 46 61 6c 73 65 0a 09 09  eload = False...
4bb0: 09 72 65 63 68 65 63 6b 20 3d 20 46 61 6c 73 65  .recheck = False
4bc0: 0a 09 09 09 69 6e 66 6f 20 3d 20 27 43 68 65 63  ....info = 'Chec
4bd0: 6b 69 6e 67 20 66 69 6c 65 3a 20 27 20 2b 20 75  king file: ' + u
4be0: 72 6c 0a 0a 09 09 09 23 20 63 72 65 61 74 69 6e  rl.....# creatin
4bf0: 67 20 65 6d 70 74 79 20 70 6c 61 63 65 68 6f 6c  g empty placehol
4c00: 64 65 72 20 69 6e 20 69 6e 64 65 78 0a 09 09 09  der in index....
4c10: 69 66 20 6e 6f 74 20 75 72 6c 20 69 6e 20 69 6e  if not url in in
4c20: 64 65 78 3a 0a 09 09 09 09 69 6e 66 6f 20 2b 3d  dex:.....info +=
4c30: 20 27 5c 6e 54 68 69 73 20 6f 6e 65 20 69 73 20   '\nThis one is 
4c40: 6e 65 77 2e 27 0a 09 09 09 09 69 6e 64 65 78 5b  new.'.....index[
4c50: 75 72 6c 5d 20 3d 20 7b 7d 0a 09 09 09 09 72 65  url] = {}.....re
4c60: 6c 6f 61 64 20 3d 20 54 72 75 65 0a 0a 09 09 09  load = True.....
4c70: 23 20 63 72 65 61 74 69 6e 67 20 66 69 6c 65 20  # creating file 
4c80: 6e 61 6d 65 20 66 72 6f 6d 20 75 72 6c 0a 09 09  name from url...
4c90: 09 66 69 6c 65 5f 6e 61 6d 65 20 3d 20 6f 70 74  .file_name = opt
4ca0: 69 6f 6e 73 2e 64 69 72 20 2b 20 72 65 2e 63 6f  ions.dir + re.co
4cb0: 6d 70 69 6c 65 28 27 25 32 30 27 29 2e 73 75 62  mpile('%20').sub
4cc0: 28 27 20 27 2c 20 75 72 6c 29 0a 0a 09 09 09 23  (' ', url).....#
4cd0: 20 66 6f 72 63 69 62 6c 79 20 63 68 65 63 6b 69   forcibly checki
4ce0: 6e 67 20 66 69 6c 65 20 69 66 20 6e 6f 20 66 69  ng file if no fi
4cf0: 6c 65 20 70 72 65 73 65 6e 74 0a 09 09 09 69 66  le present....if
4d00: 20 6e 6f 74 20 72 65 6c 6f 61 64 20 61 6e 64 20   not reload and 
4d10: 6e 6f 74 20 6f 73 2e 61 63 63 65 73 73 28 66 69  not os.access(fi
4d20: 6c 65 5f 6e 61 6d 65 2c 20 6f 73 2e 52 5f 4f 4b  le_name, os.R_OK
4d30: 29 3a 0a 09 09 09 09 69 6e 66 6f 20 2b 3d 20 27  ):.....info += '
4d40: 5c 6e 46 69 6c 65 20 6e 6f 74 20 66 6f 75 6e 64  \nFile not found
4d50: 20 6f 72 20 69 6e 61 63 63 65 73 73 69 62 6c 65   or inaccessible
4d60: 2e 27 0a 09 09 09 09 72 65 6c 6f 61 64 20 3d 20  .'.....reload = 
4d70: 54 72 75 65 0a 0a 09 09 09 23 20 66 6f 72 63 69  True.....# forci
4d80: 62 6c 79 20 63 68 65 63 6b 69 6e 67 20 66 69 6c  bly checking fil
4d90: 65 20 69 66 20 66 69 6c 65 20 73 69 7a 65 20 64  e if file size d
4da0: 6f 65 73 6e 27 74 20 6d 61 74 63 68 20 77 69 74  oesn't match wit
4db0: 68 20 69 6e 64 65 78 20 64 61 74 61 0a 09 09 09  h index data....
4dc0: 65 6c 69 66 20 6e 6f 74 20 72 65 6c 6f 61 64 20  elif not reload 
4dd0: 61 6e 64 20 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e  and 'Content-Len
4de0: 67 74 68 27 20 69 6e 20 69 6e 64 65 78 5b 75 72  gth' in index[ur
4df0: 6c 5d 20 61 6e 64 20 6f 73 2e 73 74 61 74 28 66  l] and os.stat(f
4e00: 69 6c 65 5f 6e 61 6d 65 29 2e 73 74 5f 73 69 7a  ile_name).st_siz
4e10: 65 20 21 3d 20 69 6e 74 28 69 6e 64 65 78 5b 75  e != int(index[u
4e20: 72 6c 5d 5b 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e  rl]['Content-Len
4e30: 67 74 68 27 5d 29 3a 0a 09 09 09 09 69 6e 66 6f  gth']):.....info
4e40: 20 2b 3d 20 27 5c 6e 46 69 6c 65 20 73 69 7a 65   += '\nFile size
4e50: 20 69 73 20 27 20 2b 20 6f 73 2e 73 74 61 74 28   is ' + os.stat(
4e60: 66 69 6c 65 5f 6e 61 6d 65 29 2e 73 74 5f 73 69  file_name).st_si
4e70: 7a 65 20 2b 20 27 20 61 6e 64 20 73 74 6f 72 65  ze + ' and store
4e80: 64 20 66 69 6c 65 20 73 69 7a 65 20 69 73 20 27  d file size is '
4e90: 20 2b 20 69 6e 64 65 78 5b 75 72 6c 5d 5b 27 43   + index[url]['C
4ea0: 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 5d 20  ontent-Length'] 
4eb0: 2b 20 27 2e 27 0a 09 09 09 09 72 65 6c 6f 61 64  + '.'.....reload
4ec0: 20 3d 20 54 72 75 65 0a 0a 09 09 09 23 20 66 6f   = True.....# fo
4ed0: 72 63 69 62 6c 79 20 63 68 65 63 6b 69 6e 67 20  rcibly checking 
4ee0: 66 69 6c 65 20 69 66 20 69 6e 64 65 78 20 68 6f  file if index ho
4ef0: 64 73 20 50 72 61 67 6d 61 20 68 65 61 64 65 72  ds Pragma header
4f00: 0a 09 09 09 69 66 20 6e 6f 74 20 72 65 6c 6f 61  ....if not reloa
4f10: 64 20 61 6e 64 20 27 50 72 61 67 6d 61 27 20 69  d and 'Pragma' i
4f20: 6e 20 69 6e 64 65 78 5b 75 72 6c 5d 20 61 6e 64  n index[url] and
4f30: 20 69 6e 64 65 78 5b 75 72 6c 5d 5b 27 50 72 61   index[url]['Pra
4f40: 67 6d 61 27 5d 20 3d 3d 20 27 6e 6f 2d 63 61 63  gma'] == 'no-cac
4f50: 68 65 27 3a 0a 09 09 09 09 69 6e 66 6f 20 2b 3d  he':.....info +=
4f60: 27 5c 6e 50 72 61 67 6d 61 20 6f 6e 3a 20 72 65  '\nPragma on: re
4f70: 63 68 65 63 6b 20 69 6d 6d 69 6e 65 6e 74 2e 27  check imminent.'
4f80: 0a 09 09 09 09 72 65 63 68 65 63 6b 20 3d 20 54  .....recheck = T
4f90: 72 75 65 0a 0a 09 09 09 23 20 73 6b 69 70 70 69  rue.....# skippi
4fa0: 6e 67 20 66 69 6c 65 20 70 72 6f 63 65 73 73 69  ng file processi
4fb0: 6e 67 20 69 66 20 74 68 65 72 65 27 73 20 6e 6f  ng if there's no
4fc0: 20 6e 65 65 64 20 74 6f 20 72 65 63 68 65 63 6b   need to recheck
4fd0: 20 69 74 20 61 6e 64 20 77 65 20 68 61 76 65 20   it and we have 
4fe0: 63 68 65 63 6b 65 64 20 69 74 20 61 74 20 6c 65  checked it at le
4ff0: 61 73 74 20 34 20 68 6f 75 72 73 20 61 67 6f 0a  ast 4 hours ago.
5000: 09 09 09 69 66 20 6e 6f 74 20 72 65 63 68 65 63  ...if not rechec
5010: 6b 20 61 6e 64 20 6e 6f 74 20 72 65 6c 6f 61 64  k and not reload
5020: 20 61 6e 64 20 28 6f 70 74 69 6f 6e 73 2e 6e 6f   and (options.no
5030: 75 70 64 61 74 65 20 6f 72 20 28 27 5f 74 69 6d  update or ('_tim
5040: 65 27 20 69 6e 20 69 6e 64 65 78 5b 75 72 6c 5d  e' in index[url]
5050: 20 61 6e 64 20 28 64 61 74 65 74 69 6d 65 2e 64   and (datetime.d
5060: 61 74 65 74 69 6d 65 2e 6e 6f 77 28 29 20 2d 20  atetime.now() - 
5070: 64 61 74 65 74 69 6d 65 2e 74 69 6d 65 64 65 6c  datetime.timedel
5080: 74 61 28 68 6f 75 72 73 20 3d 20 34 29 20 2d 20  ta(hours = 4) - 
5090: 69 6e 64 65 78 5b 75 72 6c 5d 5b 27 5f 74 69 6d  index[url]['_tim
50a0: 65 27 5d 29 2e 64 61 79 73 20 3c 20 30 29 29 3a  e']).days < 0)):
50b0: 0a 09 09 09 09 69 66 20 6f 70 74 69 6f 6e 73 2e  .....if options.
50c0: 76 65 72 62 6f 73 65 3a 0a 09 09 09 09 09 70 72  verbose:......pr
50d0: 69 6e 74 28 69 6e 66 6f 29 0a 09 09 09 09 63 6f  int(info).....co
50e0: 6e 74 69 6e 75 65 0a 09 09 09 65 6c 73 65 3a 0a  ntinue....else:.
50f0: 09 09 09 09 70 72 69 6e 74 28 69 6e 66 6f 29 0a  ....print(info).
5100: 0a 09 09 09 74 72 79 3a 0a 09 09 09 09 77 69 74  ....try:.....wit
5110: 68 20 75 72 6c 6c 69 62 2e 72 65 71 75 65 73 74  h urllib.request
5120: 2e 75 72 6c 6f 70 65 6e 28 6f 70 74 69 6f 6e 73  .urlopen(options
5130: 2e 72 6f 6f 74 20 2b 20 75 72 6c 29 20 61 73 20  .root + url) as 
5140: 73 6f 75 72 63 65 3a 0a 09 09 09 09 09 6e 65 77  source:......new
5150: 5f 68 65 61 64 65 72 73 20 3d 20 7b 7d 0a 09 09  _headers = {}...
5160: 09 09 09 68 65 61 64 65 72 73 20 3d 20 73 6f 75  ...headers = sou
5170: 72 63 65 2e 69 6e 66 6f 28 29 0a 0a 09 09 09 09  rce.info()......
5180: 09 23 20 73 74 72 69 70 70 69 6e 67 20 75 6e 6e  .# stripping unn
5190: 65 65 64 65 64 20 68 65 61 64 65 72 73 20 28 58  eeded headers (X
51a0: 58 58 20 6d 61 6b 65 20 74 68 69 73 20 69 6e 70  XX make this inp
51b0: 6c 61 63 65 3f 29 0a 09 09 09 09 09 66 6f 72 20  lace?)......for 
51c0: 68 65 61 64 65 72 20 69 6e 20 68 65 61 64 65 72  header in header
51d0: 73 3a 0a 09 09 09 09 09 09 69 66 20 68 65 61 64  s:.......if head
51e0: 65 72 20 69 6e 20 64 65 73 63 5f 66 69 65 6c 64  er in desc_field
51f0: 73 3a 0a 09 09 09 09 09 09 09 69 66 20 68 65 61  s:........if hea
5200: 64 65 72 20 3d 3d 20 27 50 72 61 67 6d 61 27 20  der == 'Pragma' 
5210: 61 6e 64 20 68 65 61 64 65 72 73 5b 68 65 61 64  and headers[head
5220: 65 72 5d 20 21 3d 20 27 6e 6f 2d 63 61 63 68 65  er] != 'no-cache
5230: 27 3a 0a 09 09 09 09 09 09 09 09 70 72 69 6e 74  ':.........print
5240: 28 27 50 72 61 67 6d 61 3a 27 2c 20 68 65 61 64  ('Pragma:', head
5250: 65 72 73 5b 68 65 61 64 65 72 5d 29 0a 09 09 09  ers[header])....
5260: 09 09 09 09 6e 65 77 5f 68 65 61 64 65 72 73 5b  ....new_headers[
5270: 68 65 61 64 65 72 5d 20 3d 20 68 65 61 64 65 72  header] = header
5280: 73 5b 68 65 61 64 65 72 5d 0a 09 09 09 09 09 09  s[header].......
5290: 65 6c 69 66 20 6e 6f 74 20 68 65 61 64 65 72 20  elif not header 
52a0: 69 6e 20 69 67 6e 6f 72 65 5f 66 69 65 6c 64 73  in ignore_fields
52b0: 3a 0a 09 09 09 09 09 09 09 70 72 69 6e 74 28 27  :........print('
52c0: 55 6e 64 65 66 69 6e 65 64 20 68 65 61 64 65 72  Undefined header
52d0: 20 22 27 2c 20 68 65 61 64 65 72 2c 20 27 22 3a   "', header, '":
52e0: 20 27 2c 20 68 65 61 64 65 72 73 5b 68 65 61 64   ', headers[head
52f0: 65 72 5d 2c 20 73 65 70 3d 27 27 29 0a 0a 09 09  er], sep='')....
5300: 09 09 09 23 20 63 6f 6d 70 61 72 69 6e 67 20 68  ...# comparing h
5310: 65 61 64 65 72 73 20 77 69 74 68 20 64 61 74 61  eaders with data
5320: 20 66 6f 75 6e 64 20 69 6e 20 69 6e 64 65 78 0a   found in index.
5330: 09 09 09 09 09 23 20 69 66 20 61 6e 79 20 68 65  .....# if any he
5340: 61 64 65 72 20 68 61 73 20 63 68 61 6e 67 65 64  ader has changed
5350: 20 28 65 78 63 65 70 74 20 50 72 61 67 6d 61 29   (except Pragma)
5360: 20 66 69 6c 65 20 69 73 20 66 75 6c 6c 79 20 64   file is fully d
5370: 6f 77 6e 6c 6f 61 64 65 64 0a 09 09 09 09 09 23  ownloaded......#
5380: 20 73 61 6d 65 20 69 66 20 77 65 20 67 65 74 20   same if we get 
5390: 6d 6f 72 65 20 6f 72 20 6c 65 73 73 20 68 65 61  more or less hea
53a0: 64 65 72 73 0a 09 09 09 09 09 6f 6c 64 5f 6b 65  ders......old_ke
53b0: 79 73 20 3d 20 73 65 74 28 69 6e 64 65 78 5b 75  ys = set(index[u
53c0: 72 6c 5d 2e 6b 65 79 73 28 29 29 0a 09 09 09 09  rl].keys()).....
53d0: 09 6f 6c 64 5f 6b 65 79 73 2e 64 69 73 63 61 72  .old_keys.discar
53e0: 64 28 27 5f 74 69 6d 65 27 29 0a 09 09 09 09 09  d('_time')......
53f0: 6f 6c 64 5f 6b 65 79 73 2e 64 69 73 63 61 72 64  old_keys.discard
5400: 28 27 50 72 61 67 6d 61 27 29 0a 09 09 09 09 09  ('Pragma')......
5410: 6d 6f 72 65 5f 6b 65 79 73 20 3d 20 73 65 74 28  more_keys = set(
5420: 6e 65 77 5f 68 65 61 64 65 72 73 2e 6b 65 79 73  new_headers.keys
5430: 28 29 29 20 2d 20 6f 6c 64 5f 6b 65 79 73 0a 09  ()) - old_keys..
5440: 09 09 09 09 6d 6f 72 65 5f 6b 65 79 73 2e 64 69  ....more_keys.di
5450: 73 63 61 72 64 28 27 50 72 61 67 6d 61 27 29 0a  scard('Pragma').
5460: 09 09 09 09 09 6c 65 73 73 5f 6b 65 79 73 20 3d  .....less_keys =
5470: 20 6f 6c 64 5f 6b 65 79 73 20 2d 20 73 65 74 28   old_keys - set(
5480: 6e 65 77 5f 68 65 61 64 65 72 73 2e 6b 65 79 73  new_headers.keys
5490: 28 29 29 0a 09 09 09 09 09 69 66 20 6c 65 6e 28  ())......if len(
54a0: 6d 6f 72 65 5f 6b 65 79 73 29 20 3e 20 30 3a 0a  more_keys) > 0:.
54b0: 09 09 09 09 09 09 69 66 20 6e 6f 74 20 6c 65 6e  ......if not len
54c0: 28 6f 6c 64 5f 6b 65 79 73 29 20 3d 3d 20 30 3a  (old_keys) == 0:
54d0: 0a 09 09 09 09 09 09 09 70 72 69 6e 74 28 27 4d  ........print('M
54e0: 6f 72 65 20 68 65 61 64 65 72 73 20 61 70 70 65  ore headers appe
54f0: 61 72 3a 27 2c 20 6d 6f 72 65 5f 6b 65 79 73 29  ar:', more_keys)
5500: 0a 09 09 09 09 09 09 72 65 6c 6f 61 64 20 3d 20  .......reload = 
5510: 54 72 75 65 0a 09 09 09 09 09 65 6c 69 66 20 6c  True......elif l
5520: 65 6e 28 6c 65 73 73 5f 6b 65 79 73 29 20 3e 20  en(less_keys) > 
5530: 30 3a 0a 09 09 09 09 09 09 70 72 69 6e 74 28 27  0:.......print('
5540: 4c 65 73 73 20 68 65 61 64 65 72 73 20 61 70 70  Less headers app
5550: 65 61 72 3a 27 2c 20 6c 65 73 73 5f 6b 65 79 73  ear:', less_keys
5560: 29 0a 09 09 09 09 09 65 6c 73 65 3a 0a 09 09 09  )......else:....
5570: 09 09 09 66 6f 72 20 6b 65 79 20 69 6e 20 69 6e  ...for key in in
5580: 64 65 78 5b 75 72 6c 5d 2e 6b 65 79 73 28 29 3a  dex[url].keys():
5590: 0a 09 09 09 09 09 09 09 69 66 20 6b 65 79 5b 30  ........if key[0
55a0: 5d 20 21 3d 20 27 5f 27 20 61 6e 64 20 6b 65 79  ] != '_' and key
55b0: 20 21 3d 20 27 50 72 61 67 6d 61 27 20 61 6e 64   != 'Pragma' and
55c0: 20 6e 6f 74 20 69 6e 64 65 78 5b 75 72 6c 5d 5b   not index[url][
55d0: 6b 65 79 5d 20 3d 3d 20 6e 65 77 5f 68 65 61 64  key] == new_head
55e0: 65 72 73 5b 6b 65 79 5d 3a 0a 09 09 09 09 09 09  ers[key]:.......
55f0: 09 09 70 72 69 6e 74 28 27 48 65 61 64 65 72 20  ..print('Header 
5600: 22 27 2c 20 6b 65 79 2c 20 27 22 20 63 68 61 6e  "', key, '" chan
5610: 67 65 64 20 66 72 6f 6d 20 5b 27 2c 20 69 6e 64  ged from [', ind
5620: 65 78 5b 75 72 6c 5d 5b 6b 65 79 5d 2c 20 27 5d  ex[url][key], ']
5630: 20 74 6f 20 5b 27 2c 20 6e 65 77 5f 68 65 61 64   to [', new_head
5640: 65 72 73 5b 6b 65 79 5d 2c 20 27 5d 27 2c 20 73  ers[key], ']', s
5650: 65 70 3d 27 27 29 0a 09 09 09 09 09 09 09 09 72  ep='').........r
5660: 65 6c 6f 61 64 20 3d 20 54 72 75 65 0a 0a 09 09  eload = True....
5670: 09 09 09 23 20 64 6f 77 6e 6c 6f 61 64 69 6e 67  ...# downloading
5680: 20 66 69 6c 65 0a 09 09 09 09 09 69 66 20 72 65   file......if re
5690: 6c 6f 61 64 3a 0a 09 09 09 09 09 09 69 66 20 27  load:.......if '
56a0: 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 20  Content-Length' 
56b0: 69 6e 20 68 65 61 64 65 72 73 3a 0a 09 09 09 09  in headers:.....
56c0: 09 09 09 70 72 69 6e 74 28 27 44 6f 77 6e 6c 6f  ...print('Downlo
56d0: 61 64 69 6e 67 27 2c 20 68 65 61 64 65 72 73 5b  ading', headers[
56e0: 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27  'Content-Length'
56f0: 5d 2c 20 27 62 79 74 65 73 20 5b 27 2c 20 65 6e  ], 'bytes [', en
5700: 64 3d 27 27 29 0a 09 09 09 09 09 09 65 6c 73 65  d='').......else
5710: 3a 0a 09 09 09 09 09 09 09 70 72 69 6e 74 28 27  :........print('
5720: 44 6f 77 6e 6c 6f 61 64 69 6e 67 20 5b 27 2c 20  Downloading [', 
5730: 65 6e 64 3d 27 27 29 0a 09 09 09 09 09 09 73 79  end='').......sy
5740: 73 2e 73 74 64 6f 75 74 2e 66 6c 75 73 68 28 29  s.stdout.flush()
5750: 0a 0a 09 09 09 09 09 09 23 20 66 69 6c 65 20 69  ........# file i
5760: 73 20 63 72 65 61 74 65 64 20 61 74 20 74 65 6d  s created at tem
5770: 70 6f 72 61 72 79 20 6c 6f 63 61 74 69 6f 6e 20  porary location 
5780: 61 6e 64 20 6d 6f 76 65 64 20 69 6e 20 70 6c 61  and moved in pla
5790: 63 65 20 6f 6e 6c 79 20 77 68 65 6e 20 64 6f 77  ce only when dow
57a0: 6e 6c 6f 61 64 20 63 6f 6d 70 6c 65 74 65 73 0a  nload completes.
57b0: 09 09 09 09 09 09 74 65 6d 70 5f 66 69 6c 65 20  ......temp_file 
57c0: 3d 20 6f 70 65 6e 28 6f 70 74 69 6f 6e 73 2e 64  = open(options.d
57d0: 69 72 20 2b 20 6f 73 2e 73 65 70 20 2b 20 27 2e  ir + os.sep + '.
57e0: 74 6d 70 27 2c 20 27 77 62 27 29 0a 09 09 09 09  tmp', 'wb').....
57f0: 09 09 62 75 66 66 65 72 20 3d 20 73 6f 75 72 63  ..buffer = sourc
5800: 65 2e 72 65 61 64 28 62 6c 6f 63 6b 5f 73 69 7a  e.read(block_siz
5810: 65 29 0a 09 09 09 09 09 09 6d 65 67 61 62 6c 6f  e).......megablo
5820: 63 6b 73 20 3d 20 30 0a 09 09 09 09 09 09 62 6c  cks = 0.......bl
5830: 6f 63 6b 73 20 3d 20 30 0a 09 09 09 09 09 09 6d  ocks = 0.......m
5840: 65 67 73 20 3d 20 30 0a 09 09 09 09 09 09 77 68  egs = 0.......wh
5850: 69 6c 65 20 6c 65 6e 28 62 75 66 66 65 72 29 20  ile len(buffer) 
5860: 3e 20 30 3a 0a 09 09 09 09 09 09 09 74 65 6d 70  > 0:........temp
5870: 5f 66 69 6c 65 2e 77 72 69 74 65 28 62 75 66 66  _file.write(buff
5880: 65 72 29 0a 09 09 09 09 09 09 09 62 75 66 66 65  er)........buffe
5890: 72 20 3d 20 73 6f 75 72 63 65 2e 72 65 61 64 28  r = source.read(
58a0: 62 6c 6f 63 6b 5f 73 69 7a 65 29 0a 09 09 09 09  block_size).....
58b0: 09 09 09 62 6c 6f 63 6b 73 20 2b 3d 20 31 0a 09  ...blocks += 1..
58c0: 09 09 09 09 09 09 69 66 20 62 6c 6f 63 6b 73 20  ......if blocks 
58d0: 3e 20 31 30 32 34 30 30 2f 62 6c 6f 63 6b 5f 73  > 102400/block_s
58e0: 69 7a 65 3a 0a 09 09 09 09 09 09 09 09 6d 65 67  ize:.........meg
58f0: 61 62 6c 6f 63 6b 73 20 2b 3d 20 31 0a 09 09 09  ablocks += 1....
5900: 09 09 09 09 09 69 66 20 6d 65 67 61 62 6c 6f 63  .....if megabloc
5910: 6b 73 20 3e 20 31 30 3a 0a 09 09 09 09 09 09 09  ks > 10:........
5920: 09 09 6d 65 67 61 62 6c 6f 63 6b 73 20 3d 20 6d  ..megablocks = m
5930: 65 67 61 62 6c 6f 63 6b 73 20 2d 20 31 30 0a 09  egablocks - 10..
5940: 09 09 09 09 09 09 09 09 6d 65 67 73 20 2b 3d 20  ........megs += 
5950: 31 0a 09 09 09 09 09 09 09 09 09 70 72 69 6e 74  1..........print
5960: 28 27 7b 7d 4d 62 27 2e 66 6f 72 6d 61 74 28 6d  ('{}Mb'.format(m
5970: 65 67 73 29 2c 20 65 6e 64 3d 27 27 29 0a 09 09  egs), end='')...
5980: 09 09 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 09  ......else:.....
5990: 09 09 09 09 09 70 72 69 6e 74 28 27 2e 27 2c 20  .....print('.', 
59a0: 65 6e 64 3d 27 27 29 0a 09 09 09 09 09 09 09 09  end='').........
59b0: 62 6c 6f 63 6b 73 20 3d 20 62 6c 6f 63 6b 73 20  blocks = blocks 
59c0: 2d 20 31 30 32 34 30 30 2f 62 6c 6f 63 6b 5f 73  - 102400/block_s
59d0: 69 7a 65 0a 09 09 09 09 09 09 09 73 79 73 2e 73  ize........sys.s
59e0: 74 64 6f 75 74 2e 66 6c 75 73 68 28 29 0a 09 09  tdout.flush()...
59f0: 09 09 09 09 74 65 6d 70 5f 66 69 6c 65 2e 63 6c  ....temp_file.cl
5a00: 6f 73 65 28 29 0a 09 09 09 09 09 09 70 72 69 6e  ose().......prin
5a10: 74 28 27 5d 27 29 0a 09 09 09 09 09 09 6f 73 2e  t(']').......os.
5a20: 72 65 6e 61 6d 65 73 28 6f 70 74 69 6f 6e 73 2e  renames(options.
5a30: 64 69 72 20 2b 20 6f 73 2e 73 65 70 20 2b 20 27  dir + os.sep + '
5a40: 2e 74 6d 70 27 2c 20 66 69 6c 65 5f 6e 61 6d 65  .tmp', file_name
5a50: 29 0a 0a 09 09 09 09 09 09 63 68 65 63 6b 65 64  )........checked
5a60: 5f 66 69 6c 65 73 20 2b 3d 20 31 0a 0a 09 09 09  _files += 1.....
5a70: 09 09 23 20 73 74 6f 72 69 6e 67 20 6e 65 77 20  ..# storing new 
5a80: 74 69 6d 65 20 6d 61 72 6b 20 61 6e 64 20 73 74  time mark and st
5a90: 6f 72 69 6e 67 20 6e 65 77 20 68 65 61 64 65 72  oring new header
5aa0: 73 0a 09 09 09 09 09 6e 65 77 5f 68 65 61 64 65  s......new_heade
5ab0: 72 73 5b 27 5f 74 69 6d 65 27 5d 20 3d 20 64 61  rs['_time'] = da
5ac0: 74 65 74 69 6d 65 2e 64 61 74 65 74 69 6d 65 2e  tetime.datetime.
5ad0: 6e 6f 77 28 29 0a 09 09 09 09 09 69 6e 64 65 78  now()......index
5ae0: 5b 75 72 6c 5d 20 3d 20 6e 65 77 5f 68 65 61 64  [url] = new_head
5af0: 65 72 73 0a 09 09 09 09 09 69 6e 64 65 78 2e 73  ers......index.s
5b00: 79 6e 63 28 29 0a 0a 09 09 09 65 78 63 65 70 74  ync().....except
5b10: 20 75 72 6c 6c 69 62 2e 65 72 72 6f 72 2e 48 54   urllib.error.HT
5b20: 54 50 45 72 72 6f 72 20 61 73 20 65 72 72 6f 72  TPError as error
5b30: 3a 0a 09 09 09 09 23 20 69 6e 20 63 61 73 65 20  :.....# in case 
5b40: 6f 66 20 65 72 72 6f 72 20 77 65 20 64 6f 6e 27  of error we don'
5b50: 74 20 6e 65 65 64 20 74 6f 20 64 6f 20 61 6e 79  t need to do any
5b60: 74 68 69 6e 67 20 61 63 74 75 61 6c 6c 79 2c 0a  thing actually,.
5b70: 09 09 09 09 23 20 69 66 20 66 69 6c 65 20 64 6f  ....# if file do
5b80: 77 6e 6c 6f 61 64 20 73 74 61 6c 6c 73 20 6f 72  wnload stalls or
5b90: 20 66 61 69 6c 73 20 74 68 65 20 66 69 6c 65 20   fails the file 
5ba0: 77 6f 75 6c 64 20 6e 6f 74 20 62 65 20 6d 6f 76  would not be mov
5bb0: 65 64 20 74 6f 20 69 74 27 73 20 6c 6f 63 61 74  ed to it's locat
5bc0: 69 6f 6e 0a 09 09 09 09 70 72 69 6e 74 28 65 72  ion.....print(er
5bd0: 72 6f 72 29 0a 0a 09 09 69 66 20 6f 70 74 69 6f  ror)....if optio
5be0: 6e 73 2e 76 65 72 62 6f 73 65 3a 0a 09 09 09 70  ns.verbose:....p
5bf0: 72 69 6e 74 28 27 5b 27 2c 20 6c 65 6e 28 75 6e  rint('[', len(un
5c00: 63 68 65 63 6b 65 64 5f 66 69 6c 65 73 29 2c 20  checked_files), 
5c10: 27 2f 27 2c 20 63 68 65 63 6b 65 64 5f 66 69 6c  '/', checked_fil
5c20: 65 73 2c 20 27 5d 27 29 0a 0a 09 09 23 20 63 68  es, ']')....# ch
5c30: 65 63 6b 69 6e 67 20 69 66 20 74 68 65 72 65 20  ecking if there 
5c40: 77 65 72 65 20 61 6e 79 20 66 69 6c 65 73 20 64  were any files d
5c50: 6f 77 6e 6c 6f 61 64 65 64 2c 20 69 66 20 79 65  ownloaded, if ye
5c60: 73 20 2d 20 72 65 73 74 61 72 74 69 6e 67 20 73  s - restarting s
5c70: 65 71 75 65 6e 63 65 0a 09 09 69 66 20 63 68 65  equence...if che
5c80: 63 6b 65 64 5f 66 69 6c 65 73 20 3d 3d 20 30 3a  cked_files == 0:
5c90: 0a 09 09 09 62 72 65 61 6b 0a                    ....break.