0000: 23 21 2f 75 73 72 2f 62 69 6e 2f 65 6e 76 20 70 #!/usr/bin/env p
0010: 79 74 68 6f 6e 33 2e 31 0a 0a 69 6d 70 6f 72 74 ython3.1..import
0020: 20 64 61 74 65 74 69 6d 65 2c 20 68 74 74 70 2e datetime, http.
0030: 63 6f 6f 6b 69 65 6a 61 72 2c 20 6f 73 2c 20 73 cookiejar, os, s
0040: 79 73 2c 20 73 68 65 6c 76 65 2c 20 73 70 61 63 ys, shelve, spac
0050: 65 6d 61 70 2c 20 72 65 2c 20 75 72 6c 6c 69 62 emap, re, urllib
0060: 2e 72 65 71 75 65 73 74 0a 0a 63 6c 61 73 73 20 .request..class
0070: 43 6f 6e 66 69 67 3a 0a 09 5f 5f 73 6c 6f 74 73 Config:..__slots
0080: 5f 5f 20 3d 20 66 72 6f 7a 65 6e 73 65 74 28 5b __ = frozenset([
0090: 27 5f 63 6f 6e 66 69 67 27 2c 20 27 5f 64 65 66 '_config', '_def
00a0: 61 75 6c 74 27 2c 20 27 5f 73 65 63 74 69 6f 6e ault', '_section
00b0: 27 2c 20 27 6f 70 74 69 6f 6e 73 27 2c 20 27 72 ', 'options', 'r
00c0: 6f 6f 74 27 5d 29 0a 09 5f 64 65 66 61 75 6c 74 oot']).._default
00d0: 20 3d 20 7b 0a 09 09 27 67 65 6e 65 72 61 6c 27 = {...'general'
00e0: 3a 20 7b 0a 09 09 09 27 70 6f 72 74 27 3a 20 27 : {....'port': '
00f0: 38 30 30 38 27 2c 0a 09 09 7d 2c 0a 09 09 27 5f 8008',...},...'_
0100: 6f 74 68 65 72 27 3a 20 7b 0a 09 09 09 27 76 65 other': {....'ve
0110: 72 62 6f 73 65 27 3a 20 27 6e 6f 27 2c 0a 09 09 rbose': 'no',...
0120: 09 27 6e 6f 65 74 61 67 27 3a 20 27 6e 6f 27 2c .'noetag': 'no',
0130: 0a 09 09 09 27 6e 6f 70 61 72 74 73 27 3a 20 27 ....'noparts': '
0140: 6e 6f 27 2c 0a 09 09 09 27 73 74 72 69 70 27 3a no',....'strip':
0150: 20 27 27 2c 0a 09 09 09 27 73 75 62 27 3a 20 27 '',....'sub': '
0160: 27 2c 0a 09 7d 2c 7d 0a 0a 09 23 20 66 75 6e 63 ',..},}...# func
0170: 74 69 6f 6e 20 74 6f 20 72 65 61 64 20 69 6e 20 tion to read in
0180: 63 6f 6e 66 69 67 20 66 69 6c 65 0a 09 64 65 66 config file..def
0190: 20 5f 5f 69 6e 69 74 5f 5f 28 73 65 6c 66 29 3a __init__(self):
01a0: 0a 09 09 69 6d 70 6f 72 74 20 63 6f 6e 66 69 67 ...import config
01b0: 70 61 72 73 65 72 2c 20 6f 70 74 70 61 72 73 65 parser, optparse
01c0: 0a 0a 09 09 70 61 72 73 65 72 20 3d 20 6f 70 74 ....parser = opt
01d0: 70 61 72 73 65 2e 4f 70 74 69 6f 6e 50 61 72 73 parse.OptionPars
01e0: 65 72 28 29 0a 09 09 70 61 72 73 65 72 2e 61 64 er()...parser.ad
01f0: 64 5f 6f 70 74 69 6f 6e 28 27 2d 63 27 2c 20 27 d_option('-c', '
0200: 2d 2d 63 6f 6e 66 69 67 27 2c 20 64 65 73 74 20 --config', dest
0210: 3d 20 27 63 6f 6e 66 69 67 27 2c 20 68 65 6c 70 = 'config', help
0220: 20 3d 20 27 63 6f 6e 66 69 67 20 66 69 6c 65 20 = 'config file
0230: 6c 6f 63 61 74 69 6f 6e 27 2c 20 6d 65 74 61 76 location', metav
0240: 61 72 20 3d 20 27 46 49 4c 45 27 2c 20 64 65 66 ar = 'FILE', def
0250: 61 75 6c 74 20 3d 20 27 73 61 6d 65 73 69 74 65 ault = 'samesite
0260: 2e 63 6f 6e 66 27 29 0a 09 09 28 73 65 6c 66 2e .conf')...(self.
0270: 6f 70 74 69 6f 6e 73 2c 20 61 72 67 73 29 20 3d options, args) =
0280: 20 70 61 72 73 65 72 2e 70 61 72 73 65 5f 61 72 parser.parse_ar
0290: 67 73 28 29 0a 0a 09 09 61 73 73 65 72 74 20 6f gs()....assert o
02a0: 73 2e 61 63 63 65 73 73 28 73 65 6c 66 2e 6f 70 s.access(self.op
02b0: 74 69 6f 6e 73 2e 63 6f 6e 66 69 67 2c 20 6f 73 tions.config, os
02c0: 2e 52 5f 4f 4b 29 2c 20 22 46 61 74 61 6c 20 65 .R_OK), "Fatal e
02d0: 72 72 6f 72 3a 20 63 61 6e 27 74 20 72 65 61 64 rror: can't read
02e0: 20 7b 7d 22 2e 66 6f 72 6d 61 74 28 73 65 6c 66 {}".format(self
02f0: 2e 6f 70 74 69 6f 6e 73 2e 63 6f 6e 66 69 67 29 .options.config)
0300: 0a 0a 09 09 63 6f 6e 66 69 67 44 69 72 20 3d 20 ....configDir =
0310: 72 65 2e 63 6f 6d 70 69 6c 65 28 27 5e 28 2e 2a re.compile('^(.*
0320: 29 2f 5b 5e 2f 5d 2b 24 27 29 2e 6d 61 74 63 68 )/[^/]+$').match
0330: 28 73 65 6c 66 2e 6f 70 74 69 6f 6e 73 2e 63 6f (self.options.co
0340: 6e 66 69 67 29 0a 09 09 69 66 20 63 6f 6e 66 69 nfig)...if confi
0350: 67 44 69 72 3a 0a 09 09 09 73 65 6c 66 2e 72 6f gDir:....self.ro
0360: 6f 74 20 3d 20 63 6f 6e 66 69 67 44 69 72 2e 67 ot = configDir.g
0370: 72 6f 75 70 28 31 29 0a 09 09 65 6c 73 65 3a 0a roup(1)...else:.
0380: 09 09 09 73 65 6c 66 2e 72 6f 6f 74 20 3d 20 6f ...self.root = o
0390: 73 2e 67 65 74 63 77 64 28 29 0a 0a 09 09 73 65 s.getcwd()....se
03a0: 6c 66 2e 5f 63 6f 6e 66 69 67 20 3d 20 63 6f 6e lf._config = con
03b0: 66 69 67 70 61 72 73 65 72 2e 43 6f 6e 66 69 67 figparser.Config
03c0: 50 61 72 73 65 72 28 29 0a 09 09 73 65 6c 66 2e Parser()...self.
03d0: 5f 63 6f 6e 66 69 67 2e 72 65 61 64 66 70 28 6f _config.readfp(o
03e0: 70 65 6e 28 73 65 6c 66 2e 6f 70 74 69 6f 6e 73 pen(self.options
03f0: 2e 63 6f 6e 66 69 67 29 29 0a 0a 09 09 66 6f 72 .config))....for
0400: 20 73 65 63 74 69 6f 6e 20 69 6e 20 73 65 6c 66 section in self
0410: 2e 5f 63 6f 6e 66 69 67 2e 73 65 63 74 69 6f 6e ._config.section
0420: 73 28 29 3a 0a 09 09 09 69 66 20 73 65 63 74 69 s():....if secti
0430: 6f 6e 20 21 3d 20 27 67 65 6e 65 72 61 6c 27 3a on != 'general':
0440: 0a 09 09 09 09 69 66 20 73 65 6c 66 2e 5f 63 6f .....if self._co
0450: 6e 66 69 67 2e 68 61 73 5f 6f 70 74 69 6f 6e 28 nfig.has_option(
0460: 73 65 63 74 69 6f 6e 2c 20 27 64 69 72 27 29 3a section, 'dir'):
0470: 0a 09 09 09 09 09 69 66 20 72 65 2e 63 6f 6d 70 ......if re.comp
0480: 69 6c 65 28 27 5e 2f 24 27 29 2e 6d 61 74 63 68 ile('^/$').match
0490: 28 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 67 65 (self._config.ge
04a0: 74 28 73 65 63 74 69 6f 6e 2c 20 27 64 69 72 27 t(section, 'dir'
04b0: 29 29 3a 0a 09 09 09 09 09 09 73 65 6c 66 2e 5f )):.......self._
04c0: 63 6f 6e 66 69 67 2e 73 65 74 28 73 65 63 74 69 config.set(secti
04d0: 6f 6e 2c 20 27 64 69 72 27 2c 20 73 65 6c 66 2e on, 'dir', self.
04e0: 72 6f 6f 74 20 2b 20 6f 73 2e 73 65 70 20 2b 20 root + os.sep +
04f0: 73 65 63 74 69 6f 6e 29 0a 09 09 09 09 09 74 68 section)......th
0500: 69 73 44 69 72 20 3d 20 72 65 2e 63 6f 6d 70 69 isDir = re.compi
0510: 6c 65 28 27 5e 28 2e 2a 29 2f 24 27 29 2e 6d 61 le('^(.*)/$').ma
0520: 74 63 68 28 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 tch(self._config
0530: 2e 67 65 74 28 73 65 63 74 69 6f 6e 2c 20 27 64 .get(section, 'd
0540: 69 72 27 29 29 0a 09 09 09 09 09 69 66 20 74 68 ir'))......if th
0550: 69 73 44 69 72 3a 0a 09 09 09 09 09 09 73 65 6c isDir:.......sel
0560: 66 2e 5f 63 6f 6e 66 69 67 2e 73 65 74 28 73 65 f._config.set(se
0570: 63 74 69 6f 6e 2c 20 27 64 69 72 27 2c 20 74 68 ction, 'dir', th
0580: 69 73 44 69 72 2e 67 72 6f 75 70 28 31 29 29 0a isDir.group(1)).
0590: 09 09 09 09 09 69 66 20 6e 6f 74 20 72 65 2e 63 .....if not re.c
05a0: 6f 6d 70 69 6c 65 28 27 5e 2f 28 2e 2a 29 24 27 ompile('^/(.*)$'
05b0: 29 2e 6d 61 74 63 68 28 73 65 6c 66 2e 5f 63 6f ).match(self._co
05c0: 6e 66 69 67 2e 67 65 74 28 73 65 63 74 69 6f 6e nfig.get(section
05d0: 2c 20 27 64 69 72 27 29 29 3a 0a 09 09 09 09 09 , 'dir')):......
05e0: 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 73 65 .self._config.se
05f0: 74 28 73 65 63 74 69 6f 6e 2c 20 27 64 69 72 27 t(section, 'dir'
0600: 2c 20 73 65 6c 66 2e 72 6f 6f 74 20 2b 20 6f 73 , self.root + os
0610: 2e 73 65 70 20 2b 20 73 65 6c 66 2e 5f 63 6f 6e .sep + self._con
0620: 66 69 67 2e 67 65 74 28 73 65 63 74 69 6f 6e 2c fig.get(section,
0630: 20 27 64 69 72 27 29 29 0a 09 09 09 09 65 6c 73 'dir')).....els
0640: 65 3a 0a 09 09 09 09 09 73 65 6c 66 2e 5f 63 6f e:......self._co
0650: 6e 66 69 67 2e 73 65 74 28 73 65 63 74 69 6f 6e nfig.set(section
0660: 2c 20 27 64 69 72 27 2c 20 73 65 6c 66 2e 72 6f , 'dir', self.ro
0670: 6f 74 20 2b 20 6f 73 2e 73 65 70 20 2b 20 73 65 ot + os.sep + se
0680: 63 74 69 6f 6e 29 0a 0a 09 09 09 09 69 66 20 6e ction)......if n
0690: 6f 74 20 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e ot self._config.
06a0: 68 61 73 5f 6f 70 74 69 6f 6e 28 73 65 63 74 69 has_option(secti
06b0: 6f 6e 2c 20 27 72 6f 6f 74 27 29 3a 0a 09 09 09 on, 'root'):....
06c0: 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 73 ..self._config.s
06d0: 65 74 28 73 65 63 74 69 6f 6e 2c 20 27 72 6f 6f et(section, 'roo
06e0: 74 27 2c 20 73 65 63 74 69 6f 6e 29 0a 0a 09 23 t', section)...#
06f0: 20 66 75 6e 63 74 69 6f 6e 20 74 6f 20 73 65 6c function to sel
0700: 65 63 74 20 63 6f 6e 66 69 67 20 66 69 6c 65 20 ect config file
0710: 73 65 63 74 69 6f 6e 20 6f 72 20 63 72 65 61 74 section or creat
0720: 65 20 6f 6e 65 0a 09 64 65 66 20 73 65 63 74 69 e one..def secti
0730: 6f 6e 28 73 65 6c 66 2c 20 73 65 63 74 69 6f 6e on(self, section
0740: 29 3a 0a 09 09 69 66 20 6e 6f 74 20 73 65 6c 66 ):...if not self
0750: 2e 5f 63 6f 6e 66 69 67 2e 68 61 73 5f 73 65 63 ._config.has_sec
0760: 74 69 6f 6e 28 73 65 63 74 69 6f 6e 29 3a 0a 09 tion(section):..
0770: 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 61 ..self._config.a
0780: 64 64 5f 73 65 63 74 69 6f 6e 28 73 65 63 74 69 dd_section(secti
0790: 6f 6e 29 0a 09 09 73 65 6c 66 2e 5f 73 65 63 74 on)...self._sect
07a0: 69 6f 6e 20 3d 20 73 65 63 74 69 6f 6e 0a 0a 09 ion = section...
07b0: 23 20 66 75 6e 63 74 69 6f 6e 20 74 6f 20 67 65 # function to ge
07c0: 74 20 63 6f 6e 66 69 67 20 70 61 72 61 6d 65 74 t config paramet
07d0: 65 72 2c 20 69 66 20 70 61 72 61 6d 65 74 65 72 er, if parameter
07e0: 20 64 6f 65 73 6e 27 74 20 65 78 69 73 74 73 20 doesn't exists
07f0: 74 68 65 20 64 65 66 61 75 6c 74 0a 09 23 20 76 the default..# v
0800: 61 6c 75 65 20 6f 72 20 4e 6f 6e 65 20 69 73 20 alue or None is
0810: 73 75 62 73 74 69 74 75 74 65 64 0a 09 64 65 66 substituted..def
0820: 20 5f 5f 67 65 74 69 74 65 6d 5f 5f 28 73 65 6c __getitem__(sel
0830: 66 2c 20 6e 61 6d 65 29 3a 0a 09 09 69 66 20 6e f, name):...if n
0840: 6f 74 20 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e ot self._config.
0850: 68 61 73 5f 6f 70 74 69 6f 6e 28 73 65 6c 66 2e has_option(self.
0860: 5f 73 65 63 74 69 6f 6e 2c 20 6e 61 6d 65 29 3a _section, name):
0870: 0a 09 09 09 69 66 20 73 65 6c 66 2e 5f 73 65 63 ....if self._sec
0880: 74 69 6f 6e 20 69 6e 20 73 65 6c 66 2e 5f 64 65 tion in self._de
0890: 66 61 75 6c 74 3a 0a 09 09 09 09 69 66 20 6e 61 fault:.....if na
08a0: 6d 65 20 69 6e 20 73 65 6c 66 2e 5f 64 65 66 61 me in self._defa
08b0: 75 6c 74 5b 73 65 6c 66 2e 5f 73 65 63 74 69 6f ult[self._sectio
08c0: 6e 5d 3a 0a 09 09 09 09 09 73 65 6c 66 2e 5f 63 n]:......self._c
08d0: 6f 6e 66 69 67 2e 73 65 74 28 73 65 6c 66 2e 5f onfig.set(self._
08e0: 73 65 63 74 69 6f 6e 2c 20 6e 61 6d 65 2c 20 73 section, name, s
08f0: 65 6c 66 2e 5f 64 65 66 61 75 6c 74 5b 73 65 6c elf._default[sel
0900: 66 2e 5f 73 65 63 74 69 6f 6e 5d 5b 6e 61 6d 65 f._section][name
0910: 5d 29 0a 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 ]).....else:....
0920: 09 09 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 73 ..self._config.s
0930: 65 74 28 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e et(self._section
0940: 2c 20 6e 61 6d 65 2c 20 4e 6f 6e 65 29 0a 09 09 , name, None)...
0950: 09 65 6c 69 66 20 6e 61 6d 65 20 69 6e 20 73 65 .elif name in se
0960: 6c 66 2e 5f 64 65 66 61 75 6c 74 5b 27 5f 6f 74 lf._default['_ot
0970: 68 65 72 27 5d 3a 0a 09 09 09 09 73 65 6c 66 2e her']:.....self.
0980: 5f 63 6f 6e 66 69 67 2e 73 65 74 28 73 65 6c 66 _config.set(self
0990: 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e 61 6d 65 2c ._section, name,
09a0: 20 73 65 6c 66 2e 5f 64 65 66 61 75 6c 74 5b 27 self._default['
09b0: 5f 6f 74 68 65 72 27 5d 5b 6e 61 6d 65 5d 29 0a _other'][name]).
09c0: 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 73 65 6c ...else:.....sel
09d0: 66 2e 5f 63 6f 6e 66 69 67 2e 73 65 74 28 73 65 f._config.set(se
09e0: 6c 66 2e 5f 73 65 63 74 69 6f 6e 2c 20 6e 61 6d lf._section, nam
09f0: 65 2c 20 4e 6f 6e 65 29 0a 09 09 72 65 74 75 72 e, None)...retur
0a00: 6e 28 73 65 6c 66 2e 5f 63 6f 6e 66 69 67 2e 67 n(self._config.g
0a10: 65 74 28 73 65 6c 66 2e 5f 73 65 63 74 69 6f 6e et(self._section
0a20: 2c 20 6e 61 6d 65 29 29 0a 0a 63 6f 6e 66 69 67 , name))..config
0a30: 20 3d 20 43 6f 6e 66 69 67 28 29 0a 0a 23 61 73 = Config()..#as
0a40: 73 65 72 74 20 6f 70 74 69 6f 6e 73 2e 70 6f 72 sert options.por
0a50: 74 20 6f 72 20 6f 73 2e 61 63 63 65 73 73 28 6f t or os.access(o
0a60: 70 74 69 6f 6e 73 2e 6c 6f 67 2c 20 6f 73 2e 52 ptions.log, os.R
0a70: 5f 4f 4b 29 2c 20 27 4c 6f 67 20 66 69 6c 65 20 _OK), 'Log file
0a80: 75 6e 72 65 61 64 61 62 6c 65 27 0a 0a 63 6f 6e unreadable'..con
0a90: 73 74 5f 64 65 73 63 5f 66 69 65 6c 64 73 20 3d st_desc_fields =
0aa0: 20 73 65 74 28 5b 27 43 6f 6e 74 65 6e 74 2d 4c set(['Content-L
0ab0: 65 6e 67 74 68 27 2c 20 27 4c 61 73 74 2d 4d 6f ength', 'Last-Mo
0ac0: 64 69 66 69 65 64 27 2c 20 27 50 72 61 67 6d 61 dified', 'Pragma
0ad0: 27 5d 29 0a 63 6f 6e 73 74 5f 69 67 6e 6f 72 65 ']).const_ignore
0ae0: 5f 66 69 65 6c 64 73 20 3d 20 73 65 74 28 5b 0a _fields = set([.
0af0: 09 27 41 63 63 65 70 74 2d 52 61 6e 67 65 73 27 .'Accept-Ranges'
0b00: 2c 20 27 41 67 65 27 2c 0a 09 27 43 61 63 68 65 , 'Age',..'Cache
0b10: 2d 43 6f 6e 74 72 6f 6c 27 2c 20 27 43 6f 6e 6e -Control', 'Conn
0b20: 65 63 74 69 6f 6e 27 2c 20 27 43 6f 6e 74 65 6e ection', 'Conten
0b30: 74 2d 54 79 70 65 27 2c 0a 09 27 44 61 74 65 27 t-Type',..'Date'
0b40: 2c 0a 09 27 45 78 70 69 72 65 73 27 2c 0a 09 27 ,..'Expires',..'
0b50: 52 65 66 65 72 65 72 27 2c 0a 09 27 53 65 72 76 Referer',..'Serv
0b60: 65 72 27 2c 0a 09 27 56 69 61 27 2c 0a 09 27 58 er',..'Via',..'X
0b70: 2d 43 61 63 68 65 27 2c 20 27 58 2d 43 61 63 68 -Cache', 'X-Cach
0b80: 65 2d 4c 6f 6f 6b 75 70 27 2c 20 27 58 2d 50 6f e-Lookup', 'X-Po
0b90: 77 65 72 65 64 2d 42 79 27 0a 5d 29 0a 0a 62 6c wered-By'.])..bl
0ba0: 6f 63 6b 5f 73 69 7a 65 20 3d 20 34 30 39 36 0a ock_size = 4096.
0bb0: 0a 27 27 27 0a 23 20 6c 61 74 65 72 2c 20 6b 71 .'''.# later, kq
0bc0: 75 65 75 65 20 77 6f 75 6c 64 20 62 65 20 67 6f ueue would be go
0bd0: 6f 64 20 62 75 74 20 6c 61 74 65 72 0a 63 6c 61 od but later.cla
0be0: 73 73 20 43 6f 6e 6e 65 63 74 69 6f 6e 3a 0a 09 ss Connection:..
0bf0: 5f 5f 73 6c 6f 74 73 5f 5f 20 3d 20 66 72 6f 7a __slots__ = froz
0c00: 65 6e 73 65 74 28 28 27 5f 5f 61 64 64 72 65 73 enset(('__addres
0c10: 73 27 2c 20 27 5f 5f 69 6e 70 75 74 27 2c 20 27 s', '__input', '
0c20: 5f 5f 73 6f 63 6b 65 74 27 2c 20 27 5f 5f 73 74 __socket', '__st
0c30: 61 74 75 73 27 2c 20 27 65 72 72 6f 72 27 2c 20 atus', 'error',
0c40: 27 6d 65 74 68 6f 64 27 2c 20 27 75 72 6c 27 2c 'method', 'url',
0c50: 20 27 68 74 74 70 5f 76 65 72 73 69 6f 6e 27 29 'http_version')
0c60: 29 0a 0a 09 64 65 66 20 5f 5f 69 6e 69 74 5f 5f )...def __init__
0c70: 28 73 65 6c 66 2c 20 73 6f 63 6b 65 74 2c 20 61 (self, socket, a
0c80: 64 64 72 65 73 73 29 3a 0a 09 09 73 65 6c 66 2e ddress):...self.
0c90: 5f 5f 61 64 64 72 65 73 73 20 3d 20 61 64 64 72 __address = addr
0ca0: 65 73 73 0a 09 09 73 65 6c 66 2e 5f 5f 69 6e 70 ess...self.__inp
0cb0: 75 74 20 3d 20 62 27 27 0a 09 09 73 65 6c 66 2e ut = b''...self.
0cc0: 5f 5f 73 6f 63 6b 65 74 20 3d 20 73 6f 63 6b 65 __socket = socke
0cd0: 74 0a 09 09 73 65 6c 66 2e 5f 5f 73 74 61 74 75 t...self.__statu
0ce0: 73 20 3d 20 30 0a 0a 09 64 65 66 20 72 65 61 64 s = 0...def read
0cf0: 28 73 65 6c 66 2c 20 6b 65 76 29 3a 0a 09 09 62 (self, kev):...b
0d00: 75 66 66 65 72 20 3d 20 73 65 6c 66 2e 5f 5f 73 uffer = self.__s
0d10: 6f 63 6b 65 74 2e 72 65 63 76 28 6b 65 76 2e 64 ocket.recv(kev.d
0d20: 61 74 61 29 0a 09 09 65 78 68 61 75 73 74 65 64 ata)...exhausted
0d30: 20 3d 20 46 61 6c 73 65 0a 09 09 69 66 20 6c 65 = False...if le
0d40: 6e 28 62 75 66 66 65 72 29 20 3d 3d 20 30 3a 0a n(buffer) == 0:.
0d50: 09 09 09 65 6f 66 20 3d 20 54 72 75 65 0a 09 09 ...eof = True...
0d60: 65 6c 73 65 3a 0a 09 09 09 73 65 6c 66 2e 5f 5f else:....self.__
0d70: 69 6e 70 75 74 20 2b 3d 20 62 75 66 66 65 72 0a input += buffer.
0d80: 09 09 09 77 68 69 6c 65 20 6e 6f 74 20 65 78 68 ...while not exh
0d90: 61 75 73 74 65 64 3a 0a 09 09 09 09 69 66 20 73 austed:.....if s
0da0: 65 6c 66 2e 5f 5f 73 74 61 74 75 73 20 3d 3d 20 elf.__status ==
0db0: 2d 31 3a 0a 09 09 09 09 09 65 78 68 61 75 73 74 -1:......exhaust
0dc0: 65 64 20 3d 20 54 72 75 65 0a 09 09 09 09 65 6c ed = True.....el
0dd0: 69 66 20 73 65 6c 66 2e 5f 5f 73 74 61 74 75 73 if self.__status
0de0: 20 3d 3d 20 30 3a 0a 09 09 09 09 09 65 6e 64 73 == 0:......ends
0df0: 74 72 69 6e 67 20 3d 20 73 65 6c 66 2e 5f 5f 69 tring = self.__i
0e00: 6e 70 75 74 2e 66 69 6e 64 28 62 27 5c 6e 27 29 nput.find(b'\n')
0e10: 0a 09 09 09 09 09 69 66 20 65 6e 64 73 74 72 69 ......if endstri
0e20: 6e 67 20 3e 20 30 3a 0a 09 09 09 09 09 09 70 72 ng > 0:.......pr
0e30: 69 6e 74 28 27 50 72 6f 63 65 73 73 69 6e 67 20 int('Processing
0e40: 72 65 71 75 65 73 74 20 6c 69 6e 65 2e 27 29 0a request line.').
0e50: 09 09 09 09 09 09 6c 69 6e 65 20 3d 20 73 65 6c ......line = sel
0e60: 66 2e 5f 5f 69 6e 70 75 74 5b 3a 65 6e 64 73 74 f.__input[:endst
0e70: 72 69 6e 67 5d 2e 64 65 63 6f 64 65 28 27 61 73 ring].decode('as
0e80: 63 69 69 27 29 0a 09 09 09 09 09 09 73 65 6c 66 cii').......self
0e90: 2e 5f 5f 69 6e 70 75 74 20 3d 20 73 65 6c 66 2e .__input = self.
0ea0: 5f 5f 69 6e 70 75 74 5b 65 6e 64 73 74 72 69 6e __input[endstrin
0eb0: 67 20 2b 20 31 3a 5d 0a 09 09 09 09 09 09 69 73 g + 1:].......is
0ec0: 52 65 71 75 65 73 74 20 3d 20 72 65 2e 63 6f 6d Request = re.com
0ed0: 70 69 6c 65 28 27 28 47 45 54 29 20 28 5b 5e 20 pile('(GET) ([^
0ee0: 5d 2b 29 20 48 54 54 50 2f 28 31 5c 2e 30 29 27 ]+) HTTP/(1\.0)'
0ef0: 29 2e 6d 61 74 63 68 28 6c 69 6e 65 29 0a 09 09 ).match(line)...
0f00: 09 09 09 09 69 66 20 6e 6f 74 20 69 73 52 65 71 ....if not isReq
0f10: 75 65 73 74 3a 0a 09 09 09 09 09 09 09 73 65 6c uest:........sel
0f20: 66 2e 65 72 72 6f 72 20 3d 20 27 4e 6f 74 20 61 f.error = 'Not a
0f30: 20 48 54 54 50 20 63 6f 6e 6e 65 63 74 69 6f 6e HTTP connection
0f40: 2e 27 0a 09 09 09 09 09 09 09 73 65 6c 66 2e 5f .'........self._
0f50: 5f 73 74 61 74 75 73 20 3d 20 2d 31 0a 09 09 09 _status = -1....
0f60: 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 09 ...else:........
0f70: 73 65 6c 66 2e 6d 65 74 68 6f 64 20 3d 20 69 73 self.method = is
0f80: 52 65 71 75 65 73 74 2e 67 72 6f 75 70 28 31 29 Request.group(1)
0f90: 0a 09 09 09 09 09 09 09 73 65 6c 66 2e 75 72 6c ........self.url
0fa0: 20 3d 20 69 73 52 65 71 75 65 73 74 2e 67 72 6f = isRequest.gro
0fb0: 75 70 28 32 29 0a 09 09 09 09 09 09 09 73 65 6c up(2)........sel
0fc0: 66 2e 68 74 74 70 5f 76 65 72 73 69 6f 6e 20 3d f.http_version =
0fd0: 20 69 73 52 65 71 75 65 73 74 2e 67 72 6f 75 70 isRequest.group
0fe0: 28 33 29 0a 09 09 09 09 09 09 09 73 65 6c 66 2e (3)........self.
0ff0: 5f 5f 73 74 61 74 75 73 20 3d 20 31 0a 09 09 09 __status = 1....
1000: 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 65 78 ..else:.......ex
1010: 68 61 75 73 74 65 64 20 3d 20 54 72 75 65 0a 09 hausted = True..
1020: 09 09 09 65 6c 69 66 20 73 65 6c 66 2e 5f 5f 73 ...elif self.__s
1030: 74 61 74 75 73 20 3d 3d 20 31 3a 0a 09 09 09 09 tatus == 1:.....
1040: 09 65 6e 64 73 74 72 69 6e 67 20 3d 20 73 65 6c .endstring = sel
1050: 66 2e 5f 5f 69 6e 70 75 74 2e 66 69 6e 64 28 62 f.__input.find(b
1060: 27 5c 6e 27 29 0a 09 09 09 09 09 69 66 20 65 6e '\n')......if en
1070: 64 73 74 72 69 6e 67 20 3e 20 30 3a 0a 09 09 09 dstring > 0:....
1080: 09 09 09 70 72 69 6e 74 28 27 50 72 6f 63 65 73 ...print('Proces
1090: 73 69 6e 67 20 68 65 61 64 65 72 20 6c 69 6e 65 sing header line
10a0: 2e 27 20 2b 20 72 65 70 72 28 73 65 6c 66 2e 5f .' + repr(self._
10b0: 5f 69 6e 70 75 74 29 29 0a 09 09 09 09 09 09 6c _input)).......l
10c0: 69 6e 65 20 3d 20 73 65 6c 66 2e 5f 5f 69 6e 70 ine = self.__inp
10d0: 75 74 5b 3a 65 6e 64 73 74 72 69 6e 67 5d 2e 64 ut[:endstring].d
10e0: 65 63 6f 64 65 28 27 61 73 63 69 69 27 29 0a 09 ecode('ascii')..
10f0: 09 09 09 09 09 73 65 6c 66 2e 5f 5f 69 6e 70 75 .....self.__inpu
1100: 74 20 3d 20 73 65 6c 66 2e 5f 5f 69 6e 70 75 74 t = self.__input
1110: 5b 65 6e 64 73 74 72 69 6e 67 20 2b 20 31 3a 5d [endstring + 1:]
1120: 0a 09 09 09 09 09 09 69 73 48 65 61 64 65 72 20 .......isHeader
1130: 3d 20 72 65 2e 63 6f 6d 70 69 6c 65 28 27 28 5b = re.compile('([
1140: 5e 3a 5d 2a 29 3a 20 2b 28 2e 2a 29 27 29 2e 6d ^:]*): +(.*)').m
1150: 61 74 63 68 28 6c 69 6e 65 29 0a 09 09 09 09 09 atch(line)......
1160: 09 69 66 20 6e 6f 74 20 69 73 48 65 61 64 65 72 .if not isHeader
1170: 3a 0a 09 09 09 09 09 09 09 73 65 6c 66 2e 65 72 :........self.er
1180: 72 6f 72 20 3d 20 27 42 61 64 20 68 65 61 64 65 ror = 'Bad heade
1190: 72 2e 27 0a 09 09 09 09 09 09 09 72 65 74 75 72 r.'........retur
11a0: 6e 28 46 61 6c 73 65 29 0a 09 09 09 09 09 09 23 n(False).......#
11b0: 20 70 72 6f 63 65 73 73 20 68 65 61 64 65 72 20 process header
11c0: 68 65 72 65 0a 09 09 09 09 09 65 6c 69 66 20 65 here......elif e
11d0: 6e 64 73 74 72 69 6e 67 20 3d 3d 20 30 3a 0a 09 ndstring == 0:..
11e0: 09 09 09 09 09 73 65 6c 66 2e 5f 5f 73 74 61 74 .....self.__stat
11f0: 75 73 20 3d 20 32 0a 09 09 09 09 09 65 6c 73 65 us = 2......else
1200: 3a 0a 09 09 09 09 09 09 65 78 68 61 75 73 74 65 :.......exhauste
1210: 64 20 3d 20 54 72 75 65 0a 0a 09 64 65 66 20 77 d = True...def w
1220: 72 69 74 65 28 73 65 6c 66 2c 20 6b 65 76 29 3a rite(self, kev):
1230: 0a 09 09 70 61 73 73 0a 0a 69 66 20 6f 70 74 69 ...pass..if opti
1240: 6f 6e 73 2e 70 6f 72 74 3a 0a 09 69 6d 70 6f 72 ons.port:..impor
1250: 74 20 73 65 6c 65 63 74 2c 20 73 6f 63 6b 65 74 t select, socket
1260: 0a 0a 09 73 6f 63 6b 20 3d 20 73 6f 63 6b 65 74 ...sock = socket
1270: 2e 73 6f 63 6b 65 74 28 73 6f 63 6b 65 74 2e 41 .socket(socket.A
1280: 46 5f 49 4e 45 54 2c 20 73 6f 63 6b 65 74 2e 53 F_INET, socket.S
1290: 4f 43 4b 5f 53 54 52 45 41 4d 29 0a 09 74 72 79 OCK_STREAM)..try
12a0: 3a 0a 09 09 73 6f 63 6b 2e 62 69 6e 64 28 28 27 :...sock.bind(('
12b0: 31 32 37 2e 30 2e 30 2e 31 27 2c 20 69 6e 74 28 127.0.0.1', int(
12c0: 6f 70 74 69 6f 6e 73 2e 70 6f 72 74 29 29 29 0a options.port))).
12d0: 09 09 73 6f 63 6b 2e 6c 69 73 74 65 6e 28 2d 31 ..sock.listen(-1
12e0: 29 0a 0a 09 09 6b 71 20 3d 20 73 65 6c 65 63 74 )....kq = select
12f0: 2e 6b 71 75 65 75 65 28 29 0a 09 09 61 73 73 65 .kqueue()...asse
1300: 72 74 20 6b 71 2e 66 69 6c 65 6e 6f 28 29 20 21 rt kq.fileno() !
1310: 3d 20 2d 31 2c 20 22 46 61 74 61 6c 20 65 72 72 = -1, "Fatal err
1320: 6f 72 3a 20 63 61 6e 27 74 20 69 6e 69 74 69 61 or: can't initia
1330: 6c 69 73 65 20 6b 71 75 65 75 65 2e 22 0a 0a 09 lise kqueue."...
1340: 09 6b 71 2e 63 6f 6e 74 72 6f 6c 28 5b 73 65 6c .kq.control([sel
1350: 65 63 74 2e 6b 65 76 65 6e 74 28 73 6f 63 6b 2c ect.kevent(sock,
1360: 20 73 65 6c 65 63 74 2e 4b 51 5f 46 49 4c 54 45 select.KQ_FILTE
1370: 52 5f 52 45 41 44 2c 20 73 65 6c 65 63 74 2e 4b R_READ, select.K
1380: 51 5f 45 56 5f 41 44 44 29 5d 2c 20 30 29 0a 09 Q_EV_ADD)], 0)..
1390: 09 74 69 6d 65 6f 75 74 20 3d 20 4e 6f 6e 65 0a .timeout = None.
13a0: 0a 09 09 63 6f 6e 6e 65 63 74 69 6f 6e 73 20 3d ...connections =
13b0: 20 7b 73 6f 63 6b 2e 66 69 6c 65 6e 6f 28 29 3a {sock.fileno():
13c0: 20 4e 6f 6e 65 7d 0a 0a 09 09 77 68 69 6c 65 20 None}....while
13d0: 54 72 75 65 3a 0a 09 09 09 6b 65 76 73 20 3d 20 True:....kevs =
13e0: 6b 71 2e 63 6f 6e 74 72 6f 6c 28 4e 6f 6e 65 2c kq.control(None,
13f0: 20 31 2c 20 74 69 6d 65 6f 75 74 29 0a 0a 09 09 1, timeout)....
1400: 09 66 6f 72 20 6b 65 76 20 69 6e 20 6b 65 76 73 .for kev in kevs
1410: 3a 0a 09 09 09 09 69 66 20 74 79 70 65 28 63 6f :.....if type(co
1420: 6e 6e 65 63 74 69 6f 6e 73 5b 6b 65 76 2e 69 64 nnections[kev.id
1430: 65 6e 74 5d 29 20 3d 3d 20 43 6f 6e 6e 65 63 74 ent]) == Connect
1440: 69 6f 6e 3a 0a 09 09 09 09 09 70 72 69 6e 74 28 ion:......print(
1450: 6b 65 76 2e 69 64 65 6e 74 2c 20 6b 65 76 2e 64 kev.ident, kev.d
1460: 61 74 61 2c 20 6b 65 76 2e 66 69 6c 74 65 72 2c ata, kev.filter,
1470: 20 6b 65 76 2e 66 6c 61 67 73 29 0a 09 09 09 09 kev.flags).....
1480: 09 61 73 73 65 72 74 20 6b 65 76 2e 64 61 74 61 .assert kev.data
1490: 20 21 3d 20 30 2c 20 27 4e 6f 20 64 61 74 61 20 != 0, 'No data
14a0: 61 76 61 69 6c 61 62 6c 65 2e 27 0a 09 09 09 09 available.'.....
14b0: 09 69 66 20 6b 65 76 2e 66 69 6c 74 65 72 20 3d .if kev.filter =
14c0: 3d 20 73 65 6c 65 63 74 2e 4b 51 5f 46 49 4c 54 = select.KQ_FILT
14d0: 45 52 5f 52 45 41 44 3a 0a 09 09 09 09 09 09 63 ER_READ:.......c
14e0: 6f 6e 6e 65 63 74 69 6f 6e 73 5b 6b 65 76 2e 69 onnections[kev.i
14f0: 64 65 6e 74 5d 2e 72 65 61 64 28 6b 65 76 29 0a dent].read(kev).
1500: 09 09 09 09 09 65 6c 69 66 20 6b 65 76 2e 66 69 .....elif kev.fi
1510: 6c 74 65 72 20 3d 3d 20 73 65 6c 65 63 74 2e 4b lter == select.K
1520: 51 5f 46 49 4c 54 45 52 5f 57 52 49 54 45 3a 0a Q_FILTER_WRITE:.
1530: 09 09 09 09 09 09 63 6f 6e 6e 65 63 74 69 6f 6e ......connection
1540: 73 5b 6b 65 76 2e 69 64 65 6e 74 5d 2e 77 72 69 s[kev.ident].wri
1550: 74 65 28 6b 65 76 29 0a 09 09 09 09 09 65 6c 73 te(kev)......els
1560: 65 3a 0a 09 09 09 09 09 09 61 73 73 65 72 74 20 e:.......assert
1570: 6b 65 76 2e 66 69 6c 74 65 72 20 69 6e 20 28 73 kev.filter in (s
1580: 65 6c 65 63 74 2e 4b 51 5f 46 49 4c 54 45 52 5f elect.KQ_FILTER_
1590: 52 45 41 44 2c 20 73 65 6c 65 63 74 2e 4b 51 5f READ, select.KQ_
15a0: 46 49 4c 54 45 52 5f 57 52 49 54 45 29 2c 20 27 FILTER_WRITE), '
15b0: 44 6f 20 77 65 20 73 75 70 70 6f 72 74 20 6f 74 Do we support ot
15c0: 68 65 72 20 66 69 6c 74 65 72 73 3f 27 0a 09 09 her filters?'...
15d0: 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 28 63 6f ..else:......(co
15e0: 6e 6e 2c 20 61 64 64 72 29 20 3d 20 73 6f 63 6b nn, addr) = sock
15f0: 2e 61 63 63 65 70 74 28 29 0a 09 09 09 09 09 70 .accept()......p
1600: 72 69 6e 74 28 27 43 6f 6e 6e 65 63 74 69 6f 6e rint('Connection
1610: 20 66 72 6f 6d 20 27 20 2b 20 72 65 70 72 28 61 from ' + repr(a
1620: 64 64 72 29 29 0a 09 09 09 09 09 6b 71 2e 63 6f ddr))......kq.co
1630: 6e 74 72 6f 6c 28 5b 73 65 6c 65 63 74 2e 6b 65 ntrol([select.ke
1640: 76 65 6e 74 28 63 6f 6e 6e 2c 20 73 65 6c 65 63 vent(conn, selec
1650: 74 2e 4b 51 5f 46 49 4c 54 45 52 5f 52 45 41 44 t.KQ_FILTER_READ
1660: 2c 20 73 65 6c 65 63 74 2e 4b 51 5f 45 56 5f 41 , select.KQ_EV_A
1670: 44 44 29 5d 2c 20 30 29 0a 09 09 09 09 09 63 6f DD)], 0)......co
1680: 6e 6e 65 63 74 69 6f 6e 73 5b 63 6f 6e 6e 2e 66 nnections[conn.f
1690: 69 6c 65 6e 6f 28 29 5d 20 3d 20 43 6f 6e 6e 65 ileno()] = Conne
16a0: 63 74 69 6f 6e 28 63 6f 6e 6e 2c 20 61 64 64 72 ction(conn, addr
16b0: 29 0a 0a 09 09 09 09 69 66 20 6b 65 76 2e 66 6c )......if kev.fl
16c0: 61 67 73 20 3e 3e 20 31 35 20 3d 3d 20 31 3a 0a ags >> 15 == 1:.
16d0: 09 09 09 09 09 6b 71 2e 63 6f 6e 74 72 6f 6c 28 .....kq.control(
16e0: 5b 73 65 6c 65 63 74 2e 6b 65 76 65 6e 74 28 6b [select.kevent(k
16f0: 65 76 2e 69 64 65 6e 74 2c 20 73 65 6c 65 63 74 ev.ident, select
1700: 2e 4b 51 5f 46 49 4c 54 45 52 5f 52 45 41 44 2c .KQ_FILTER_READ,
1710: 20 73 65 6c 65 63 74 2e 4b 51 5f 45 56 5f 44 45 select.KQ_EV_DE
1720: 4c 45 54 45 29 5d 2c 20 30 29 0a 09 09 09 09 09 LETE)], 0)......
1730: 6b 71 2e 63 6f 6e 74 72 6f 6c 28 5b 73 65 6c 65 kq.control([sele
1740: 63 74 2e 6b 65 76 65 6e 74 28 6b 65 76 2e 69 64 ct.kevent(kev.id
1750: 65 6e 74 2c 20 73 65 6c 65 63 74 2e 4b 51 5f 46 ent, select.KQ_F
1760: 49 4c 54 45 52 5f 57 52 49 54 45 2c 20 73 65 6c ILTER_WRITE, sel
1770: 65 63 74 2e 4b 51 5f 45 56 5f 44 45 4c 45 54 45 ect.KQ_EV_DELETE
1780: 29 5d 2c 20 30 29 0a 09 09 09 09 09 64 65 6c 28 )], 0)......del(
1790: 63 6f 6e 6e 65 63 74 69 6f 6e 73 5b 6b 65 76 2e connections[kev.
17a0: 69 64 65 6e 74 5d 29 0a 09 66 69 6e 61 6c 6c 79 ident])..finally
17b0: 3a 0a 09 09 73 6f 63 6b 2e 63 6c 6f 73 65 28 29 :...sock.close()
17c0: 0a 27 27 27 0a 0a 23 20 58 58 58 20 68 6f 77 20 .'''..# XXX how
17d0: 61 62 6f 75 74 20 72 65 63 68 65 63 6b 69 6e 67 about rechecking
17e0: 20 66 69 6c 65 73 3f 0a 69 66 20 54 72 75 65 3a files?.if True:
17f0: 0a 09 69 6d 70 6f 72 74 20 68 74 74 70 2e 73 65 ..import http.se
1800: 72 76 65 72 0a 0a 09 63 6c 61 73 73 20 4d 79 52 rver...class MyR
1810: 65 71 75 65 73 74 48 61 6e 64 6c 65 72 28 68 74 equestHandler(ht
1820: 74 70 2e 73 65 72 76 65 72 2e 42 61 73 65 48 54 tp.server.BaseHT
1830: 54 50 52 65 71 75 65 73 74 48 61 6e 64 6c 65 72 TPRequestHandler
1840: 29 3a 0a 09 09 64 65 66 20 5f 5f 70 72 6f 63 65 ):...def __proce
1850: 73 73 28 73 65 6c 66 29 3a 0a 09 09 09 23 20 72 ss(self):....# r
1860: 65 6c 6f 61 64 20 6d 65 61 6e 73 20 66 69 6c 65 eload means file
1870: 20 6e 65 65 64 73 20 74 6f 20 62 65 20 72 65 6c needs to be rel
1880: 6f 61 64 65 64 20 74 6f 20 73 65 72 76 65 20 72 oaded to serve r
1890: 65 71 75 65 73 74 0a 09 09 09 72 65 6c 6f 61 64 equest....reload
18a0: 20 3d 20 46 61 6c 73 65 0a 09 09 09 23 20 72 65 = False....# re
18b0: 63 68 65 63 6b 20 6d 65 61 6e 73 20 66 69 6c 65 check means file
18c0: 20 6e 65 65 64 73 20 74 6f 20 62 65 20 63 68 65 needs to be che
18d0: 63 6b 65 64 2c 20 74 68 69 73 20 61 6c 73 6f 20 cked, this also
18e0: 6d 65 61 6e 73 20 74 68 61 74 20 69 66 20 66 69 means that if fi
18f0: 6c 65 20 68 61 76 20 62 65 65 6e 20 6d 6f 64 69 le hav been modi
1900: 66 69 65 64 20 77 65 20 63 61 6e 20 73 65 72 76 fied we can serv
1910: 65 20 6f 6c 64 65 72 20 63 6f 70 79 0a 09 09 09 e older copy....
1920: 72 65 63 68 65 63 6b 20 3d 20 46 61 6c 73 65 0a recheck = False.
1930: 09 09 09 23 20 66 69 6c 65 5f 73 74 61 74 20 6d ...# file_stat m
1940: 65 61 6e 73 20 66 69 6c 65 20 64 65 66 69 6e 69 eans file defini
1950: 74 65 6c 79 20 65 78 69 73 74 73 0a 09 09 09 66 tely exists....f
1960: 69 6c 65 5f 73 74 61 74 20 3d 20 4e 6f 6e 65 0a ile_stat = None.
1970: 09 09 09 23 20 72 65 71 75 65 73 74 65 64 5f 72 ...# requested_r
1980: 61 6e 67 65 73 20 68 6f 6c 64 73 20 64 61 74 61 anges holds data
1990: 20 61 62 6f 75 74 20 61 6e 79 20 72 61 6e 67 65 about any range
19a0: 20 72 65 71 75 65 73 74 65 64 0a 09 09 09 72 65 requested....re
19b0: 71 75 65 73 74 65 64 5f 72 61 6e 67 65 73 20 3d quested_ranges =
19c0: 20 4e 6f 6e 65 0a 09 09 09 23 20 72 65 63 6f 72 None....# recor
19d0: 64 73 20 68 6f 6c 64 73 20 64 61 74 61 20 66 72 ds holds data fr
19e0: 6f 6d 20 69 6e 64 65 78 20 6c 6f 63 61 6c 6c 79 om index locally
19f0: 2c 20 73 68 6f 75 6c 64 20 62 65 20 77 72 69 74 , should be writ
1a00: 74 65 6e 20 62 61 63 6b 20 75 70 6f 6e 20 73 75 ten back upon su
1a10: 63 63 65 73 73 66 75 6c 6c 20 63 6f 6d 70 6c 65 ccessfull comple
1a20: 74 69 6f 6e 0a 09 09 09 72 65 63 6f 72 64 20 3d tion....record =
1a30: 20 4e 6f 6e 65 0a 0a 09 09 09 6d 79 50 61 74 68 None.....myPath
1a40: 20 3d 20 72 65 2e 63 6f 6d 70 69 6c 65 28 27 5e = re.compile('^
1a50: 28 2e 2a 3f 29 28 5c 3f 2e 2a 29 24 27 29 2e 6d (.*?)(\?.*)$').m
1a60: 61 74 63 68 28 73 65 6c 66 2e 70 61 74 68 29 0a atch(self.path).
1a70: 09 09 09 69 66 20 6d 79 50 61 74 68 3a 0a 09 09 ...if myPath:...
1a80: 09 09 6d 79 5f 70 61 74 68 20 3d 20 6d 79 50 61 ..my_path = myPa
1a90: 74 68 2e 67 72 6f 75 70 28 31 29 0a 09 09 09 65 th.group(1)....e
1aa0: 6c 73 65 3a 0a 09 09 09 09 6d 79 5f 70 61 74 68 lse:.....my_path
1ab0: 20 3d 20 73 65 6c 66 2e 70 61 74 68 0a 0a 09 09 = self.path....
1ac0: 09 63 6f 6e 66 69 67 2e 73 65 63 74 69 6f 6e 28 .config.section(
1ad0: 73 65 6c 66 2e 68 65 61 64 65 72 73 5b 27 48 6f self.headers['Ho
1ae0: 73 74 27 5d 29 0a 0a 09 09 09 69 66 20 63 6f 6e st']).....if con
1af0: 66 69 67 5b 27 73 75 62 27 5d 20 21 3d 20 4e 6f fig['sub'] != No
1b00: 6e 65 20 61 6e 64 20 63 6f 6e 66 69 67 5b 27 73 ne and config['s
1b10: 74 72 69 70 27 5d 20 21 3d 20 4e 6f 6e 65 20 61 trip'] != None a
1b20: 6e 64 20 6c 65 6e 28 63 6f 6e 66 69 67 5b 27 73 nd len(config['s
1b30: 74 72 69 70 27 5d 29 20 3e 20 30 3a 0a 09 09 09 trip']) > 0:....
1b40: 09 73 74 72 69 6e 67 20 3d 20 72 65 2e 63 6f 6d .string = re.com
1b50: 70 69 6c 65 28 63 6f 6e 66 69 67 5b 27 73 74 72 pile(config['str
1b60: 69 70 27 5d 29 2e 73 75 62 28 63 6f 6e 66 69 67 ip']).sub(config
1b70: 5b 27 73 75 62 27 5d 2c 20 6d 79 5f 70 61 74 68 ['sub'], my_path
1b80: 29 0a 09 09 09 09 6d 79 5f 70 61 74 68 20 3d 20 ).....my_path =
1b90: 73 74 72 69 6e 67 0a 0a 09 09 09 69 6e 66 6f 20 string.....info
1ba0: 3d 20 27 43 68 65 63 6b 69 6e 67 20 66 69 6c 65 = 'Checking file
1bb0: 3a 20 27 20 2b 20 6d 79 5f 70 61 74 68 0a 0a 09 : ' + my_path...
1bc0: 09 09 69 66 20 6e 6f 74 20 6f 73 2e 61 63 63 65 ..if not os.acce
1bd0: 73 73 28 63 6f 6e 66 69 67 5b 27 64 69 72 27 5d ss(config['dir']
1be0: 2c 20 6f 73 2e 58 5f 4f 4b 29 3a 0a 09 09 09 09 , os.X_OK):.....
1bf0: 6f 73 2e 6d 6b 64 69 72 28 63 6f 6e 66 69 67 5b os.mkdir(config[
1c00: 27 64 69 72 27 5d 29 0a 09 09 09 23 20 74 68 69 'dir'])....# thi
1c10: 73 20 69 73 20 66 69 6c 65 20 69 6e 64 65 78 20 s is file index
1c20: 2d 20 65 76 65 72 79 74 68 69 6e 67 20 69 73 20 - everything is
1c30: 73 74 6f 72 65 64 20 69 6e 20 74 68 69 73 20 66 stored in this f
1c40: 69 6c 65 0a 09 09 09 23 20 5f 70 61 72 74 73 20 ile....# _parts
1c50: 2d 20 6c 69 73 74 20 6f 66 20 73 74 6f 72 65 64 - list of stored
1c60: 20 70 61 72 74 73 20 6f 66 20 66 69 6c 65 0a 09 parts of file..
1c70: 09 09 23 20 5f 74 69 6d 65 20 2d 20 6c 61 73 74 ..# _time - last
1c80: 20 74 69 6d 65 20 74 68 65 20 66 69 6c 65 20 77 time the file w
1c90: 61 73 20 63 68 65 63 6b 65 64 0a 09 09 09 23 20 as checked....#
1ca0: 65 76 65 72 79 74 68 69 6e 67 20 65 6c 73 65 20 everything else
1cb0: 69 73 20 6a 75 73 74 20 74 68 65 20 68 65 61 64 is just the head
1cc0: 65 72 73 0a 09 09 09 69 6e 64 65 78 20 3d 20 73 ers....index = s
1cd0: 68 65 6c 76 65 2e 6f 70 65 6e 28 63 6f 6e 66 69 helve.open(confi
1ce0: 67 5b 27 64 69 72 27 5d 20 2b 20 6f 73 2e 73 65 g['dir'] + os.se
1cf0: 70 20 2b 20 27 2e 69 6e 64 65 78 27 29 0a 0a 09 p + '.index')...
1d00: 09 09 64 65 73 63 5f 66 69 65 6c 64 73 20 3d 20 ..desc_fields =
1d10: 63 6f 6e 73 74 5f 64 65 73 63 5f 66 69 65 6c 64 const_desc_field
1d20: 73 2e 63 6f 70 79 28 29 0a 09 09 09 69 67 6e 6f s.copy()....igno
1d30: 72 65 5f 66 69 65 6c 64 73 20 3d 20 63 6f 6e 73 re_fields = cons
1d40: 74 5f 69 67 6e 6f 72 65 5f 66 69 65 6c 64 73 2e t_ignore_fields.
1d50: 63 6f 70 79 28 29 0a 09 09 09 69 66 20 63 6f 6e copy()....if con
1d60: 66 69 67 5b 27 6e 6f 65 74 61 67 27 5d 20 3d 3d fig['noetag'] ==
1d70: 20 27 6e 6f 27 3a 0a 09 09 09 09 64 65 73 63 5f 'no':.....desc_
1d80: 66 69 65 6c 64 73 2e 61 64 64 28 27 45 54 61 67 fields.add('ETag
1d90: 27 29 0a 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 ')....else:.....
1da0: 69 67 6e 6f 72 65 5f 66 69 65 6c 64 73 2e 61 64 ignore_fields.ad
1db0: 64 28 27 45 54 61 67 27 29 0a 0a 09 09 09 70 72 d('ETag').....pr
1dc0: 6f 78 79 5f 69 67 6e 6f 72 65 64 20 3d 20 73 65 oxy_ignored = se
1dd0: 74 28 5b 0a 09 09 09 09 27 41 63 63 65 70 74 27 t([.....'Accept'
1de0: 2c 20 27 41 63 63 65 70 74 2d 43 68 61 72 73 65 , 'Accept-Charse
1df0: 74 27 2c 20 27 41 63 63 65 70 74 2d 45 6e 63 6f t', 'Accept-Enco
1e00: 64 69 6e 67 27 2c 20 27 41 63 63 65 70 74 2d 4c ding', 'Accept-L
1e10: 61 6e 67 75 61 67 65 27 2c 0a 09 09 09 09 27 43 anguage',.....'C
1e20: 61 63 68 65 2d 43 6f 6e 74 72 6f 6c 27 2c 20 27 ache-Control', '
1e30: 43 6f 6e 6e 65 63 74 69 6f 6e 27 2c 20 27 43 6f Connection', 'Co
1e40: 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 2c 20 27 ntent-Length', '
1e50: 43 6f 6f 6b 69 65 27 2c 0a 09 09 09 09 27 48 6f Cookie',.....'Ho
1e60: 73 74 27 2c 0a 09 09 09 09 27 49 66 2d 4d 6f 64 st',.....'If-Mod
1e70: 69 66 69 65 64 2d 53 69 6e 63 65 27 2c 20 27 49 ified-Since', 'I
1e80: 66 2d 55 6e 6d 6f 64 69 66 69 65 64 2d 53 69 6e f-Unmodified-Sin
1e90: 63 65 27 2c 0a 09 09 09 09 27 52 65 66 65 72 65 ce',.....'Refere
1ea0: 72 27 2c 0a 09 09 09 09 27 55 73 65 72 2d 41 67 r',.....'User-Ag
1eb0: 65 6e 74 27 2c 0a 09 09 09 09 27 56 69 61 27 2c ent',.....'Via',
1ec0: 0a 09 09 09 09 27 58 2d 46 6f 72 77 61 72 64 65 .....'X-Forwarde
1ed0: 64 2d 46 6f 72 27 2c 20 27 58 2d 52 45 4d 4f 56 d-For', 'X-REMOV
1ee0: 45 44 27 2c 0a 09 09 09 5d 29 0a 0a 09 09 09 70 ED',....]).....p
1ef0: 72 69 6e 74 28 27 3d 3d 3d 3d 3d 3d 3d 3d 3d 3d rint('==========
1f00: 3d 3d 3d 3d 3d 5b 20 7b 7d 20 72 65 71 75 65 73 =====[ {} reques
1f10: 74 20 5d 3d 3d 3d 27 2e 66 6f 72 6d 61 74 28 73 t ]==='.format(s
1f20: 65 6c 66 2e 63 6f 6d 6d 61 6e 64 29 29 0a 0a 09 elf.command))...
1f30: 09 09 66 6f 72 20 68 65 61 64 65 72 20 69 6e 20 ..for header in
1f40: 73 65 6c 66 2e 68 65 61 64 65 72 73 3a 0a 09 09 self.headers:...
1f50: 09 09 69 66 20 68 65 61 64 65 72 20 69 6e 20 70 ..if header in p
1f60: 72 6f 78 79 5f 69 67 6e 6f 72 65 64 3a 0a 09 09 roxy_ignored:...
1f70: 09 09 09 70 61 73 73 0a 09 09 09 09 65 6c 69 66 ...pass.....elif
1f80: 20 68 65 61 64 65 72 20 69 6e 20 28 27 52 61 6e header in ('Ran
1f90: 67 65 27 29 3a 0a 09 09 09 09 09 69 73 52 61 6e ge'):......isRan
1fa0: 67 65 20 3d 20 72 65 2e 63 6f 6d 70 69 6c 65 28 ge = re.compile(
1fb0: 27 62 79 74 65 73 3d 28 5c 64 2b 29 2d 28 5c 64 'bytes=(\d+)-(\d
1fc0: 2b 29 27 29 2e 6d 61 74 63 68 28 73 65 6c 66 2e +)').match(self.
1fd0: 68 65 61 64 65 72 73 5b 68 65 61 64 65 72 5d 29 headers[header])
1fe0: 0a 09 09 09 09 09 69 66 20 69 73 52 61 6e 67 65 ......if isRange
1ff0: 3a 0a 09 09 09 09 09 09 72 65 71 75 65 73 74 65 :.......requeste
2000: 64 5f 72 61 6e 67 65 73 20 3d 20 73 70 61 63 65 d_ranges = space
2010: 6d 61 70 2e 53 70 61 63 65 4d 61 70 28 7b 69 6e map.SpaceMap({in
2020: 74 28 69 73 52 61 6e 67 65 2e 67 72 6f 75 70 28 t(isRange.group(
2030: 31 29 29 3a 20 69 6e 74 28 69 73 52 61 6e 67 65 1)): int(isRange
2040: 2e 67 72 6f 75 70 28 32 29 29 20 2b 20 31 7d 29 .group(2)) + 1})
2050: 0a 09 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 ......else:.....
2060: 09 09 72 65 74 75 72 6e 28 29 0a 09 09 09 09 65 ..return().....e
2070: 6c 69 66 20 68 65 61 64 65 72 20 69 6e 20 28 27 lif header in ('
2080: 50 72 61 67 6d 61 27 29 3a 0a 09 09 09 09 09 69 Pragma'):......i
2090: 66 20 6d 79 5f 70 61 74 68 20 69 6e 20 69 6e 64 f my_path in ind
20a0: 65 78 3a 0a 09 09 09 09 09 09 69 6e 64 65 78 5b ex:.......index[
20b0: 6d 79 5f 70 61 74 68 5d 5b 68 65 61 64 65 72 5d my_path][header]
20c0: 20 3d 20 73 65 6c 66 2e 68 65 61 64 65 72 73 5b = self.headers[
20d0: 68 65 61 64 65 72 5d 0a 09 09 09 09 65 6c 73 65 header].....else
20e0: 3a 0a 09 09 09 09 09 70 72 69 6e 74 28 27 55 6e :......print('Un
20f0: 6b 6e 6f 77 6e 20 68 65 61 64 65 72 20 2d 20 27 known header - '
2100: 2c 20 68 65 61 64 65 72 2c 20 27 3a 20 27 2c 20 , header, ': ',
2110: 73 65 6c 66 2e 68 65 61 64 65 72 73 5b 68 65 61 self.headers[hea
2120: 64 65 72 5d 2c 20 73 65 70 3d 27 27 29 0a 09 09 der], sep='')...
2130: 09 09 09 72 65 74 75 72 6e 28 29 0a 09 09 09 09 ...return().....
2140: 70 72 69 6e 74 28 68 65 61 64 65 72 2c 20 73 65 print(header, se
2150: 6c 66 2e 68 65 61 64 65 72 73 5b 68 65 61 64 65 lf.headers[heade
2160: 72 5d 29 0a 0a 09 09 09 23 20 63 72 65 61 74 69 r]).....# creati
2170: 6e 67 20 66 69 6c 65 20 6e 61 6d 65 20 66 72 6f ng file name fro
2180: 6d 20 6d 79 5f 70 61 74 68 0a 09 09 09 66 69 6c m my_path....fil
2190: 65 5f 6e 61 6d 65 20 3d 20 63 6f 6e 66 69 67 5b e_name = config[
21a0: 27 64 69 72 27 5d 20 2b 20 6f 73 2e 73 65 70 20 'dir'] + os.sep
21b0: 2b 20 72 65 2e 63 6f 6d 70 69 6c 65 28 27 25 32 + re.compile('%2
21c0: 30 27 29 2e 73 75 62 28 27 20 27 2c 20 6d 79 5f 0').sub(' ', my_
21d0: 70 61 74 68 29 0a 09 09 09 23 20 70 61 72 74 69 path)....# parti
21e0: 61 6c 20 66 69 6c 65 20 6f 72 20 75 6e 66 69 6e al file or unfin
21f0: 69 73 68 65 64 20 64 6f 77 6e 6c 6f 61 64 0a 09 ished download..
2200: 09 09 74 65 6d 70 5f 6e 61 6d 65 20 3d 20 63 6f ..temp_name = co
2210: 6e 66 69 67 5b 27 64 69 72 27 5d 20 2b 20 6f 73 nfig['dir'] + os
2220: 2e 73 65 70 20 2b 20 27 2e 70 61 72 74 73 27 20 .sep + '.parts'
2230: 2b 20 72 65 2e 63 6f 6d 70 69 6c 65 28 27 25 32 + re.compile('%2
2240: 30 27 29 2e 73 75 62 28 27 20 27 2c 20 6d 79 5f 0').sub(' ', my_
2250: 70 61 74 68 29 0a 0a 09 09 09 23 20 63 72 65 61 path).....# crea
2260: 74 69 6e 67 20 65 6d 70 74 79 20 70 6c 61 63 65 ting empty place
2270: 68 6f 6c 64 65 72 20 69 6e 20 69 6e 64 65 78 0a holder in index.
2280: 09 09 09 23 20 69 66 20 74 68 65 72 65 27 73 20 ...# if there's
2290: 6e 6f 20 73 70 61 63 65 20 6d 61 70 20 61 6e 64 no space map and
22a0: 20 74 68 65 72 65 27 73 20 6e 6f 20 66 69 6c 65 there's no file
22b0: 20 69 6e 20 72 65 61 6c 20 64 69 72 65 63 74 6f in real directo
22c0: 72 79 20 2d 20 77 65 20 68 61 76 65 20 6e 6f 20 ry - we have no
22d0: 66 69 6c 65 0a 09 09 09 23 20 69 66 20 74 68 65 file....# if the
22e0: 72 65 27 73 20 61 6e 20 65 6d 70 74 79 20 73 70 re's an empty sp
22f0: 61 63 65 20 6d 61 70 20 2d 20 66 69 6c 65 20 69 ace map - file i
2300: 73 20 66 75 6c 6c 0a 09 09 09 23 20 73 70 61 63 s full....# spac
2310: 65 20 6d 61 70 20 67 65 6e 65 72 61 6c 6c 79 20 e map generally
2320: 63 6f 76 65 72 73 20 65 76 65 72 79 20 62 69 74 covers every bit
2330: 20 6f 66 20 66 69 6c 65 20 77 65 20 64 6f 6e 27 of file we don'
2340: 74 20 70 6f 73 65 73 73 20 63 75 72 72 65 6e 74 t posess current
2350: 6c 79 0a 09 09 09 69 66 20 6e 6f 74 20 6d 79 5f ly....if not my_
2360: 70 61 74 68 20 69 6e 20 69 6e 64 65 78 3a 0a 09 path in index:..
2370: 09 09 09 69 6e 66 6f 20 2b 3d 20 27 5c 6e 54 68 ...info += '\nTh
2380: 69 73 20 6f 6e 65 20 69 73 20 6e 65 77 2e 27 0a is one is new.'.
2390: 09 09 09 09 72 65 6c 6f 61 64 20 3d 20 54 72 75 ....reload = Tru
23a0: 65 0a 09 09 09 09 72 65 63 6f 72 64 20 3d 20 7b e.....record = {
23b0: 7d 0a 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 23 }....else:.....#
23c0: 20 66 6f 72 63 69 62 6c 79 20 63 68 65 63 6b 69 forcibly checki
23d0: 6e 67 20 66 69 6c 65 20 69 66 20 6e 6f 20 66 69 ng file if no fi
23e0: 6c 65 20 70 72 65 73 65 6e 74 0a 09 09 09 09 72 le present.....r
23f0: 65 63 6f 72 64 20 3d 20 69 6e 64 65 78 5b 6d 79 ecord = index[my
2400: 5f 70 61 74 68 5d 0a 09 09 09 09 69 66 20 6f 73 _path].....if os
2410: 2e 61 63 63 65 73 73 28 66 69 6c 65 5f 6e 61 6d .access(file_nam
2420: 65 2c 20 6f 73 2e 52 5f 4f 4b 29 3a 0a 09 09 09 e, os.R_OK):....
2430: 09 09 69 6e 66 6f 20 2b 3d 20 27 5c 6e 46 75 6c ..info += '\nFul
2440: 6c 20 66 69 6c 65 20 66 6f 75 6e 64 2e 27 0a 09 l file found.'..
2450: 09 09 09 09 66 69 6c 65 5f 73 74 61 74 20 3d 20 ....file_stat =
2460: 6f 73 2e 73 74 61 74 28 66 69 6c 65 5f 6e 61 6d os.stat(file_nam
2470: 65 29 0a 09 09 09 09 65 6c 69 66 20 27 5f 70 61 e).....elif '_pa
2480: 72 74 73 27 20 69 6e 20 69 6e 64 65 78 5b 6d 79 rts' in index[my
2490: 5f 70 61 74 68 5d 20 61 6e 64 20 6f 73 2e 61 63 _path] and os.ac
24a0: 63 65 73 73 28 74 65 6d 70 5f 6e 61 6d 65 2c 20 cess(temp_name,
24b0: 6f 73 2e 52 5f 4f 4b 29 3a 0a 09 09 09 09 09 69 os.R_OK):......i
24c0: 6e 66 6f 20 2b 3d 20 27 5c 6e 50 61 72 74 69 61 nfo += '\nPartia
24d0: 6c 20 66 69 6c 65 20 66 6f 75 6e 64 2e 27 0a 09 l file found.'..
24e0: 09 09 09 09 66 69 6c 65 5f 73 74 61 74 20 3d 20 ....file_stat =
24f0: 6f 73 2e 73 74 61 74 28 74 65 6d 70 5f 6e 61 6d os.stat(temp_nam
2500: 65 29 0a 09 09 09 09 09 72 65 63 68 65 63 6b 20 e)......recheck
2510: 3d 20 54 72 75 65 0a 09 09 09 09 65 6c 73 65 3a = True.....else:
2520: 0a 09 09 09 09 09 69 6e 66 6f 20 2b 3d 20 27 5c ......info += '\
2530: 6e 46 69 6c 65 20 6e 6f 74 20 66 6f 75 6e 64 20 nFile not found
2540: 6f 72 20 69 6e 61 63 63 65 73 73 69 62 6c 65 2e or inaccessible.
2550: 27 0a 09 09 09 09 09 72 65 63 6f 72 64 5b 27 5f '......record['_
2560: 70 61 72 74 73 27 5d 20 3d 20 4e 6f 6e 65 0a 09 parts'] = None..
2570: 09 09 09 09 72 65 6c 6f 61 64 20 3d 20 54 72 75 ....reload = Tru
2580: 65 0a 0a 09 09 09 69 66 20 6e 6f 74 20 27 5f 70 e.....if not '_p
2590: 61 72 74 73 27 20 69 6e 20 72 65 63 6f 72 64 3a arts' in record:
25a0: 0a 09 09 09 09 72 65 63 6f 72 64 5b 27 5f 70 61 .....record['_pa
25b0: 72 74 73 27 5d 20 3d 20 4e 6f 6e 65 0a 0a 09 09 rts'] = None....
25c0: 09 69 66 20 72 65 63 6f 72 64 5b 27 5f 70 61 72 .if record['_par
25d0: 74 73 27 5d 20 3d 3d 20 4e 6f 6e 65 3a 0a 09 09 ts'] == None:...
25e0: 09 09 72 65 63 68 65 63 6b 20 3d 20 54 72 75 65 ..recheck = True
25f0: 0a 0a 09 09 09 23 20 66 6f 72 63 69 62 6c 79 20 .....# forcibly
2600: 63 68 65 63 6b 69 6e 67 20 66 69 6c 65 20 69 66 checking file if
2610: 20 66 69 6c 65 20 73 69 7a 65 20 64 6f 65 73 6e file size doesn
2620: 27 74 20 6d 61 74 63 68 20 77 69 74 68 20 69 6e 't match with in
2630: 64 65 78 20 64 61 74 61 0a 09 09 09 69 66 20 6e dex data....if n
2640: 6f 74 20 72 65 6c 6f 61 64 3a 0a 09 09 09 09 69 ot reload:.....i
2650: 66 20 27 5f 70 61 72 74 73 27 20 69 6e 20 72 65 f '_parts' in re
2660: 63 6f 72 64 20 61 6e 64 20 72 65 63 6f 72 64 5b cord and record[
2670: 27 5f 70 61 72 74 73 27 5d 20 3d 3d 20 73 70 61 '_parts'] == spa
2680: 63 65 6d 61 70 2e 53 70 61 63 65 4d 61 70 28 29 cemap.SpaceMap()
2690: 3a 0a 09 09 09 09 09 69 66 20 27 43 6f 6e 74 65 :......if 'Conte
26a0: 6e 74 2d 4c 65 6e 67 74 68 27 20 69 6e 20 72 65 nt-Length' in re
26b0: 63 6f 72 64 20 61 6e 64 20 66 69 6c 65 5f 73 74 cord and file_st
26c0: 61 74 20 61 6e 64 20 66 69 6c 65 5f 73 74 61 74 at and file_stat
26d0: 2e 73 74 5f 73 69 7a 65 20 21 3d 20 69 6e 74 28 .st_size != int(
26e0: 72 65 63 6f 72 64 5b 27 43 6f 6e 74 65 6e 74 2d record['Content-
26f0: 4c 65 6e 67 74 68 27 5d 29 3a 0a 09 09 09 09 09 Length']):......
2700: 09 69 6e 66 6f 20 2b 3d 20 27 5c 6e 46 69 6c 65 .info += '\nFile
2710: 20 73 69 7a 65 20 69 73 20 7b 7d 20 61 6e 64 20 size is {} and
2720: 73 74 6f 72 65 64 20 66 69 6c 65 20 73 69 7a 65 stored file size
2730: 20 69 73 20 7b 7d 2e 27 2e 66 6f 72 6d 61 74 28 is {}.'.format(
2740: 66 69 6c 65 5f 73 74 61 74 2e 73 74 5f 73 69 7a file_stat.st_siz
2750: 65 2c 20 72 65 63 6f 72 64 5b 27 43 6f 6e 74 65 e, record['Conte
2760: 6e 74 2d 4c 65 6e 67 74 68 27 5d 29 0a 09 09 09 nt-Length'])....
2770: 09 09 09 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 ...record['_part
2780: 73 27 5d 20 3d 20 4e 6f 6e 65 0a 09 09 09 09 09 s'] = None......
2790: 09 72 65 6c 6f 61 64 20 3d 20 54 72 75 65 0a 0a .reload = True..
27a0: 09 09 09 23 20 66 6f 72 63 69 62 6c 79 20 63 68 ...# forcibly ch
27b0: 65 63 6b 69 6e 67 20 66 69 6c 65 20 69 66 20 69 ecking file if i
27c0: 6e 64 65 78 20 68 6f 6c 64 73 20 50 72 61 67 6d ndex holds Pragm
27d0: 61 20 68 65 61 64 65 72 0a 09 09 09 69 66 20 6e a header....if n
27e0: 6f 74 20 72 65 6c 6f 61 64 20 61 6e 64 20 27 50 ot reload and 'P
27f0: 72 61 67 6d 61 27 20 69 6e 20 72 65 63 6f 72 64 ragma' in record
2800: 20 61 6e 64 20 72 65 63 6f 72 64 5b 27 50 72 61 and record['Pra
2810: 67 6d 61 27 5d 20 3d 3d 20 27 6e 6f 2d 63 61 63 gma'] == 'no-cac
2820: 68 65 27 3a 0a 09 09 09 09 69 6e 66 6f 20 2b 3d he':.....info +=
2830: 27 5c 6e 50 72 61 67 6d 61 20 6f 6e 3a 20 72 65 '\nPragma on: re
2840: 63 68 65 63 6b 20 69 6d 6d 69 6e 65 6e 74 2e 27 check imminent.'
2850: 0a 09 09 09 09 72 65 63 68 65 63 6b 20 3d 20 54 .....recheck = T
2860: 72 75 65 0a 0a 09 09 09 23 20 73 6b 69 70 70 69 rue.....# skippi
2870: 6e 67 20 66 69 6c 65 20 70 72 6f 63 65 73 73 69 ng file processi
2880: 6e 67 20 69 66 20 74 68 65 72 65 27 73 20 6e 6f ng if there's no
2890: 20 6e 65 65 64 20 74 6f 20 72 65 63 68 65 63 6b need to recheck
28a0: 20 69 74 20 61 6e 64 20 77 65 20 68 61 76 65 20 it and we have
28b0: 63 68 65 63 6b 65 64 20 69 74 20 61 74 20 6c 65 checked it at le
28c0: 61 73 74 20 34 20 68 6f 75 72 73 20 61 67 6f 0a ast 4 hours ago.
28d0: 09 09 09 69 66 20 6e 6f 74 20 72 65 63 68 65 63 ...if not rechec
28e0: 6b 20 61 6e 64 20 6e 6f 74 20 72 65 6c 6f 61 64 k and not reload
28f0: 20 61 6e 64 20 27 5f 74 69 6d 65 27 20 69 6e 20 and '_time' in
2900: 72 65 63 6f 72 64 20 61 6e 64 20 28 64 61 74 65 record and (date
2910: 74 69 6d 65 2e 64 61 74 65 74 69 6d 65 2e 6e 6f time.datetime.no
2920: 77 28 29 20 2d 20 64 61 74 65 74 69 6d 65 2e 74 w() - datetime.t
2930: 69 6d 65 64 65 6c 74 61 28 68 6f 75 72 73 20 3d imedelta(hours =
2940: 20 34 29 20 2d 20 72 65 63 6f 72 64 5b 27 5f 74 4) - record['_t
2950: 69 6d 65 27 5d 29 2e 64 61 79 73 20 3c 20 30 3a ime']).days < 0:
2960: 0a 09 09 09 09 72 65 63 68 65 63 6b 20 3d 20 54 .....recheck = T
2970: 72 75 65 0a 0a 09 09 09 70 72 69 6e 74 28 69 6e rue.....print(in
2980: 66 6f 29 0a 09 09 09 69 66 20 72 65 6c 6f 61 64 fo)....if reload
2990: 20 6f 72 20 72 65 63 68 65 63 6b 3a 0a 0a 09 09 or recheck:....
29a0: 09 09 74 72 79 3a 0a 09 09 09 09 09 72 65 71 75 ..try:......requ
29b0: 65 73 74 20 3d 20 27 68 74 74 70 3a 2f 2f 27 20 est = 'http://'
29c0: 2b 20 63 6f 6e 66 69 67 5b 27 72 6f 6f 74 27 5d + config['root']
29d0: 20 2b 20 73 65 6c 66 2e 70 61 74 68 0a 09 09 09 + self.path....
29e0: 09 09 6d 79 5f 68 65 61 64 65 72 73 20 3d 20 7b ..my_headers = {
29f0: 7d 0a 09 09 09 09 09 66 6f 72 20 68 65 61 64 65 }......for heade
2a00: 72 20 69 6e 20 28 27 43 61 63 68 65 2d 43 6f 6e r in ('Cache-Con
2a10: 74 72 6f 6c 27 2c 20 27 43 6f 6f 6b 69 65 27 2c trol', 'Cookie',
2a20: 20 27 52 65 66 65 72 65 72 27 2c 20 27 55 73 65 'Referer', 'Use
2a30: 72 2d 41 67 65 6e 74 27 29 3a 0a 09 09 09 09 09 r-Agent'):......
2a40: 09 69 66 20 68 65 61 64 65 72 20 69 6e 20 73 65 .if header in se
2a50: 6c 66 2e 68 65 61 64 65 72 73 3a 0a 09 09 09 09 lf.headers:.....
2a60: 09 09 09 6d 79 5f 68 65 61 64 65 72 73 5b 68 65 ...my_headers[he
2a70: 61 64 65 72 5d 20 3d 20 73 65 6c 66 2e 68 65 61 ader] = self.hea
2a80: 64 65 72 73 5b 68 65 61 64 65 72 5d 0a 0a 09 09 ders[header]....
2a90: 09 09 09 6e 65 65 64 65 64 20 3d 20 4e 6f 6e 65 ...needed = None
2aa0: 0a 09 09 09 09 09 69 66 20 27 5f 70 61 72 74 73 ......if '_parts
2ab0: 27 20 69 6e 20 72 65 63 6f 72 64 20 61 6e 64 20 ' in record and
2ac0: 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d record['_parts']
2ad0: 20 21 3d 20 4e 6f 6e 65 3a 0a 09 09 09 09 09 09 != None:.......
2ae0: 69 66 20 63 6f 6e 66 69 67 5b 27 6e 6f 70 61 72 if config['nopar
2af0: 74 73 27 5d 20 21 3d 20 27 6e 6f 27 20 6f 72 20 ts'] != 'no' or
2b00: 72 65 71 75 65 73 74 65 64 5f 72 61 6e 67 65 73 requested_ranges
2b10: 20 3d 3d 20 4e 6f 6e 65 20 6f 72 20 72 65 71 75 == None or requ
2b20: 65 73 74 65 64 5f 72 61 6e 67 65 73 20 3d 3d 20 ested_ranges ==
2b30: 73 70 61 63 65 6d 61 70 2e 53 70 61 63 65 4d 61 spacemap.SpaceMa
2b40: 70 28 29 3a 0a 09 09 09 09 09 09 09 6e 65 65 64 p():........need
2b50: 65 64 20 3d 20 72 65 63 6f 72 64 5b 27 5f 70 61 ed = record['_pa
2b60: 72 74 73 27 5d 0a 09 09 09 09 09 09 65 6c 73 65 rts'].......else
2b70: 3a 0a 09 09 09 09 09 09 09 6e 65 65 64 65 64 20 :........needed
2b80: 3d 20 72 65 63 6f 72 64 5b 27 5f 70 61 72 74 73 = record['_parts
2b90: 27 5d 20 7c 20 72 65 71 75 65 73 74 65 64 5f 72 '] | requested_r
2ba0: 61 6e 67 65 73 0a 09 09 09 09 09 65 6c 69 66 20 anges......elif
2bb0: 63 6f 6e 66 69 67 5b 27 6e 6f 70 61 72 74 73 27 config['noparts'
2bc0: 5d 20 3d 3d 27 6e 6f 27 20 61 6e 64 20 72 65 71 ] =='no' and req
2bd0: 75 65 73 74 65 64 5f 72 61 6e 67 65 73 20 21 3d uested_ranges !=
2be0: 20 4e 6f 6e 65 20 61 6e 64 20 72 65 71 75 65 73 None and reques
2bf0: 74 65 64 5f 72 61 6e 67 65 73 20 21 3d 20 73 70 ted_ranges != sp
2c00: 61 63 65 6d 61 70 2e 53 70 61 63 65 4d 61 70 28 acemap.SpaceMap(
2c10: 29 3a 0a 09 09 09 09 09 09 6e 65 65 64 65 64 20 ):.......needed
2c20: 3d 20 72 65 71 75 65 73 74 65 64 5f 72 61 6e 67 = requested_rang
2c30: 65 73 0a 09 09 09 09 09 72 61 6e 67 65 73 20 3d es......ranges =
2c40: 20 28 29 0a 09 09 09 09 09 70 72 69 6e 74 28 27 ()......print('
2c50: 4d 69 73 73 69 6e 67 20 72 61 6e 67 65 73 3a 20 Missing ranges:
2c60: 7b 7d 2c 20 72 65 71 75 65 73 74 65 64 20 72 61 {}, requested ra
2c70: 6e 67 65 73 3a 20 7b 7d 2c 20 6e 65 65 64 65 64 nges: {}, needed
2c80: 20 72 61 6e 67 65 73 3a 20 7b 7d 2e 27 2e 66 6f ranges: {}.'.fo
2c90: 72 6d 61 74 28 72 65 63 6f 72 64 5b 27 5f 70 61 rmat(record['_pa
2ca0: 72 74 73 27 5d 2c 20 72 65 71 75 65 73 74 65 64 rts'], requested
2cb0: 5f 72 61 6e 67 65 73 2c 20 6e 65 65 64 65 64 29 _ranges, needed)
2cc0: 29 0a 09 09 09 09 09 69 66 20 6e 65 65 64 65 64 )......if needed
2cd0: 20 21 3d 20 4e 6f 6e 65 20 61 6e 64 20 6c 65 6e != None and len
2ce0: 28 6e 65 65 64 65 64 29 20 3e 20 30 3a 0a 09 09 (needed) > 0:...
2cf0: 09 09 09 09 6e 65 65 64 65 64 2e 72 65 77 69 6e ....needed.rewin
2d00: 64 28 29 0a 09 09 09 09 09 09 77 68 69 6c 65 20 d().......while
2d10: 54 72 75 65 3a 0a 09 09 09 09 09 09 09 72 61 6e True:........ran
2d20: 67 65 20 3d 20 6e 65 65 64 65 64 2e 70 6f 70 28 ge = needed.pop(
2d30: 29 0a 09 09 09 09 09 09 09 69 66 20 72 61 6e 67 )........if rang
2d40: 65 5b 30 5d 20 3d 3d 20 4e 6f 6e 65 3a 0a 09 09 e[0] == None:...
2d50: 09 09 09 09 09 09 62 72 65 61 6b 0a 09 09 09 09 ......break.....
2d60: 09 09 09 72 61 6e 67 65 73 20 2b 3d 20 27 7b 7d ...ranges += '{}
2d70: 2d 7b 7d 27 2e 66 6f 72 6d 61 74 28 72 61 6e 67 -{}'.format(rang
2d80: 65 5b 30 5d 2c 20 72 61 6e 67 65 5b 31 5d 20 2d e[0], range[1] -
2d90: 20 31 29 2c 0a 09 09 09 09 09 09 6d 79 5f 68 65 1),.......my_he
2da0: 61 64 65 72 73 5b 27 52 61 6e 67 65 27 5d 20 3d aders['Range'] =
2db0: 20 27 62 79 74 65 73 3d 27 20 2b 20 27 2c 27 2e 'bytes=' + ','.
2dc0: 6a 6f 69 6e 28 72 61 6e 67 65 73 29 0a 0a 09 09 join(ranges)....
2dd0: 09 09 09 72 65 71 75 65 73 74 20 3d 20 75 72 6c ...request = url
2de0: 6c 69 62 2e 72 65 71 75 65 73 74 2e 52 65 71 75 lib.request.Requ
2df0: 65 73 74 28 72 65 71 75 65 73 74 2c 20 68 65 61 est(request, hea
2e00: 64 65 72 73 20 3d 20 6d 79 5f 68 65 61 64 65 72 ders = my_header
2e10: 73 29 0a 0a 09 09 09 09 09 77 69 74 68 20 75 72 s).......with ur
2e20: 6c 6c 69 62 2e 72 65 71 75 65 73 74 2e 75 72 6c llib.request.url
2e30: 6f 70 65 6e 28 72 65 71 75 65 73 74 29 20 61 73 open(request) as
2e40: 20 73 6f 75 72 63 65 3a 0a 09 09 09 09 09 09 6e source:.......n
2e50: 65 77 5f 72 65 63 6f 72 64 20 3d 20 7b 7d 0a 09 ew_record = {}..
2e60: 09 09 09 09 09 6e 65 77 5f 72 65 63 6f 72 64 5b .....new_record[
2e70: 27 5f 70 61 72 74 73 27 5d 20 3d 20 72 65 63 6f '_parts'] = reco
2e80: 72 64 5b 27 5f 70 61 72 74 73 27 5d 0a 09 09 09 rd['_parts']....
2e90: 09 09 09 68 65 61 64 65 72 73 20 3d 20 73 6f 75 ...headers = sou
2ea0: 72 63 65 2e 69 6e 66 6f 28 29 0a 0a 09 09 09 09 rce.info()......
2eb0: 09 09 23 20 73 74 72 69 70 70 69 6e 67 20 75 6e ..# stripping un
2ec0: 6e 65 65 64 65 64 20 68 65 61 64 65 72 73 20 28 needed headers (
2ed0: 58 58 58 20 6d 61 6b 65 20 74 68 69 73 20 69 6e XXX make this in
2ee0: 70 6c 61 63 65 3f 29 0a 09 09 09 09 09 09 66 6f place?).......fo
2ef0: 72 20 68 65 61 64 65 72 20 69 6e 20 68 65 61 64 r header in head
2f00: 65 72 73 3a 0a 09 09 09 09 09 09 09 69 66 20 68 ers:........if h
2f10: 65 61 64 65 72 20 69 6e 20 64 65 73 63 5f 66 69 eader in desc_fi
2f20: 65 6c 64 73 3a 0a 09 09 09 09 09 09 09 09 23 69 elds:.........#i
2f30: 66 20 68 65 61 64 65 72 20 3d 3d 20 27 50 72 61 f header == 'Pra
2f40: 67 6d 61 27 20 61 6e 64 20 68 65 61 64 65 72 73 gma' and headers
2f50: 5b 68 65 61 64 65 72 5d 20 21 3d 20 27 6e 6f 2d [header] != 'no-
2f60: 63 61 63 68 65 27 3a 0a 09 09 09 09 09 09 09 09 cache':.........
2f70: 69 66 20 68 65 61 64 65 72 20 3d 3d 20 27 43 6f if header == 'Co
2f80: 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 3a 0a 09 ntent-Length':..
2f90: 09 09 09 09 09 09 09 09 69 66 20 27 43 6f 6e 74 ........if 'Cont
2fa0: 65 6e 74 2d 52 61 6e 67 65 27 20 6e 6f 74 20 69 ent-Range' not i
2fb0: 6e 20 68 65 61 64 65 72 73 3a 0a 09 09 09 09 09 n headers:......
2fc0: 09 09 09 09 09 6e 65 77 5f 72 65 63 6f 72 64 5b .....new_record[
2fd0: 68 65 61 64 65 72 5d 20 3d 20 69 6e 74 28 68 65 header] = int(he
2fe0: 61 64 65 72 73 5b 68 65 61 64 65 72 5d 29 0a 09 aders[header])..
2ff0: 09 09 09 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 .......else:....
3000: 09 09 09 09 09 09 6e 65 77 5f 72 65 63 6f 72 64 ......new_record
3010: 5b 68 65 61 64 65 72 5d 20 3d 20 68 65 61 64 65 [header] = heade
3020: 72 73 5b 68 65 61 64 65 72 5d 0a 09 09 09 09 09 rs[header]......
3030: 09 09 65 6c 69 66 20 68 65 61 64 65 72 20 3d 3d ..elif header ==
3040: 20 27 43 6f 6e 74 65 6e 74 2d 52 61 6e 67 65 27 'Content-Range'
3050: 3a 0a 09 09 09 09 09 09 09 09 72 61 6e 67 65 20 :.........range
3060: 3d 20 72 65 2e 63 6f 6d 70 69 6c 65 28 27 5e 62 = re.compile('^b
3070: 79 74 65 73 20 28 5c 64 2b 29 2d 28 5c 64 2b 29 ytes (\d+)-(\d+)
3080: 2f 28 5c 64 2b 29 24 27 29 2e 6d 61 74 63 68 28 /(\d+)$').match(
3090: 68 65 61 64 65 72 73 5b 68 65 61 64 65 72 5d 29 headers[header])
30a0: 0a 09 09 09 09 09 09 09 09 69 66 20 72 61 6e 67 .........if rang
30b0: 65 3a 0a 09 09 09 09 09 09 09 09 09 6e 65 77 5f e:..........new_
30c0: 72 65 63 6f 72 64 5b 27 43 6f 6e 74 65 6e 74 2d record['Content-
30d0: 4c 65 6e 67 74 68 27 5d 20 3d 20 69 6e 74 28 72 Length'] = int(r
30e0: 61 6e 67 65 2e 67 72 6f 75 70 28 33 29 29 0a 09 ange.group(3))..
30f0: 09 09 09 09 09 09 09 65 6c 73 65 3a 09 0a 09 09 .......else:....
3100: 09 09 09 09 09 09 09 61 73 73 65 72 74 20 46 61 .......assert Fa
3110: 6c 73 65 2c 20 27 43 6f 6e 74 65 6e 74 2d 52 61 lse, 'Content-Ra
3120: 6e 67 65 20 75 6e 72 65 63 6f 67 6e 69 7a 65 64 nge unrecognized
3130: 2e 27 0a 09 09 09 09 09 09 09 65 6c 69 66 20 6e .'........elif n
3140: 6f 74 20 68 65 61 64 65 72 20 69 6e 20 69 67 6e ot header in ign
3150: 6f 72 65 5f 66 69 65 6c 64 73 3a 0a 09 09 09 09 ore_fields:.....
3160: 09 09 09 09 70 72 69 6e 74 28 27 55 6e 64 65 66 ....print('Undef
3170: 69 6e 65 64 20 68 65 61 64 65 72 20 22 27 2c 20 ined header "',
3180: 68 65 61 64 65 72 2c 20 27 22 3a 20 27 2c 20 68 header, '": ', h
3190: 65 61 64 65 72 73 5b 68 65 61 64 65 72 5d 2c 20 eaders[header],
31a0: 73 65 70 3d 27 27 29 0a 0a 09 09 09 09 09 09 23 sep='')........#
31b0: 20 63 6f 6d 70 61 72 69 6e 67 20 68 65 61 64 65 comparing heade
31c0: 72 73 20 77 69 74 68 20 64 61 74 61 20 66 6f 75 rs with data fou
31d0: 6e 64 20 69 6e 20 69 6e 64 65 78 0a 09 09 09 09 nd in index.....
31e0: 09 09 23 20 69 66 20 61 6e 79 20 68 65 61 64 65 ..# if any heade
31f0: 72 20 68 61 73 20 63 68 61 6e 67 65 64 20 28 65 r has changed (e
3200: 78 63 65 70 74 20 50 72 61 67 6d 61 29 20 66 69 xcept Pragma) fi
3210: 6c 65 20 69 73 20 66 75 6c 6c 79 20 64 6f 77 6e le is fully down
3220: 6c 6f 61 64 65 64 0a 09 09 09 09 09 09 23 20 73 loaded.......# s
3230: 61 6d 65 20 69 66 20 77 65 20 67 65 74 20 6d 6f ame if we get mo
3240: 72 65 20 6f 72 20 6c 65 73 73 20 68 65 61 64 65 re or less heade
3250: 72 73 0a 09 09 09 09 09 09 6f 6c 64 5f 6b 65 79 rs.......old_key
3260: 73 20 3d 20 73 65 74 28 72 65 63 6f 72 64 2e 6b s = set(record.k
3270: 65 79 73 28 29 29 0a 09 09 09 09 09 09 6f 6c 64 eys()).......old
3280: 5f 6b 65 79 73 2e 64 69 73 63 61 72 64 28 27 5f _keys.discard('_
3290: 74 69 6d 65 27 29 0a 09 09 09 09 09 09 6f 6c 64 time').......old
32a0: 5f 6b 65 79 73 2e 64 69 73 63 61 72 64 28 27 50 _keys.discard('P
32b0: 72 61 67 6d 61 27 29 0a 09 09 09 09 09 09 6d 6f ragma').......mo
32c0: 72 65 5f 6b 65 79 73 20 3d 20 73 65 74 28 6e 65 re_keys = set(ne
32d0: 77 5f 72 65 63 6f 72 64 2e 6b 65 79 73 28 29 29 w_record.keys())
32e0: 20 2d 20 6f 6c 64 5f 6b 65 79 73 0a 09 09 09 09 - old_keys.....
32f0: 09 09 6d 6f 72 65 5f 6b 65 79 73 2e 64 69 73 63 ..more_keys.disc
3300: 61 72 64 28 27 50 72 61 67 6d 61 27 29 0a 09 09 ard('Pragma')...
3310: 09 09 09 09 6c 65 73 73 5f 6b 65 79 73 20 3d 20 ....less_keys =
3320: 6f 6c 64 5f 6b 65 79 73 20 2d 20 73 65 74 28 6e old_keys - set(n
3330: 65 77 5f 72 65 63 6f 72 64 2e 6b 65 79 73 28 29 ew_record.keys()
3340: 29 0a 09 09 09 09 09 09 69 66 20 6c 65 6e 28 6d ).......if len(m
3350: 6f 72 65 5f 6b 65 79 73 29 20 3e 20 30 3a 0a 09 ore_keys) > 0:..
3360: 09 09 09 09 09 09 69 66 20 6e 6f 74 20 6c 65 6e ......if not len
3370: 28 6f 6c 64 5f 6b 65 79 73 29 20 3d 3d 20 30 3a (old_keys) == 0:
3380: 0a 09 09 09 09 09 09 09 09 70 72 69 6e 74 28 27 .........print('
3390: 4d 6f 72 65 20 68 65 61 64 65 72 73 20 61 70 70 More headers app
33a0: 65 61 72 3a 27 2c 20 6d 6f 72 65 5f 6b 65 79 73 ear:', more_keys
33b0: 29 0a 09 09 09 09 09 09 09 72 65 6c 6f 61 64 20 )........reload
33c0: 3d 20 54 72 75 65 0a 09 09 09 09 09 09 65 6c 69 = True.......eli
33d0: 66 20 6c 65 6e 28 6c 65 73 73 5f 6b 65 79 73 29 f len(less_keys)
33e0: 20 3e 20 30 3a 0a 09 09 09 09 09 09 09 70 72 69 > 0:........pri
33f0: 6e 74 28 27 4c 65 73 73 20 68 65 61 64 65 72 73 nt('Less headers
3400: 20 61 70 70 65 61 72 3a 27 2c 20 6c 65 73 73 5f appear:', less_
3410: 6b 65 79 73 29 0a 09 09 09 09 09 09 65 6c 73 65 keys).......else
3420: 3a 0a 09 09 09 09 09 09 09 66 6f 72 20 6b 65 79 :........for key
3430: 20 69 6e 20 72 65 63 6f 72 64 2e 6b 65 79 73 28 in record.keys(
3440: 29 3a 0a 09 09 09 09 09 09 09 09 69 66 20 6b 65 ):.........if ke
3450: 79 5b 30 5d 20 21 3d 20 27 5f 27 20 61 6e 64 20 y[0] != '_' and
3460: 6b 65 79 20 21 3d 20 27 50 72 61 67 6d 61 27 20 key != 'Pragma'
3470: 61 6e 64 20 6e 6f 74 20 72 65 63 6f 72 64 5b 6b and not record[k
3480: 65 79 5d 20 3d 3d 20 6e 65 77 5f 72 65 63 6f 72 ey] == new_recor
3490: 64 5b 6b 65 79 5d 3a 0a 09 09 09 09 09 09 09 09 d[key]:.........
34a0: 09 70 72 69 6e 74 28 27 48 65 61 64 65 72 20 22 .print('Header "
34b0: 27 2c 20 6b 65 79 2c 20 27 22 20 63 68 61 6e 67 ', key, '" chang
34c0: 65 64 20 66 72 6f 6d 20 5b 27 2c 20 72 65 63 6f ed from [', reco
34d0: 72 64 5b 6b 65 79 5d 2c 20 27 5d 20 74 6f 20 5b rd[key], '] to [
34e0: 27 2c 20 6e 65 77 5f 72 65 63 6f 72 64 5b 6b 65 ', new_record[ke
34f0: 79 5d 2c 20 27 5d 27 2c 20 73 65 70 3d 27 27 29 y], ']', sep='')
3500: 0a 09 09 09 09 09 09 09 09 09 70 72 69 6e 74 28 ..........print(
3510: 74 79 70 65 28 72 65 63 6f 72 64 5b 6b 65 79 5d type(record[key]
3520: 29 2c 20 74 79 70 65 28 6e 65 77 5f 72 65 63 6f ), type(new_reco
3530: 72 64 5b 6b 65 79 5d 29 29 0a 09 09 09 09 09 09 rd[key])).......
3540: 09 09 09 72 65 6c 6f 61 64 20 3d 20 54 72 75 65 ...reload = True
3550: 0a 0a 09 09 09 09 09 09 69 66 20 72 65 6c 6f 61 ........if reloa
3560: 64 3a 0a 09 09 09 09 09 09 09 70 72 69 6e 74 28 d:........print(
3570: 27 52 65 6c 6f 61 64 69 6e 67 2e 27 29 0a 09 09 'Reloading.')...
3580: 09 09 09 09 09 69 66 20 6f 73 2e 61 63 63 65 73 .....if os.acces
3590: 73 28 74 65 6d 70 5f 6e 61 6d 65 2c 20 6f 73 2e s(temp_name, os.
35a0: 52 5f 4f 4b 29 3a 0a 09 09 09 09 09 09 09 09 6f R_OK):.........o
35b0: 73 2e 75 6e 6c 69 6e 6b 28 74 65 6d 70 5f 6e 61 s.unlink(temp_na
35c0: 6d 65 29 0a 09 09 09 09 09 09 09 69 66 20 6f 73 me)........if os
35d0: 2e 61 63 63 65 73 73 28 66 69 6c 65 5f 6e 61 6d .access(file_nam
35e0: 65 2c 20 6f 73 2e 52 5f 4f 4b 29 3a 0a 09 09 09 e, os.R_OK):....
35f0: 09 09 09 09 09 6f 73 2e 75 6e 6c 69 6e 6b 28 66 .....os.unlink(f
3600: 69 6c 65 5f 6e 61 6d 65 29 0a 09 09 09 09 09 09 ile_name).......
3610: 09 6e 65 77 5f 72 65 63 6f 72 64 5b 27 5f 70 61 .new_record['_pa
3620: 72 74 73 27 5d 20 3d 20 73 70 61 63 65 6d 61 70 rts'] = spacemap
3630: 2e 53 70 61 63 65 4d 61 70 28 7b 30 3a 20 69 6e .SpaceMap({0: in
3640: 74 28 6e 65 77 5f 72 65 63 6f 72 64 5b 27 43 6f t(new_record['Co
3650: 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 5d 29 7d ntent-Length'])}
3660: 29 0a 09 09 09 09 09 09 70 72 69 6e 74 28 6e 65 ).......print(ne
3670: 77 5f 72 65 63 6f 72 64 29 0a 0a 09 09 09 09 09 w_record).......
3680: 09 23 20 64 6f 77 6e 6c 6f 61 64 69 6e 67 20 66 .# downloading f
3690: 69 6c 65 20 6f 72 20 73 65 67 6d 65 6e 74 0a 09 ile or segment..
36a0: 09 09 09 09 09 69 66 20 27 43 6f 6e 74 65 6e 74 .....if 'Content
36b0: 2d 4c 65 6e 67 74 68 27 20 69 6e 20 6e 65 77 5f -Length' in new_
36c0: 72 65 63 6f 72 64 3a 0a 09 09 09 09 09 09 09 69 record:........i
36d0: 66 20 6e 65 65 64 65 64 20 3d 3d 20 4e 6f 6e 65 f needed == None
36e0: 3a 0a 09 09 09 09 09 09 09 09 6e 65 65 64 65 64 :.........needed
36f0: 20 3d 20 6e 65 77 5f 72 65 63 6f 72 64 5b 27 5f = new_record['_
3700: 70 61 72 74 73 27 5d 0a 09 09 09 09 09 09 09 65 parts']........e
3710: 6c 73 65 3a 0a 09 09 09 09 09 09 09 09 69 66 20 lse:.........if
3720: 6c 65 6e 28 6e 65 65 64 65 64 29 20 3e 20 31 3a len(needed) > 1:
3730: 0a 09 09 09 09 09 09 09 09 09 70 72 69 6e 74 28 ..........print(
3740: 22 4d 75 6c 74 69 70 61 72 74 20 72 65 71 75 65 "Multipart reque
3750: 73 74 73 20 63 75 72 72 65 6e 74 6c 79 20 6e 6f sts currently no
3760: 74 20 73 75 70 70 6f 72 74 65 64 2e 22 29 0a 09 t supported.")..
3770: 09 09 09 09 09 09 09 09 61 73 73 65 72 74 20 46 ........assert F
3780: 61 6c 73 65 2c 20 27 53 6b 69 70 20 74 68 69 73 alse, 'Skip this
3790: 20 6f 6e 65 20 66 6f 72 20 6e 6f 77 2e 27 0a 09 one for now.'..
37a0: 09 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 .....else:......
37b0: 09 09 61 73 73 65 72 74 20 46 61 6c 73 65 2c 20 ..assert False,
37c0: 27 4e 6f 20 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 'No Content-Leng
37d0: 74 68 20 6f 72 20 43 6f 6e 74 65 6e 74 2d 52 61 th or Content-Ra
37e0: 6e 67 65 20 68 65 61 64 65 72 2e 27 0a 0a 09 09 nge header.'....
37f0: 09 09 09 09 6e 65 77 5f 72 65 63 6f 72 64 5b 27 ....new_record['
3800: 5f 74 69 6d 65 27 5d 20 3d 20 64 61 74 65 74 69 _time'] = dateti
3810: 6d 65 2e 64 61 74 65 74 69 6d 65 2e 6e 6f 77 28 me.datetime.now(
3820: 29 0a 09 09 09 09 09 09 69 66 20 73 65 6c 66 2e ).......if self.
3830: 63 6f 6d 6d 61 6e 64 20 6e 6f 74 20 69 6e 20 28 command not in (
3840: 27 48 45 41 44 27 29 3a 0a 09 09 09 09 09 09 09 'HEAD'):........
3850: 23 20 66 69 6c 65 20 69 73 20 63 72 65 61 74 65 # file is create
3860: 64 20 61 74 20 74 65 6d 70 6f 72 61 72 79 20 6c d at temporary l
3870: 6f 63 61 74 69 6f 6e 20 61 6e 64 20 6d 6f 76 65 ocation and move
3880: 64 20 69 6e 20 70 6c 61 63 65 20 6f 6e 6c 79 20 d in place only
3890: 77 68 65 6e 20 64 6f 77 6e 6c 6f 61 64 20 63 6f when download co
38a0: 6d 70 6c 65 74 65 73 0a 09 09 09 09 09 09 09 69 mpletes........i
38b0: 66 20 6e 6f 74 20 6f 73 2e 61 63 63 65 73 73 28 f not os.access(
38c0: 74 65 6d 70 5f 6e 61 6d 65 2c 20 6f 73 2e 52 5f temp_name, os.R_
38d0: 4f 4b 29 3a 0a 09 09 09 09 09 09 09 09 65 6d 70 OK):.........emp
38e0: 74 79 5f 6e 61 6d 65 20 3d 20 63 6f 6e 66 69 67 ty_name = config
38f0: 5b 27 64 69 72 27 5d 20 2b 20 6f 73 2e 73 65 70 ['dir'] + os.sep
3900: 20 2b 20 27 2e 74 6d 70 27 0a 09 09 09 09 09 09 + '.tmp'.......
3910: 09 09 77 69 74 68 20 6f 70 65 6e 28 65 6d 70 74 ..with open(empt
3920: 79 5f 6e 61 6d 65 2c 20 27 77 2b 62 27 29 20 61 y_name, 'w+b') a
3930: 73 20 73 6f 6d 65 5f 66 69 6c 65 3a 0a 09 09 09 s some_file:....
3940: 09 09 09 09 09 09 70 61 73 73 0a 09 09 09 09 09 ......pass......
3950: 09 09 09 6f 73 2e 72 65 6e 61 6d 65 73 28 65 6d ...os.renames(em
3960: 70 74 79 5f 6e 61 6d 65 2c 20 74 65 6d 70 5f 6e pty_name, temp_n
3970: 61 6d 65 29 0a 09 09 09 09 09 09 09 74 65 6d 70 ame)........temp
3980: 5f 66 69 6c 65 20 3d 20 6f 70 65 6e 28 74 65 6d _file = open(tem
3990: 70 5f 6e 61 6d 65 2c 20 27 72 2b 62 27 29 0a 09 p_name, 'r+b')..
39a0: 09 09 09 09 09 09 69 66 20 72 65 71 75 65 73 74 ......if request
39b0: 65 64 5f 72 61 6e 67 65 73 20 3d 3d 20 4e 6f 6e ed_ranges == Non
39c0: 65 20 61 6e 64 20 6e 65 65 64 65 64 20 3d 3d 20 e and needed ==
39d0: 4e 6f 6e 65 3a 0a 09 09 09 09 09 09 09 09 6e 65 None:.........ne
39e0: 65 64 65 64 20 3d 20 6e 65 77 5f 72 65 63 6f 72 eded = new_recor
39f0: 64 5b 27 5f 70 61 72 74 73 27 5d 0a 09 09 09 09 d['_parts'].....
3a00: 09 09 09 6e 65 65 64 65 64 2e 72 65 77 69 6e 64 ...needed.rewind
3a10: 28 29 0a 09 09 09 09 09 09 09 77 68 69 6c 65 20 ()........while
3a20: 54 72 75 65 3a 0a 09 09 09 09 09 09 09 09 28 73 True:.........(s
3a30: 74 61 72 74 2c 20 65 6e 64 29 20 3d 20 6e 65 65 tart, end) = nee
3a40: 64 65 64 2e 70 6f 70 28 29 0a 09 09 09 09 09 09 ded.pop().......
3a50: 09 09 69 66 20 73 74 61 72 74 20 3d 3d 20 4e 6f ..if start == No
3a60: 6e 65 3a 0a 09 09 09 09 09 09 09 09 09 62 72 65 ne:..........bre
3a70: 61 6b 0a 09 09 09 09 09 09 09 09 73 74 72 65 61 ak.........strea
3a80: 6d 5f 6c 61 73 74 20 3d 20 73 74 61 72 74 0a 09 m_last = start..
3a90: 09 09 09 09 09 09 09 6f 6c 64 5f 72 65 63 6f 72 .......old_recor
3aa0: 64 20 3d 20 6e 65 77 5f 72 65 63 6f 72 64 0a 09 d = new_record..
3ab0: 09 09 09 09 09 09 09 69 66 20 65 6e 64 20 2d 20 .......if end -
3ac0: 73 74 61 72 74 20 3c 20 62 6c 6f 63 6b 5f 73 69 start < block_si
3ad0: 7a 65 3a 0a 09 09 09 09 09 09 09 09 09 72 65 71 ze:..........req
3ae0: 5f 62 6c 6f 63 6b 5f 73 69 7a 65 20 3d 20 65 6e _block_size = en
3af0: 64 20 2d 20 73 74 61 72 74 0a 09 09 09 09 09 09 d - start.......
3b00: 09 09 65 6c 73 65 3a 0a 09 09 09 09 09 09 09 09 ..else:.........
3b10: 09 72 65 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 20 .req_block_size
3b20: 3d 20 62 6c 6f 63 6b 5f 73 69 7a 65 0a 09 09 09 = block_size....
3b30: 09 09 09 09 09 62 75 66 66 65 72 20 3d 20 73 6f .....buffer = so
3b40: 75 72 63 65 2e 72 65 61 64 28 72 65 71 5f 62 6c urce.read(req_bl
3b50: 6f 63 6b 5f 73 69 7a 65 29 0a 09 09 09 09 09 09 ock_size).......
3b60: 09 09 6c 65 6e 67 74 68 20 3d 20 6c 65 6e 28 62 ..length = len(b
3b70: 75 66 66 65 72 29 0a 09 09 09 09 09 09 09 09 77 uffer).........w
3b80: 68 69 6c 65 20 6c 65 6e 67 74 68 20 3e 20 30 20 hile length > 0
3b90: 61 6e 64 20 73 74 72 65 61 6d 5f 6c 61 73 74 20 and stream_last
3ba0: 3c 20 65 6e 64 3a 0a 09 09 09 09 09 09 09 09 09 < end:..........
3bb0: 73 74 72 65 61 6d 5f 70 6f 73 20 3d 20 73 74 72 stream_pos = str
3bc0: 65 61 6d 5f 6c 61 73 74 20 2b 20 6c 65 6e 67 74 eam_last + lengt
3bd0: 68 0a 09 09 09 09 09 09 09 09 09 61 73 73 65 72 h..........asser
3be0: 74 20 6e 6f 74 20 73 74 72 65 61 6d 5f 70 6f 73 t not stream_pos
3bf0: 20 3e 20 65 6e 64 2c 20 27 52 65 63 65 69 76 65 > end, 'Receive
3c00: 64 20 6d 6f 72 65 20 64 61 74 61 20 74 68 65 6e d more data then
3c10: 20 72 65 71 75 65 73 74 65 64 3a 20 70 6f 73 3a requested: pos:
3c20: 7b 7d 20 73 74 61 72 74 3a 7b 7d 20 65 6e 64 3a {} start:{} end:
3c30: 7b 7d 2e 27 2e 66 6f 72 6d 61 74 28 73 74 72 65 {}.'.format(stre
3c40: 61 6d 5f 70 6f 73 2c 20 73 74 61 72 74 2c 20 65 am_pos, start, e
3c50: 6e 64 29 0a 09 09 09 09 09 09 09 09 09 74 65 6d nd)..........tem
3c60: 70 5f 66 69 6c 65 2e 73 65 65 6b 28 73 74 72 65 p_file.seek(stre
3c70: 61 6d 5f 6c 61 73 74 29 0a 09 09 09 09 09 09 09 am_last)........
3c80: 09 09 74 65 6d 70 5f 66 69 6c 65 2e 77 72 69 74 ..temp_file.writ
3c90: 65 28 62 75 66 66 65 72 29 0a 09 09 09 09 09 09 e(buffer).......
3ca0: 09 09 09 6e 65 77 5f 72 65 63 6f 72 64 5b 27 5f ...new_record['_
3cb0: 70 61 72 74 73 27 5d 20 3d 20 6e 65 77 5f 72 65 parts'] = new_re
3cc0: 63 6f 72 64 5b 27 5f 70 61 72 74 73 27 5d 20 2d cord['_parts'] -
3cd0: 20 73 70 61 63 65 6d 61 70 2e 53 70 61 63 65 4d spacemap.SpaceM
3ce0: 61 70 28 7b 73 74 72 65 61 6d 5f 6c 61 73 74 3a ap({stream_last:
3cf0: 20 73 74 72 65 61 6d 5f 70 6f 73 7d 29 0a 09 09 stream_pos})...
3d00: 09 09 09 09 09 09 09 69 6e 64 65 78 5b 6d 79 5f .......index[my_
3d10: 70 61 74 68 5d 20 3d 20 6f 6c 64 5f 72 65 63 6f path] = old_reco
3d20: 72 64 0a 09 09 09 09 09 09 09 09 09 69 6e 64 65 rd..........inde
3d30: 78 2e 73 79 6e 63 28 29 0a 09 09 09 09 09 09 09 x.sync()........
3d40: 09 09 6f 6c 64 5f 72 65 63 6f 72 64 20 3d 20 6e ..old_record = n
3d50: 65 77 5f 72 65 63 6f 72 64 0a 09 09 09 09 09 09 ew_record.......
3d60: 09 09 09 73 74 72 65 61 6d 5f 6c 61 73 74 20 3d ...stream_last =
3d70: 20 73 74 72 65 61 6d 5f 70 6f 73 0a 09 09 09 09 stream_pos.....
3d80: 09 09 09 09 09 69 66 20 65 6e 64 20 2d 20 73 74 .....if end - st
3d90: 72 65 61 6d 5f 6c 61 73 74 20 3c 20 62 6c 6f 63 ream_last < bloc
3da0: 6b 5f 73 69 7a 65 3a 0a 09 09 09 09 09 09 09 09 k_size:.........
3db0: 09 09 72 65 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 ..req_block_size
3dc0: 20 3d 20 65 6e 64 20 2d 20 73 74 72 65 61 6d 5f = end - stream_
3dd0: 6c 61 73 74 0a 09 09 09 09 09 09 09 09 09 62 75 last..........bu
3de0: 66 66 65 72 20 3d 20 73 6f 75 72 63 65 2e 72 65 ffer = source.re
3df0: 61 64 28 72 65 71 5f 62 6c 6f 63 6b 5f 73 69 7a ad(req_block_siz
3e00: 65 29 0a 09 09 09 09 09 09 09 09 09 6c 65 6e 67 e)..........leng
3e10: 74 68 20 3d 20 6c 65 6e 28 62 75 66 66 65 72 29 th = len(buffer)
3e20: 0a 09 09 09 09 09 09 09 23 20 6d 6f 76 69 6e 67 ........# moving
3e30: 20 64 6f 77 6e 6c 6f 61 64 65 64 20 64 61 74 61 downloaded data
3e40: 20 74 6f 20 72 65 61 6c 20 66 69 6c 65 0a 09 09 to real file...
3e50: 09 09 09 09 09 74 65 6d 70 5f 66 69 6c 65 2e 63 .....temp_file.c
3e60: 6c 6f 73 65 28 29 0a 0a 09 09 09 09 09 09 69 6e lose()........in
3e70: 64 65 78 5b 6d 79 5f 70 61 74 68 5d 20 3d 20 6e dex[my_path] = n
3e80: 65 77 5f 72 65 63 6f 72 64 0a 09 09 09 09 09 09 ew_record.......
3e90: 69 6e 64 65 78 2e 73 79 6e 63 28 29 0a 0a 09 09 index.sync()....
3ea0: 09 09 65 78 63 65 70 74 20 75 72 6c 6c 69 62 2e ..except urllib.
3eb0: 65 72 72 6f 72 2e 48 54 54 50 45 72 72 6f 72 20 error.HTTPError
3ec0: 61 73 20 65 72 72 6f 72 3a 0a 09 09 09 09 09 23 as error:......#
3ed0: 20 69 6e 20 63 61 73 65 20 6f 66 20 65 72 72 6f in case of erro
3ee0: 72 20 77 65 20 64 6f 6e 27 74 20 6e 65 65 64 20 r we don't need
3ef0: 74 6f 20 64 6f 20 61 6e 79 74 68 69 6e 67 20 61 to do anything a
3f00: 63 74 75 61 6c 6c 79 2c 0a 09 09 09 09 09 23 20 ctually,......#
3f10: 69 66 20 66 69 6c 65 20 64 6f 77 6e 6c 6f 61 64 if file download
3f20: 20 73 74 61 6c 6c 73 20 6f 72 20 66 61 69 6c 73 stalls or fails
3f30: 20 74 68 65 20 66 69 6c 65 20 77 6f 75 6c 64 20 the file would
3f40: 6e 6f 74 20 62 65 20 6d 6f 76 65 64 20 74 6f 20 not be moved to
3f50: 69 74 27 73 20 6c 6f 63 61 74 69 6f 6e 0a 09 09 it's location...
3f60: 09 09 09 70 72 69 6e 74 28 65 72 72 6f 72 29 0a ...print(error).
3f70: 0a 09 09 09 70 72 69 6e 74 28 69 6e 64 65 78 5b ....print(index[
3f80: 6d 79 5f 70 61 74 68 5d 29 0a 0a 09 09 09 69 66 my_path]).....if
3f90: 20 6e 6f 74 20 6f 73 2e 61 63 63 65 73 73 28 66 not os.access(f
3fa0: 69 6c 65 5f 6e 61 6d 65 2c 20 6f 73 2e 52 5f 4f ile_name, os.R_O
3fb0: 4b 29 20 61 6e 64 20 6f 73 2e 61 63 63 65 73 73 K) and os.access
3fc0: 28 74 65 6d 70 5f 6e 61 6d 65 2c 20 6f 73 2e 52 (temp_name, os.R
3fd0: 5f 4f 4b 29 20 61 6e 64 20 27 5f 70 61 72 74 73 _OK) and '_parts
3fe0: 27 20 69 6e 20 69 6e 64 65 78 5b 6d 79 5f 70 61 ' in index[my_pa
3ff0: 74 68 5d 20 61 6e 64 20 69 6e 64 65 78 5b 6d 79 th] and index[my
4000: 5f 70 61 74 68 5d 5b 27 5f 70 61 72 74 73 27 5d _path]['_parts']
4010: 20 3d 3d 20 73 70 61 63 65 6d 61 70 2e 53 70 61 == spacemap.Spa
4020: 63 65 4d 61 70 28 29 3a 0a 09 09 09 09 23 20 6a ceMap():.....# j
4030: 75 73 74 20 6d 6f 76 69 6e 67 0a 09 09 09 09 23 ust moving.....#
4040: 20 64 72 6f 70 20 6f 6c 64 20 64 69 72 73 20 58 drop old dirs X
4050: 58 58 0a 09 09 09 09 70 72 69 6e 74 28 27 4d 6f XX.....print('Mo
4060: 76 69 6e 67 20 74 65 6d 70 6f 72 61 72 79 20 66 ving temporary f
4070: 69 6c 65 20 74 6f 20 6e 65 77 20 64 65 73 74 69 ile to new desti
4080: 6e 61 74 69 6f 6e 2e 27 29 0a 09 09 09 09 6f 73 nation.').....os
4090: 2e 72 65 6e 61 6d 65 73 28 74 65 6d 70 5f 6e 61 .renames(temp_na
40a0: 6d 65 2c 20 66 69 6c 65 5f 6e 61 6d 65 29 0a 0a me, file_name)..
40b0: 09 09 09 69 66 20 6e 6f 74 20 6d 79 5f 70 61 74 ...if not my_pat
40c0: 68 20 69 6e 20 69 6e 64 65 78 3a 0a 09 09 09 09 h in index:.....
40d0: 73 65 6c 66 2e 73 65 6e 64 5f 72 65 73 70 6f 6e self.send_respon
40e0: 73 65 28 35 30 32 29 0a 09 09 09 09 73 65 6c 66 se(502).....self
40f0: 2e 65 6e 64 5f 68 65 61 64 65 72 73 28 29 0a 09 .end_headers()..
4100: 09 09 09 72 65 74 75 72 6e 0a 0a 09 09 09 69 66 ...return.....if
4110: 20 73 65 6c 66 2e 63 6f 6d 6d 61 6e 64 20 3d 3d self.command ==
4120: 20 27 48 45 41 44 27 3a 0a 09 09 09 09 73 65 6c 'HEAD':.....sel
4130: 66 2e 73 65 6e 64 5f 72 65 73 70 6f 6e 73 65 28 f.send_response(
4140: 32 30 30 29 0a 09 09 09 09 69 66 20 27 43 6f 6e 200).....if 'Con
4150: 74 65 6e 74 2d 4c 65 6e 67 74 68 27 20 69 6e 20 tent-Length' in
4160: 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5d 3a 0a index[my_path]:.
4170: 09 09 09 09 09 73 65 6c 66 2e 73 65 6e 64 5f 68 .....self.send_h
4180: 65 61 64 65 72 28 27 43 6f 6e 74 65 6e 74 2d 4c eader('Content-L
4190: 65 6e 67 74 68 27 2c 20 69 6e 64 65 78 5b 6d 79 ength', index[my
41a0: 5f 70 61 74 68 5d 5b 27 43 6f 6e 74 65 6e 74 2d _path]['Content-
41b0: 4c 65 6e 67 74 68 27 5d 29 0a 09 09 09 09 73 65 Length']).....se
41c0: 6c 66 2e 73 65 6e 64 5f 68 65 61 64 65 72 28 27 lf.send_header('
41d0: 41 63 63 65 70 74 2d 52 61 6e 67 65 73 27 2c 20 Accept-Ranges',
41e0: 27 62 79 74 65 73 27 29 0a 09 09 09 09 73 65 6c 'bytes').....sel
41f0: 66 2e 73 65 6e 64 5f 68 65 61 64 65 72 28 27 43 f.send_header('C
4200: 6f 6e 74 65 6e 74 2d 54 79 70 65 27 2c 20 27 61 ontent-Type', 'a
4210: 70 70 6c 69 63 61 74 69 6f 6e 2f 6f 63 74 65 74 pplication/octet
4220: 2d 73 74 72 65 61 6d 27 29 0a 09 09 09 09 69 66 -stream').....if
4230: 20 27 4c 61 73 74 2d 4d 6f 64 69 66 69 65 64 27 'Last-Modified'
4240: 20 69 6e 20 69 6e 64 65 78 5b 6d 79 5f 70 61 74 in index[my_pat
4250: 68 5d 3a 0a 09 09 09 09 09 73 65 6c 66 2e 73 65 h]:......self.se
4260: 6e 64 5f 68 65 61 64 65 72 28 27 4c 61 73 74 2d nd_header('Last-
4270: 4d 6f 64 69 66 69 65 64 27 2c 20 69 6e 64 65 78 Modified', index
4280: 5b 6d 79 5f 70 61 74 68 5d 5b 27 4c 61 73 74 2d [my_path]['Last-
4290: 4d 6f 64 69 66 69 65 64 27 5d 29 0a 09 09 09 09 Modified']).....
42a0: 73 65 6c 66 2e 65 6e 64 5f 68 65 61 64 65 72 73 self.end_headers
42b0: 28 29 0a 09 09 09 65 6c 73 65 3a 0a 09 09 09 09 ()....else:.....
42c0: 69 66 20 28 27 5f 70 61 72 74 73 27 20 69 6e 20 if ('_parts' in
42d0: 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 5d 20 61 index[my_path] a
42e0: 6e 64 20 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 nd index[my_path
42f0: 5d 5b 27 5f 70 61 72 74 73 27 5d 20 21 3d 20 73 ]['_parts'] != s
4300: 70 61 63 65 6d 61 70 2e 53 70 61 63 65 4d 61 70 pacemap.SpaceMap
4310: 28 29 29 20 6f 72 20 6e 6f 74 20 6f 73 2e 61 63 ()) or not os.ac
4320: 63 65 73 73 28 66 69 6c 65 5f 6e 61 6d 65 2c 20 cess(file_name,
4330: 6f 73 2e 52 5f 4f 4b 29 3a 0a 09 09 09 09 09 66 os.R_OK):......f
4340: 69 6c 65 5f 6e 61 6d 65 20 3d 20 74 65 6d 70 5f ile_name = temp_
4350: 6e 61 6d 65 0a 0a 09 09 09 09 77 69 74 68 20 6f name......with o
4360: 70 65 6e 28 66 69 6c 65 5f 6e 61 6d 65 2c 20 27 pen(file_name, '
4370: 72 62 27 29 20 61 73 20 72 65 61 6c 5f 66 69 6c rb') as real_fil
4380: 65 3a 0a 09 09 09 09 09 66 69 6c 65 5f 73 74 61 e:......file_sta
4390: 74 20 3d 20 6f 73 2e 73 74 61 74 28 66 69 6c 65 t = os.stat(file
43a0: 5f 6e 61 6d 65 29 0a 09 09 09 09 09 69 66 20 27 _name)......if '
43b0: 52 61 6e 67 65 27 20 69 6e 20 73 65 6c 66 2e 68 Range' in self.h
43c0: 65 61 64 65 72 73 3a 0a 09 09 09 09 09 09 73 65 eaders:.......se
43d0: 6c 66 2e 73 65 6e 64 5f 72 65 73 70 6f 6e 73 65 lf.send_response
43e0: 28 32 30 36 29 0a 09 09 09 09 09 09 72 61 6e 67 (206).......rang
43f0: 65 73 20 3d 20 28 29 0a 09 09 09 09 09 09 72 65 es = ().......re
4400: 71 75 65 73 74 65 64 5f 72 61 6e 67 65 73 2e 72 quested_ranges.r
4410: 65 77 69 6e 64 28 29 0a 09 09 09 09 09 09 77 68 ewind().......wh
4420: 69 6c 65 20 54 72 75 65 3a 0a 09 09 09 09 09 09 ile True:.......
4430: 09 70 61 69 72 20 3d 20 72 65 71 75 65 73 74 65 .pair = requeste
4440: 64 5f 72 61 6e 67 65 73 2e 70 6f 70 28 29 0a 09 d_ranges.pop()..
4450: 09 09 09 09 09 09 69 66 20 70 61 69 72 5b 30 5d ......if pair[0]
4460: 20 3d 3d 20 4e 6f 6e 65 3a 0a 09 09 09 09 09 09 == None:.......
4470: 09 09 62 72 65 61 6b 0a 09 09 09 09 09 09 09 72 ..break........r
4480: 61 6e 67 65 73 20 2b 3d 20 27 7b 7d 2d 7b 7d 27 anges += '{}-{}'
4490: 2e 66 6f 72 6d 61 74 28 70 61 69 72 5b 30 5d 2c .format(pair[0],
44a0: 20 73 74 72 28 70 61 69 72 5b 31 5d 20 2d 20 31 str(pair[1] - 1
44b0: 29 29 2c 0a 09 09 09 09 09 09 73 65 6c 66 2e 73 )),.......self.s
44c0: 65 6e 64 5f 68 65 61 64 65 72 28 27 43 6f 6e 74 end_header('Cont
44d0: 65 6e 74 2d 52 61 6e 67 65 27 2c 20 27 62 79 74 ent-Range', 'byt
44e0: 65 73 20 7b 7d 2f 7b 7d 27 2e 66 6f 72 6d 61 74 es {}/{}'.format
44f0: 28 27 2c 27 2e 6a 6f 69 6e 28 72 61 6e 67 65 73 (','.join(ranges
4500: 29 2c 20 69 6e 64 65 78 5b 6d 79 5f 70 61 74 68 ), index[my_path
4510: 5d 5b 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 ]['Content-Lengt
4520: 68 27 5d 29 29 0a 09 09 09 09 09 65 6c 73 65 3a h']))......else:
4530: 0a 09 09 09 09 09 09 73 65 6c 66 2e 73 65 6e 64 .......self.send
4540: 5f 72 65 73 70 6f 6e 73 65 28 32 30 30 29 0a 09 _response(200)..
4550: 09 09 09 09 09 73 65 6c 66 2e 73 65 6e 64 5f 68 .....self.send_h
4560: 65 61 64 65 72 28 27 43 6f 6e 74 65 6e 74 2d 4c eader('Content-L
4570: 65 6e 67 74 68 27 2c 20 73 74 72 28 66 69 6c 65 ength', str(file
4580: 5f 73 74 61 74 2e 73 74 5f 73 69 7a 65 29 29 0a _stat.st_size)).
4590: 09 09 09 09 09 09 72 65 71 75 65 73 74 65 64 5f ......requested_
45a0: 72 61 6e 67 65 73 20 3d 20 73 70 61 63 65 6d 61 ranges = spacema
45b0: 70 2e 53 70 61 63 65 4d 61 70 28 7b 30 3a 20 66 p.SpaceMap({0: f
45c0: 69 6c 65 5f 73 74 61 74 2e 73 74 5f 73 69 7a 65 ile_stat.st_size
45d0: 7d 29 0a 09 09 09 09 09 69 66 20 27 4c 61 73 74 })......if 'Last
45e0: 2d 4d 6f 64 69 66 69 65 64 27 20 69 6e 20 69 6e -Modified' in in
45f0: 64 65 78 5b 6d 79 5f 70 61 74 68 5d 3a 0a 09 09 dex[my_path]:...
4600: 09 09 09 09 73 65 6c 66 2e 73 65 6e 64 5f 68 65 ....self.send_he
4610: 61 64 65 72 28 27 4c 61 73 74 2d 4d 6f 64 69 66 ader('Last-Modif
4620: 69 65 64 27 2c 20 69 6e 64 65 78 5b 6d 79 5f 70 ied', index[my_p
4630: 61 74 68 5d 5b 27 4c 61 73 74 2d 4d 6f 64 69 66 ath]['Last-Modif
4640: 69 65 64 27 5d 29 0a 09 09 09 09 09 73 65 6c 66 ied'])......self
4650: 2e 73 65 6e 64 5f 68 65 61 64 65 72 28 27 43 6f .send_header('Co
4660: 6e 74 65 6e 74 2d 54 79 70 65 27 2c 20 27 61 70 ntent-Type', 'ap
4670: 70 6c 69 63 61 74 69 6f 6e 2f 6f 63 74 65 74 2d plication/octet-
4680: 73 74 72 65 61 6d 27 29 0a 09 09 09 09 09 73 65 stream')......se
4690: 6c 66 2e 65 6e 64 5f 68 65 61 64 65 72 73 28 29 lf.end_headers()
46a0: 0a 09 09 09 09 09 69 66 20 73 65 6c 66 2e 63 6f ......if self.co
46b0: 6d 6d 61 6e 64 20 69 6e 20 28 27 47 45 54 27 29 mmand in ('GET')
46c0: 3a 0a 09 09 09 09 09 09 69 66 20 6c 65 6e 28 72 :.......if len(r
46d0: 65 71 75 65 73 74 65 64 5f 72 61 6e 67 65 73 29 equested_ranges)
46e0: 20 3e 20 30 3a 0a 09 09 09 09 09 09 09 72 65 71 > 0:........req
46f0: 75 65 73 74 65 64 5f 72 61 6e 67 65 73 2e 72 65 uested_ranges.re
4700: 77 69 6e 64 28 29 0a 09 09 09 09 09 09 09 28 73 wind()........(s
4710: 74 61 72 74 2c 20 65 6e 64 29 20 3d 20 72 65 71 tart, end) = req
4720: 75 65 73 74 65 64 5f 72 61 6e 67 65 73 2e 70 6f uested_ranges.po
4730: 70 28 29 0a 09 09 09 09 09 09 65 6c 73 65 3a 0a p().......else:.
4740: 09 09 09 09 09 09 09 73 74 61 72 74 20 3d 20 30 .......start = 0
4750: 0a 09 09 09 09 09 09 09 65 6e 64 20 3d 20 69 6e ........end = in
4760: 64 65 78 5b 6d 79 5f 70 61 74 68 5d 5b 27 43 6f dex[my_path]['Co
4770: 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 5d 0a 09 ntent-Length']..
4780: 09 09 09 09 09 72 65 61 6c 5f 66 69 6c 65 2e 73 .....real_file.s
4790: 65 65 6b 28 73 74 61 72 74 29 0a 09 09 09 09 09 eek(start)......
47a0: 09 69 66 20 62 6c 6f 63 6b 5f 73 69 7a 65 20 3e .if block_size >
47b0: 20 65 6e 64 20 2d 20 73 74 61 72 74 3a 0a 09 09 end - start:...
47c0: 09 09 09 09 09 72 65 71 5f 62 6c 6f 63 6b 5f 73 .....req_block_s
47d0: 69 7a 65 20 3d 20 65 6e 64 20 2d 20 73 74 61 72 ize = end - star
47e0: 74 0a 09 09 09 09 09 09 65 6c 73 65 3a 0a 09 09 t.......else:...
47f0: 09 09 09 09 09 72 65 71 5f 62 6c 6f 63 6b 5f 73 .....req_block_s
4800: 69 7a 65 20 3d 20 62 6c 6f 63 6b 5f 73 69 7a 65 ize = block_size
4810: 0a 09 09 09 09 09 09 62 75 66 66 65 72 20 3d 20 .......buffer =
4820: 72 65 61 6c 5f 66 69 6c 65 2e 72 65 61 64 28 72 real_file.read(r
4830: 65 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 29 0a 09 eq_block_size)..
4840: 09 09 09 09 09 6c 65 6e 67 74 68 20 3d 20 6c 65 .....length = le
4850: 6e 28 62 75 66 66 65 72 29 0a 09 09 09 09 09 09 n(buffer).......
4860: 77 68 69 6c 65 20 6c 65 6e 67 74 68 20 3e 20 30 while length > 0
4870: 3a 0a 09 09 09 09 09 09 09 73 65 6c 66 2e 77 66 :........self.wf
4880: 69 6c 65 2e 77 72 69 74 65 28 62 75 66 66 65 72 ile.write(buffer
4890: 29 0a 09 09 09 09 09 09 09 73 74 61 72 74 20 2b )........start +
48a0: 3d 20 6c 65 6e 28 62 75 66 66 65 72 29 0a 09 09 = len(buffer)...
48b0: 09 09 09 09 09 69 66 20 72 65 71 5f 62 6c 6f 63 .....if req_bloc
48c0: 6b 5f 73 69 7a 65 20 3e 20 65 6e 64 20 2d 20 73 k_size > end - s
48d0: 74 61 72 74 3a 0a 09 09 09 09 09 09 09 09 72 65 tart:.........re
48e0: 71 5f 62 6c 6f 63 6b 5f 73 69 7a 65 20 3d 20 65 q_block_size = e
48f0: 6e 64 20 2d 20 73 74 61 72 74 0a 09 09 09 09 09 nd - start......
4900: 09 09 69 66 20 72 65 71 5f 62 6c 6f 63 6b 5f 73 ..if req_block_s
4910: 69 7a 65 20 3d 3d 20 30 3a 0a 09 09 09 09 09 09 ize == 0:.......
4920: 09 09 62 72 65 61 6b 0a 09 09 09 09 09 09 09 62 ..break........b
4930: 75 66 66 65 72 20 3d 20 72 65 61 6c 5f 66 69 6c uffer = real_fil
4940: 65 2e 72 65 61 64 28 72 65 71 5f 62 6c 6f 63 6b e.read(req_block
4950: 5f 73 69 7a 65 29 0a 09 09 09 09 09 09 09 6c 65 _size)........le
4960: 6e 67 74 68 20 3d 20 6c 65 6e 28 62 75 66 66 65 ngth = len(buffe
4970: 72 29 0a 09 09 09 09 09 0a 09 09 64 65 66 20 64 r).........def d
4980: 6f 5f 48 45 41 44 28 73 65 6c 66 29 3a 0a 09 09 o_HEAD(self):...
4990: 09 72 65 74 75 72 6e 20 73 65 6c 66 2e 5f 5f 70 .return self.__p
49a0: 72 6f 63 65 73 73 28 29 0a 09 09 64 65 66 20 64 rocess()...def d
49b0: 6f 5f 47 45 54 28 73 65 6c 66 29 3a 0a 09 09 09 o_GET(self):....
49c0: 72 65 74 75 72 6e 20 73 65 6c 66 2e 5f 5f 70 72 return self.__pr
49d0: 6f 63 65 73 73 28 29 0a 0a 09 63 6f 6e 66 69 67 ocess()...config
49e0: 2e 73 65 63 74 69 6f 6e 28 27 67 65 6e 65 72 61 .section('genera
49f0: 6c 27 29 0a 09 73 65 72 76 65 72 20 3d 20 68 74 l')..server = ht
4a00: 74 70 2e 73 65 72 76 65 72 2e 48 54 54 50 53 65 tp.server.HTTPSe
4a10: 72 76 65 72 28 28 27 31 32 37 2e 30 2e 30 2e 31 rver(('127.0.0.1
4a20: 27 2c 20 69 6e 74 28 63 6f 6e 66 69 67 5b 27 70 ', int(config['p
4a30: 6f 72 74 27 5d 29 29 2c 20 4d 79 52 65 71 75 65 ort'])), MyReque
4a40: 73 74 48 61 6e 64 6c 65 72 29 0a 09 73 65 72 76 stHandler)..serv
4a50: 65 72 2e 73 65 72 76 65 5f 66 6f 72 65 76 65 72 er.serve_forever
4a60: 28 29 0a 0a 65 6c 73 65 3a 0a 09 77 68 69 6c 65 ()..else:..while
4a70: 20 54 72 75 65 3a 0a 09 09 75 6e 63 68 65 63 6b True:...uncheck
4a80: 65 64 5f 66 69 6c 65 73 20 3d 20 73 65 74 28 29 ed_files = set()
4a90: 0a 09 09 63 68 65 63 6b 65 64 5f 66 69 6c 65 73 ...checked_files
4aa0: 20 3d 20 30 0a 0a 09 09 23 20 72 65 61 64 69 6e = 0....# readin
4ab0: 67 20 6c 6f 67 20 61 6e 64 20 73 74 6f 72 69 6e g log and storin
4ac0: 67 20 66 6f 75 6e 64 20 75 72 6c 73 20 66 6f 72 g found urls for
4ad0: 20 70 72 6f 63 65 73 73 69 6e 67 0a 09 09 23 20 processing...#
4ae0: 63 68 65 63 6b 20 66 69 6c 65 20 6d 74 69 6d 65 check file mtime
4af0: 20 58 58 58 0a 09 09 77 69 74 68 20 6f 70 65 6e XXX...with open
4b00: 28 6f 70 74 69 6f 6e 73 2e 6c 6f 67 2c 20 27 72 (options.log, 'r
4b10: 27 29 20 61 73 20 6c 6f 67 5f 66 69 6c 65 3a 0a ') as log_file:.
4b20: 09 09 09 6c 6f 67 5f 6c 69 6e 65 20 3d 20 72 65 ...log_line = re
4b30: 2e 63 6f 6d 70 69 6c 65 28 27 5e 5b 5e 20 5d 2b .compile('^[^ ]+
4b40: 20 2d 20 2d 20 5c 5b 2e 2a 5d 20 22 28 47 45 54 - - \[.*] "(GET
4b50: 7c 48 45 41 44 29 20 28 2e 2a 3f 29 28 5c 3f 2e |HEAD) (.*?)(\?.
4b60: 2a 29 3f 20 48 54 54 50 2f 31 2e 31 22 20 28 5c *)? HTTP/1.1" (\
4b70: 64 2b 29 20 5c 64 2b 20 22 28 2e 2a 29 22 20 22 d+) \d+ "(.*)" "
4b80: 28 2e 2a 29 22 24 27 29 0a 09 09 09 66 6f 72 20 (.*)"$')....for
4b90: 6c 69 6e 65 20 69 6e 20 6c 6f 67 5f 66 69 6c 65 line in log_file
4ba0: 3a 0a 09 09 09 09 74 68 69 73 5f 6c 69 6e 65 20 :.....this_line
4bb0: 3d 20 6c 6f 67 5f 6c 69 6e 65 2e 6d 61 74 63 68 = log_line.match
4bc0: 28 6c 69 6e 65 2e 73 74 72 69 70 28 29 29 0a 09 (line.strip())..
4bd0: 09 09 09 69 66 20 74 68 69 73 5f 6c 69 6e 65 3a ...if this_line:
4be0: 0a 09 09 09 09 09 75 6e 63 68 65 63 6b 65 64 5f ......unchecked_
4bf0: 66 69 6c 65 73 2e 61 64 64 28 74 68 69 73 5f 6c files.add(this_l
4c00: 69 6e 65 2e 67 72 6f 75 70 28 32 29 29 0a 0a 09 ine.group(2))...
4c10: 09 66 6f 72 20 75 72 6c 20 69 6e 20 75 6e 63 68 .for url in unch
4c20: 65 63 6b 65 64 5f 66 69 6c 65 73 3a 0a 09 09 09 ecked_files:....
4c30: 72 65 6c 6f 61 64 20 3d 20 46 61 6c 73 65 0a 09 reload = False..
4c40: 09 09 72 65 63 68 65 63 6b 20 3d 20 46 61 6c 73 ..recheck = Fals
4c50: 65 0a 09 09 09 69 6e 66 6f 20 3d 20 27 43 68 65 e....info = 'Che
4c60: 63 6b 69 6e 67 20 66 69 6c 65 3a 20 27 20 2b 20 cking file: ' +
4c70: 75 72 6c 0a 0a 09 09 09 23 20 63 72 65 61 74 69 url.....# creati
4c80: 6e 67 20 65 6d 70 74 79 20 70 6c 61 63 65 68 6f ng empty placeho
4c90: 6c 64 65 72 20 69 6e 20 69 6e 64 65 78 0a 09 09 lder in index...
4ca0: 09 69 66 20 6e 6f 74 20 75 72 6c 20 69 6e 20 69 .if not url in i
4cb0: 6e 64 65 78 3a 0a 09 09 09 09 69 6e 66 6f 20 2b ndex:.....info +
4cc0: 3d 20 27 5c 6e 54 68 69 73 20 6f 6e 65 20 69 73 = '\nThis one is
4cd0: 20 6e 65 77 2e 27 0a 09 09 09 09 69 6e 64 65 78 new.'.....index
4ce0: 5b 75 72 6c 5d 20 3d 20 7b 7d 0a 09 09 09 09 72 [url] = {}.....r
4cf0: 65 6c 6f 61 64 20 3d 20 54 72 75 65 0a 0a 09 09 eload = True....
4d00: 09 23 20 63 72 65 61 74 69 6e 67 20 66 69 6c 65 .# creating file
4d10: 20 6e 61 6d 65 20 66 72 6f 6d 20 75 72 6c 0a 09 name from url..
4d20: 09 09 66 69 6c 65 5f 6e 61 6d 65 20 3d 20 6f 70 ..file_name = op
4d30: 74 69 6f 6e 73 2e 64 69 72 20 2b 20 72 65 2e 63 tions.dir + re.c
4d40: 6f 6d 70 69 6c 65 28 27 25 32 30 27 29 2e 73 75 ompile('%20').su
4d50: 62 28 27 20 27 2c 20 75 72 6c 29 0a 0a 09 09 09 b(' ', url).....
4d60: 23 20 66 6f 72 63 69 62 6c 79 20 63 68 65 63 6b # forcibly check
4d70: 69 6e 67 20 66 69 6c 65 20 69 66 20 6e 6f 20 66 ing file if no f
4d80: 69 6c 65 20 70 72 65 73 65 6e 74 0a 09 09 09 69 ile present....i
4d90: 66 20 6e 6f 74 20 72 65 6c 6f 61 64 20 61 6e 64 f not reload and
4da0: 20 6e 6f 74 20 6f 73 2e 61 63 63 65 73 73 28 66 not os.access(f
4db0: 69 6c 65 5f 6e 61 6d 65 2c 20 6f 73 2e 52 5f 4f ile_name, os.R_O
4dc0: 4b 29 3a 0a 09 09 09 09 69 6e 66 6f 20 2b 3d 20 K):.....info +=
4dd0: 27 5c 6e 46 69 6c 65 20 6e 6f 74 20 66 6f 75 6e '\nFile not foun
4de0: 64 20 6f 72 20 69 6e 61 63 63 65 73 73 69 62 6c d or inaccessibl
4df0: 65 2e 27 0a 09 09 09 09 72 65 6c 6f 61 64 20 3d e.'.....reload =
4e00: 20 54 72 75 65 0a 0a 09 09 09 23 20 66 6f 72 63 True.....# forc
4e10: 69 62 6c 79 20 63 68 65 63 6b 69 6e 67 20 66 69 ibly checking fi
4e20: 6c 65 20 69 66 20 66 69 6c 65 20 73 69 7a 65 20 le if file size
4e30: 64 6f 65 73 6e 27 74 20 6d 61 74 63 68 20 77 69 doesn't match wi
4e40: 74 68 20 69 6e 64 65 78 20 64 61 74 61 0a 09 09 th index data...
4e50: 09 65 6c 69 66 20 6e 6f 74 20 72 65 6c 6f 61 64 .elif not reload
4e60: 20 61 6e 64 20 27 43 6f 6e 74 65 6e 74 2d 4c 65 and 'Content-Le
4e70: 6e 67 74 68 27 20 69 6e 20 69 6e 64 65 78 5b 75 ngth' in index[u
4e80: 72 6c 5d 20 61 6e 64 20 6f 73 2e 73 74 61 74 28 rl] and os.stat(
4e90: 66 69 6c 65 5f 6e 61 6d 65 29 2e 73 74 5f 73 69 file_name).st_si
4ea0: 7a 65 20 21 3d 20 69 6e 74 28 69 6e 64 65 78 5b ze != int(index[
4eb0: 75 72 6c 5d 5b 27 43 6f 6e 74 65 6e 74 2d 4c 65 url]['Content-Le
4ec0: 6e 67 74 68 27 5d 29 3a 0a 09 09 09 09 69 6e 66 ngth']):.....inf
4ed0: 6f 20 2b 3d 20 27 5c 6e 46 69 6c 65 20 73 69 7a o += '\nFile siz
4ee0: 65 20 69 73 20 27 20 2b 20 6f 73 2e 73 74 61 74 e is ' + os.stat
4ef0: 28 66 69 6c 65 5f 6e 61 6d 65 29 2e 73 74 5f 73 (file_name).st_s
4f00: 69 7a 65 20 2b 20 27 20 61 6e 64 20 73 74 6f 72 ize + ' and stor
4f10: 65 64 20 66 69 6c 65 20 73 69 7a 65 20 69 73 20 ed file size is
4f20: 27 20 2b 20 69 6e 64 65 78 5b 75 72 6c 5d 5b 27 ' + index[url]['
4f30: 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 5d Content-Length']
4f40: 20 2b 20 27 2e 27 0a 09 09 09 09 72 65 6c 6f 61 + '.'.....reloa
4f50: 64 20 3d 20 54 72 75 65 0a 0a 09 09 09 23 20 66 d = True.....# f
4f60: 6f 72 63 69 62 6c 79 20 63 68 65 63 6b 69 6e 67 orcibly checking
4f70: 20 66 69 6c 65 20 69 66 20 69 6e 64 65 78 20 68 file if index h
4f80: 6f 64 73 20 50 72 61 67 6d 61 20 68 65 61 64 65 ods Pragma heade
4f90: 72 0a 09 09 09 69 66 20 6e 6f 74 20 72 65 6c 6f r....if not relo
4fa0: 61 64 20 61 6e 64 20 27 50 72 61 67 6d 61 27 20 ad and 'Pragma'
4fb0: 69 6e 20 69 6e 64 65 78 5b 75 72 6c 5d 20 61 6e in index[url] an
4fc0: 64 20 69 6e 64 65 78 5b 75 72 6c 5d 5b 27 50 72 d index[url]['Pr
4fd0: 61 67 6d 61 27 5d 20 3d 3d 20 27 6e 6f 2d 63 61 agma'] == 'no-ca
4fe0: 63 68 65 27 3a 0a 09 09 09 09 69 6e 66 6f 20 2b che':.....info +
4ff0: 3d 27 5c 6e 50 72 61 67 6d 61 20 6f 6e 3a 20 72 ='\nPragma on: r
5000: 65 63 68 65 63 6b 20 69 6d 6d 69 6e 65 6e 74 2e echeck imminent.
5010: 27 0a 09 09 09 09 72 65 63 68 65 63 6b 20 3d 20 '.....recheck =
5020: 54 72 75 65 0a 0a 09 09 09 23 20 73 6b 69 70 70 True.....# skipp
5030: 69 6e 67 20 66 69 6c 65 20 70 72 6f 63 65 73 73 ing file process
5040: 69 6e 67 20 69 66 20 74 68 65 72 65 27 73 20 6e ing if there's n
5050: 6f 20 6e 65 65 64 20 74 6f 20 72 65 63 68 65 63 o need to rechec
5060: 6b 20 69 74 20 61 6e 64 20 77 65 20 68 61 76 65 k it and we have
5070: 20 63 68 65 63 6b 65 64 20 69 74 20 61 74 20 6c checked it at l
5080: 65 61 73 74 20 34 20 68 6f 75 72 73 20 61 67 6f east 4 hours ago
5090: 0a 09 09 09 69 66 20 6e 6f 74 20 72 65 63 68 65 ....if not reche
50a0: 63 6b 20 61 6e 64 20 6e 6f 74 20 72 65 6c 6f 61 ck and not reloa
50b0: 64 20 61 6e 64 20 28 6f 70 74 69 6f 6e 73 2e 6e d and (options.n
50c0: 6f 75 70 64 61 74 65 20 6f 72 20 28 27 5f 74 69 oupdate or ('_ti
50d0: 6d 65 27 20 69 6e 20 69 6e 64 65 78 5b 75 72 6c me' in index[url
50e0: 5d 20 61 6e 64 20 28 64 61 74 65 74 69 6d 65 2e ] and (datetime.
50f0: 64 61 74 65 74 69 6d 65 2e 6e 6f 77 28 29 20 2d datetime.now() -
5100: 20 64 61 74 65 74 69 6d 65 2e 74 69 6d 65 64 65 datetime.timede
5110: 6c 74 61 28 68 6f 75 72 73 20 3d 20 34 29 20 2d lta(hours = 4) -
5120: 20 69 6e 64 65 78 5b 75 72 6c 5d 5b 27 5f 74 69 index[url]['_ti
5130: 6d 65 27 5d 29 2e 64 61 79 73 20 3c 20 30 29 29 me']).days < 0))
5140: 3a 0a 09 09 09 09 69 66 20 6f 70 74 69 6f 6e 73 :.....if options
5150: 2e 76 65 72 62 6f 73 65 3a 0a 09 09 09 09 09 70 .verbose:......p
5160: 72 69 6e 74 28 69 6e 66 6f 29 0a 09 09 09 09 63 rint(info).....c
5170: 6f 6e 74 69 6e 75 65 0a 09 09 09 65 6c 73 65 3a ontinue....else:
5180: 0a 09 09 09 09 70 72 69 6e 74 28 69 6e 66 6f 29 .....print(info)
5190: 0a 0a 09 09 09 74 72 79 3a 0a 09 09 09 09 77 69 .....try:.....wi
51a0: 74 68 20 75 72 6c 6c 69 62 2e 72 65 71 75 65 73 th urllib.reques
51b0: 74 2e 75 72 6c 6f 70 65 6e 28 6f 70 74 69 6f 6e t.urlopen(option
51c0: 73 2e 72 6f 6f 74 20 2b 20 75 72 6c 29 20 61 73 s.root + url) as
51d0: 20 73 6f 75 72 63 65 3a 0a 09 09 09 09 09 6e 65 source:......ne
51e0: 77 5f 68 65 61 64 65 72 73 20 3d 20 7b 7d 0a 09 w_headers = {}..
51f0: 09 09 09 09 68 65 61 64 65 72 73 20 3d 20 73 6f ....headers = so
5200: 75 72 63 65 2e 69 6e 66 6f 28 29 0a 0a 09 09 09 urce.info().....
5210: 09 09 23 20 73 74 72 69 70 70 69 6e 67 20 75 6e ..# stripping un
5220: 6e 65 65 64 65 64 20 68 65 61 64 65 72 73 20 28 needed headers (
5230: 58 58 58 20 6d 61 6b 65 20 74 68 69 73 20 69 6e XXX make this in
5240: 70 6c 61 63 65 3f 29 0a 09 09 09 09 09 66 6f 72 place?)......for
5250: 20 68 65 61 64 65 72 20 69 6e 20 68 65 61 64 65 header in heade
5260: 72 73 3a 0a 09 09 09 09 09 09 69 66 20 68 65 61 rs:.......if hea
5270: 64 65 72 20 69 6e 20 64 65 73 63 5f 66 69 65 6c der in desc_fiel
5280: 64 73 3a 0a 09 09 09 09 09 09 09 69 66 20 68 65 ds:........if he
5290: 61 64 65 72 20 3d 3d 20 27 50 72 61 67 6d 61 27 ader == 'Pragma'
52a0: 20 61 6e 64 20 68 65 61 64 65 72 73 5b 68 65 61 and headers[hea
52b0: 64 65 72 5d 20 21 3d 20 27 6e 6f 2d 63 61 63 68 der] != 'no-cach
52c0: 65 27 3a 0a 09 09 09 09 09 09 09 09 70 72 69 6e e':.........prin
52d0: 74 28 27 50 72 61 67 6d 61 3a 27 2c 20 68 65 61 t('Pragma:', hea
52e0: 64 65 72 73 5b 68 65 61 64 65 72 5d 29 0a 09 09 ders[header])...
52f0: 09 09 09 09 09 6e 65 77 5f 68 65 61 64 65 72 73 .....new_headers
5300: 5b 68 65 61 64 65 72 5d 20 3d 20 68 65 61 64 65 [header] = heade
5310: 72 73 5b 68 65 61 64 65 72 5d 0a 09 09 09 09 09 rs[header]......
5320: 09 65 6c 69 66 20 6e 6f 74 20 68 65 61 64 65 72 .elif not header
5330: 20 69 6e 20 69 67 6e 6f 72 65 5f 66 69 65 6c 64 in ignore_field
5340: 73 3a 0a 09 09 09 09 09 09 09 70 72 69 6e 74 28 s:........print(
5350: 27 55 6e 64 65 66 69 6e 65 64 20 68 65 61 64 65 'Undefined heade
5360: 72 20 22 27 2c 20 68 65 61 64 65 72 2c 20 27 22 r "', header, '"
5370: 3a 20 27 2c 20 68 65 61 64 65 72 73 5b 68 65 61 : ', headers[hea
5380: 64 65 72 5d 2c 20 73 65 70 3d 27 27 29 0a 0a 09 der], sep='')...
5390: 09 09 09 09 23 20 63 6f 6d 70 61 72 69 6e 67 20 ....# comparing
53a0: 68 65 61 64 65 72 73 20 77 69 74 68 20 64 61 74 headers with dat
53b0: 61 20 66 6f 75 6e 64 20 69 6e 20 69 6e 64 65 78 a found in index
53c0: 0a 09 09 09 09 09 23 20 69 66 20 61 6e 79 20 68 ......# if any h
53d0: 65 61 64 65 72 20 68 61 73 20 63 68 61 6e 67 65 eader has change
53e0: 64 20 28 65 78 63 65 70 74 20 50 72 61 67 6d 61 d (except Pragma
53f0: 29 20 66 69 6c 65 20 69 73 20 66 75 6c 6c 79 20 ) file is fully
5400: 64 6f 77 6e 6c 6f 61 64 65 64 0a 09 09 09 09 09 downloaded......
5410: 23 20 73 61 6d 65 20 69 66 20 77 65 20 67 65 74 # same if we get
5420: 20 6d 6f 72 65 20 6f 72 20 6c 65 73 73 20 68 65 more or less he
5430: 61 64 65 72 73 0a 09 09 09 09 09 6f 6c 64 5f 6b aders......old_k
5440: 65 79 73 20 3d 20 73 65 74 28 69 6e 64 65 78 5b eys = set(index[
5450: 75 72 6c 5d 2e 6b 65 79 73 28 29 29 0a 09 09 09 url].keys())....
5460: 09 09 6f 6c 64 5f 6b 65 79 73 2e 64 69 73 63 61 ..old_keys.disca
5470: 72 64 28 27 5f 74 69 6d 65 27 29 0a 09 09 09 09 rd('_time').....
5480: 09 6f 6c 64 5f 6b 65 79 73 2e 64 69 73 63 61 72 .old_keys.discar
5490: 64 28 27 50 72 61 67 6d 61 27 29 0a 09 09 09 09 d('Pragma').....
54a0: 09 6d 6f 72 65 5f 6b 65 79 73 20 3d 20 73 65 74 .more_keys = set
54b0: 28 6e 65 77 5f 68 65 61 64 65 72 73 2e 6b 65 79 (new_headers.key
54c0: 73 28 29 29 20 2d 20 6f 6c 64 5f 6b 65 79 73 0a s()) - old_keys.
54d0: 09 09 09 09 09 6d 6f 72 65 5f 6b 65 79 73 2e 64 .....more_keys.d
54e0: 69 73 63 61 72 64 28 27 50 72 61 67 6d 61 27 29 iscard('Pragma')
54f0: 0a 09 09 09 09 09 6c 65 73 73 5f 6b 65 79 73 20 ......less_keys
5500: 3d 20 6f 6c 64 5f 6b 65 79 73 20 2d 20 73 65 74 = old_keys - set
5510: 28 6e 65 77 5f 68 65 61 64 65 72 73 2e 6b 65 79 (new_headers.key
5520: 73 28 29 29 0a 09 09 09 09 09 69 66 20 6c 65 6e s())......if len
5530: 28 6d 6f 72 65 5f 6b 65 79 73 29 20 3e 20 30 3a (more_keys) > 0:
5540: 0a 09 09 09 09 09 09 69 66 20 6e 6f 74 20 6c 65 .......if not le
5550: 6e 28 6f 6c 64 5f 6b 65 79 73 29 20 3d 3d 20 30 n(old_keys) == 0
5560: 3a 0a 09 09 09 09 09 09 09 70 72 69 6e 74 28 27 :........print('
5570: 4d 6f 72 65 20 68 65 61 64 65 72 73 20 61 70 70 More headers app
5580: 65 61 72 3a 27 2c 20 6d 6f 72 65 5f 6b 65 79 73 ear:', more_keys
5590: 29 0a 09 09 09 09 09 09 72 65 6c 6f 61 64 20 3d ).......reload =
55a0: 20 54 72 75 65 0a 09 09 09 09 09 65 6c 69 66 20 True......elif
55b0: 6c 65 6e 28 6c 65 73 73 5f 6b 65 79 73 29 20 3e len(less_keys) >
55c0: 20 30 3a 0a 09 09 09 09 09 09 70 72 69 6e 74 28 0:.......print(
55d0: 27 4c 65 73 73 20 68 65 61 64 65 72 73 20 61 70 'Less headers ap
55e0: 70 65 61 72 3a 27 2c 20 6c 65 73 73 5f 6b 65 79 pear:', less_key
55f0: 73 29 0a 09 09 09 09 09 65 6c 73 65 3a 0a 09 09 s)......else:...
5600: 09 09 09 09 66 6f 72 20 6b 65 79 20 69 6e 20 69 ....for key in i
5610: 6e 64 65 78 5b 75 72 6c 5d 2e 6b 65 79 73 28 29 ndex[url].keys()
5620: 3a 0a 09 09 09 09 09 09 09 69 66 20 6b 65 79 5b :........if key[
5630: 30 5d 20 21 3d 20 27 5f 27 20 61 6e 64 20 6b 65 0] != '_' and ke
5640: 79 20 21 3d 20 27 50 72 61 67 6d 61 27 20 61 6e y != 'Pragma' an
5650: 64 20 6e 6f 74 20 69 6e 64 65 78 5b 75 72 6c 5d d not index[url]
5660: 5b 6b 65 79 5d 20 3d 3d 20 6e 65 77 5f 68 65 61 [key] == new_hea
5670: 64 65 72 73 5b 6b 65 79 5d 3a 0a 09 09 09 09 09 ders[key]:......
5680: 09 09 09 70 72 69 6e 74 28 27 48 65 61 64 65 72 ...print('Header
5690: 20 22 27 2c 20 6b 65 79 2c 20 27 22 20 63 68 61 "', key, '" cha
56a0: 6e 67 65 64 20 66 72 6f 6d 20 5b 27 2c 20 69 6e nged from [', in
56b0: 64 65 78 5b 75 72 6c 5d 5b 6b 65 79 5d 2c 20 27 dex[url][key], '
56c0: 5d 20 74 6f 20 5b 27 2c 20 6e 65 77 5f 68 65 61 ] to [', new_hea
56d0: 64 65 72 73 5b 6b 65 79 5d 2c 20 27 5d 27 2c 20 ders[key], ']',
56e0: 73 65 70 3d 27 27 29 0a 09 09 09 09 09 09 09 09 sep='').........
56f0: 72 65 6c 6f 61 64 20 3d 20 54 72 75 65 0a 0a 09 reload = True...
5700: 09 09 09 09 23 20 64 6f 77 6e 6c 6f 61 64 69 6e ....# downloadin
5710: 67 20 66 69 6c 65 0a 09 09 09 09 09 69 66 20 72 g file......if r
5720: 65 6c 6f 61 64 3a 0a 09 09 09 09 09 09 69 66 20 eload:.......if
5730: 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 27 'Content-Length'
5740: 20 69 6e 20 68 65 61 64 65 72 73 3a 0a 09 09 09 in headers:....
5750: 09 09 09 09 70 72 69 6e 74 28 27 44 6f 77 6e 6c ....print('Downl
5760: 6f 61 64 69 6e 67 27 2c 20 68 65 61 64 65 72 73 oading', headers
5770: 5b 27 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 ['Content-Length
5780: 27 5d 2c 20 27 62 79 74 65 73 20 5b 27 2c 20 65 '], 'bytes [', e
5790: 6e 64 3d 27 27 29 0a 09 09 09 09 09 09 65 6c 73 nd='').......els
57a0: 65 3a 0a 09 09 09 09 09 09 09 70 72 69 6e 74 28 e:........print(
57b0: 27 44 6f 77 6e 6c 6f 61 64 69 6e 67 20 5b 27 2c 'Downloading [',
57c0: 20 65 6e 64 3d 27 27 29 0a 09 09 09 09 09 09 73 end='').......s
57d0: 79 73 2e 73 74 64 6f 75 74 2e 66 6c 75 73 68 28 ys.stdout.flush(
57e0: 29 0a 0a 09 09 09 09 09 09 23 20 66 69 6c 65 20 )........# file
57f0: 69 73 20 63 72 65 61 74 65 64 20 61 74 20 74 65 is created at te
5800: 6d 70 6f 72 61 72 79 20 6c 6f 63 61 74 69 6f 6e mporary location
5810: 20 61 6e 64 20 6d 6f 76 65 64 20 69 6e 20 70 6c and moved in pl
5820: 61 63 65 20 6f 6e 6c 79 20 77 68 65 6e 20 64 6f ace only when do
5830: 77 6e 6c 6f 61 64 20 63 6f 6d 70 6c 65 74 65 73 wnload completes
5840: 0a 09 09 09 09 09 09 74 65 6d 70 5f 66 69 6c 65 .......temp_file
5850: 20 3d 20 6f 70 65 6e 28 6f 70 74 69 6f 6e 73 2e = open(options.
5860: 64 69 72 20 2b 20 6f 73 2e 73 65 70 20 2b 20 27 dir + os.sep + '
5870: 2e 74 6d 70 27 2c 20 27 77 62 27 29 0a 09 09 09 .tmp', 'wb')....
5880: 09 09 09 62 75 66 66 65 72 20 3d 20 73 6f 75 72 ...buffer = sour
5890: 63 65 2e 72 65 61 64 28 62 6c 6f 63 6b 5f 73 69 ce.read(block_si
58a0: 7a 65 29 0a 09 09 09 09 09 09 6d 65 67 61 62 6c ze).......megabl
58b0: 6f 63 6b 73 20 3d 20 30 0a 09 09 09 09 09 09 62 ocks = 0.......b
58c0: 6c 6f 63 6b 73 20 3d 20 30 0a 09 09 09 09 09 09 locks = 0.......
58d0: 6d 65 67 73 20 3d 20 30 0a 09 09 09 09 09 09 77 megs = 0.......w
58e0: 68 69 6c 65 20 6c 65 6e 28 62 75 66 66 65 72 29 hile len(buffer)
58f0: 20 3e 20 30 3a 0a 09 09 09 09 09 09 09 74 65 6d > 0:........tem
5900: 70 5f 66 69 6c 65 2e 77 72 69 74 65 28 62 75 66 p_file.write(buf
5910: 66 65 72 29 0a 09 09 09 09 09 09 09 62 75 66 66 fer)........buff
5920: 65 72 20 3d 20 73 6f 75 72 63 65 2e 72 65 61 64 er = source.read
5930: 28 62 6c 6f 63 6b 5f 73 69 7a 65 29 0a 09 09 09 (block_size)....
5940: 09 09 09 09 62 6c 6f 63 6b 73 20 2b 3d 20 31 0a ....blocks += 1.
5950: 09 09 09 09 09 09 09 69 66 20 62 6c 6f 63 6b 73 .......if blocks
5960: 20 3e 20 31 30 32 34 30 30 2f 62 6c 6f 63 6b 5f > 102400/block_
5970: 73 69 7a 65 3a 0a 09 09 09 09 09 09 09 09 6d 65 size:.........me
5980: 67 61 62 6c 6f 63 6b 73 20 2b 3d 20 31 0a 09 09 gablocks += 1...
5990: 09 09 09 09 09 09 69 66 20 6d 65 67 61 62 6c 6f ......if megablo
59a0: 63 6b 73 20 3e 20 31 30 3a 0a 09 09 09 09 09 09 cks > 10:.......
59b0: 09 09 09 6d 65 67 61 62 6c 6f 63 6b 73 20 3d 20 ...megablocks =
59c0: 6d 65 67 61 62 6c 6f 63 6b 73 20 2d 20 31 30 0a megablocks - 10.
59d0: 09 09 09 09 09 09 09 09 09 6d 65 67 73 20 2b 3d .........megs +=
59e0: 20 31 0a 09 09 09 09 09 09 09 09 09 70 72 69 6e 1..........prin
59f0: 74 28 27 7b 7d 4d 62 27 2e 66 6f 72 6d 61 74 28 t('{}Mb'.format(
5a00: 6d 65 67 73 29 2c 20 65 6e 64 3d 27 27 29 0a 09 megs), end='')..
5a10: 09 09 09 09 09 09 09 65 6c 73 65 3a 0a 09 09 09 .......else:....
5a20: 09 09 09 09 09 09 70 72 69 6e 74 28 27 2e 27 2c ......print('.',
5a30: 20 65 6e 64 3d 27 27 29 0a 09 09 09 09 09 09 09 end='')........
5a40: 09 62 6c 6f 63 6b 73 20 3d 20 62 6c 6f 63 6b 73 .blocks = blocks
5a50: 20 2d 20 31 30 32 34 30 30 2f 62 6c 6f 63 6b 5f - 102400/block_
5a60: 73 69 7a 65 0a 09 09 09 09 09 09 09 73 79 73 2e size........sys.
5a70: 73 74 64 6f 75 74 2e 66 6c 75 73 68 28 29 0a 09 stdout.flush()..
5a80: 09 09 09 09 09 74 65 6d 70 5f 66 69 6c 65 2e 63 .....temp_file.c
5a90: 6c 6f 73 65 28 29 0a 09 09 09 09 09 09 70 72 69 lose().......pri
5aa0: 6e 74 28 27 5d 27 29 0a 09 09 09 09 09 09 6f 73 nt(']').......os
5ab0: 2e 72 65 6e 61 6d 65 73 28 6f 70 74 69 6f 6e 73 .renames(options
5ac0: 2e 64 69 72 20 2b 20 6f 73 2e 73 65 70 20 2b 20 .dir + os.sep +
5ad0: 27 2e 74 6d 70 27 2c 20 66 69 6c 65 5f 6e 61 6d '.tmp', file_nam
5ae0: 65 29 0a 0a 09 09 09 09 09 09 63 68 65 63 6b 65 e)........checke
5af0: 64 5f 66 69 6c 65 73 20 2b 3d 20 31 0a 0a 09 09 d_files += 1....
5b00: 09 09 09 23 20 73 74 6f 72 69 6e 67 20 6e 65 77 ...# storing new
5b10: 20 74 69 6d 65 20 6d 61 72 6b 20 61 6e 64 20 73 time mark and s
5b20: 74 6f 72 69 6e 67 20 6e 65 77 20 68 65 61 64 65 toring new heade
5b30: 72 73 0a 09 09 09 09 09 6e 65 77 5f 68 65 61 64 rs......new_head
5b40: 65 72 73 5b 27 5f 74 69 6d 65 27 5d 20 3d 20 64 ers['_time'] = d
5b50: 61 74 65 74 69 6d 65 2e 64 61 74 65 74 69 6d 65 atetime.datetime
5b60: 2e 6e 6f 77 28 29 0a 09 09 09 09 09 69 6e 64 65 .now()......inde
5b70: 78 5b 75 72 6c 5d 20 3d 20 6e 65 77 5f 68 65 61 x[url] = new_hea
5b80: 64 65 72 73 0a 09 09 09 09 09 69 6e 64 65 78 2e ders......index.
5b90: 73 79 6e 63 28 29 0a 0a 09 09 09 65 78 63 65 70 sync().....excep
5ba0: 74 20 75 72 6c 6c 69 62 2e 65 72 72 6f 72 2e 48 t urllib.error.H
5bb0: 54 54 50 45 72 72 6f 72 20 61 73 20 65 72 72 6f TTPError as erro
5bc0: 72 3a 0a 09 09 09 09 23 20 69 6e 20 63 61 73 65 r:.....# in case
5bd0: 20 6f 66 20 65 72 72 6f 72 20 77 65 20 64 6f 6e of error we don
5be0: 27 74 20 6e 65 65 64 20 74 6f 20 64 6f 20 61 6e 't need to do an
5bf0: 79 74 68 69 6e 67 20 61 63 74 75 61 6c 6c 79 2c ything actually,
5c00: 0a 09 09 09 09 23 20 69 66 20 66 69 6c 65 20 64 .....# if file d
5c10: 6f 77 6e 6c 6f 61 64 20 73 74 61 6c 6c 73 20 6f ownload stalls o
5c20: 72 20 66 61 69 6c 73 20 74 68 65 20 66 69 6c 65 r fails the file
5c30: 20 77 6f 75 6c 64 20 6e 6f 74 20 62 65 20 6d 6f would not be mo
5c40: 76 65 64 20 74 6f 20 69 74 27 73 20 6c 6f 63 61 ved to it's loca
5c50: 74 69 6f 6e 0a 09 09 09 09 70 72 69 6e 74 28 65 tion.....print(e
5c60: 72 72 6f 72 29 0a 0a 09 09 69 66 20 6f 70 74 69 rror)....if opti
5c70: 6f 6e 73 2e 76 65 72 62 6f 73 65 3a 0a 09 09 09 ons.verbose:....
5c80: 70 72 69 6e 74 28 27 5b 27 2c 20 6c 65 6e 28 75 print('[', len(u
5c90: 6e 63 68 65 63 6b 65 64 5f 66 69 6c 65 73 29 2c nchecked_files),
5ca0: 20 27 2f 27 2c 20 63 68 65 63 6b 65 64 5f 66 69 '/', checked_fi
5cb0: 6c 65 73 2c 20 27 5d 27 29 0a 0a 09 09 23 20 63 les, ']')....# c
5cc0: 68 65 63 6b 69 6e 67 20 69 66 20 74 68 65 72 65 hecking if there
5cd0: 20 77 65 72 65 20 61 6e 79 20 66 69 6c 65 73 20 were any files
5ce0: 64 6f 77 6e 6c 6f 61 64 65 64 2c 20 69 66 20 79 downloaded, if y
5cf0: 65 73 20 2d 20 72 65 73 74 61 72 74 69 6e 67 20 es - restarting
5d00: 73 65 71 75 65 6e 63 65 0a 09 09 69 66 20 63 68 sequence...if ch
5d10: 65 63 6b 65 64 5f 66 69 6c 65 73 20 3d 3d 20 30 ecked_files == 0
5d20: 3a 0a 09 09 09 62 72 65 61 6b 0a :....break.