0000: 75 73 65 20 63 72 61 74 65 3a 3a 7b 0a 09 63 6f use crate::{..co
0010: 6d 6d 61 6e 64 2c 0a 09 73 71 6c 3a 3a 44 62 2c mmand,..sql::Db,
0020: 0a 7d 3b 0a 0a 75 73 65 20 73 74 64 3a 3a 7b 0a .};..use std::{.
0030: 09 62 6f 72 72 6f 77 3a 3a 43 6f 77 2c 0a 09 63 .borrow::Cow,..c
0040: 6f 6c 6c 65 63 74 69 6f 6e 73 3a 3a 7b 0a 09 09 ollections::{...
0050: 42 54 72 65 65 4d 61 70 2c 0a 09 09 48 61 73 68 BTreeMap,...Hash
0060: 53 65 74 2c 0a 09 7d 2c 0a 09 73 79 6e 63 3a 3a Set,..},..sync::
0070: 41 72 63 2c 0a 7d 3b 0a 0a 75 73 65 20 61 73 79 Arc,.};..use asy
0080: 6e 63 5f 63 6f 6d 70 61 74 3a 3a 43 6f 6d 70 61 nc_compat::Compa
0090: 74 3b 0a 75 73 65 20 63 68 72 6f 6e 6f 3a 3a 7b t;.use chrono::{
00a0: 0a 09 44 61 74 65 54 69 6d 65 2c 0a 09 4c 6f 63 ..DateTime,..Loc
00b0: 61 6c 2c 0a 7d 3b 0a 75 73 65 20 6c 61 7a 79 5f al,.};.use lazy_
00c0: 73 74 61 74 69 63 3a 3a 6c 61 7a 79 5f 73 74 61 static::lazy_sta
00d0: 74 69 63 3b 0a 75 73 65 20 72 65 67 65 78 3a 3a tic;.use regex::
00e0: 52 65 67 65 78 3b 0a 75 73 65 20 72 65 71 77 65 Regex;.use reqwe
00f0: 73 74 3a 3a 68 65 61 64 65 72 3a 3a 7b 0a 09 43 st::header::{..C
0100: 41 43 48 45 5f 43 4f 4e 54 52 4f 4c 2c 0a 09 45 ACHE_CONTROL,..E
0110: 58 50 49 52 45 53 2c 0a 09 4c 41 53 54 5f 4d 4f XPIRES,..LAST_MO
0120: 44 49 46 49 45 44 0a 7d 3b 0a 75 73 65 20 73 6d DIFIED.};.use sm
0130: 6f 6c 3a 3a 7b 0a 09 54 69 6d 65 72 2c 0a 09 6c ol::{..Timer,..l
0140: 6f 63 6b 3a 3a 4d 75 74 65 78 2c 0a 7d 3b 0a 75 ock::Mutex,.};.u
0150: 73 65 20 74 67 62 6f 74 3a 3a 7b 0a 09 61 70 69 se tgbot::{..api
0160: 3a 3a 43 6c 69 65 6e 74 2c 0a 09 68 61 6e 64 6c ::Client,..handl
0170: 65 72 3a 3a 55 70 64 61 74 65 48 61 6e 64 6c 65 er::UpdateHandle
0180: 72 2c 0a 09 74 79 70 65 73 3a 3a 7b 0a 09 09 42 r,..types::{...B
0190: 6f 74 2c 0a 09 09 43 68 61 74 50 65 65 72 49 64 ot,...ChatPeerId
01a0: 2c 0a 09 09 43 6f 6d 6d 61 6e 64 2c 0a 09 09 47 ,...Command,...G
01b0: 65 74 42 6f 74 2c 0a 09 09 4d 65 73 73 61 67 65 etBot,...Message
01c0: 2c 0a 09 09 50 61 72 73 65 4d 6f 64 65 2c 0a 09 ,...ParseMode,..
01d0: 09 53 65 6e 64 4d 65 73 73 61 67 65 2c 0a 09 09 .SendMessage,...
01e0: 55 70 64 61 74 65 2c 0a 09 09 55 70 64 61 74 65 Update,...Update
01f0: 54 79 70 65 2c 0a 09 09 55 73 65 72 50 65 65 72 Type,...UserPeer
0200: 49 64 2c 0a 09 7d 2c 0a 7d 3b 0a 75 73 65 20 73 Id,..},.};.use s
0210: 74 61 63 6b 65 64 5f 65 72 72 6f 72 73 3a 3a 7b tacked_errors::{
0220: 0a 09 52 65 73 75 6c 74 2c 0a 09 53 74 61 63 6b ..Result,..Stack
0230: 61 62 6c 65 45 72 72 2c 0a 09 61 6e 79 68 6f 77 ableErr,..anyhow
0240: 2c 0a 09 62 61 69 6c 2c 0a 7d 3b 0a 0a 6c 61 7a ,..bail,.};..laz
0250: 79 5f 73 74 61 74 69 63 21 7b 0a 09 70 75 62 20 y_static!{..pub
0260: 73 74 61 74 69 63 20 72 65 66 20 52 45 5f 53 50 static ref RE_SP
0270: 45 43 49 41 4c 3a 20 52 65 67 65 78 20 3d 20 52 ECIAL: Regex = R
0280: 65 67 65 78 3a 3a 6e 65 77 28 72 22 28 5b 5c 2d egex::new(r"([\-
0290: 5f 2a 5c 5b 5c 5d 28 29 7e 60 3e 23 2b 7c 7b 7d _*\[\]()~`>#+|{}
02a0: 5c 2e 21 5d 29 22 29 2e 75 6e 77 72 61 70 28 29 \.!])").unwrap()
02b0: 3b 0a 7d 0a 0a 2f 2f 2f 20 45 73 63 61 70 65 20 ;.}../// Escape
02c0: 63 68 61 72 61 63 74 65 72 73 20 74 68 61 74 20 characters that
02d0: 61 72 65 20 73 70 65 63 69 61 6c 20 69 6e 20 54 are special in T
02e0: 65 6c 65 67 72 61 6d 20 48 54 4d 4c 20 62 79 20 elegram HTML by
02f0: 70 72 65 66 69 78 69 6e 67 20 74 68 65 6d 20 77 prefixing them w
0300: 69 74 68 20 61 20 62 61 63 6b 73 6c 61 73 68 2e ith a backslash.
0310: 0a 2f 2f 2f 0a 2f 2f 2f 20 54 68 69 73 20 65 6e .///./// This en
0320: 73 75 72 65 73 20 74 68 65 20 72 65 74 75 72 6e sures the return
0330: 65 64 20 73 74 72 69 6e 67 20 63 61 6e 20 62 65 ed string can be
0340: 20 75 73 65 64 20 61 73 20 48 54 4d 4c 2d 66 6f used as HTML-fo
0350: 72 6d 61 74 74 65 64 20 54 65 6c 65 67 72 61 6d rmatted Telegram
0360: 20 6d 65 73 73 61 67 65 20 63 6f 6e 74 65 6e 74 message content
0370: 0a 2f 2f 2f 20 77 69 74 68 6f 75 74 20 73 70 65 ./// without spe
0380: 63 69 61 6c 20 63 68 61 72 61 63 74 65 72 73 20 cial characters
0390: 62 65 69 6e 67 20 69 6e 74 65 72 70 72 65 74 65 being interprete
03a0: 64 20 61 73 20 48 54 4d 4c 20 6d 61 72 6b 75 70 d as HTML markup
03b0: 2e 0a 70 75 62 20 66 6e 20 65 6e 63 6f 64 65 20 ..pub fn encode
03c0: 28 74 65 78 74 3a 20 26 73 74 72 29 20 2d 3e 20 (text: &str) ->
03d0: 43 6f 77 3c 27 5f 2c 20 73 74 72 3e 20 7b 0a 09 Cow<'_, str> {..
03e0: 52 45 5f 53 50 45 43 49 41 4c 2e 72 65 70 6c 61 RE_SPECIAL.repla
03f0: 63 65 5f 61 6c 6c 28 74 65 78 74 2c 20 22 5c 5c ce_all(text, "\\
0400: 24 31 22 29 0a 7d 0a 0a 2f 2f 20 54 68 69 73 20 $1").}..// This
0410: 6f 6e 65 20 64 6f 65 73 20 6e 6f 74 68 69 6e 67 one does nothing
0420: 20 65 78 63 65 70 74 20 6d 61 6b 69 6e 67 20 73 except making s
0430: 75 72 65 20 6f 6e 6c 79 20 6f 6e 65 20 74 6f 6b ure only one tok
0440: 65 6e 20 65 78 69 73 74 73 20 66 6f 72 20 65 61 en exists for ea
0450: 63 68 20 69 64 0a 70 75 62 20 73 74 72 75 63 74 ch id.pub struct
0460: 20 54 6f 6b 65 6e 20 7b 0a 09 72 75 6e 6e 69 6e Token {..runnin
0470: 67 3a 20 41 72 63 3c 4d 75 74 65 78 3c 48 61 73 g: Arc<Mutex<Has
0480: 68 53 65 74 3c 69 33 32 3e 3e 3e 2c 0a 09 6d 79 hSet<i32>>>,..my
0490: 5f 69 64 3a 20 69 33 32 2c 0a 7d 0a 0a 69 6d 70 _id: i32,.}..imp
04a0: 6c 20 54 6f 6b 65 6e 20 7b 0a 09 2f 2f 2f 20 41 l Token {../// A
04b0: 74 74 65 6d 70 74 73 20 74 6f 20 61 63 71 75 69 ttempts to acqui
04c0: 72 65 20 61 20 70 65 72 2d 69 64 20 74 6f 6b 65 re a per-id toke
04d0: 6e 20 62 79 20 69 6e 73 65 72 74 69 6e 67 20 60 n by inserting `
04e0: 6d 79 5f 69 64 60 20 69 6e 74 6f 20 74 68 65 20 my_id` into the
04f0: 73 68 61 72 65 64 20 60 72 75 6e 6e 69 6e 67 60 shared `running`
0500: 20 73 65 74 2e 0a 09 2f 2f 2f 0a 09 2f 2f 2f 20 set...///..///
0510: 49 66 20 74 68 65 20 69 64 20 77 61 73 20 6e 6f If the id was no
0520: 74 20 61 6c 72 65 61 64 79 20 70 72 65 73 65 6e t already presen
0530: 74 2c 20 74 68 65 20 66 75 6e 63 74 69 6f 6e 20 t, the function
0540: 69 6e 73 65 72 74 73 20 69 74 20 61 6e 64 20 72 inserts it and r
0550: 65 74 75 72 6e 73 20 60 53 6f 6d 65 28 54 6f 6b eturns `Some(Tok
0560: 65 6e 29 60 2e 0a 09 2f 2f 2f 20 57 68 65 6e 20 en)`.../// When
0570: 74 68 65 20 72 65 74 75 72 6e 65 64 20 60 54 6f the returned `To
0580: 6b 65 6e 60 20 69 73 20 64 72 6f 70 70 65 64 2c ken` is dropped,
0590: 20 74 68 65 20 69 64 20 77 69 6c 6c 20 62 65 20 the id will be
05a0: 72 65 6d 6f 76 65 64 20 66 72 6f 6d 20 74 68 65 removed from the
05b0: 20 60 72 75 6e 6e 69 6e 67 60 20 73 65 74 2c 0a `running` set,.
05c0: 09 2f 2f 2f 20 61 6c 6c 6f 77 69 6e 67 20 73 75 ./// allowing su
05d0: 62 73 65 71 75 65 6e 74 20 61 63 71 75 69 73 69 bsequent acquisi
05e0: 74 69 6f 6e 73 20 66 6f 72 20 74 68 65 20 73 61 tions for the sa
05f0: 6d 65 20 69 64 2e 0a 09 2f 2f 2f 0a 09 2f 2f 2f me id...///..///
0600: 20 23 20 50 61 72 61 6d 65 74 65 72 73 0a 09 2f # Parameters../
0610: 2f 2f 0a 09 2f 2f 2f 20 2d 20 60 72 75 6e 6e 69 //../// - `runni
0620: 6e 67 60 3a 20 53 68 61 72 65 64 20 73 65 74 20 ng`: Shared set
0630: 74 72 61 63 6b 69 6e 67 20 61 63 74 69 76 65 20 tracking active
0640: 69 64 73 2e 0a 09 2f 2f 2f 20 2d 20 60 6d 79 5f ids.../// - `my_
0650: 69 64 60 3a 20 49 64 65 6e 74 69 66 69 65 72 20 id`: Identifier
0660: 74 6f 20 61 63 71 75 69 72 65 20 61 20 74 6f 6b to acquire a tok
0670: 65 6e 20 66 6f 72 2e 0a 09 2f 2f 2f 0a 09 2f 2f en for...///..//
0680: 2f 20 23 20 52 65 74 75 72 6e 73 0a 09 2f 2f 2f / # Returns..///
0690: 0a 09 2f 2f 2f 20 60 4f 6b 28 54 6f 6b 65 6e 29 ../// `Ok(Token)
06a0: 60 20 69 66 20 74 68 65 20 69 64 20 77 61 73 20 ` if the id was
06b0: 73 75 63 63 65 73 73 66 75 6c 6c 79 20 61 63 71 successfully acq
06c0: 75 69 72 65 64 2c 20 60 45 72 72 6f 72 60 20 69 uired, `Error` i
06d0: 66 20 61 20 74 6f 6b 65 6e 20 66 6f 72 20 74 68 f a token for th
06e0: 65 20 69 64 20 69 73 20 61 6c 72 65 61 64 79 20 e id is already
06f0: 61 63 74 69 76 65 2e 0a 09 61 73 79 6e 63 20 66 active...async f
0700: 6e 20 6e 65 77 20 28 72 75 6e 6e 69 6e 67 3a 20 n new (running:
0710: 26 41 72 63 3c 4d 75 74 65 78 3c 48 61 73 68 53 &Arc<Mutex<HashS
0720: 65 74 3c 69 33 32 3e 3e 3e 2c 20 6d 79 5f 69 64 et<i32>>>, my_id
0730: 3a 20 69 33 32 29 20 2d 3e 20 52 65 73 75 6c 74 : i32) -> Result
0740: 3c 54 6f 6b 65 6e 3e 20 7b 0a 09 09 6c 65 74 20 <Token> {...let
0750: 72 75 6e 6e 69 6e 67 20 3d 20 72 75 6e 6e 69 6e running = runnin
0760: 67 2e 63 6c 6f 6e 65 28 29 3b 0a 09 09 6c 65 74 g.clone();...let
0770: 20 6d 75 74 20 73 65 74 20 3d 20 72 75 6e 6e 69 mut set = runni
0780: 6e 67 2e 6c 6f 63 6b 5f 61 72 63 28 29 2e 61 77 ng.lock_arc().aw
0790: 61 69 74 3b 0a 09 09 69 66 20 73 65 74 2e 63 6f ait;...if set.co
07a0: 6e 74 61 69 6e 73 28 26 6d 79 5f 69 64 29 20 7b ntains(&my_id) {
07b0: 0a 09 09 09 62 61 69 6c 21 28 22 54 6f 6b 65 6e ....bail!("Token
07c0: 20 61 6c 72 65 61 64 79 20 74 61 6b 65 6e 22 29 already taken")
07d0: 3b 0a 09 09 7d 20 65 6c 73 65 20 7b 0a 09 09 09 ;...} else {....
07e0: 73 65 74 2e 69 6e 73 65 72 74 28 6d 79 5f 69 64 set.insert(my_id
07f0: 29 3b 0a 09 09 09 4f 6b 28 54 6f 6b 65 6e 20 7b );....Ok(Token {
0800: 0a 09 09 09 09 72 75 6e 6e 69 6e 67 2c 0a 09 09 .....running,...
0810: 09 09 6d 79 5f 69 64 2c 0a 09 09 09 7d 29 0a 09 ..my_id,....})..
0820: 09 7d 0a 09 7d 0a 7d 0a 0a 69 6d 70 6c 20 44 72 .}..}.}..impl Dr
0830: 6f 70 20 66 6f 72 20 54 6f 6b 65 6e 20 7b 0a 09 op for Token {..
0840: 2f 2f 2f 20 52 65 6c 65 61 73 65 73 20 74 68 69 /// Releases thi
0850: 73 20 74 6f 6b 65 6e 27 73 20 63 6c 61 69 6d 20 s token's claim
0860: 6f 6e 20 74 68 65 20 73 68 61 72 65 64 20 72 75 on the shared ru
0870: 6e 6e 69 6e 67 2d 73 65 74 20 77 68 65 6e 20 74 nning-set when t
0880: 68 65 20 74 6f 6b 65 6e 20 69 73 20 64 72 6f 70 he token is drop
0890: 70 65 64 2e 0a 09 2f 2f 2f 0a 09 2f 2f 2f 20 54 ped...///../// T
08a0: 68 65 20 74 6f 6b 65 6e 27 73 20 69 64 65 6e 74 he token's ident
08b0: 69 66 69 65 72 20 69 73 20 72 65 6d 6f 76 65 64 ifier is removed
08c0: 20 66 72 6f 6d 20 74 68 65 20 73 68 61 72 65 64 from the shared
08d0: 20 60 72 75 6e 6e 69 6e 67 60 20 73 65 74 20 73 `running` set s
08e0: 6f 20 74 68 61 74 20 66 75 74 75 72 65 0a 09 2f o that future../
08f0: 2f 2f 20 6f 70 65 72 61 74 69 6f 6e 73 20 66 6f // operations fo
0900: 72 20 74 68 65 20 73 61 6d 65 20 69 64 20 6d 61 r the same id ma
0910: 79 20 70 72 6f 63 65 65 64 2e 0a 09 66 6e 20 64 y proceed...fn d
0920: 72 6f 70 20 28 26 6d 75 74 20 73 65 6c 66 29 20 rop (&mut self)
0930: 7b 0a 09 09 73 6d 6f 6c 3a 3a 62 6c 6f 63 6b 5f {...smol::block_
0940: 6f 6e 28 61 73 79 6e 63 20 7b 0a 09 09 09 6c 65 on(async {....le
0950: 74 20 6d 75 74 20 73 65 74 20 3d 20 73 65 6c 66 t mut set = self
0960: 2e 72 75 6e 6e 69 6e 67 2e 6c 6f 63 6b 5f 61 72 .running.lock_ar
0970: 63 28 29 2e 61 77 61 69 74 3b 0a 09 09 09 73 65 c().await;....se
0980: 74 2e 72 65 6d 6f 76 65 28 26 73 65 6c 66 2e 6d t.remove(&self.m
0990: 79 5f 69 64 29 3b 0a 09 09 7d 29 0a 09 7d 0a 7d y_id);...})..}.}
09a0: 0a 0a 23 5b 64 65 72 69 76 65 28 43 6c 6f 6e 65 ..#[derive(Clone
09b0: 29 5d 0a 70 75 62 20 73 74 72 75 63 74 20 43 6f )].pub struct Co
09c0: 72 65 20 7b 0a 09 6f 77 6e 65 72 5f 63 68 61 74 re {..owner_chat
09d0: 3a 20 43 68 61 74 50 65 65 72 49 64 2c 0a 09 2f : ChatPeerId,../
09e0: 2f 20 6d 61 78 5f 64 65 6c 61 79 3a 20 75 31 36 / max_delay: u16
09f0: 2c 0a 09 70 75 62 20 74 67 3a 20 43 6c 69 65 6e ,..pub tg: Clien
0a00: 74 2c 0a 09 70 75 62 20 6d 65 3a 20 42 6f 74 2c t,..pub me: Bot,
0a10: 0a 09 70 75 62 20 64 62 3a 20 44 62 2c 0a 09 72 ..pub db: Db,..r
0a20: 75 6e 6e 69 6e 67 3a 20 41 72 63 3c 4d 75 74 65 unning: Arc<Mute
0a30: 78 3c 48 61 73 68 53 65 74 3c 69 33 32 3e 3e 3e x<HashSet<i32>>>
0a40: 2c 0a 09 68 74 74 70 5f 63 6c 69 65 6e 74 3a 20 ,..http_client:
0a50: 72 65 71 77 65 73 74 3a 3a 43 6c 69 65 6e 74 2c reqwest::Client,
0a60: 0a 7d 0a 0a 70 75 62 20 73 74 72 75 63 74 20 50 .}..pub struct P
0a70: 6f 73 74 20 7b 0a 09 75 72 69 3a 20 53 74 72 69 ost {..uri: Stri
0a80: 6e 67 2c 0a 09 74 69 74 6c 65 3a 20 53 74 72 69 ng,..title: Stri
0a90: 6e 67 2c 0a 09 61 75 74 68 6f 72 73 3a 20 53 74 ng,..authors: St
0aa0: 72 69 6e 67 2c 0a 09 73 75 6d 6d 61 72 79 3a 20 ring,..summary:
0ab0: 53 74 72 69 6e 67 2c 0a 7d 0a 0a 69 6d 70 6c 20 String,.}..impl
0ac0: 43 6f 72 65 20 7b 0a 09 2f 2f 2f 20 43 72 65 61 Core {../// Crea
0ad0: 74 65 20 61 20 43 6f 72 65 20 69 6e 73 74 61 6e te a Core instan
0ae0: 63 65 20 66 72 6f 6d 20 63 6f 6e 66 69 67 75 72 ce from configur
0af0: 61 74 69 6f 6e 20 61 6e 64 20 73 74 61 72 74 20 ation and start
0b00: 69 74 73 20 62 61 63 6b 67 72 6f 75 6e 64 20 61 its background a
0b10: 75 74 6f 66 65 74 63 68 20 6c 6f 6f 70 2e 0a 09 utofetch loop...
0b20: 2f 2f 2f 0a 09 2f 2f 2f 20 54 68 65 20 70 72 6f ///../// The pro
0b30: 76 69 64 65 64 20 60 73 65 74 74 69 6e 67 73 60 vided `settings`
0b40: 20 6d 75 73 74 20 69 6e 63 6c 75 64 65 3a 0a 09 must include:..
0b50: 2f 2f 2f 20 2d 20 60 6f 77 6e 65 72 60 20 28 69 /// - `owner` (i
0b60: 6e 74 65 67 65 72 29 3a 20 63 68 61 74 20 69 64 nteger): chat id
0b70: 20 74 6f 20 75 73 65 20 61 73 20 74 68 65 20 64 to use as the d
0b80: 65 66 61 75 6c 74 20 64 65 73 74 69 6e 61 74 69 efault destinati
0b90: 6f 6e 2c 0a 09 2f 2f 2f 20 2d 20 60 61 70 69 5f on,../// - `api_
0ba0: 6b 65 79 60 20 28 73 74 72 69 6e 67 29 3a 20 54 key` (string): T
0bb0: 65 6c 65 67 72 61 6d 20 62 6f 74 20 41 50 49 20 elegram bot API
0bc0: 6b 65 79 2c 0a 09 2f 2f 2f 20 2d 20 60 61 70 69 key,../// - `api
0bd0: 5f 67 61 74 65 77 61 79 60 20 28 73 74 72 69 6e _gateway` (strin
0be0: 67 29 3a 20 54 65 6c 65 67 72 61 6d 20 41 50 49 g): Telegram API
0bf0: 20 67 61 74 65 77 61 79 20 68 6f 73 74 2c 0a 09 gateway host,..
0c00: 2f 2f 2f 20 2d 20 60 70 67 60 20 28 73 74 72 69 /// - `pg` (stri
0c10: 6e 67 29 3a 20 50 6f 73 74 67 72 65 53 51 4c 20 ng): PostgreSQL
0c20: 63 6f 6e 6e 65 63 74 69 6f 6e 20 73 74 72 69 6e connection strin
0c30: 67 2c 0a 09 2f 2f 2f 20 2d 20 6f 70 74 69 6f 6e g,../// - option
0c40: 61 6c 20 60 70 72 6f 78 79 60 20 28 73 74 72 69 al `proxy` (stri
0c50: 6e 67 29 3a 20 70 72 6f 78 79 20 55 52 4c 20 66 ng): proxy URL f
0c60: 6f 72 20 74 68 65 20 48 54 54 50 20 63 6c 69 65 or the HTTP clie
0c70: 6e 74 2e 0a 09 2f 2f 2f 0a 09 2f 2f 2f 20 4f 6e nt...///../// On
0c80: 20 73 75 63 63 65 73 73 20 72 65 74 75 72 6e 73 success returns
0c90: 20 61 6e 20 69 6e 69 74 69 61 6c 69 7a 65 64 20 an initialized
0ca0: 60 43 6f 72 65 60 20 77 69 74 68 20 54 65 6c 65 `Core` with Tele
0cb0: 67 72 61 6d 20 61 6e 64 20 48 54 54 50 20 63 6c gram and HTTP cl
0cc0: 69 65 6e 74 73 2c 20 64 61 74 61 62 61 73 65 20 ients, database
0cd0: 63 6f 6e 6e 65 63 74 69 6f 6e 2c 0a 09 2f 2f 2f connection,..///
0ce0: 20 61 6e 20 65 6d 70 74 79 20 72 75 6e 6e 69 6e an empty runnin
0cf0: 67 20 73 65 74 20 66 6f 72 20 70 65 72 2d 69 64 g set for per-id
0d00: 20 74 6f 6b 65 6e 73 2c 20 61 6e 64 20 61 20 73 tokens, and a s
0d10: 70 61 77 6e 65 64 20 62 61 63 6b 67 72 6f 75 6e pawned backgroun
0d20: 64 20 74 61 73 6b 20 74 68 61 74 20 70 65 72 69 d task that peri
0d30: 6f 64 69 63 61 6c 6c 79 20 72 75 6e 73 0a 09 2f odically runs../
0d40: 2f 2f 20 60 61 75 74 6f 66 65 74 63 68 60 2e 20 // `autofetch`.
0d50: 49 66 20 61 6e 79 20 72 65 71 75 69 72 65 64 20 If any required
0d60: 73 65 74 74 69 6e 67 20 69 73 20 6d 69 73 73 69 setting is missi
0d70: 6e 67 20 6f 72 20 69 6e 69 74 69 61 6c 69 7a 61 ng or initializa
0d80: 74 69 6f 6e 20 66 61 69 6c 73 2c 20 61 6e 20 65 tion fails, an e
0d90: 72 72 6f 72 20 69 73 20 72 65 74 75 72 6e 65 64 rror is returned
0da0: 2e 0a 09 70 75 62 20 61 73 79 6e 63 20 66 6e 20 ...pub async fn
0db0: 6e 65 77 28 73 65 74 74 69 6e 67 73 3a 20 63 6f new(settings: co
0dc0: 6e 66 69 67 3a 3a 43 6f 6e 66 69 67 29 20 2d 3e nfig::Config) ->
0dd0: 20 52 65 73 75 6c 74 3c 43 6f 72 65 3e 20 7b 0a Result<Core> {.
0de0: 09 09 6c 65 74 20 6f 77 6e 65 72 5f 63 68 61 74 ..let owner_chat
0df0: 20 3d 20 43 68 61 74 50 65 65 72 49 64 3a 3a 66 = ChatPeerId::f
0e00: 72 6f 6d 28 73 65 74 74 69 6e 67 73 2e 67 65 74 rom(settings.get
0e10: 5f 69 6e 74 28 22 6f 77 6e 65 72 22 29 2e 73 74 _int("owner").st
0e20: 61 63 6b 28 29 3f 29 3b 0a 09 09 6c 65 74 20 61 ack()?);...let a
0e30: 70 69 5f 6b 65 79 20 3d 20 73 65 74 74 69 6e 67 pi_key = setting
0e40: 73 2e 67 65 74 5f 73 74 72 69 6e 67 28 22 61 70 s.get_string("ap
0e50: 69 5f 6b 65 79 22 29 2e 73 74 61 63 6b 28 29 3f i_key").stack()?
0e60: 3b 0a 09 09 6c 65 74 20 74 67 20 3d 20 43 6c 69 ;...let tg = Cli
0e70: 65 6e 74 3a 3a 6e 65 77 28 26 61 70 69 5f 6b 65 ent::new(&api_ke
0e80: 79 29 2e 73 74 61 63 6b 28 29 3f 0a 09 09 09 2e y).stack()?.....
0e90: 77 69 74 68 5f 68 6f 73 74 28 73 65 74 74 69 6e with_host(settin
0ea0: 67 73 2e 67 65 74 5f 73 74 72 69 6e 67 28 22 61 gs.get_string("a
0eb0: 70 69 5f 67 61 74 65 77 61 79 22 29 2e 73 74 61 pi_gateway").sta
0ec0: 63 6b 28 29 3f 29 3b 0a 0a 09 09 6c 65 74 20 6d ck()?);....let m
0ed0: 75 74 20 63 6c 69 65 6e 74 20 3d 20 72 65 71 77 ut client = reqw
0ee0: 65 73 74 3a 3a 43 6c 69 65 6e 74 3a 3a 62 75 69 est::Client::bui
0ef0: 6c 64 65 72 28 29 3b 0a 09 09 69 66 20 6c 65 74 lder();...if let
0f00: 20 4f 6b 28 70 72 6f 78 79 29 20 3d 20 73 65 74 Ok(proxy) = set
0f10: 74 69 6e 67 73 2e 67 65 74 5f 73 74 72 69 6e 67 tings.get_string
0f20: 28 22 70 72 6f 78 79 22 29 20 7b 0a 09 09 09 6c ("proxy") {....l
0f30: 65 74 20 70 72 6f 78 79 20 3d 20 72 65 71 77 65 et proxy = reqwe
0f40: 73 74 3a 3a 50 72 6f 78 79 3a 3a 61 6c 6c 28 70 st::Proxy::all(p
0f50: 72 6f 78 79 29 2e 73 74 61 63 6b 28 29 3f 3b 0a roxy).stack()?;.
0f60: 09 09 09 63 6c 69 65 6e 74 20 3d 20 63 6c 69 65 ...client = clie
0f70: 6e 74 2e 70 72 6f 78 79 28 70 72 6f 78 79 29 3b nt.proxy(proxy);
0f80: 0a 09 09 7d 0a 09 09 6c 65 74 20 68 74 74 70 5f ...}...let http_
0f90: 63 6c 69 65 6e 74 20 3d 20 63 6c 69 65 6e 74 2e client = client.
0fa0: 62 75 69 6c 64 28 29 2e 73 74 61 63 6b 28 29 3f build().stack()?
0fb0: 3b 0a 09 09 6c 65 74 20 6d 65 20 3d 20 74 67 2e ;...let me = tg.
0fc0: 65 78 65 63 75 74 65 28 47 65 74 42 6f 74 29 2e execute(GetBot).
0fd0: 61 77 61 69 74 2e 73 74 61 63 6b 28 29 3f 3b 0a await.stack()?;.
0fe0: 09 09 6c 65 74 20 63 6f 72 65 20 3d 20 43 6f 72 ..let core = Cor
0ff0: 65 20 7b 0a 09 09 09 74 67 2c 0a 09 09 09 6d 65 e {....tg,....me
1000: 2c 0a 09 09 09 6f 77 6e 65 72 5f 63 68 61 74 2c ,....owner_chat,
1010: 0a 09 09 09 64 62 3a 20 44 62 3a 3a 6e 65 77 28 ....db: Db::new(
1020: 26 73 65 74 74 69 6e 67 73 2e 67 65 74 5f 73 74 &settings.get_st
1030: 72 69 6e 67 28 22 70 67 22 29 2e 73 74 61 63 6b ring("pg").stack
1040: 28 29 3f 29 3f 2c 0a 09 09 09 72 75 6e 6e 69 6e ()?)?,....runnin
1050: 67 3a 20 41 72 63 3a 3a 6e 65 77 28 4d 75 74 65 g: Arc::new(Mute
1060: 78 3a 3a 6e 65 77 28 48 61 73 68 53 65 74 3a 3a x::new(HashSet::
1070: 6e 65 77 28 29 29 29 2c 0a 09 09 09 68 74 74 70 new())),....http
1080: 5f 63 6c 69 65 6e 74 2c 0a 09 09 09 2f 2f 20 6d _client,....// m
1090: 61 78 5f 64 65 6c 61 79 3a 20 36 30 2c 0a 09 09 ax_delay: 60,...
10a0: 7d 3b 0a 09 09 6c 65 74 20 63 6c 6f 6e 65 20 3d };...let clone =
10b0: 20 63 6f 72 65 2e 63 6c 6f 6e 65 28 29 3b 0a 09 core.clone();..
10c0: 09 73 6d 6f 6c 3a 3a 73 70 61 77 6e 28 43 6f 6d .smol::spawn(Com
10d0: 70 61 74 3a 3a 6e 65 77 28 61 73 79 6e 63 20 6d pat::new(async m
10e0: 6f 76 65 20 7b 0a 09 09 09 6c 6f 6f 70 20 7b 0a ove {....loop {.
10f0: 09 09 09 09 6c 65 74 20 64 65 6c 61 79 20 3d 20 ....let delay =
1100: 6d 61 74 63 68 20 26 63 6c 6f 6e 65 2e 61 75 74 match &clone.aut
1110: 6f 66 65 74 63 68 28 29 2e 61 77 61 69 74 20 7b ofetch().await {
1120: 0a 09 09 09 09 09 45 72 72 28 65 72 72 29 20 3d ......Err(err) =
1130: 3e 20 7b 0a 09 09 09 09 09 09 69 66 20 6c 65 74 > {.......if let
1140: 20 45 72 72 28 65 72 72 29 20 3d 20 63 6c 6f 6e Err(err) = clon
1150: 65 2e 73 65 6e 64 28 66 6f 72 6d 61 74 21 28 22 e.send(format!("
1160: f0 9f 9b 91 20 7b 65 72 72 7d 22 29 2c 20 4e 6f 🛑 {err}"), No
1170: 6e 65 2c 20 4e 6f 6e 65 29 2e 61 77 61 69 74 20 ne, None).await
1180: 7b 0a 09 09 09 09 09 09 09 65 70 72 69 6e 74 6c {........eprintl
1190: 6e 21 28 22 41 75 74 6f 66 65 74 63 68 20 65 72 n!("Autofetch er
11a0: 72 6f 72 3a 20 7b 65 72 72 3a 3f 7d 22 29 3b 0a ror: {err:?}");.
11b0: 09 09 09 09 09 09 7d 3b 0a 09 09 09 09 09 09 73 ......};.......s
11c0: 74 64 3a 3a 74 69 6d 65 3a 3a 44 75 72 61 74 69 td::time::Durati
11d0: 6f 6e 3a 3a 66 72 6f 6d 5f 73 65 63 73 28 36 30 on::from_secs(60
11e0: 29 0a 09 09 09 09 09 7d 2c 0a 09 09 09 09 09 4f )......},......O
11f0: 6b 28 74 69 6d 65 29 20 3d 3e 20 2a 74 69 6d 65 k(time) => *time
1200: 2c 0a 09 09 09 09 7d 3b 0a 09 09 09 09 54 69 6d ,.....};.....Tim
1210: 65 72 3a 3a 61 66 74 65 72 28 64 65 6c 61 79 29 er::after(delay)
1220: 2e 61 77 61 69 74 3b 0a 09 09 09 7d 0a 09 09 7d .await;....}...}
1230: 29 29 2e 64 65 74 61 63 68 28 29 3b 0a 09 09 4f )).detach();...O
1240: 6b 28 63 6f 72 65 29 0a 09 7d 0a 0a 09 70 75 62 k(core)..}...pub
1250: 20 61 73 79 6e 63 20 66 6e 20 73 65 6e 64 20 3c async fn send <
1260: 53 3e 28 26 73 65 6c 66 2c 20 6d 73 67 3a 20 53 S>(&self, msg: S
1270: 2c 20 74 61 72 67 65 74 3a 20 4f 70 74 69 6f 6e , target: Option
1280: 3c 43 68 61 74 50 65 65 72 49 64 3e 2c 20 6d 6f <ChatPeerId>, mo
1290: 64 65 3a 20 4f 70 74 69 6f 6e 3c 50 61 72 73 65 de: Option<Parse
12a0: 4d 6f 64 65 3e 29 20 2d 3e 20 52 65 73 75 6c 74 Mode>) -> Result
12b0: 3c 4d 65 73 73 61 67 65 3e 0a 09 77 68 65 72 65 <Message>..where
12c0: 20 53 3a 20 49 6e 74 6f 3c 53 74 72 69 6e 67 3e S: Into<String>
12d0: 20 7b 0a 09 09 6c 65 74 20 6d 73 67 20 3d 20 6d {...let msg = m
12e0: 73 67 2e 69 6e 74 6f 28 29 3b 0a 0a 09 09 6c 65 sg.into();....le
12f0: 74 20 6d 6f 64 65 20 3d 20 6d 6f 64 65 2e 75 6e t mode = mode.un
1300: 77 72 61 70 5f 6f 72 28 50 61 72 73 65 4d 6f 64 wrap_or(ParseMod
1310: 65 3a 3a 48 74 6d 6c 29 3b 0a 09 09 6c 65 74 20 e::Html);...let
1320: 74 61 72 67 65 74 20 3d 20 74 61 72 67 65 74 2e target = target.
1330: 75 6e 77 72 61 70 5f 6f 72 28 73 65 6c 66 2e 6f unwrap_or(self.o
1340: 77 6e 65 72 5f 63 68 61 74 29 3b 0a 09 09 73 65 wner_chat);...se
1350: 6c 66 2e 74 67 2e 65 78 65 63 75 74 65 28 0a 09 lf.tg.execute(..
1360: 09 09 53 65 6e 64 4d 65 73 73 61 67 65 3a 3a 6e ..SendMessage::n
1370: 65 77 28 74 61 72 67 65 74 2c 20 6d 73 67 29 0a ew(target, msg).
1380: 09 09 09 09 2e 77 69 74 68 5f 70 61 72 73 65 5f .....with_parse_
1390: 6d 6f 64 65 28 6d 6f 64 65 29 0a 09 09 29 2e 61 mode(mode)...).a
13a0: 77 61 69 74 2e 73 74 61 63 6b 28 29 0a 09 7d 0a wait.stack()..}.
13b0: 0a 09 2f 2f 2f 20 46 65 74 63 68 65 73 20 74 68 ../// Fetches th
13c0: 65 20 66 65 65 64 20 66 6f 72 20 61 20 73 6f 75 e feed for a sou
13d0: 72 63 65 2c 20 73 65 6e 64 73 20 61 6e 79 20 6e rce, sends any n
13e0: 65 77 6c 79 20 64 69 73 63 6f 76 65 72 65 64 20 ewly discovered
13f0: 70 6f 73 74 73 20 74 6f 20 74 68 65 20 61 70 70 posts to the app
1400: 72 6f 70 72 69 61 74 65 20 63 68 61 74 2c 20 61 ropriate chat, a
1410: 6e 64 20 72 65 63 6f 72 64 73 20 74 68 65 6d 20 nd records them
1420: 69 6e 20 74 68 65 20 64 61 74 61 62 61 73 65 2e in the database.
1430: 0a 09 2f 2f 2f 0a 09 2f 2f 2f 20 54 68 69 73 20 ..///../// This
1440: 61 63 71 75 69 72 65 73 20 61 20 70 65 72 2d 73 acquires a per-s
1450: 6f 75 72 63 65 20 67 75 61 72 64 20 74 6f 20 70 ource guard to p
1460: 72 65 76 65 6e 74 20 63 6f 6e 63 75 72 72 65 6e revent concurren
1470: 74 20 63 68 65 63 6b 73 20 66 6f 72 20 74 68 65 t checks for the
1480: 20 73 61 6d 65 20 60 69 64 60 2e 20 49 66 20 61 same `id`. If a
1490: 20 63 68 65 63 6b 20 69 73 20 61 6c 72 65 61 64 check is alread
14a0: 79 20 72 75 6e 6e 69 6e 67 20 66 6f 72 0a 09 2f y running for../
14b0: 2f 2f 20 74 68 65 20 67 69 76 65 6e 20 60 69 64 // the given `id
14c0: 60 2c 20 74 68 65 20 66 75 6e 63 74 69 6f 6e 20 `, the function
14d0: 72 65 74 75 72 6e 73 20 61 6e 20 65 72 72 6f 72 returns an error
14e0: 2e 20 49 66 20 60 6c 61 73 74 5f 73 63 72 61 70 . If `last_scrap
14f0: 65 60 20 69 73 20 70 72 6f 76 69 64 65 64 2c 20 e` is provided,
1500: 69 74 20 69 73 20 73 65 6e 74 20 61 73 20 74 68 it is sent as th
1510: 65 20 60 49 66 2d 4d 6f 64 69 66 69 65 64 2d 53 e `If-Modified-S
1520: 69 6e 63 65 60 0a 09 2f 2f 2f 20 68 65 61 64 65 ince`../// heade
1530: 72 20 74 6f 20 74 68 65 20 66 65 65 64 20 72 65 r to the feed re
1540: 71 75 65 73 74 2e 20 54 68 65 20 66 75 6e 63 74 quest. The funct
1550: 69 6f 6e 20 70 61 72 73 65 73 20 52 53 53 20 6f ion parses RSS o
1560: 72 20 41 74 6f 6d 20 66 65 65 64 73 2c 20 73 65 r Atom feeds, se
1570: 6e 64 73 20 75 6e 73 65 65 6e 20 70 6f 73 74 20 nds unseen post
1580: 55 52 4c 73 20 74 6f 20 65 69 74 68 65 72 20 74 URLs to either t
1590: 68 65 20 73 6f 75 72 63 65 27 73 0a 09 2f 2f 2f he source's..///
15a0: 20 63 68 61 6e 6e 65 6c 20 28 77 68 65 6e 20 60 channel (when `
15b0: 72 65 61 6c 60 20 69 73 20 74 72 75 65 29 20 6f real` is true) o
15c0: 72 20 74 68 65 20 73 6f 75 72 63 65 20 6f 77 6e r the source own
15d0: 65 72 20 28 77 68 65 6e 20 60 72 65 61 6c 60 20 er (when `real`
15e0: 69 73 20 66 61 6c 73 65 29 2c 20 61 6e 64 20 70 is false), and p
15f0: 65 72 73 69 73 74 73 20 70 6f 73 74 65 64 20 65 ersists posted e
1600: 6e 74 72 69 65 73 20 73 6f 20 74 68 65 79 20 61 ntries so they a
1610: 72 65 0a 09 2f 2f 2f 20 6e 6f 74 20 72 65 70 6f re../// not repo
1620: 73 74 65 64 20 6c 61 74 65 72 2e 0a 09 2f 2f 2f sted later...///
1630: 0a 09 2f 2f 2f 20 50 61 72 61 6d 65 74 65 72 73 ../// Parameters
1640: 3a 0a 09 2f 2f 2f 20 2d 20 60 69 64 60 3a 20 49 :../// - `id`: I
1650: 64 65 6e 74 69 66 69 65 72 20 6f 66 20 74 68 65 dentifier of the
1660: 20 73 6f 75 72 63 65 20 74 6f 20 63 68 65 63 6b source to check
1670: 2e 0a 09 2f 2f 2f 20 2d 20 60 72 65 61 6c 60 3a .../// - `real`:
1680: 20 57 68 65 6e 20 60 74 72 75 65 60 2c 20 73 65 When `true`, se
1690: 6e 64 20 70 6f 73 74 73 20 74 6f 20 74 68 65 20 nd posts to the
16a0: 73 6f 75 72 63 65 27 73 20 63 68 61 6e 6e 65 6c source's channel
16b0: 3b 20 77 68 65 6e 20 60 66 61 6c 73 65 60 2c 20 ; when `false`,
16c0: 73 65 6e 64 20 74 6f 20 74 68 65 20 73 6f 75 72 send to the sour
16d0: 63 65 20 6f 77 6e 65 72 2e 0a 09 2f 2f 2f 20 2d ce owner.../// -
16e0: 20 60 6c 61 73 74 5f 73 63 72 61 70 65 60 3a 20 `last_scrape`:
16f0: 4f 70 74 69 6f 6e 61 6c 20 74 69 6d 65 73 74 61 Optional timesta
1700: 6d 70 20 75 73 65 64 20 74 6f 20 73 65 74 20 74 mp used to set t
1710: 68 65 20 60 49 66 2d 4d 6f 64 69 66 69 65 64 2d he `If-Modified-
1720: 53 69 6e 63 65 60 20 68 65 61 64 65 72 20 66 6f Since` header fo
1730: 72 20 74 68 65 20 48 54 54 50 20 72 65 71 75 65 r the HTTP reque
1740: 73 74 2e 0a 09 2f 2f 2f 0a 09 2f 2f 2f 20 23 20 st...///../// #
1750: 52 65 74 75 72 6e 73 0a 09 2f 2f 2f 0a 09 2f 2f Returns..///..//
1760: 2f 20 60 50 6f 73 74 65 64 3a 20 4e 60 20 77 68 / `Posted: N` wh
1770: 65 72 65 20 60 4e 60 20 69 73 20 74 68 65 20 6e ere `N` is the n
1780: 75 6d 62 65 72 20 6f 66 20 70 6f 73 74 73 20 70 umber of posts p
1790: 72 6f 63 65 73 73 65 64 20 61 6e 64 20 73 65 6e rocessed and sen
17a0: 74 2e 0a 09 70 75 62 20 61 73 79 6e 63 20 66 6e t...pub async fn
17b0: 20 63 68 65 63 6b 20 28 26 73 65 6c 66 2c 20 69 check (&self, i
17c0: 64 3a 20 69 33 32 2c 20 72 65 61 6c 3a 20 62 6f d: i32, real: bo
17d0: 6f 6c 2c 20 6c 61 73 74 5f 73 63 72 61 70 65 3a ol, last_scrape:
17e0: 20 4f 70 74 69 6f 6e 3c 44 61 74 65 54 69 6d 65 Option<DateTime
17f0: 3c 4c 6f 63 61 6c 3e 3e 29 20 2d 3e 20 52 65 73 <Local>>) -> Res
1800: 75 6c 74 3c 53 74 72 69 6e 67 3e 20 7b 0a 09 09 ult<String> {...
1810: 6c 65 74 20 6d 75 74 20 70 6f 73 74 65 64 3a 20 let mut posted:
1820: 69 33 32 20 3d 20 30 3b 0a 09 09 6c 65 74 20 6d i32 = 0;...let m
1830: 75 74 20 63 6f 6e 6e 20 3d 20 73 65 6c 66 2e 64 ut conn = self.d
1840: 62 2e 62 65 67 69 6e 28 29 2e 61 77 61 69 74 2e b.begin().await.
1850: 73 74 61 63 6b 28 29 3f 3b 0a 0a 09 09 6c 65 74 stack()?;....let
1860: 20 5f 74 6f 6b 65 6e 20 3d 20 54 6f 6b 65 6e 3a _token = Token:
1870: 3a 6e 65 77 28 26 73 65 6c 66 2e 72 75 6e 6e 69 :new(&self.runni
1880: 6e 67 2c 20 69 64 29 2e 61 77 61 69 74 2e 73 74 ng, id).await.st
1890: 61 63 6b 28 29 3f 3b 0a 09 09 6c 65 74 20 73 6f ack()?;...let so
18a0: 75 72 63 65 20 3d 20 63 6f 6e 6e 2e 67 65 74 5f urce = conn.get_
18b0: 73 6f 75 72 63 65 28 69 64 2c 20 73 65 6c 66 2e source(id, self.
18c0: 6f 77 6e 65 72 5f 63 68 61 74 29 2e 61 77 61 69 owner_chat).awai
18d0: 74 2e 73 74 61 63 6b 28 29 3f 3b 0a 09 09 63 6f t.stack()?;...co
18e0: 6e 6e 2e 73 65 74 5f 73 63 72 61 70 65 28 69 64 nn.set_scrape(id
18f0: 29 2e 61 77 61 69 74 2e 73 74 61 63 6b 28 29 3f ).await.stack()?
1900: 3b 0a 09 09 6c 65 74 20 64 65 73 74 69 6e 61 74 ;...let destinat
1910: 69 6f 6e 20 3d 20 43 68 61 74 50 65 65 72 49 64 ion = ChatPeerId
1920: 3a 3a 66 72 6f 6d 28 6d 61 74 63 68 20 72 65 61 ::from(match rea
1930: 6c 20 7b 0a 09 09 09 74 72 75 65 20 3d 3e 20 73 l {....true => s
1940: 6f 75 72 63 65 2e 63 68 61 6e 6e 65 6c 5f 69 64 ource.channel_id
1950: 2c 0a 09 09 09 66 61 6c 73 65 20 3d 3e 20 73 6f ,....false => so
1960: 75 72 63 65 2e 6f 77 6e 65 72 2c 0a 09 09 7d 29 urce.owner,...})
1970: 3b 0a 09 09 6c 65 74 20 6d 75 74 20 74 68 69 73 ;...let mut this
1980: 5f 66 65 74 63 68 3a 20 4f 70 74 69 6f 6e 3c 44 _fetch: Option<D
1990: 61 74 65 54 69 6d 65 3c 63 68 72 6f 6e 6f 3a 3a ateTime<chrono::
19a0: 46 69 78 65 64 4f 66 66 73 65 74 3e 3e 20 3d 20 FixedOffset>> =
19b0: 4e 6f 6e 65 3b 0a 09 09 6c 65 74 20 6d 75 74 20 None;...let mut
19c0: 70 6f 73 74 73 3a 20 42 54 72 65 65 4d 61 70 3c posts: BTreeMap<
19d0: 44 61 74 65 54 69 6d 65 3c 63 68 72 6f 6e 6f 3a DateTime<chrono:
19e0: 3a 46 69 78 65 64 4f 66 66 73 65 74 3e 2c 20 50 :FixedOffset>, P
19f0: 6f 73 74 3e 20 3d 20 42 54 72 65 65 4d 61 70 3a ost> = BTreeMap:
1a00: 3a 6e 65 77 28 29 3b 0a 0a 09 09 6c 65 74 20 6d :new();....let m
1a10: 75 74 20 62 75 69 6c 64 65 72 20 3d 20 73 65 6c ut builder = sel
1a20: 66 2e 68 74 74 70 5f 63 6c 69 65 6e 74 2e 67 65 f.http_client.ge
1a30: 74 28 26 73 6f 75 72 63 65 2e 75 72 6c 29 3b 0a t(&source.url);.
1a40: 09 09 69 66 20 6c 65 74 20 53 6f 6d 65 28 6c 61 ..if let Some(la
1a50: 73 74 5f 73 63 72 61 70 65 29 20 3d 20 6c 61 73 st_scrape) = las
1a60: 74 5f 73 63 72 61 70 65 20 7b 0a 09 09 09 62 75 t_scrape {....bu
1a70: 69 6c 64 65 72 20 3d 20 62 75 69 6c 64 65 72 2e ilder = builder.
1a80: 68 65 61 64 65 72 28 4c 41 53 54 5f 4d 4f 44 49 header(LAST_MODI
1a90: 46 49 45 44 2c 20 6c 61 73 74 5f 73 63 72 61 70 FIED, last_scrap
1aa0: 65 2e 74 6f 5f 72 66 63 32 38 32 32 28 29 29 3b e.to_rfc2822());
1ab0: 0a 09 09 7d 3b 0a 09 09 6c 65 74 20 72 65 73 70 ...};...let resp
1ac0: 6f 6e 73 65 20 3d 20 62 75 69 6c 64 65 72 2e 73 onse = builder.s
1ad0: 65 6e 64 28 29 2e 61 77 61 69 74 2e 73 74 61 63 end().await.stac
1ae0: 6b 28 29 3f 3b 0a 09 09 7b 0a 09 09 09 6c 65 74 k()?;...{....let
1af0: 20 68 65 61 64 65 72 73 20 3d 20 72 65 73 70 6f headers = respo
1b00: 6e 73 65 2e 68 65 61 64 65 72 73 28 29 3b 0a 09 nse.headers();..
1b10: 09 09 6c 65 74 20 65 78 70 69 72 65 73 20 3d 20 ..let expires =
1b20: 68 65 61 64 65 72 73 2e 67 65 74 28 45 58 50 49 headers.get(EXPI
1b30: 52 45 53 29 3b 0a 09 09 09 6c 65 74 20 63 61 63 RES);....let cac
1b40: 68 65 20 3d 20 68 65 61 64 65 72 73 2e 67 65 74 he = headers.get
1b50: 28 43 41 43 48 45 5f 43 4f 4e 54 52 4f 4c 29 3b (CACHE_CONTROL);
1b60: 0a 09 09 09 69 66 20 65 78 70 69 72 65 73 2e 69 ....if expires.i
1b70: 73 5f 73 6f 6d 65 28 29 20 7c 7c 20 63 61 63 68 s_some() || cach
1b80: 65 2e 69 73 5f 73 6f 6d 65 28 29 20 7b 0a 09 09 e.is_some() {...
1b90: 09 09 70 72 69 6e 74 6c 6e 21 28 22 7b 7d 20 7b ..println!("{} {
1ba0: 7d 20 7b 3a 3f 7d 20 7b 3a 3f 7d 20 7b 3a 3f 7d } {:?} {:?} {:?}
1bb0: 22 2c 20 4c 6f 63 61 6c 3a 3a 6e 6f 77 28 29 2e ", Local::now().
1bc0: 74 6f 5f 72 66 63 32 38 32 32 28 29 2c 20 26 73 to_rfc2822(), &s
1bd0: 6f 75 72 63 65 2e 75 72 6c 2c 20 6c 61 73 74 5f ource.url, last_
1be0: 73 63 72 61 70 65 2c 20 65 78 70 69 72 65 73 2c scrape, expires,
1bf0: 20 63 61 63 68 65 29 3b 0a 09 09 09 7d 0a 09 09 cache);....}...
1c00: 7d 0a 09 09 6c 65 74 20 73 74 61 74 75 73 20 3d }...let status =
1c10: 20 72 65 73 70 6f 6e 73 65 2e 73 74 61 74 75 73 response.status
1c20: 28 29 3b 0a 09 09 6c 65 74 20 63 6f 6e 74 65 6e ();...let conten
1c30: 74 20 3d 20 72 65 73 70 6f 6e 73 65 2e 62 79 74 t = response.byt
1c40: 65 73 28 29 2e 61 77 61 69 74 2e 73 74 61 63 6b es().await.stack
1c50: 28 29 3f 3b 0a 09 09 6d 61 74 63 68 20 72 73 73 ()?;...match rss
1c60: 3a 3a 43 68 61 6e 6e 65 6c 3a 3a 72 65 61 64 5f ::Channel::read_
1c70: 66 72 6f 6d 28 26 63 6f 6e 74 65 6e 74 5b 2e 2e from(&content[..
1c80: 5d 29 20 7b 0a 09 09 09 4f 6b 28 66 65 65 64 29 ]) {....Ok(feed)
1c90: 20 3d 3e 20 7b 0a 09 09 09 09 66 6f 72 20 69 74 => {.....for it
1ca0: 65 6d 20 69 6e 20 66 65 65 64 2e 69 74 65 6d 73 em in feed.items
1cb0: 28 29 20 7b 0a 09 09 09 09 09 69 66 20 6c 65 74 () {......if let
1cc0: 20 53 6f 6d 65 28 6c 69 6e 6b 29 20 3d 20 69 74 Some(link) = it
1cd0: 65 6d 2e 6c 69 6e 6b 28 29 20 7b 0a 09 09 09 09 em.link() {.....
1ce0: 09 09 6c 65 74 20 64 61 74 65 20 3d 20 6d 61 74 ..let date = mat
1cf0: 63 68 20 69 74 65 6d 2e 70 75 62 5f 64 61 74 65 ch item.pub_date
1d00: 28 29 20 7b 0a 09 09 09 09 09 09 09 53 6f 6d 65 () {........Some
1d10: 28 66 65 65 64 5f 64 61 74 65 29 20 3d 3e 20 44 (feed_date) => D
1d20: 61 74 65 54 69 6d 65 3a 3a 70 61 72 73 65 5f 66 ateTime::parse_f
1d30: 72 6f 6d 5f 72 66 63 32 38 32 32 28 66 65 65 64 rom_rfc2822(feed
1d40: 5f 64 61 74 65 29 2c 0a 09 09 09 09 09 09 09 4e _date),........N
1d50: 6f 6e 65 20 3d 3e 20 44 61 74 65 54 69 6d 65 3a one => DateTime:
1d60: 3a 70 61 72 73 65 5f 66 72 6f 6d 5f 72 66 63 33 :parse_from_rfc3
1d70: 33 33 39 28 6d 61 74 63 68 20 69 74 65 6d 2e 64 339(match item.d
1d80: 75 62 6c 69 6e 5f 63 6f 72 65 5f 65 78 74 28 29 ublin_core_ext()
1d90: 20 7b 0a 09 09 09 09 09 09 09 09 53 6f 6d 65 28 {.........Some(
1da0: 65 78 74 29 20 3d 3e 20 7b 0a 09 09 09 09 09 09 ext) => {.......
1db0: 09 09 09 6c 65 74 20 64 61 74 65 73 20 3d 20 65 ...let dates = e
1dc0: 78 74 2e 64 61 74 65 73 28 29 3b 0a 09 09 09 09 xt.dates();.....
1dd0: 09 09 09 09 09 69 66 20 64 61 74 65 73 2e 69 73 .....if dates.is
1de0: 5f 65 6d 70 74 79 28 29 20 7b 0a 09 09 09 09 09 _empty() {......
1df0: 09 09 09 09 09 62 61 69 6c 21 28 22 46 65 65 64 .....bail!("Feed
1e00: 20 69 74 65 6d 20 68 61 73 20 44 75 62 6c 69 6e item has Dublin
1e10: 20 43 6f 72 65 20 65 78 74 65 6e 73 69 6f 6e 20 Core extension
1e20: 62 75 74 20 6e 6f 20 64 61 74 65 73 2e 22 29 0a but no dates.").
1e30: 09 09 09 09 09 09 09 09 09 7d 20 65 6c 73 65 20 .........} else
1e40: 7b 0a 09 09 09 09 09 09 09 09 09 09 26 64 61 74 {...........&dat
1e50: 65 73 5b 30 5d 0a 09 09 09 09 09 09 09 09 09 7d es[0]..........}
1e60: 0a 09 09 09 09 09 09 09 09 7d 2c 0a 09 09 09 09 .........},.....
1e70: 09 09 09 09 4e 6f 6e 65 20 3d 3e 20 62 61 69 6c ....None => bail
1e80: 21 28 22 46 65 65 64 20 69 74 65 6d 20 6d 69 73 !("Feed item mis
1e90: 73 65 73 20 70 6f 73 74 69 6e 67 20 64 61 74 65 ses posting date
1ea0: 2e 22 29 2c 0a 09 09 09 09 09 09 09 7d 29 2c 0a ."),........}),.
1eb0: 09 09 09 09 09 09 7d 2e 73 74 61 63 6b 28 29 3f ......}.stack()?
1ec0: 3b 0a 09 09 09 09 09 09 6c 65 74 20 75 72 69 20 ;.......let uri
1ed0: 3d 20 6c 69 6e 6b 2e 74 6f 5f 73 74 72 69 6e 67 = link.to_string
1ee0: 28 29 3b 0a 09 09 09 09 09 09 6c 65 74 20 74 69 ();.......let ti
1ef0: 74 6c 65 20 3d 20 69 74 65 6d 2e 74 69 74 6c 65 tle = item.title
1f00: 28 29 2e 75 6e 77 72 61 70 5f 6f 72 28 22 22 29 ().unwrap_or("")
1f10: 2e 74 6f 5f 73 74 72 69 6e 67 28 29 3b 0a 09 09 .to_string();...
1f20: 09 09 09 09 6c 65 74 20 61 75 74 68 6f 72 73 20 ....let authors
1f30: 3d 20 69 74 65 6d 2e 61 75 74 68 6f 72 28 29 2e = item.author().
1f40: 75 6e 77 72 61 70 5f 6f 72 28 22 22 29 2e 74 6f unwrap_or("").to
1f50: 5f 73 74 72 69 6e 67 28 29 3b 0a 09 09 09 09 09 _string();......
1f60: 09 6c 65 74 20 73 75 6d 6d 61 72 79 20 3d 20 69 .let summary = i
1f70: 74 65 6d 2e 63 6f 6e 74 65 6e 74 28 29 2e 75 6e tem.content().un
1f80: 77 72 61 70 5f 6f 72 28 22 22 29 2e 74 6f 5f 73 wrap_or("").to_s
1f90: 74 72 69 6e 67 28 29 3b 0a 09 09 09 09 09 09 70 tring();.......p
1fa0: 6f 73 74 73 2e 69 6e 73 65 72 74 28 64 61 74 65 osts.insert(date
1fb0: 2c 20 50 6f 73 74 7b 0a 09 09 09 09 09 09 09 75 , Post{........u
1fc0: 72 69 2c 0a 09 09 09 09 09 09 09 74 69 74 6c 65 ri,........title
1fd0: 2c 0a 09 09 09 09 09 09 09 61 75 74 68 6f 72 73 ,........authors
1fe0: 2c 0a 09 09 09 09 09 09 09 73 75 6d 6d 61 72 79 ,........summary
1ff0: 2c 0a 09 09 09 09 09 09 7d 29 3b 0a 09 09 09 09 ,.......});.....
2000: 09 7d 0a 09 09 09 09 7d 3b 0a 09 09 09 7d 2c 0a .}.....};....},.
2010: 09 09 09 45 72 72 28 65 72 72 29 20 3d 3e 20 6d ...Err(err) => m
2020: 61 74 63 68 20 65 72 72 20 7b 0a 09 09 09 09 72 atch err {.....r
2030: 73 73 3a 3a 45 72 72 6f 72 3a 3a 49 6e 76 61 6c ss::Error::Inval
2040: 69 64 53 74 61 72 74 54 61 67 20 3d 3e 20 7b 0a idStartTag => {.
2050: 09 09 09 09 09 6d 61 74 63 68 20 61 74 6f 6d 5f .....match atom_
2060: 73 79 6e 64 69 63 61 74 69 6f 6e 3a 3a 46 65 65 syndication::Fee
2070: 64 3a 3a 72 65 61 64 5f 66 72 6f 6d 28 26 63 6f d::read_from(&co
2080: 6e 74 65 6e 74 5b 2e 2e 5d 29 20 7b 0a 09 09 09 ntent[..]) {....
2090: 09 09 09 4f 6b 28 66 65 65 64 29 20 3d 3e 20 7b ...Ok(feed) => {
20a0: 0a 09 09 09 09 09 09 09 66 6f 72 20 69 74 65 6d ........for item
20b0: 20 69 6e 20 66 65 65 64 2e 65 6e 74 72 69 65 73 in feed.entries
20c0: 28 29 20 7b 0a 09 09 09 09 09 09 09 09 6c 65 74 () {.........let
20d0: 20 64 61 74 65 20 3d 20 69 74 65 6d 2e 70 75 62 date = item.pub
20e0: 6c 69 73 68 65 64 28 29 2e 75 6e 77 72 61 70 28 lished().unwrap(
20f0: 29 3b 0a 09 09 09 09 09 09 09 09 6c 65 74 20 75 );.........let u
2100: 72 69 20 3d 20 69 74 65 6d 2e 6c 69 6e 6b 73 28 ri = item.links(
2110: 29 5b 30 5d 2e 68 72 65 66 28 29 2e 74 6f 5f 73 )[0].href().to_s
2120: 74 72 69 6e 67 28 29 3b 0a 09 09 09 09 09 09 09 tring();........
2130: 09 6c 65 74 20 74 69 74 6c 65 20 3d 20 69 74 65 .let title = ite
2140: 6d 2e 74 69 74 6c 65 28 29 2e 74 6f 5f 73 74 72 m.title().to_str
2150: 69 6e 67 28 29 3b 0a 09 09 09 09 09 09 09 09 6c ing();.........l
2160: 65 74 20 61 75 74 68 6f 72 73 20 3d 20 69 74 65 et authors = ite
2170: 6d 2e 61 75 74 68 6f 72 73 28 29 2e 69 74 65 72 m.authors().iter
2180: 28 29 2e 6d 61 70 28 7c 78 7c 20 66 6f 72 6d 61 ().map(|x| forma
2190: 74 21 28 22 7b 7d 20 3c 7b 3a 3f 7d 3e 22 2c 20 t!("{} <{:?}>",
21a0: 78 2e 6e 61 6d 65 28 29 2c 20 78 2e 65 6d 61 69 x.name(), x.emai
21b0: 6c 28 29 29 29 2e 63 6f 6c 6c 65 63 74 3a 3a 3c l())).collect::<
21c0: 56 65 63 3c 53 74 72 69 6e 67 3e 3e 28 29 2e 6a Vec<String>>().j
21d0: 6f 69 6e 28 22 2c 20 22 29 3b 0a 09 09 09 09 09 oin(", ");......
21e0: 09 09 09 6c 65 74 20 73 75 6d 6d 61 72 79 20 3d ...let summary =
21f0: 20 69 66 20 6c 65 74 20 53 6f 6d 65 28 73 75 6d if let Some(sum
2200: 29 20 3d 20 69 74 65 6d 2e 73 75 6d 6d 61 72 79 ) = item.summary
2210: 28 29 20 7b 20 73 75 6d 2e 76 61 6c 75 65 2e 63 () { sum.value.c
2220: 6c 6f 6e 65 28 29 20 7d 20 65 6c 73 65 20 7b 20 lone() } else {
2230: 53 74 72 69 6e 67 3a 3a 6e 65 77 28 29 20 7d 3b String::new() };
2240: 0a 09 09 09 09 09 09 09 09 70 6f 73 74 73 2e 69 .........posts.i
2250: 6e 73 65 72 74 28 2a 64 61 74 65 2c 20 50 6f 73 nsert(*date, Pos
2260: 74 7b 0a 09 09 09 09 09 09 09 09 09 75 72 69 2c t{..........uri,
2270: 0a 09 09 09 09 09 09 09 09 09 74 69 74 6c 65 2c ..........title,
2280: 0a 09 09 09 09 09 09 09 09 09 61 75 74 68 6f 72 ..........author
2290: 73 2c 0a 09 09 09 09 09 09 09 09 09 73 75 6d 6d s,..........summ
22a0: 61 72 79 2c 0a 09 09 09 09 09 09 09 09 7d 29 3b ary,.........});
22b0: 0a 09 09 09 09 09 09 09 7d 3b 0a 09 09 09 09 09 ........};......
22c0: 09 7d 2c 0a 09 09 09 09 09 09 45 72 72 28 65 72 .},.......Err(er
22d0: 72 29 20 3d 3e 20 7b 0a 09 09 09 09 09 09 09 62 r) => {........b
22e0: 61 69 6c 21 28 22 55 6e 73 75 70 70 6f 72 74 65 ail!("Unsupporte
22f0: 64 20 6f 72 20 6d 61 6e 67 6c 65 64 20 63 6f 6e d or mangled con
2300: 74 65 6e 74 3a 5c 6e 7b 3a 3f 7d 5c 6e 7b 65 72 tent:\n{:?}\n{er
2310: 72 7d 5c 6e 7b 73 74 61 74 75 73 3a 23 3f 7d 5c r}\n{status:#?}\
2320: 6e 22 2c 20 26 73 6f 75 72 63 65 2e 75 72 6c 29 n", &source.url)
2330: 0a 09 09 09 09 09 09 7d 2c 0a 09 09 09 09 09 7d .......},......}
2340: 0a 09 09 09 09 7d 2c 0a 09 09 09 09 72 73 73 3a .....},.....rss:
2350: 3a 45 72 72 6f 72 3a 3a 45 6f 66 20 3d 3e 20 28 :Error::Eof => (
2360: 29 2c 0a 09 09 09 09 5f 20 3d 3e 20 62 61 69 6c ),....._ => bail
2370: 21 28 22 55 6e 73 75 70 70 6f 72 74 65 64 20 6f !("Unsupported o
2380: 72 20 6d 61 6e 67 6c 65 64 20 63 6f 6e 74 65 6e r mangled conten
2390: 74 3a 5c 6e 7b 3a 3f 7d 5c 6e 7b 65 72 72 7d 5c t:\n{:?}\n{err}\
23a0: 6e 7b 73 74 61 74 75 73 3a 23 3f 7d 5c 6e 22 2c n{status:#?}\n",
23b0: 20 26 73 6f 75 72 63 65 2e 75 72 6c 29 0a 09 09 &source.url)...
23c0: 09 7d 0a 09 09 7d 3b 0a 09 09 66 6f 72 20 28 64 .}...};...for (d
23d0: 61 74 65 2c 20 70 6f 73 74 29 20 69 6e 20 70 6f ate, post) in po
23e0: 73 74 73 2e 69 74 65 72 28 29 20 7b 0a 09 09 09 sts.iter() {....
23f0: 6c 65 74 20 70 6f 73 74 5f 75 72 6c 3a 20 43 6f let post_url: Co
2400: 77 3c 73 74 72 3e 20 3d 20 6d 61 74 63 68 20 73 w<str> = match s
2410: 6f 75 72 63 65 2e 75 72 6c 5f 72 65 20 7b 0a 09 ource.url_re {..
2420: 09 09 09 53 6f 6d 65 28 72 65 66 20 78 29 20 3d ...Some(ref x) =
2430: 3e 20 73 65 64 72 65 67 65 78 3a 3a 52 65 70 6c > sedregex::Repl
2440: 61 63 65 43 6f 6d 6d 61 6e 64 3a 3a 6e 65 77 28 aceCommand::new(
2450: 78 29 2e 73 74 61 63 6b 28 29 3f 2e 65 78 65 63 x).stack()?.exec
2460: 75 74 65 28 26 70 6f 73 74 2e 75 72 69 29 2c 0a ute(&post.uri),.
2470: 09 09 09 09 4e 6f 6e 65 20 3d 3e 20 70 6f 73 74 ....None => post
2480: 2e 75 72 69 2e 63 6c 6f 6e 65 28 29 2e 69 6e 74 .uri.clone().int
2490: 6f 28 29 2c 0a 09 09 09 7d 3b 0a 09 09 09 69 66 o(),....};....if
24a0: 20 6c 65 74 20 53 6f 6d 65 28 65 78 69 73 74 73 let Some(exists
24b0: 29 20 3d 20 63 6f 6e 6e 2e 65 78 69 73 74 73 28 ) = conn.exists(
24c0: 26 70 6f 73 74 5f 75 72 6c 2c 20 69 64 29 2e 61 &post_url, id).a
24d0: 77 61 69 74 2e 73 74 61 63 6b 28 29 3f 20 7b 0a wait.stack()? {.
24e0: 09 09 09 09 69 66 20 21 20 65 78 69 73 74 73 20 ....if ! exists
24f0: 7b 0a 09 09 09 09 09 69 66 20 74 68 69 73 5f 66 {......if this_f
2500: 65 74 63 68 2e 69 73 5f 6e 6f 6e 65 28 29 20 7c etch.is_none() |
2510: 7c 20 2a 64 61 74 65 20 3e 20 74 68 69 73 5f 66 | *date > this_f
2520: 65 74 63 68 2e 75 6e 77 72 61 70 28 29 20 7b 0a etch.unwrap() {.
2530: 09 09 09 09 09 09 74 68 69 73 5f 66 65 74 63 68 ......this_fetch
2540: 20 3d 20 53 6f 6d 65 28 2a 64 61 74 65 29 3b 0a = Some(*date);.
2550: 09 09 09 09 09 7d 3b 0a 09 09 09 09 09 73 65 6c .....};......sel
2560: 66 2e 73 65 6e 64 28 20 6d 61 74 63 68 20 26 73 f.send( match &s
2570: 6f 75 72 63 65 2e 69 76 5f 68 61 73 68 20 7b 0a ource.iv_hash {.
2580: 09 09 09 09 09 09 53 6f 6d 65 28 68 61 73 68 29 ......Some(hash)
2590: 20 3d 3e 20 66 6f 72 6d 61 74 21 28 22 3c 61 20 => format!("<a
25a0: 68 72 65 66 3d 5c 22 68 74 74 70 73 3a 2f 2f 74 href=\"https://t
25b0: 2e 6d 65 2f 69 76 3f 75 72 6c 3d 7b 70 6f 73 74 .me/iv?url={post
25c0: 5f 75 72 6c 7d 26 72 68 61 73 68 3d 7b 68 61 73 _url}&rhash={has
25d0: 68 7d 5c 22 3e 20 3c 2f 61 3e 7b 70 6f 73 74 5f h}\"> </a>{post_
25e0: 75 72 6c 7d 22 29 2c 0a 09 09 09 09 09 09 4e 6f url}"),.......No
25f0: 6e 65 20 3d 3e 20 66 6f 72 6d 61 74 21 28 22 7b ne => format!("{
2600: 70 6f 73 74 5f 75 72 6c 7d 22 29 2c 0a 09 09 09 post_url}"),....
2610: 09 09 7d 2c 20 53 6f 6d 65 28 64 65 73 74 69 6e ..}, Some(destin
2620: 61 74 69 6f 6e 29 2c 20 53 6f 6d 65 28 50 61 72 ation), Some(Par
2630: 73 65 4d 6f 64 65 3a 3a 48 74 6d 6c 29 29 2e 61 seMode::Html)).a
2640: 77 61 69 74 2e 73 74 61 63 6b 28 29 3f 3b 0a 09 wait.stack()?;..
2650: 09 09 09 09 63 6f 6e 6e 2e 61 64 64 5f 70 6f 73 ....conn.add_pos
2660: 74 28 69 64 2c 20 64 61 74 65 2c 20 26 70 6f 73 t(id, date, &pos
2670: 74 5f 75 72 6c 29 2e 61 77 61 69 74 2e 73 74 61 t_url).await.sta
2680: 63 6b 28 29 3f 3b 0a 09 09 09 09 7d 3b 0a 09 09 ck()?;.....};...
2690: 09 7d 3b 0a 09 09 09 70 6f 73 74 65 64 20 2b 3d .};....posted +=
26a0: 20 31 3b 0a 09 09 7d 3b 0a 09 09 70 6f 73 74 73 1;...};...posts
26b0: 2e 63 6c 65 61 72 28 29 3b 0a 09 09 4f 6b 28 66 .clear();...Ok(f
26c0: 6f 72 6d 61 74 21 28 22 50 6f 73 74 65 64 3a 20 ormat!("Posted:
26d0: 7b 70 6f 73 74 65 64 7d 22 29 29 0a 09 7d 0a 0a {posted}"))..}..
26e0: 09 61 73 79 6e 63 20 66 6e 20 61 75 74 6f 66 65 .async fn autofe
26f0: 74 63 68 28 26 73 65 6c 66 29 20 2d 3e 20 52 65 tch(&self) -> Re
2700: 73 75 6c 74 3c 73 74 64 3a 3a 74 69 6d 65 3a 3a sult<std::time::
2710: 44 75 72 61 74 69 6f 6e 3e 20 7b 0a 09 09 6c 65 Duration> {...le
2720: 74 20 6d 75 74 20 64 65 6c 61 79 20 3d 20 63 68 t mut delay = ch
2730: 72 6f 6e 6f 3a 3a 44 75 72 61 74 69 6f 6e 3a 3a rono::Duration::
2740: 6d 69 6e 75 74 65 73 28 31 29 3b 0a 09 09 6c 65 minutes(1);...le
2750: 74 20 6e 6f 77 20 3d 20 63 68 72 6f 6e 6f 3a 3a t now = chrono::
2760: 4c 6f 63 61 6c 3a 3a 6e 6f 77 28 29 3b 0a 09 09 Local::now();...
2770: 6c 65 74 20 71 75 65 75 65 20 3d 20 7b 0a 09 09 let queue = {...
2780: 09 6c 65 74 20 6d 75 74 20 63 6f 6e 6e 20 3d 20 .let mut conn =
2790: 73 65 6c 66 2e 64 62 2e 62 65 67 69 6e 28 29 2e self.db.begin().
27a0: 61 77 61 69 74 2e 73 74 61 63 6b 28 29 3f 3b 0a await.stack()?;.
27b0: 09 09 09 63 6f 6e 6e 2e 67 65 74 5f 71 75 65 75 ...conn.get_queu
27c0: 65 28 29 2e 61 77 61 69 74 2e 73 74 61 63 6b 28 e().await.stack(
27d0: 29 3f 0a 09 09 7d 3b 0a 09 09 66 6f 72 20 72 6f )?...};...for ro
27e0: 77 20 69 6e 20 71 75 65 75 65 20 7b 0a 09 09 09 w in queue {....
27f0: 69 66 20 6c 65 74 20 53 6f 6d 65 28 6e 65 78 74 if let Some(next
2800: 5f 66 65 74 63 68 29 20 3d 20 72 6f 77 2e 6e 65 _fetch) = row.ne
2810: 78 74 5f 66 65 74 63 68 20 7b 0a 09 09 09 09 69 xt_fetch {.....i
2820: 66 20 6e 65 78 74 5f 66 65 74 63 68 20 3c 20 6e f next_fetch < n
2830: 6f 77 20 7b 0a 09 09 09 09 09 69 66 20 6c 65 74 ow {......if let
2840: 20 28 53 6f 6d 65 28 6f 77 6e 65 72 29 2c 20 53 (Some(owner), S
2850: 6f 6d 65 28 73 6f 75 72 63 65 5f 69 64 29 2c 20 ome(source_id),
2860: 6c 61 73 74 5f 73 63 72 61 70 65 29 20 3d 20 28 last_scrape) = (
2870: 72 6f 77 2e 6f 77 6e 65 72 2c 20 72 6f 77 2e 73 row.owner, row.s
2880: 6f 75 72 63 65 5f 69 64 2c 20 72 6f 77 2e 6c 61 ource_id, row.la
2890: 73 74 5f 73 63 72 61 70 65 29 20 7b 0a 09 09 09 st_scrape) {....
28a0: 09 09 09 6c 65 74 20 63 6c 6f 6e 65 20 3d 20 43 ...let clone = C
28b0: 6f 72 65 20 7b 0a 09 09 09 09 09 09 09 6f 77 6e ore {........own
28c0: 65 72 5f 63 68 61 74 3a 20 43 68 61 74 50 65 65 er_chat: ChatPee
28d0: 72 49 64 3a 3a 66 72 6f 6d 28 6f 77 6e 65 72 29 rId::from(owner)
28e0: 2c 0a 09 09 09 09 09 09 09 2e 2e 73 65 6c 66 2e ,..........self.
28f0: 63 6c 6f 6e 65 28 29 0a 09 09 09 09 09 09 7d 3b clone().......};
2900: 0a 09 09 09 09 09 09 6c 65 74 20 73 6f 75 72 63 .......let sourc
2910: 65 20 3d 20 7b 0a 09 09 09 09 09 09 09 6c 65 74 e = {........let
2920: 20 6d 75 74 20 63 6f 6e 6e 20 3d 20 73 65 6c 66 mut conn = self
2930: 2e 64 62 2e 62 65 67 69 6e 28 29 2e 61 77 61 69 .db.begin().awai
2940: 74 2e 73 74 61 63 6b 28 29 3f 3b 0a 09 09 09 09 t.stack()?;.....
2950: 09 09 09 6d 61 74 63 68 20 63 6f 6e 6e 2e 67 65 ...match conn.ge
2960: 74 5f 6f 6e 65 28 6f 77 6e 65 72 2c 20 73 6f 75 t_one(owner, sou
2970: 72 63 65 5f 69 64 29 2e 61 77 61 69 74 20 7b 0a rce_id).await {.
2980: 09 09 09 09 09 09 09 09 4f 6b 28 53 6f 6d 65 28 ........Ok(Some(
2990: 73 6f 75 72 63 65 29 29 20 3d 3e 20 73 6f 75 72 source)) => sour
29a0: 63 65 2e 74 6f 5f 73 74 72 69 6e 67 28 29 2c 0a ce.to_string(),.
29b0: 09 09 09 09 09 09 09 09 4f 6b 28 4e 6f 6e 65 29 ........Ok(None)
29c0: 20 3d 3e 20 22 53 6f 75 72 63 65 20 6e 6f 74 20 => "Source not
29d0: 66 6f 75 6e 64 20 69 6e 20 64 61 74 61 62 61 73 found in databas
29e0: 65 3f 22 2e 74 6f 5f 73 74 72 69 6e 67 28 29 2c e?".to_string(),
29f0: 0a 09 09 09 09 09 09 09 09 45 72 72 28 65 72 72 .........Err(err
2a00: 29 20 3d 3e 20 66 6f 72 6d 61 74 21 28 22 46 61 ) => format!("Fa
2a10: 69 6c 65 64 20 74 6f 20 66 65 74 63 68 20 73 6f iled to fetch so
2a20: 75 72 63 65 20 64 61 74 61 3a 5c 6e 7b 65 72 72 urce data:\n{err
2a30: 7d 22 29 2c 0a 09 09 09 09 09 09 09 7d 0a 09 09 }"),........}...
2a40: 09 09 09 09 7d 3b 0a 09 09 09 09 09 09 73 6d 6f ....};.......smo
2a50: 6c 3a 3a 73 70 61 77 6e 28 43 6f 6d 70 61 74 3a l::spawn(Compat:
2a60: 3a 6e 65 77 28 61 73 79 6e 63 20 6d 6f 76 65 20 :new(async move
2a70: 7b 0a 09 09 09 09 09 09 09 69 66 20 6c 65 74 20 {........if let
2a80: 45 72 72 28 65 72 72 29 20 3d 20 63 6c 6f 6e 65 Err(err) = clone
2a90: 2e 63 68 65 63 6b 28 73 6f 75 72 63 65 5f 69 64 .check(source_id
2aa0: 2c 20 74 72 75 65 2c 20 53 6f 6d 65 28 6c 61 73 , true, Some(las
2ab0: 74 5f 73 63 72 61 70 65 29 29 2e 61 77 61 69 74 t_scrape)).await
2ac0: 20 7b 0a 09 09 09 09 09 09 09 09 69 66 20 6c 65 {.........if le
2ad0: 74 20 45 72 72 28 65 72 72 29 20 3d 20 63 6c 6f t Err(err) = clo
2ae0: 6e 65 2e 73 65 6e 64 28 26 66 6f 72 6d 61 74 21 ne.send(&format!
2af0: 28 22 f0 9f 9b 91 20 7b 73 6f 75 72 63 65 7d 5c ("🛑 {source}\
2b00: 6e 7b 7d 22 2c 20 65 6e 63 6f 64 65 28 26 65 72 n{}", encode(&er
2b10: 72 2e 74 6f 5f 73 74 72 69 6e 67 28 29 29 29 2c r.to_string())),
2b20: 20 4e 6f 6e 65 2c 20 53 6f 6d 65 28 50 61 72 73 None, Some(Pars
2b30: 65 4d 6f 64 65 3a 3a 4d 61 72 6b 64 6f 77 6e 56 eMode::MarkdownV
2b40: 32 29 29 2e 61 77 61 69 74 20 7b 0a 09 09 09 09 2)).await {.....
2b50: 09 09 09 09 09 65 70 72 69 6e 74 6c 6e 21 28 22 .....eprintln!("
2b60: 43 68 65 63 6b 20 65 72 72 6f 72 3a 20 7b 65 72 Check error: {er
2b70: 72 7d 22 29 3b 0a 09 09 09 09 09 09 09 09 09 2f r}");........../
2b80: 2f 20 63 6c 6f 6e 65 2e 64 69 73 61 62 6c 65 28 / clone.disable(
2b90: 26 73 6f 75 72 63 65 5f 69 64 2c 20 6f 77 6e 65 &source_id, owne
2ba0: 72 29 2e 61 77 61 69 74 2e 75 6e 77 72 61 70 28 r).await.unwrap(
2bb0: 29 3b 0a 09 09 09 09 09 09 09 09 7d 3b 0a 09 09 );.........};...
2bc0: 09 09 09 09 09 7d 3b 0a 09 09 09 09 09 09 7d 29 .....};.......})
2bd0: 29 2e 64 65 74 61 63 68 28 29 3b 0a 09 09 09 09 ).detach();.....
2be0: 09 7d 0a 09 09 09 09 7d 20 65 6c 73 65 20 69 66 .}.....} else if
2bf0: 20 6e 65 78 74 5f 66 65 74 63 68 20 2d 20 6e 6f next_fetch - no
2c00: 77 20 3c 20 64 65 6c 61 79 20 7b 0a 09 09 09 09 w < delay {.....
2c10: 09 64 65 6c 61 79 20 3d 20 6e 65 78 74 5f 66 65 .delay = next_fe
2c20: 74 63 68 20 2d 20 6e 6f 77 3b 0a 09 09 09 09 7d tch - now;.....}
2c30: 0a 09 09 09 7d 0a 09 09 7d 3b 0a 09 09 64 65 6c ....}...};...del
2c40: 61 79 2e 74 6f 5f 73 74 64 28 29 2e 73 74 61 63 ay.to_std().stac
2c50: 6b 28 29 0a 09 7d 0a 0a 09 70 75 62 20 61 73 79 k()..}...pub asy
2c60: 6e 63 20 66 6e 20 6c 69 73 74 20 28 26 73 65 6c nc fn list (&sel
2c70: 66 2c 20 6f 77 6e 65 72 3a 20 55 73 65 72 50 65 f, owner: UserPe
2c80: 65 72 49 64 29 20 2d 3e 20 52 65 73 75 6c 74 3c erId) -> Result<
2c90: 53 74 72 69 6e 67 3e 20 7b 0a 09 09 6c 65 74 20 String> {...let
2ca0: 6d 75 74 20 72 65 70 6c 79 3a 20 56 65 63 3c 53 mut reply: Vec<S
2cb0: 74 72 69 6e 67 3e 20 3d 20 76 65 63 21 5b 5d 3b tring> = vec![];
2cc0: 0a 09 09 72 65 70 6c 79 2e 70 75 73 68 28 22 43 ...reply.push("C
2cd0: 68 61 6e 6e 65 6c 73 3a 22 2e 69 6e 74 6f 28 29 hannels:".into()
2ce0: 29 3b 0a 09 09 6c 65 74 20 6d 75 74 20 63 6f 6e );...let mut con
2cf0: 6e 20 3d 20 73 65 6c 66 2e 64 62 2e 62 65 67 69 n = self.db.begi
2d00: 6e 28 29 2e 61 77 61 69 74 2e 73 74 61 63 6b 28 n().await.stack(
2d10: 29 3f 3b 0a 09 09 66 6f 72 20 72 6f 77 20 69 6e )?;...for row in
2d20: 20 63 6f 6e 6e 2e 67 65 74 5f 6c 69 73 74 28 6f conn.get_list(o
2d30: 77 6e 65 72 29 2e 61 77 61 69 74 2e 73 74 61 63 wner).await.stac
2d40: 6b 28 29 3f 20 7b 0a 09 09 09 72 65 70 6c 79 2e k()? {....reply.
2d50: 70 75 73 68 28 72 6f 77 2e 74 6f 5f 73 74 72 69 push(row.to_stri
2d60: 6e 67 28 29 29 3b 0a 09 09 7d 3b 0a 09 09 4f 6b ng());...};...Ok
2d70: 28 72 65 70 6c 79 2e 6a 6f 69 6e 28 22 5c 6e 5c (reply.join("\n\
2d80: 6e 22 29 29 0a 09 7d 0a 7d 0a 0a 69 6d 70 6c 20 n"))..}.}..impl
2d90: 55 70 64 61 74 65 48 61 6e 64 6c 65 72 20 66 6f UpdateHandler fo
2da0: 72 20 43 6f 72 65 20 7b 0a 09 61 73 79 6e 63 20 r Core {..async
2db0: 66 6e 20 68 61 6e 64 6c 65 20 28 26 73 65 6c 66 fn handle (&self
2dc0: 2c 20 75 70 64 61 74 65 3a 20 55 70 64 61 74 65 , update: Update
2dd0: 29 20 7b 0a 09 09 69 66 20 6c 65 74 20 55 70 64 ) {...if let Upd
2de0: 61 74 65 54 79 70 65 3a 3a 4d 65 73 73 61 67 65 ateType::Message
2df0: 28 6d 73 67 29 20 3d 20 75 70 64 61 74 65 2e 75 (msg) = update.u
2e00: 70 64 61 74 65 5f 74 79 70 65 20 7b 0a 09 09 09 pdate_type {....
2e10: 69 66 20 6c 65 74 20 4f 6b 28 63 6d 64 29 20 3d if let Ok(cmd) =
2e20: 20 43 6f 6d 6d 61 6e 64 3a 3a 74 72 79 5f 66 72 Command::try_fr
2e30: 6f 6d 28 6d 73 67 29 20 7b 0a 09 09 09 09 6c 65 om(msg) {.....le
2e40: 74 20 6d 73 67 20 3d 20 63 6d 64 2e 67 65 74 5f t msg = cmd.get_
2e50: 6d 65 73 73 61 67 65 28 29 3b 0a 09 09 09 09 6c message();.....l
2e60: 65 74 20 77 6f 72 64 73 20 3d 20 63 6d 64 2e 67 et words = cmd.g
2e70: 65 74 5f 61 72 67 73 28 29 3b 0a 09 09 09 09 6c et_args();.....l
2e80: 65 74 20 63 6f 6d 6d 61 6e 64 20 3d 20 63 6d 64 et command = cmd
2e90: 2e 67 65 74 5f 6e 61 6d 65 28 29 3b 0a 09 09 09 .get_name();....
2ea0: 09 6c 65 74 20 72 65 73 20 3d 20 6d 61 74 63 68 .let res = match
2eb0: 20 63 6f 6d 6d 61 6e 64 20 7b 0a 09 09 09 09 09 command {......
2ec0: 22 2f 63 68 65 63 6b 22 20 7c 20 22 2f 63 6c 65 "/check" | "/cle
2ed0: 61 6e 22 20 7c 20 22 2f 65 6e 61 62 6c 65 22 20 an" | "/enable"
2ee0: 7c 20 22 2f 64 65 6c 65 74 65 22 20 7c 20 22 2f | "/delete" | "/
2ef0: 64 69 73 61 62 6c 65 22 20 3d 3e 20 63 6f 6d 6d disable" => comm
2f00: 61 6e 64 3a 3a 63 6f 6d 6d 61 6e 64 28 73 65 6c and::command(sel
2f10: 66 2c 20 63 6f 6d 6d 61 6e 64 2c 20 6d 73 67 2c f, command, msg,
2f20: 20 77 6f 72 64 73 29 2e 61 77 61 69 74 2c 0a 09 words).await,..
2f30: 09 09 09 09 22 2f 73 74 61 72 74 22 20 3d 3e 20 ...."/start" =>
2f40: 63 6f 6d 6d 61 6e 64 3a 3a 73 74 61 72 74 28 73 command::start(s
2f50: 65 6c 66 2c 20 6d 73 67 29 2e 61 77 61 69 74 2c elf, msg).await,
2f60: 0a 09 09 09 09 09 22 2f 6c 69 73 74 22 20 3d 3e ......"/list" =>
2f70: 20 63 6f 6d 6d 61 6e 64 3a 3a 6c 69 73 74 28 73 command::list(s
2f80: 65 6c 66 2c 20 6d 73 67 29 2e 61 77 61 69 74 2c elf, msg).await,
2f90: 0a 09 09 09 09 09 22 2f 61 64 64 22 20 7c 20 22 ......"/add" | "
2fa0: 2f 75 70 64 61 74 65 22 20 3d 3e 20 63 6f 6d 6d /update" => comm
2fb0: 61 6e 64 3a 3a 75 70 64 61 74 65 28 73 65 6c 66 and::update(self
2fc0: 2c 20 63 6f 6d 6d 61 6e 64 2c 20 6d 73 67 2c 20 , command, msg,
2fd0: 77 6f 72 64 73 29 2e 61 77 61 69 74 2c 0a 09 09 words).await,...
2fe0: 09 09 09 61 6e 79 20 3d 3e 20 45 72 72 28 61 6e ...any => Err(an
2ff0: 79 68 6f 77 21 28 22 55 6e 6b 6e 6f 77 6e 20 63 yhow!("Unknown c
3000: 6f 6d 6d 61 6e 64 3a 20 7b 61 6e 79 7d 22 29 29 ommand: {any}"))
3010: 2c 0a 09 09 09 09 7d 3b 0a 09 09 09 09 69 66 20 ,.....};.....if
3020: 6c 65 74 20 45 72 72 28 65 72 72 29 20 3d 20 72 let Err(err) = r
3030: 65 73 20 7b 0a 09 09 09 09 09 69 66 20 6c 65 74 es {......if let
3040: 20 45 72 72 28 65 72 72 32 29 20 3d 20 73 65 6c Err(err2) = sel
3050: 66 2e 73 65 6e 64 28 66 6f 72 6d 61 74 21 28 22 f.send(format!("
3060: 5c 5c 23 65 72 72 6f 72 5c 6e 60 60 60 5c 6e 7b \\#error\n```\n{
3070: 65 72 72 7d 5c 6e 60 60 60 22 29 2c 0a 09 09 09 err}\n```"),....
3080: 09 09 09 53 6f 6d 65 28 6d 73 67 2e 63 68 61 74 ...Some(msg.chat
3090: 2e 67 65 74 5f 69 64 28 29 29 2c 0a 09 09 09 09 .get_id()),.....
30a0: 09 09 53 6f 6d 65 28 50 61 72 73 65 4d 6f 64 65 ..Some(ParseMode
30b0: 3a 3a 4d 61 72 6b 64 6f 77 6e 56 32 29 0a 09 09 ::MarkdownV2)...
30c0: 09 09 09 29 2e 61 77 61 69 74 7b 0a 09 09 09 09 ...).await{.....
30d0: 09 09 64 62 67 21 28 65 72 72 32 29 3b 0a 09 09 ..dbg!(err2);...
30e0: 09 09 09 7d 3b 0a 09 09 09 09 7d 0a 09 09 09 7d ...};.....}....}
30f0: 3b 0a 09 09 7d 3b 0a 09 7d 0a 7d 0a ;...};..}.}.