0000: 75 73 65 20 63 72 61 74 65 3a 3a 7b 0a 09 63 6f use crate::{..co
0010: 6d 6d 61 6e 64 2c 0a 09 73 71 6c 3a 3a 44 62 2c mmand,..sql::Db,
0020: 0a 7d 3b 0a 0a 75 73 65 20 73 74 64 3a 3a 7b 0a .};..use std::{.
0030: 09 62 6f 72 72 6f 77 3a 3a 43 6f 77 2c 0a 09 63 .borrow::Cow,..c
0040: 6f 6c 6c 65 63 74 69 6f 6e 73 3a 3a 7b 0a 09 09 ollections::{...
0050: 42 54 72 65 65 4d 61 70 2c 0a 09 09 48 61 73 68 BTreeMap,...Hash
0060: 53 65 74 2c 0a 09 7d 2c 0a 09 73 79 6e 63 3a 3a Set,..},..sync::
0070: 41 72 63 2c 0a 7d 3b 0a 0a 75 73 65 20 61 73 79 Arc,.};..use asy
0080: 6e 63 5f 63 6f 6d 70 61 74 3a 3a 43 6f 6d 70 61 nc_compat::Compa
0090: 74 3b 0a 75 73 65 20 63 68 72 6f 6e 6f 3a 3a 7b t;.use chrono::{
00a0: 0a 09 44 61 74 65 54 69 6d 65 2c 0a 09 4c 6f 63 ..DateTime,..Loc
00b0: 61 6c 2c 0a 7d 3b 0a 75 73 65 20 6c 61 7a 79 5f al,.};.use lazy_
00c0: 73 74 61 74 69 63 3a 3a 6c 61 7a 79 5f 73 74 61 static::lazy_sta
00d0: 74 69 63 3b 0a 75 73 65 20 72 65 67 65 78 3a 3a tic;.use regex::
00e0: 52 65 67 65 78 3b 0a 75 73 65 20 72 65 71 77 65 Regex;.use reqwe
00f0: 73 74 3a 3a 68 65 61 64 65 72 3a 3a 7b 0a 09 43 st::header::{..C
0100: 41 43 48 45 5f 43 4f 4e 54 52 4f 4c 2c 0a 09 45 ACHE_CONTROL,..E
0110: 58 50 49 52 45 53 2c 0a 09 4c 41 53 54 5f 4d 4f XPIRES,..LAST_MO
0120: 44 49 46 49 45 44 0a 7d 3b 0a 75 73 65 20 73 6d DIFIED.};.use sm
0130: 6f 6c 3a 3a 7b 0a 09 54 69 6d 65 72 2c 0a 09 6c ol::{..Timer,..l
0140: 6f 63 6b 3a 3a 4d 75 74 65 78 2c 0a 7d 3b 0a 75 ock::Mutex,.};.u
0150: 73 65 20 74 67 62 6f 74 3a 3a 7b 0a 09 61 70 69 se tgbot::{..api
0160: 3a 3a 43 6c 69 65 6e 74 2c 0a 09 68 61 6e 64 6c ::Client,..handl
0170: 65 72 3a 3a 55 70 64 61 74 65 48 61 6e 64 6c 65 er::UpdateHandle
0180: 72 2c 0a 09 74 79 70 65 73 3a 3a 7b 0a 09 09 42 r,..types::{...B
0190: 6f 74 2c 0a 09 09 43 68 61 74 50 65 65 72 49 64 ot,...ChatPeerId
01a0: 2c 0a 09 09 43 6f 6d 6d 61 6e 64 2c 0a 09 09 47 ,...Command,...G
01b0: 65 74 42 6f 74 2c 0a 09 09 4d 65 73 73 61 67 65 etBot,...Message
01c0: 2c 0a 09 09 50 61 72 73 65 4d 6f 64 65 2c 0a 09 ,...ParseMode,..
01d0: 09 53 65 6e 64 4d 65 73 73 61 67 65 2c 0a 09 09 .SendMessage,...
01e0: 55 70 64 61 74 65 2c 0a 09 09 55 70 64 61 74 65 Update,...Update
01f0: 54 79 70 65 2c 0a 09 09 55 73 65 72 50 65 65 72 Type,...UserPeer
0200: 49 64 2c 0a 09 7d 2c 0a 7d 3b 0a 75 73 65 20 73 Id,..},.};.use s
0210: 74 61 63 6b 65 64 5f 65 72 72 6f 72 73 3a 3a 7b tacked_errors::{
0220: 0a 09 52 65 73 75 6c 74 2c 0a 09 53 74 61 63 6b ..Result,..Stack
0230: 61 62 6c 65 45 72 72 2c 0a 09 61 6e 79 68 6f 77 ableErr,..anyhow
0240: 2c 0a 09 62 61 69 6c 2c 0a 7d 3b 0a 0a 6c 61 7a ,..bail,.};..laz
0250: 79 5f 73 74 61 74 69 63 21 7b 0a 09 70 75 62 20 y_static!{..pub
0260: 73 74 61 74 69 63 20 72 65 66 20 52 45 5f 53 50 static ref RE_SP
0270: 45 43 49 41 4c 3a 20 52 65 67 65 78 20 3d 20 52 ECIAL: Regex = R
0280: 65 67 65 78 3a 3a 6e 65 77 28 72 22 28 5b 5c 2d egex::new(r"([\-
0290: 5f 2a 5c 5b 5c 5d 28 29 7e 60 3e 23 2b 7c 7b 7d _*\[\]()~`>#+|{}
02a0: 5c 2e 21 5d 29 22 29 2e 75 6e 77 72 61 70 28 29 \.!])").unwrap()
02b0: 3b 0a 7d 0a 0a 2f 2f 2f 20 45 6e 63 6f 64 65 73 ;.}../// Encodes
02c0: 20 73 70 65 63 69 61 6c 20 48 54 4d 4c 20 65 6e special HTML en
02d0: 74 69 74 69 65 73 20 74 6f 20 70 72 65 76 65 6e tities to preven
02e0: 74 20 74 68 65 6d 20 69 6e 74 65 72 66 65 72 69 t them interferi
02f0: 6e 67 20 77 69 74 68 20 54 65 6c 65 67 72 61 6d ng with Telegram
0300: 20 48 54 4d 4c 0a 70 75 62 20 66 6e 20 65 6e 63 HTML.pub fn enc
0310: 6f 64 65 20 28 74 65 78 74 3a 20 26 73 74 72 29 ode (text: &str)
0320: 20 2d 3e 20 43 6f 77 3c 27 5f 2c 20 73 74 72 3e -> Cow<'_, str>
0330: 20 7b 0a 09 52 45 5f 53 50 45 43 49 41 4c 2e 72 {..RE_SPECIAL.r
0340: 65 70 6c 61 63 65 5f 61 6c 6c 28 74 65 78 74 2c eplace_all(text,
0350: 20 22 5c 5c 24 31 22 29 0a 7d 0a 0a 23 5b 64 65 "\\$1").}..#[de
0360: 72 69 76 65 28 43 6c 6f 6e 65 29 5d 0a 70 75 62 rive(Clone)].pub
0370: 20 73 74 72 75 63 74 20 43 6f 72 65 20 7b 0a 09 struct Core {..
0380: 6f 77 6e 65 72 5f 63 68 61 74 3a 20 43 68 61 74 owner_chat: Chat
0390: 50 65 65 72 49 64 2c 0a 09 2f 2f 20 6d 61 78 5f PeerId,..// max_
03a0: 64 65 6c 61 79 3a 20 75 31 36 2c 0a 09 70 75 62 delay: u16,..pub
03b0: 20 74 67 3a 20 43 6c 69 65 6e 74 2c 0a 09 70 75 tg: Client,..pu
03c0: 62 20 6d 65 3a 20 42 6f 74 2c 0a 09 70 75 62 20 b me: Bot,..pub
03d0: 64 62 3a 20 44 62 2c 0a 09 73 6f 75 72 63 65 73 db: Db,..sources
03e0: 3a 20 41 72 63 3c 4d 75 74 65 78 3c 48 61 73 68 : Arc<Mutex<Hash
03f0: 53 65 74 3c 41 72 63 3c 69 33 32 3e 3e 3e 3e 2c Set<Arc<i32>>>>,
0400: 0a 09 68 74 74 70 5f 63 6c 69 65 6e 74 3a 20 72 ..http_client: r
0410: 65 71 77 65 73 74 3a 3a 43 6c 69 65 6e 74 2c 0a eqwest::Client,.
0420: 7d 0a 0a 70 75 62 20 73 74 72 75 63 74 20 50 6f }..pub struct Po
0430: 73 74 20 7b 0a 09 75 72 69 3a 20 53 74 72 69 6e st {..uri: Strin
0440: 67 2c 0a 09 74 69 74 6c 65 3a 20 53 74 72 69 6e g,..title: Strin
0450: 67 2c 0a 09 61 75 74 68 6f 72 73 3a 20 53 74 72 g,..authors: Str
0460: 69 6e 67 2c 0a 09 73 75 6d 6d 61 72 79 3a 20 53 ing,..summary: S
0470: 74 72 69 6e 67 2c 0a 7d 0a 0a 69 6d 70 6c 20 43 tring,.}..impl C
0480: 6f 72 65 20 7b 0a 09 70 75 62 20 61 73 79 6e 63 ore {..pub async
0490: 20 66 6e 20 6e 65 77 28 73 65 74 74 69 6e 67 73 fn new(settings
04a0: 3a 20 63 6f 6e 66 69 67 3a 3a 43 6f 6e 66 69 67 : config::Config
04b0: 29 20 2d 3e 20 52 65 73 75 6c 74 3c 43 6f 72 65 ) -> Result<Core
04c0: 3e 20 7b 0a 09 09 6c 65 74 20 6f 77 6e 65 72 5f > {...let owner_
04d0: 63 68 61 74 20 3d 20 43 68 61 74 50 65 65 72 49 chat = ChatPeerI
04e0: 64 3a 3a 66 72 6f 6d 28 73 65 74 74 69 6e 67 73 d::from(settings
04f0: 2e 67 65 74 5f 69 6e 74 28 22 6f 77 6e 65 72 22 .get_int("owner"
0500: 29 2e 73 74 61 63 6b 28 29 3f 29 3b 0a 09 09 6c ).stack()?);...l
0510: 65 74 20 61 70 69 5f 6b 65 79 20 3d 20 73 65 74 et api_key = set
0520: 74 69 6e 67 73 2e 67 65 74 5f 73 74 72 69 6e 67 tings.get_string
0530: 28 22 61 70 69 5f 6b 65 79 22 29 2e 73 74 61 63 ("api_key").stac
0540: 6b 28 29 3f 3b 0a 09 09 6c 65 74 20 74 67 20 3d k()?;...let tg =
0550: 20 43 6c 69 65 6e 74 3a 3a 6e 65 77 28 26 61 70 Client::new(&ap
0560: 69 5f 6b 65 79 29 2e 73 74 61 63 6b 28 29 3f 0a i_key).stack()?.
0570: 09 09 09 2e 77 69 74 68 5f 68 6f 73 74 28 73 65 ....with_host(se
0580: 74 74 69 6e 67 73 2e 67 65 74 5f 73 74 72 69 6e ttings.get_strin
0590: 67 28 22 61 70 69 5f 67 61 74 65 77 61 79 22 29 g("api_gateway")
05a0: 2e 73 74 61 63 6b 28 29 3f 29 3b 0a 0a 09 09 6c .stack()?);....l
05b0: 65 74 20 6d 75 74 20 63 6c 69 65 6e 74 20 3d 20 et mut client =
05c0: 72 65 71 77 65 73 74 3a 3a 43 6c 69 65 6e 74 3a reqwest::Client:
05d0: 3a 62 75 69 6c 64 65 72 28 29 3b 0a 09 09 69 66 :builder();...if
05e0: 20 6c 65 74 20 4f 6b 28 70 72 6f 78 79 29 20 3d let Ok(proxy) =
05f0: 20 73 65 74 74 69 6e 67 73 2e 67 65 74 5f 73 74 settings.get_st
0600: 72 69 6e 67 28 22 70 72 6f 78 79 22 29 20 7b 0a ring("proxy") {.
0610: 09 09 09 6c 65 74 20 70 72 6f 78 79 20 3d 20 72 ...let proxy = r
0620: 65 71 77 65 73 74 3a 3a 50 72 6f 78 79 3a 3a 61 eqwest::Proxy::a
0630: 6c 6c 28 70 72 6f 78 79 29 2e 73 74 61 63 6b 28 ll(proxy).stack(
0640: 29 3f 3b 0a 09 09 09 63 6c 69 65 6e 74 20 3d 20 )?;....client =
0650: 63 6c 69 65 6e 74 2e 70 72 6f 78 79 28 70 72 6f client.proxy(pro
0660: 78 79 29 3b 0a 09 09 7d 0a 09 09 6c 65 74 20 68 xy);...}...let h
0670: 74 74 70 5f 63 6c 69 65 6e 74 20 3d 20 63 6c 69 ttp_client = cli
0680: 65 6e 74 2e 62 75 69 6c 64 28 29 2e 73 74 61 63 ent.build().stac
0690: 6b 28 29 3f 3b 0a 09 09 6c 65 74 20 6d 65 20 3d k()?;...let me =
06a0: 20 74 67 2e 65 78 65 63 75 74 65 28 47 65 74 42 tg.execute(GetB
06b0: 6f 74 29 2e 61 77 61 69 74 2e 73 74 61 63 6b 28 ot).await.stack(
06c0: 29 3f 3b 0a 09 09 6c 65 74 20 63 6f 72 65 20 3d )?;...let core =
06d0: 20 43 6f 72 65 20 7b 0a 09 09 09 74 67 2c 0a 09 Core {....tg,..
06e0: 09 09 6d 65 2c 0a 09 09 09 6f 77 6e 65 72 5f 63 ..me,....owner_c
06f0: 68 61 74 2c 0a 09 09 09 64 62 3a 20 44 62 3a 3a hat,....db: Db::
0700: 6e 65 77 28 26 73 65 74 74 69 6e 67 73 2e 67 65 new(&settings.ge
0710: 74 5f 73 74 72 69 6e 67 28 22 70 67 22 29 2e 73 t_string("pg").s
0720: 74 61 63 6b 28 29 3f 29 3f 2c 0a 09 09 09 73 6f tack()?)?,....so
0730: 75 72 63 65 73 3a 20 41 72 63 3a 3a 6e 65 77 28 urces: Arc::new(
0740: 4d 75 74 65 78 3a 3a 6e 65 77 28 48 61 73 68 53 Mutex::new(HashS
0750: 65 74 3a 3a 6e 65 77 28 29 29 29 2c 0a 09 09 09 et::new())),....
0760: 68 74 74 70 5f 63 6c 69 65 6e 74 2c 0a 09 09 09 http_client,....
0770: 2f 2f 20 6d 61 78 5f 64 65 6c 61 79 3a 20 36 30 // max_delay: 60
0780: 2c 0a 09 09 7d 3b 0a 09 09 6c 65 74 20 63 6c 6f ,...};...let clo
0790: 6e 65 20 3d 20 63 6f 72 65 2e 63 6c 6f 6e 65 28 ne = core.clone(
07a0: 29 3b 0a 09 09 73 6d 6f 6c 3a 3a 73 70 61 77 6e );...smol::spawn
07b0: 28 43 6f 6d 70 61 74 3a 3a 6e 65 77 28 61 73 79 (Compat::new(asy
07c0: 6e 63 20 6d 6f 76 65 20 7b 0a 09 09 09 6c 6f 6f nc move {....loo
07d0: 70 20 7b 0a 09 09 09 09 6c 65 74 20 64 65 6c 61 p {.....let dela
07e0: 79 20 3d 20 6d 61 74 63 68 20 26 63 6c 6f 6e 65 y = match &clone
07f0: 2e 61 75 74 6f 66 65 74 63 68 28 29 2e 61 77 61 .autofetch().awa
0800: 69 74 20 7b 0a 09 09 09 09 09 45 72 72 28 65 72 it {......Err(er
0810: 72 29 20 3d 3e 20 7b 0a 09 09 09 09 09 09 69 66 r) => {.......if
0820: 20 6c 65 74 20 45 72 72 28 65 72 72 29 20 3d 20 let Err(err) =
0830: 63 6c 6f 6e 65 2e 73 65 6e 64 28 66 6f 72 6d 61 clone.send(forma
0840: 74 21 28 22 f0 9f 9b 91 20 7b 65 72 72 7d 22 29 t!("š {err}")
0850: 2c 20 4e 6f 6e 65 2c 20 4e 6f 6e 65 29 2e 61 77 , None, None).aw
0860: 61 69 74 20 7b 0a 09 09 09 09 09 09 09 65 70 72 ait {........epr
0870: 69 6e 74 6c 6e 21 28 22 41 75 74 6f 66 65 74 63 intln!("Autofetc
0880: 68 20 65 72 72 6f 72 3a 20 7b 65 72 72 3a 3f 7d h error: {err:?}
0890: 22 29 3b 0a 09 09 09 09 09 09 7d 3b 0a 09 09 09 ");.......};....
08a0: 09 09 09 73 74 64 3a 3a 74 69 6d 65 3a 3a 44 75 ...std::time::Du
08b0: 72 61 74 69 6f 6e 3a 3a 66 72 6f 6d 5f 73 65 63 ration::from_sec
08c0: 73 28 36 30 29 0a 09 09 09 09 09 7d 2c 0a 09 09 s(60)......},...
08d0: 09 09 09 4f 6b 28 74 69 6d 65 29 20 3d 3e 20 2a ...Ok(time) => *
08e0: 74 69 6d 65 2c 0a 09 09 09 09 7d 3b 0a 09 09 09 time,.....};....
08f0: 09 54 69 6d 65 72 3a 3a 61 66 74 65 72 28 64 65 .Timer::after(de
0900: 6c 61 79 29 2e 61 77 61 69 74 3b 0a 09 09 09 7d lay).await;....}
0910: 0a 09 09 7d 29 29 2e 64 65 74 61 63 68 28 29 3b ...})).detach();
0920: 0a 09 09 4f 6b 28 63 6f 72 65 29 0a 09 7d 0a 0a ...Ok(core)..}..
0930: 09 70 75 62 20 61 73 79 6e 63 20 66 6e 20 73 65 .pub async fn se
0940: 6e 64 20 3c 53 3e 28 26 73 65 6c 66 2c 20 6d 73 nd <S>(&self, ms
0950: 67 3a 20 53 2c 20 74 61 72 67 65 74 3a 20 4f 70 g: S, target: Op
0960: 74 69 6f 6e 3c 43 68 61 74 50 65 65 72 49 64 3e tion<ChatPeerId>
0970: 2c 20 6d 6f 64 65 3a 20 4f 70 74 69 6f 6e 3c 50 , mode: Option<P
0980: 61 72 73 65 4d 6f 64 65 3e 29 20 2d 3e 20 52 65 arseMode>) -> Re
0990: 73 75 6c 74 3c 4d 65 73 73 61 67 65 3e 0a 09 77 sult<Message>..w
09a0: 68 65 72 65 20 53 3a 20 49 6e 74 6f 3c 53 74 72 here S: Into<Str
09b0: 69 6e 67 3e 20 7b 0a 09 09 6c 65 74 20 6d 73 67 ing> {...let msg
09c0: 20 3d 20 6d 73 67 2e 69 6e 74 6f 28 29 3b 0a 0a = msg.into();..
09d0: 09 09 6c 65 74 20 6d 6f 64 65 20 3d 20 6d 6f 64 ..let mode = mod
09e0: 65 2e 75 6e 77 72 61 70 5f 6f 72 28 50 61 72 73 e.unwrap_or(Pars
09f0: 65 4d 6f 64 65 3a 3a 48 74 6d 6c 29 3b 0a 09 09 eMode::Html);...
0a00: 6c 65 74 20 74 61 72 67 65 74 20 3d 20 74 61 72 let target = tar
0a10: 67 65 74 2e 75 6e 77 72 61 70 5f 6f 72 28 73 65 get.unwrap_or(se
0a20: 6c 66 2e 6f 77 6e 65 72 5f 63 68 61 74 29 3b 0a lf.owner_chat);.
0a30: 09 09 73 65 6c 66 2e 74 67 2e 65 78 65 63 75 74 ..self.tg.execut
0a40: 65 28 0a 09 09 09 53 65 6e 64 4d 65 73 73 61 67 e(....SendMessag
0a50: 65 3a 3a 6e 65 77 28 74 61 72 67 65 74 2c 20 6d e::new(target, m
0a60: 73 67 29 0a 09 09 09 09 2e 77 69 74 68 5f 70 61 sg)......with_pa
0a70: 72 73 65 5f 6d 6f 64 65 28 6d 6f 64 65 29 0a 09 rse_mode(mode)..
0a80: 09 29 2e 61 77 61 69 74 2e 73 74 61 63 6b 28 29 .).await.stack()
0a90: 0a 09 7d 0a 0a 09 70 75 62 20 61 73 79 6e 63 20 ..}...pub async
0aa0: 66 6e 20 63 68 65 63 6b 20 28 26 73 65 6c 66 2c fn check (&self,
0ab0: 20 69 64 3a 20 69 33 32 2c 20 72 65 61 6c 3a 20 id: i32, real:
0ac0: 62 6f 6f 6c 2c 20 6c 61 73 74 5f 73 63 72 61 70 bool, last_scrap
0ad0: 65 3a 20 4f 70 74 69 6f 6e 3c 44 61 74 65 54 69 e: Option<DateTi
0ae0: 6d 65 3c 4c 6f 63 61 6c 3e 3e 29 20 2d 3e 20 52 me<Local>>) -> R
0af0: 65 73 75 6c 74 3c 53 74 72 69 6e 67 3e 20 7b 0a esult<String> {.
0b00: 09 09 6c 65 74 20 6d 75 74 20 70 6f 73 74 65 64 ..let mut posted
0b10: 3a 20 69 33 32 20 3d 20 30 3b 0a 09 09 6c 65 74 : i32 = 0;...let
0b20: 20 6d 75 74 20 63 6f 6e 6e 20 3d 20 73 65 6c 66 mut conn = self
0b30: 2e 64 62 2e 62 65 67 69 6e 28 29 2e 61 77 61 69 .db.begin().awai
0b40: 74 2e 73 74 61 63 6b 28 29 3f 3b 0a 0a 09 09 6c t.stack()?;....l
0b50: 65 74 20 69 64 20 3d 20 7b 0a 09 09 09 6c 65 74 et id = {....let
0b60: 20 6d 75 74 20 73 65 74 20 3d 20 73 65 6c 66 2e mut set = self.
0b70: 73 6f 75 72 63 65 73 2e 6c 6f 63 6b 5f 61 72 63 sources.lock_arc
0b80: 28 29 2e 61 77 61 69 74 3b 0a 09 09 09 6d 61 74 ().await;....mat
0b90: 63 68 20 73 65 74 2e 67 65 74 28 26 69 64 29 20 ch set.get(&id)
0ba0: 7b 0a 09 09 09 09 53 6f 6d 65 28 69 64 29 20 3d {.....Some(id) =
0bb0: 3e 20 69 64 2e 63 6c 6f 6e 65 28 29 2c 0a 09 09 > id.clone(),...
0bc0: 09 09 4e 6f 6e 65 20 3d 3e 20 7b 0a 09 09 09 09 ..None => {.....
0bd0: 09 6c 65 74 20 69 64 20 3d 20 41 72 63 3a 3a 6e .let id = Arc::n
0be0: 65 77 28 69 64 29 3b 0a 09 09 09 09 09 73 65 74 ew(id);......set
0bf0: 2e 69 6e 73 65 72 74 28 69 64 2e 63 6c 6f 6e 65 .insert(id.clone
0c00: 28 29 29 3b 0a 09 09 09 09 09 69 64 2e 63 6c 6f ());......id.clo
0c10: 6e 65 28 29 0a 09 09 09 09 7d 2c 0a 09 09 09 7d ne().....},....}
0c20: 0a 09 09 7d 3b 0a 09 09 6c 65 74 20 63 6f 75 6e ...};...let coun
0c30: 74 20 3d 20 41 72 63 3a 3a 73 74 72 6f 6e 67 5f t = Arc::strong_
0c40: 63 6f 75 6e 74 28 26 69 64 29 3b 0a 09 09 69 66 count(&id);...if
0c50: 20 63 6f 75 6e 74 20 3d 3d 20 32 20 7b 0a 09 09 count == 2 {...
0c60: 09 6c 65 74 20 73 6f 75 72 63 65 20 3d 20 63 6f .let source = co
0c70: 6e 6e 2e 67 65 74 5f 73 6f 75 72 63 65 28 2a 69 nn.get_source(*i
0c80: 64 2c 20 73 65 6c 66 2e 6f 77 6e 65 72 5f 63 68 d, self.owner_ch
0c90: 61 74 29 2e 61 77 61 69 74 2e 73 74 61 63 6b 28 at).await.stack(
0ca0: 29 3f 3b 0a 09 09 09 63 6f 6e 6e 2e 73 65 74 5f )?;....conn.set_
0cb0: 73 63 72 61 70 65 28 2a 69 64 29 2e 61 77 61 69 scrape(*id).awai
0cc0: 74 2e 73 74 61 63 6b 28 29 3f 3b 0a 09 09 09 6c t.stack()?;....l
0cd0: 65 74 20 64 65 73 74 69 6e 61 74 69 6f 6e 20 3d et destination =
0ce0: 20 43 68 61 74 50 65 65 72 49 64 3a 3a 66 72 6f ChatPeerId::fro
0cf0: 6d 28 6d 61 74 63 68 20 72 65 61 6c 20 7b 0a 09 m(match real {..
0d00: 09 09 09 74 72 75 65 20 3d 3e 20 73 6f 75 72 63 ...true => sourc
0d10: 65 2e 63 68 61 6e 6e 65 6c 5f 69 64 2c 0a 09 09 e.channel_id,...
0d20: 09 09 66 61 6c 73 65 20 3d 3e 20 73 6f 75 72 63 ..false => sourc
0d30: 65 2e 6f 77 6e 65 72 2c 0a 09 09 09 7d 29 3b 0a e.owner,....});.
0d40: 09 09 09 6c 65 74 20 6d 75 74 20 74 68 69 73 5f ...let mut this_
0d50: 66 65 74 63 68 3a 20 4f 70 74 69 6f 6e 3c 44 61 fetch: Option<Da
0d60: 74 65 54 69 6d 65 3c 63 68 72 6f 6e 6f 3a 3a 46 teTime<chrono::F
0d70: 69 78 65 64 4f 66 66 73 65 74 3e 3e 20 3d 20 4e ixedOffset>> = N
0d80: 6f 6e 65 3b 0a 09 09 09 6c 65 74 20 6d 75 74 20 one;....let mut
0d90: 70 6f 73 74 73 3a 20 42 54 72 65 65 4d 61 70 3c posts: BTreeMap<
0da0: 44 61 74 65 54 69 6d 65 3c 63 68 72 6f 6e 6f 3a DateTime<chrono:
0db0: 3a 46 69 78 65 64 4f 66 66 73 65 74 3e 2c 20 50 :FixedOffset>, P
0dc0: 6f 73 74 3e 20 3d 20 42 54 72 65 65 4d 61 70 3a ost> = BTreeMap:
0dd0: 3a 6e 65 77 28 29 3b 0a 0a 09 09 09 6c 65 74 20 :new();.....let
0de0: 6d 75 74 20 62 75 69 6c 64 65 72 20 3d 20 73 65 mut builder = se
0df0: 6c 66 2e 68 74 74 70 5f 63 6c 69 65 6e 74 2e 67 lf.http_client.g
0e00: 65 74 28 26 73 6f 75 72 63 65 2e 75 72 6c 29 3b et(&source.url);
0e10: 0a 09 09 09 69 66 20 6c 65 74 20 53 6f 6d 65 28 ....if let Some(
0e20: 6c 61 73 74 5f 73 63 72 61 70 65 29 20 3d 20 6c last_scrape) = l
0e30: 61 73 74 5f 73 63 72 61 70 65 20 7b 0a 09 09 09 ast_scrape {....
0e40: 09 62 75 69 6c 64 65 72 20 3d 20 62 75 69 6c 64 .builder = build
0e50: 65 72 2e 68 65 61 64 65 72 28 4c 41 53 54 5f 4d er.header(LAST_M
0e60: 4f 44 49 46 49 45 44 2c 20 6c 61 73 74 5f 73 63 ODIFIED, last_sc
0e70: 72 61 70 65 2e 74 6f 5f 72 66 63 32 38 32 32 28 rape.to_rfc2822(
0e80: 29 29 3b 0a 09 09 09 7d 3b 0a 09 09 09 6c 65 74 ));....};....let
0e90: 20 72 65 73 70 6f 6e 73 65 20 3d 20 62 75 69 6c response = buil
0ea0: 64 65 72 2e 73 65 6e 64 28 29 2e 61 77 61 69 74 der.send().await
0eb0: 2e 73 74 61 63 6b 28 29 3f 3b 0a 09 09 09 7b 0a .stack()?;....{.
0ec0: 09 09 09 09 6c 65 74 20 68 65 61 64 65 72 73 20 ....let headers
0ed0: 3d 20 72 65 73 70 6f 6e 73 65 2e 68 65 61 64 65 = response.heade
0ee0: 72 73 28 29 3b 0a 09 09 09 09 6c 65 74 20 65 78 rs();.....let ex
0ef0: 70 69 72 65 73 20 3d 20 68 65 61 64 65 72 73 2e pires = headers.
0f00: 67 65 74 28 45 58 50 49 52 45 53 29 3b 0a 09 09 get(EXPIRES);...
0f10: 09 09 6c 65 74 20 63 61 63 68 65 20 3d 20 68 65 ..let cache = he
0f20: 61 64 65 72 73 2e 67 65 74 28 43 41 43 48 45 5f aders.get(CACHE_
0f30: 43 4f 4e 54 52 4f 4c 29 3b 0a 09 09 09 09 69 66 CONTROL);.....if
0f40: 20 65 78 70 69 72 65 73 2e 69 73 5f 73 6f 6d 65 expires.is_some
0f50: 28 29 20 7c 7c 20 63 61 63 68 65 2e 69 73 5f 73 () || cache.is_s
0f60: 6f 6d 65 28 29 20 7b 0a 09 09 09 09 09 70 72 69 ome() {......pri
0f70: 6e 74 6c 6e 21 28 22 7b 7d 20 7b 7d 20 7b 3a 3f ntln!("{} {} {:?
0f80: 7d 20 7b 3a 3f 7d 20 7b 3a 3f 7d 22 2c 20 4c 6f } {:?} {:?}", Lo
0f90: 63 61 6c 3a 3a 6e 6f 77 28 29 2e 74 6f 5f 72 66 cal::now().to_rf
0fa0: 63 32 38 32 32 28 29 2c 20 26 73 6f 75 72 63 65 c2822(), &source
0fb0: 2e 75 72 6c 2c 20 6c 61 73 74 5f 73 63 72 61 70 .url, last_scrap
0fc0: 65 2c 20 65 78 70 69 72 65 73 2c 20 63 61 63 68 e, expires, cach
0fd0: 65 29 3b 0a 09 09 09 09 7d 0a 09 09 09 7d 0a 09 e);.....}....}..
0fe0: 09 09 6c 65 74 20 73 74 61 74 75 73 20 3d 20 72 ..let status = r
0ff0: 65 73 70 6f 6e 73 65 2e 73 74 61 74 75 73 28 29 esponse.status()
1000: 3b 0a 09 09 09 6c 65 74 20 63 6f 6e 74 65 6e 74 ;....let content
1010: 20 3d 20 72 65 73 70 6f 6e 73 65 2e 62 79 74 65 = response.byte
1020: 73 28 29 2e 61 77 61 69 74 2e 73 74 61 63 6b 28 s().await.stack(
1030: 29 3f 3b 0a 09 09 09 6d 61 74 63 68 20 72 73 73 )?;....match rss
1040: 3a 3a 43 68 61 6e 6e 65 6c 3a 3a 72 65 61 64 5f ::Channel::read_
1050: 66 72 6f 6d 28 26 63 6f 6e 74 65 6e 74 5b 2e 2e from(&content[..
1060: 5d 29 20 7b 0a 09 09 09 09 4f 6b 28 66 65 65 64 ]) {.....Ok(feed
1070: 29 20 3d 3e 20 7b 0a 09 09 09 09 09 66 6f 72 20 ) => {......for
1080: 69 74 65 6d 20 69 6e 20 66 65 65 64 2e 69 74 65 item in feed.ite
1090: 6d 73 28 29 20 7b 0a 09 09 09 09 09 09 69 66 20 ms() {.......if
10a0: 6c 65 74 20 53 6f 6d 65 28 6c 69 6e 6b 29 20 3d let Some(link) =
10b0: 20 69 74 65 6d 2e 6c 69 6e 6b 28 29 20 7b 0a 09 item.link() {..
10c0: 09 09 09 09 09 09 6c 65 74 20 64 61 74 65 20 3d ......let date =
10d0: 20 6d 61 74 63 68 20 69 74 65 6d 2e 70 75 62 5f match item.pub_
10e0: 64 61 74 65 28 29 20 7b 0a 09 09 09 09 09 09 09 date() {........
10f0: 09 53 6f 6d 65 28 66 65 65 64 5f 64 61 74 65 29 .Some(feed_date)
1100: 20 3d 3e 20 44 61 74 65 54 69 6d 65 3a 3a 70 61 => DateTime::pa
1110: 72 73 65 5f 66 72 6f 6d 5f 72 66 63 32 38 32 32 rse_from_rfc2822
1120: 28 66 65 65 64 5f 64 61 74 65 29 2c 0a 09 09 09 (feed_date),....
1130: 09 09 09 09 09 4e 6f 6e 65 20 3d 3e 20 44 61 74 .....None => Dat
1140: 65 54 69 6d 65 3a 3a 70 61 72 73 65 5f 66 72 6f eTime::parse_fro
1150: 6d 5f 72 66 63 33 33 33 39 28 26 69 74 65 6d 2e m_rfc3339(&item.
1160: 64 75 62 6c 69 6e 5f 63 6f 72 65 5f 65 78 74 28 dublin_core_ext(
1170: 29 2e 75 6e 77 72 61 70 28 29 2e 64 61 74 65 73 ).unwrap().dates
1180: 28 29 5b 30 5d 29 2c 0a 09 09 09 09 09 09 09 7d ()[0]),........}
1190: 2e 73 74 61 63 6b 28 29 3f 3b 0a 09 09 09 09 09 .stack()?;......
11a0: 09 09 6c 65 74 20 75 72 69 20 3d 20 6c 69 6e 6b ..let uri = link
11b0: 2e 74 6f 5f 73 74 72 69 6e 67 28 29 3b 0a 09 09 .to_string();...
11c0: 09 09 09 09 09 6c 65 74 20 74 69 74 6c 65 20 3d .....let title =
11d0: 20 69 74 65 6d 2e 74 69 74 6c 65 28 29 2e 75 6e item.title().un
11e0: 77 72 61 70 5f 6f 72 28 22 22 29 2e 74 6f 5f 73 wrap_or("").to_s
11f0: 74 72 69 6e 67 28 29 3b 0a 09 09 09 09 09 09 09 tring();........
1200: 6c 65 74 20 61 75 74 68 6f 72 73 20 3d 20 69 74 let authors = it
1210: 65 6d 2e 61 75 74 68 6f 72 28 29 2e 75 6e 77 72 em.author().unwr
1220: 61 70 5f 6f 72 28 22 22 29 2e 74 6f 5f 73 74 72 ap_or("").to_str
1230: 69 6e 67 28 29 3b 0a 09 09 09 09 09 09 09 6c 65 ing();........le
1240: 74 20 73 75 6d 6d 61 72 79 20 3d 20 69 74 65 6d t summary = item
1250: 2e 63 6f 6e 74 65 6e 74 28 29 2e 75 6e 77 72 61 .content().unwra
1260: 70 5f 6f 72 28 22 22 29 2e 74 6f 5f 73 74 72 69 p_or("").to_stri
1270: 6e 67 28 29 3b 0a 09 09 09 09 09 09 09 70 6f 73 ng();........pos
1280: 74 73 2e 69 6e 73 65 72 74 28 64 61 74 65 2c 20 ts.insert(date,
1290: 50 6f 73 74 7b 0a 09 09 09 09 09 09 09 09 75 72 Post{.........ur
12a0: 69 2c 0a 09 09 09 09 09 09 09 09 74 69 74 6c 65 i,.........title
12b0: 2c 0a 09 09 09 09 09 09 09 09 61 75 74 68 6f 72 ,.........author
12c0: 73 2c 0a 09 09 09 09 09 09 09 09 73 75 6d 6d 61 s,.........summa
12d0: 72 79 2c 0a 09 09 09 09 09 09 09 7d 29 3b 0a 09 ry,........});..
12e0: 09 09 09 09 09 7d 0a 09 09 09 09 09 7d 3b 0a 09 .....}......};..
12f0: 09 09 09 7d 2c 0a 09 09 09 09 45 72 72 28 65 72 ...},.....Err(er
1300: 72 29 20 3d 3e 20 6d 61 74 63 68 20 65 72 72 20 r) => match err
1310: 7b 0a 09 09 09 09 09 72 73 73 3a 3a 45 72 72 6f {......rss::Erro
1320: 72 3a 3a 49 6e 76 61 6c 69 64 53 74 61 72 74 54 r::InvalidStartT
1330: 61 67 20 3d 3e 20 7b 0a 09 09 09 09 09 09 6d 61 ag => {.......ma
1340: 74 63 68 20 61 74 6f 6d 5f 73 79 6e 64 69 63 61 tch atom_syndica
1350: 74 69 6f 6e 3a 3a 46 65 65 64 3a 3a 72 65 61 64 tion::Feed::read
1360: 5f 66 72 6f 6d 28 26 63 6f 6e 74 65 6e 74 5b 2e _from(&content[.
1370: 2e 5d 29 20 7b 0a 09 09 09 09 09 09 09 4f 6b 28 .]) {........Ok(
1380: 66 65 65 64 29 20 3d 3e 20 7b 0a 09 09 09 09 09 feed) => {......
1390: 09 09 09 66 6f 72 20 69 74 65 6d 20 69 6e 20 66 ...for item in f
13a0: 65 65 64 2e 65 6e 74 72 69 65 73 28 29 20 7b 0a eed.entries() {.
13b0: 09 09 09 09 09 09 09 09 09 6c 65 74 20 64 61 74 .........let dat
13c0: 65 20 3d 20 69 74 65 6d 2e 70 75 62 6c 69 73 68 e = item.publish
13d0: 65 64 28 29 2e 75 6e 77 72 61 70 28 29 3b 0a 09 ed().unwrap();..
13e0: 09 09 09 09 09 09 09 09 6c 65 74 20 75 72 69 20 ........let uri
13f0: 3d 20 69 74 65 6d 2e 6c 69 6e 6b 73 28 29 5b 30 = item.links()[0
1400: 5d 2e 68 72 65 66 28 29 2e 74 6f 5f 73 74 72 69 ].href().to_stri
1410: 6e 67 28 29 3b 0a 09 09 09 09 09 09 09 09 09 6c ng();..........l
1420: 65 74 20 74 69 74 6c 65 20 3d 20 69 74 65 6d 2e et title = item.
1430: 74 69 74 6c 65 28 29 2e 74 6f 5f 73 74 72 69 6e title().to_strin
1440: 67 28 29 3b 0a 09 09 09 09 09 09 09 09 09 6c 65 g();..........le
1450: 74 20 61 75 74 68 6f 72 73 20 3d 20 69 74 65 6d t authors = item
1460: 2e 61 75 74 68 6f 72 73 28 29 2e 69 74 65 72 28 .authors().iter(
1470: 29 2e 6d 61 70 28 7c 78 7c 20 66 6f 72 6d 61 74 ).map(|x| format
1480: 21 28 22 7b 7d 20 3c 7b 3a 3f 7d 3e 22 2c 20 78 !("{} <{:?}>", x
1490: 2e 6e 61 6d 65 28 29 2c 20 78 2e 65 6d 61 69 6c .name(), x.email
14a0: 28 29 29 29 2e 63 6f 6c 6c 65 63 74 3a 3a 3c 56 ())).collect::<V
14b0: 65 63 3c 53 74 72 69 6e 67 3e 3e 28 29 2e 6a 6f ec<String>>().jo
14c0: 69 6e 28 22 2c 20 22 29 3b 0a 09 09 09 09 09 09 in(", ");.......
14d0: 09 09 09 6c 65 74 20 73 75 6d 6d 61 72 79 20 3d ...let summary =
14e0: 20 69 66 20 6c 65 74 20 53 6f 6d 65 28 73 75 6d if let Some(sum
14f0: 29 20 3d 20 69 74 65 6d 2e 73 75 6d 6d 61 72 79 ) = item.summary
1500: 28 29 20 7b 20 73 75 6d 2e 76 61 6c 75 65 2e 63 () { sum.value.c
1510: 6c 6f 6e 65 28 29 20 7d 20 65 6c 73 65 20 7b 20 lone() } else {
1520: 53 74 72 69 6e 67 3a 3a 6e 65 77 28 29 20 7d 3b String::new() };
1530: 0a 09 09 09 09 09 09 09 09 09 70 6f 73 74 73 2e ..........posts.
1540: 69 6e 73 65 72 74 28 2a 64 61 74 65 2c 20 50 6f insert(*date, Po
1550: 73 74 7b 0a 09 09 09 09 09 09 09 09 09 09 75 72 st{...........ur
1560: 69 2c 0a 09 09 09 09 09 09 09 09 09 09 74 69 74 i,...........tit
1570: 6c 65 2c 0a 09 09 09 09 09 09 09 09 09 09 61 75 le,...........au
1580: 74 68 6f 72 73 2c 0a 09 09 09 09 09 09 09 09 09 thors,..........
1590: 09 73 75 6d 6d 61 72 79 2c 0a 09 09 09 09 09 09 .summary,.......
15a0: 09 09 09 7d 29 3b 0a 09 09 09 09 09 09 09 09 7d ...});.........}
15b0: 3b 0a 09 09 09 09 09 09 09 7d 2c 0a 09 09 09 09 ;........},.....
15c0: 09 09 09 45 72 72 28 65 72 72 29 20 3d 3e 20 7b ...Err(err) => {
15d0: 0a 09 09 09 09 09 09 09 09 62 61 69 6c 21 28 22 .........bail!("
15e0: 55 6e 73 75 70 70 6f 72 74 65 64 20 6f 72 20 6d Unsupported or m
15f0: 61 6e 67 6c 65 64 20 63 6f 6e 74 65 6e 74 3a 5c angled content:\
1600: 6e 7b 3a 3f 7d 5c 6e 7b 65 72 72 7d 5c 6e 7b 73 n{:?}\n{err}\n{s
1610: 74 61 74 75 73 3a 23 3f 7d 5c 6e 22 2c 20 26 73 tatus:#?}\n", &s
1620: 6f 75 72 63 65 2e 75 72 6c 29 0a 09 09 09 09 09 ource.url)......
1630: 09 09 7d 2c 0a 09 09 09 09 09 09 7d 0a 09 09 09 ..},.......}....
1640: 09 09 7d 2c 0a 09 09 09 09 09 72 73 73 3a 3a 45 ..},......rss::E
1650: 72 72 6f 72 3a 3a 45 6f 66 20 3d 3e 20 28 29 2c rror::Eof => (),
1660: 0a 09 09 09 09 09 5f 20 3d 3e 20 62 61 69 6c 21 ......_ => bail!
1670: 28 22 55 6e 73 75 70 70 6f 72 74 65 64 20 6f 72 ("Unsupported or
1680: 20 6d 61 6e 67 6c 65 64 20 63 6f 6e 74 65 6e 74 mangled content
1690: 3a 5c 6e 7b 3a 3f 7d 5c 6e 7b 65 72 72 7d 5c 6e :\n{:?}\n{err}\n
16a0: 7b 73 74 61 74 75 73 3a 23 3f 7d 5c 6e 22 2c 20 {status:#?}\n",
16b0: 26 73 6f 75 72 63 65 2e 75 72 6c 29 0a 09 09 09 &source.url)....
16c0: 09 7d 0a 09 09 09 7d 3b 0a 09 09 09 66 6f 72 20 .}....};....for
16d0: 28 64 61 74 65 2c 20 70 6f 73 74 29 20 69 6e 20 (date, post) in
16e0: 70 6f 73 74 73 2e 69 74 65 72 28 29 20 7b 0a 09 posts.iter() {..
16f0: 09 09 09 6c 65 74 20 70 6f 73 74 5f 75 72 6c 3a ...let post_url:
1700: 20 43 6f 77 3c 73 74 72 3e 20 3d 20 6d 61 74 63 Cow<str> = matc
1710: 68 20 73 6f 75 72 63 65 2e 75 72 6c 5f 72 65 20 h source.url_re
1720: 7b 0a 09 09 09 09 09 53 6f 6d 65 28 72 65 66 20 {......Some(ref
1730: 78 29 20 3d 3e 20 73 65 64 72 65 67 65 78 3a 3a x) => sedregex::
1740: 52 65 70 6c 61 63 65 43 6f 6d 6d 61 6e 64 3a 3a ReplaceCommand::
1750: 6e 65 77 28 78 29 2e 73 74 61 63 6b 28 29 3f 2e new(x).stack()?.
1760: 65 78 65 63 75 74 65 28 26 70 6f 73 74 2e 75 72 execute(&post.ur
1770: 69 29 2c 0a 09 09 09 09 09 4e 6f 6e 65 20 3d 3e i),......None =>
1780: 20 70 6f 73 74 2e 75 72 69 2e 63 6c 6f 6e 65 28 post.uri.clone(
1790: 29 2e 69 6e 74 6f 28 29 2c 0a 09 09 09 09 7d 3b ).into(),.....};
17a0: 0a 09 09 09 09 69 66 20 6c 65 74 20 53 6f 6d 65 .....if let Some
17b0: 28 65 78 69 73 74 73 29 20 3d 20 63 6f 6e 6e 2e (exists) = conn.
17c0: 65 78 69 73 74 73 28 26 70 6f 73 74 5f 75 72 6c exists(&post_url
17d0: 2c 20 2a 69 64 29 2e 61 77 61 69 74 2e 73 74 61 , *id).await.sta
17e0: 63 6b 28 29 3f 20 7b 0a 09 09 09 09 09 69 66 20 ck()? {......if
17f0: 21 20 65 78 69 73 74 73 20 7b 0a 09 09 09 09 09 ! exists {......
1800: 09 69 66 20 74 68 69 73 5f 66 65 74 63 68 2e 69 .if this_fetch.i
1810: 73 5f 6e 6f 6e 65 28 29 20 7c 7c 20 2a 64 61 74 s_none() || *dat
1820: 65 20 3e 20 74 68 69 73 5f 66 65 74 63 68 2e 75 e > this_fetch.u
1830: 6e 77 72 61 70 28 29 20 7b 0a 09 09 09 09 09 09 nwrap() {.......
1840: 09 74 68 69 73 5f 66 65 74 63 68 20 3d 20 53 6f .this_fetch = So
1850: 6d 65 28 2a 64 61 74 65 29 3b 0a 09 09 09 09 09 me(*date);......
1860: 09 7d 3b 0a 09 09 09 09 09 09 73 65 6c 66 2e 73 .};.......self.s
1870: 65 6e 64 28 20 6d 61 74 63 68 20 26 73 6f 75 72 end( match &sour
1880: 63 65 2e 69 76 5f 68 61 73 68 20 7b 0a 09 09 09 ce.iv_hash {....
1890: 09 09 09 09 53 6f 6d 65 28 68 61 73 68 29 20 3d ....Some(hash) =
18a0: 3e 20 66 6f 72 6d 61 74 21 28 22 3c 61 20 68 72 > format!("<a hr
18b0: 65 66 3d 5c 22 68 74 74 70 73 3a 2f 2f 74 2e 6d ef=\"https://t.m
18c0: 65 2f 69 76 3f 75 72 6c 3d 7b 70 6f 73 74 5f 75 e/iv?url={post_u
18d0: 72 6c 7d 26 72 68 61 73 68 3d 7b 68 61 73 68 7d rl}&rhash={hash}
18e0: 5c 22 3e 20 3c 2f 61 3e 7b 70 6f 73 74 5f 75 72 \"> </a>{post_ur
18f0: 6c 7d 22 29 2c 0a 09 09 09 09 09 09 09 4e 6f 6e l}"),........Non
1900: 65 20 3d 3e 20 66 6f 72 6d 61 74 21 28 22 7b 70 e => format!("{p
1910: 6f 73 74 5f 75 72 6c 7d 22 29 2c 0a 09 09 09 09 ost_url}"),.....
1920: 09 09 7d 2c 20 53 6f 6d 65 28 64 65 73 74 69 6e ..}, Some(destin
1930: 61 74 69 6f 6e 29 2c 20 53 6f 6d 65 28 50 61 72 ation), Some(Par
1940: 73 65 4d 6f 64 65 3a 3a 48 74 6d 6c 29 29 2e 61 seMode::Html)).a
1950: 77 61 69 74 2e 73 74 61 63 6b 28 29 3f 3b 0a 09 wait.stack()?;..
1960: 09 09 09 09 09 63 6f 6e 6e 2e 61 64 64 5f 70 6f .....conn.add_po
1970: 73 74 28 2a 69 64 2c 20 64 61 74 65 2c 20 26 70 st(*id, date, &p
1980: 6f 73 74 5f 75 72 6c 29 2e 61 77 61 69 74 2e 73 ost_url).await.s
1990: 74 61 63 6b 28 29 3f 3b 0a 09 09 09 09 09 7d 3b tack()?;......};
19a0: 0a 09 09 09 09 7d 3b 0a 09 09 09 09 70 6f 73 74 .....};.....post
19b0: 65 64 20 2b 3d 20 31 3b 0a 09 09 09 7d 3b 0a 09 ed += 1;....};..
19c0: 09 09 70 6f 73 74 73 2e 63 6c 65 61 72 28 29 3b ..posts.clear();
19d0: 0a 09 09 7d 3b 0a 09 09 4f 6b 28 66 6f 72 6d 61 ...};...Ok(forma
19e0: 74 21 28 22 50 6f 73 74 65 64 3a 20 7b 70 6f 73 t!("Posted: {pos
19f0: 74 65 64 7d 22 29 29 0a 09 7d 0a 0a 09 61 73 79 ted}"))..}...asy
1a00: 6e 63 20 66 6e 20 61 75 74 6f 66 65 74 63 68 28 nc fn autofetch(
1a10: 26 73 65 6c 66 29 20 2d 3e 20 52 65 73 75 6c 74 &self) -> Result
1a20: 3c 73 74 64 3a 3a 74 69 6d 65 3a 3a 44 75 72 61 <std::time::Dura
1a30: 74 69 6f 6e 3e 20 7b 0a 09 09 6c 65 74 20 6d 75 tion> {...let mu
1a40: 74 20 64 65 6c 61 79 20 3d 20 63 68 72 6f 6e 6f t delay = chrono
1a50: 3a 3a 44 75 72 61 74 69 6f 6e 3a 3a 6d 69 6e 75 ::Duration::minu
1a60: 74 65 73 28 31 29 3b 0a 09 09 6c 65 74 20 6e 6f tes(1);...let no
1a70: 77 20 3d 20 63 68 72 6f 6e 6f 3a 3a 4c 6f 63 61 w = chrono::Loca
1a80: 6c 3a 3a 6e 6f 77 28 29 3b 0a 09 09 6c 65 74 20 l::now();...let
1a90: 71 75 65 75 65 20 3d 20 7b 0a 09 09 09 6c 65 74 queue = {....let
1aa0: 20 6d 75 74 20 63 6f 6e 6e 20 3d 20 73 65 6c 66 mut conn = self
1ab0: 2e 64 62 2e 62 65 67 69 6e 28 29 2e 61 77 61 69 .db.begin().awai
1ac0: 74 2e 73 74 61 63 6b 28 29 3f 3b 0a 09 09 09 63 t.stack()?;....c
1ad0: 6f 6e 6e 2e 67 65 74 5f 71 75 65 75 65 28 29 2e onn.get_queue().
1ae0: 61 77 61 69 74 2e 73 74 61 63 6b 28 29 3f 0a 09 await.stack()?..
1af0: 09 7d 3b 0a 09 09 66 6f 72 20 72 6f 77 20 69 6e .};...for row in
1b00: 20 71 75 65 75 65 20 7b 0a 09 09 09 69 66 20 6c queue {....if l
1b10: 65 74 20 53 6f 6d 65 28 6e 65 78 74 5f 66 65 74 et Some(next_fet
1b20: 63 68 29 20 3d 20 72 6f 77 2e 6e 65 78 74 5f 66 ch) = row.next_f
1b30: 65 74 63 68 20 7b 0a 09 09 09 09 69 66 20 6e 65 etch {.....if ne
1b40: 78 74 5f 66 65 74 63 68 20 3c 20 6e 6f 77 20 7b xt_fetch < now {
1b50: 0a 09 09 09 09 09 69 66 20 6c 65 74 20 28 53 6f ......if let (So
1b60: 6d 65 28 6f 77 6e 65 72 29 2c 20 53 6f 6d 65 28 me(owner), Some(
1b70: 73 6f 75 72 63 65 5f 69 64 29 2c 20 6c 61 73 74 source_id), last
1b80: 5f 73 63 72 61 70 65 29 20 3d 20 28 72 6f 77 2e _scrape) = (row.
1b90: 6f 77 6e 65 72 2c 20 72 6f 77 2e 73 6f 75 72 63 owner, row.sourc
1ba0: 65 5f 69 64 2c 20 72 6f 77 2e 6c 61 73 74 5f 73 e_id, row.last_s
1bb0: 63 72 61 70 65 29 20 7b 0a 09 09 09 09 09 09 6c crape) {.......l
1bc0: 65 74 20 63 6c 6f 6e 65 20 3d 20 43 6f 72 65 20 et clone = Core
1bd0: 7b 0a 09 09 09 09 09 09 09 6f 77 6e 65 72 5f 63 {........owner_c
1be0: 68 61 74 3a 20 43 68 61 74 50 65 65 72 49 64 3a hat: ChatPeerId:
1bf0: 3a 66 72 6f 6d 28 6f 77 6e 65 72 29 2c 0a 09 09 :from(owner),...
1c00: 09 09 09 09 09 2e 2e 73 65 6c 66 2e 63 6c 6f 6e .......self.clon
1c10: 65 28 29 0a 09 09 09 09 09 09 7d 3b 0a 09 09 09 e().......};....
1c20: 09 09 09 6c 65 74 20 73 6f 75 72 63 65 20 3d 20 ...let source =
1c30: 7b 0a 09 09 09 09 09 09 09 6c 65 74 20 6d 75 74 {........let mut
1c40: 20 63 6f 6e 6e 20 3d 20 73 65 6c 66 2e 64 62 2e conn = self.db.
1c50: 62 65 67 69 6e 28 29 2e 61 77 61 69 74 2e 73 74 begin().await.st
1c60: 61 63 6b 28 29 3f 3b 0a 09 09 09 09 09 09 09 6d ack()?;........m
1c70: 61 74 63 68 20 63 6f 6e 6e 2e 67 65 74 5f 6f 6e atch conn.get_on
1c80: 65 28 6f 77 6e 65 72 2c 20 73 6f 75 72 63 65 5f e(owner, source_
1c90: 69 64 29 2e 61 77 61 69 74 20 7b 0a 09 09 09 09 id).await {.....
1ca0: 09 09 09 09 4f 6b 28 53 6f 6d 65 28 73 6f 75 72 ....Ok(Some(sour
1cb0: 63 65 29 29 20 3d 3e 20 73 6f 75 72 63 65 2e 74 ce)) => source.t
1cc0: 6f 5f 73 74 72 69 6e 67 28 29 2c 0a 09 09 09 09 o_string(),.....
1cd0: 09 09 09 09 4f 6b 28 4e 6f 6e 65 29 20 3d 3e 20 ....Ok(None) =>
1ce0: 22 53 6f 75 72 63 65 20 6e 6f 74 20 66 6f 75 6e "Source not foun
1cf0: 64 20 69 6e 20 64 61 74 61 62 61 73 65 2e 73 74 d in database.st
1d00: 61 63 6b 28 29 3f 22 2e 74 6f 5f 73 74 72 69 6e ack()?".to_strin
1d10: 67 28 29 2c 0a 09 09 09 09 09 09 09 09 45 72 72 g(),.........Err
1d20: 28 65 72 72 29 20 3d 3e 20 66 6f 72 6d 61 74 21 (err) => format!
1d30: 28 22 46 61 69 6c 65 64 20 74 6f 20 66 65 74 63 ("Failed to fetc
1d40: 68 20 73 6f 75 72 63 65 20 64 61 74 61 3a 5c 6e h source data:\n
1d50: 7b 65 72 72 7d 22 29 2c 0a 09 09 09 09 09 09 09 {err}"),........
1d60: 7d 0a 09 09 09 09 09 09 7d 3b 0a 09 09 09 09 09 }.......};......
1d70: 09 73 6d 6f 6c 3a 3a 73 70 61 77 6e 28 43 6f 6d .smol::spawn(Com
1d80: 70 61 74 3a 3a 6e 65 77 28 61 73 79 6e 63 20 6d pat::new(async m
1d90: 6f 76 65 20 7b 0a 09 09 09 09 09 09 09 69 66 20 ove {........if
1da0: 6c 65 74 20 45 72 72 28 65 72 72 29 20 3d 20 63 let Err(err) = c
1db0: 6c 6f 6e 65 2e 63 68 65 63 6b 28 73 6f 75 72 63 lone.check(sourc
1dc0: 65 5f 69 64 2c 20 74 72 75 65 2c 20 53 6f 6d 65 e_id, true, Some
1dd0: 28 6c 61 73 74 5f 73 63 72 61 70 65 29 29 2e 61 (last_scrape)).a
1de0: 77 61 69 74 20 7b 0a 09 09 09 09 09 09 09 09 69 wait {.........i
1df0: 66 20 6c 65 74 20 45 72 72 28 65 72 72 29 20 3d f let Err(err) =
1e00: 20 63 6c 6f 6e 65 2e 73 65 6e 64 28 26 66 6f 72 clone.send(&for
1e10: 6d 61 74 21 28 22 7b 73 6f 75 72 63 65 7d 5c 6e mat!("{source}\n
1e20: 5c 6e f0 9f 9b 91 20 7b 7d 22 2c 20 65 6e 63 6f \nš {}", enco
1e30: 64 65 28 26 65 72 72 2e 74 6f 5f 73 74 72 69 6e de(&err.to_strin
1e40: 67 28 29 29 29 2c 20 4e 6f 6e 65 2c 20 53 6f 6d g())), None, Som
1e50: 65 28 50 61 72 73 65 4d 6f 64 65 3a 3a 4d 61 72 e(ParseMode::Mar
1e60: 6b 64 6f 77 6e 56 32 29 29 2e 61 77 61 69 74 20 kdownV2)).await
1e70: 7b 0a 09 09 09 09 09 09 09 09 09 65 70 72 69 6e {..........eprin
1e80: 74 6c 6e 21 28 22 43 68 65 63 6b 20 65 72 72 6f tln!("Check erro
1e90: 72 3a 20 7b 65 72 72 7d 22 29 3b 0a 09 09 09 09 r: {err}");.....
1ea0: 09 09 09 09 09 2f 2f 20 63 6c 6f 6e 65 2e 64 69 .....// clone.di
1eb0: 73 61 62 6c 65 28 26 73 6f 75 72 63 65 5f 69 64 sable(&source_id
1ec0: 2c 20 6f 77 6e 65 72 29 2e 61 77 61 69 74 2e 75 , owner).await.u
1ed0: 6e 77 72 61 70 28 29 3b 0a 09 09 09 09 09 09 09 nwrap();........
1ee0: 09 7d 3b 0a 09 09 09 09 09 09 09 7d 3b 0a 09 09 .};........};...
1ef0: 09 09 09 09 7d 29 29 2e 64 65 74 61 63 68 28 29 ....})).detach()
1f00: 3b 0a 09 09 09 09 09 7d 0a 09 09 09 09 7d 20 65 ;......}.....} e
1f10: 6c 73 65 20 69 66 20 6e 65 78 74 5f 66 65 74 63 lse if next_fetc
1f20: 68 20 2d 20 6e 6f 77 20 3c 20 64 65 6c 61 79 20 h - now < delay
1f30: 7b 0a 09 09 09 09 09 64 65 6c 61 79 20 3d 20 6e {......delay = n
1f40: 65 78 74 5f 66 65 74 63 68 20 2d 20 6e 6f 77 3b ext_fetch - now;
1f50: 0a 09 09 09 09 7d 0a 09 09 09 7d 0a 09 09 7d 3b .....}....}...};
1f60: 0a 09 09 64 65 6c 61 79 2e 74 6f 5f 73 74 64 28 ...delay.to_std(
1f70: 29 2e 73 74 61 63 6b 28 29 0a 09 7d 0a 0a 09 70 ).stack()..}...p
1f80: 75 62 20 61 73 79 6e 63 20 66 6e 20 6c 69 73 74 ub async fn list
1f90: 20 28 26 73 65 6c 66 2c 20 6f 77 6e 65 72 3a 20 (&self, owner:
1fa0: 55 73 65 72 50 65 65 72 49 64 29 20 2d 3e 20 52 UserPeerId) -> R
1fb0: 65 73 75 6c 74 3c 53 74 72 69 6e 67 3e 20 7b 0a esult<String> {.
1fc0: 09 09 6c 65 74 20 6d 75 74 20 72 65 70 6c 79 3a ..let mut reply:
1fd0: 20 56 65 63 3c 53 74 72 69 6e 67 3e 20 3d 20 76 Vec<String> = v
1fe0: 65 63 21 5b 5d 3b 0a 09 09 72 65 70 6c 79 2e 70 ec![];...reply.p
1ff0: 75 73 68 28 22 43 68 61 6e 6e 65 6c 73 3a 22 2e ush("Channels:".
2000: 69 6e 74 6f 28 29 29 3b 0a 09 09 6c 65 74 20 6d into());...let m
2010: 75 74 20 63 6f 6e 6e 20 3d 20 73 65 6c 66 2e 64 ut conn = self.d
2020: 62 2e 62 65 67 69 6e 28 29 2e 61 77 61 69 74 2e b.begin().await.
2030: 73 74 61 63 6b 28 29 3f 3b 0a 09 09 66 6f 72 20 stack()?;...for
2040: 72 6f 77 20 69 6e 20 63 6f 6e 6e 2e 67 65 74 5f row in conn.get_
2050: 6c 69 73 74 28 6f 77 6e 65 72 29 2e 61 77 61 69 list(owner).awai
2060: 74 2e 73 74 61 63 6b 28 29 3f 20 7b 0a 09 09 09 t.stack()? {....
2070: 72 65 70 6c 79 2e 70 75 73 68 28 72 6f 77 2e 74 reply.push(row.t
2080: 6f 5f 73 74 72 69 6e 67 28 29 29 3b 0a 09 09 7d o_string());...}
2090: 3b 0a 09 09 4f 6b 28 72 65 70 6c 79 2e 6a 6f 69 ;...Ok(reply.joi
20a0: 6e 28 22 5c 6e 5c 6e 22 29 29 0a 09 7d 0a 7d 0a n("\n\n"))..}.}.
20b0: 0a 69 6d 70 6c 20 55 70 64 61 74 65 48 61 6e 64 .impl UpdateHand
20c0: 6c 65 72 20 66 6f 72 20 43 6f 72 65 20 7b 0a 09 ler for Core {..
20d0: 61 73 79 6e 63 20 66 6e 20 68 61 6e 64 6c 65 20 async fn handle
20e0: 28 26 73 65 6c 66 2c 20 75 70 64 61 74 65 3a 20 (&self, update:
20f0: 55 70 64 61 74 65 29 20 7b 0a 09 09 69 66 20 6c Update) {...if l
2100: 65 74 20 55 70 64 61 74 65 54 79 70 65 3a 3a 4d et UpdateType::M
2110: 65 73 73 61 67 65 28 6d 73 67 29 20 3d 20 75 70 essage(msg) = up
2120: 64 61 74 65 2e 75 70 64 61 74 65 5f 74 79 70 65 date.update_type
2130: 20 7b 0a 09 09 09 69 66 20 6c 65 74 20 4f 6b 28 {....if let Ok(
2140: 63 6d 64 29 20 3d 20 43 6f 6d 6d 61 6e 64 3a 3a cmd) = Command::
2150: 74 72 79 5f 66 72 6f 6d 28 6d 73 67 29 20 7b 0a try_from(msg) {.
2160: 09 09 09 09 6c 65 74 20 6d 73 67 20 3d 20 63 6d ....let msg = cm
2170: 64 2e 67 65 74 5f 6d 65 73 73 61 67 65 28 29 3b d.get_message();
2180: 0a 09 09 09 09 6c 65 74 20 77 6f 72 64 73 20 3d .....let words =
2190: 20 63 6d 64 2e 67 65 74 5f 61 72 67 73 28 29 3b cmd.get_args();
21a0: 0a 09 09 09 09 6c 65 74 20 63 6f 6d 6d 61 6e 64 .....let command
21b0: 20 3d 20 63 6d 64 2e 67 65 74 5f 6e 61 6d 65 28 = cmd.get_name(
21c0: 29 3b 0a 09 09 09 09 6c 65 74 20 72 65 73 20 3d );.....let res =
21d0: 20 6d 61 74 63 68 20 63 6f 6d 6d 61 6e 64 20 7b match command {
21e0: 0a 09 09 09 09 09 22 2f 63 68 65 63 6b 22 20 7c ......"/check" |
21f0: 20 22 2f 63 6c 65 61 6e 22 20 7c 20 22 2f 65 6e "/clean" | "/en
2200: 61 62 6c 65 22 20 7c 20 22 2f 64 65 6c 65 74 65 able" | "/delete
2210: 22 20 7c 20 22 2f 64 69 73 61 62 6c 65 22 20 3d " | "/disable" =
2220: 3e 20 63 6f 6d 6d 61 6e 64 3a 3a 63 6f 6d 6d 61 > command::comma
2230: 6e 64 28 73 65 6c 66 2c 20 63 6f 6d 6d 61 6e 64 nd(self, command
2240: 2c 20 6d 73 67 2c 20 77 6f 72 64 73 29 2e 61 77 , msg, words).aw
2250: 61 69 74 2c 0a 09 09 09 09 09 22 2f 73 74 61 72 ait,......"/star
2260: 74 22 20 3d 3e 20 63 6f 6d 6d 61 6e 64 3a 3a 73 t" => command::s
2270: 74 61 72 74 28 73 65 6c 66 2c 20 6d 73 67 29 2e tart(self, msg).
2280: 61 77 61 69 74 2c 0a 09 09 09 09 09 22 2f 6c 69 await,......"/li
2290: 73 74 22 20 3d 3e 20 63 6f 6d 6d 61 6e 64 3a 3a st" => command::
22a0: 6c 69 73 74 28 73 65 6c 66 2c 20 6d 73 67 29 2e list(self, msg).
22b0: 61 77 61 69 74 2c 0a 09 09 09 09 09 22 2f 61 64 await,......"/ad
22c0: 64 22 20 7c 20 22 2f 75 70 64 61 74 65 22 20 3d d" | "/update" =
22d0: 3e 20 63 6f 6d 6d 61 6e 64 3a 3a 75 70 64 61 74 > command::updat
22e0: 65 28 73 65 6c 66 2c 20 63 6f 6d 6d 61 6e 64 2c e(self, command,
22f0: 20 6d 73 67 2c 20 77 6f 72 64 73 29 2e 61 77 61 msg, words).awa
2300: 69 74 2c 0a 09 09 09 09 09 61 6e 79 20 3d 3e 20 it,......any =>
2310: 45 72 72 28 61 6e 79 68 6f 77 21 28 22 55 6e 6b Err(anyhow!("Unk
2320: 6e 6f 77 6e 20 63 6f 6d 6d 61 6e 64 3a 20 7b 61 nown command: {a
2330: 6e 79 7d 22 29 29 2c 0a 09 09 09 09 7d 3b 0a 09 ny}")),.....};..
2340: 09 09 09 69 66 20 6c 65 74 20 45 72 72 28 65 72 ...if let Err(er
2350: 72 29 20 3d 20 72 65 73 20 7b 0a 09 09 09 09 09 r) = res {......
2360: 69 66 20 6c 65 74 20 45 72 72 28 65 72 72 32 29 if let Err(err2)
2370: 20 3d 20 73 65 6c 66 2e 73 65 6e 64 28 66 6f 72 = self.send(for
2380: 6d 61 74 21 28 22 5c 5c 23 65 72 72 6f 72 5c 6e mat!("\\#error\n
2390: 60 60 60 5c 6e 7b 65 72 72 7d 5c 6e 60 60 60 22 ```\n{err}\n```"
23a0: 29 2c 0a 09 09 09 09 09 09 53 6f 6d 65 28 6d 73 ),.......Some(ms
23b0: 67 2e 63 68 61 74 2e 67 65 74 5f 69 64 28 29 29 g.chat.get_id())
23c0: 2c 0a 09 09 09 09 09 09 53 6f 6d 65 28 50 61 72 ,.......Some(Par
23d0: 73 65 4d 6f 64 65 3a 3a 4d 61 72 6b 64 6f 77 6e seMode::Markdown
23e0: 56 32 29 0a 09 09 09 09 09 29 2e 61 77 61 69 74 V2)......).await
23f0: 7b 0a 09 09 09 09 09 09 64 62 67 21 28 65 72 72 {.......dbg!(err
2400: 32 29 3b 0a 09 09 09 09 09 7d 3b 0a 09 09 09 09 2);......};.....
2410: 7d 0a 09 09 09 7d 3b 0a 09 09 7d 3b 0a 09 7d 0a }....};...};..}.
2420: 7d 0a }.