0000: 75 73 65 20 63 72 61 74 65 3a 3a 7b 0a 09 63 6f use crate::{..co
0010: 6d 6d 61 6e 64 2c 0a 09 73 71 6c 3a 3a 44 62 2c mmand,..sql::Db,
0020: 0a 7d 3b 0a 0a 75 73 65 20 73 74 64 3a 3a 7b 0a .};..use std::{.
0030: 09 62 6f 72 72 6f 77 3a 3a 43 6f 77 2c 0a 09 63 .borrow::Cow,..c
0040: 6f 6c 6c 65 63 74 69 6f 6e 73 3a 3a 7b 0a 09 09 ollections::{...
0050: 42 54 72 65 65 4d 61 70 2c 0a 09 09 48 61 73 68 BTreeMap,...Hash
0060: 53 65 74 2c 0a 09 7d 2c 0a 7d 3b 0a 0a 75 73 65 Set,..},.};..use
0070: 20 61 73 79 6e 63 5f 73 74 64 3a 3a 7b 0a 09 74 async_std::{..t
0080: 61 73 6b 2c 0a 09 73 79 6e 63 3a 3a 7b 0a 09 09 ask,..sync::{...
0090: 41 72 63 2c 0a 09 09 4d 75 74 65 78 0a 09 7d 2c Arc,...Mutex..},
00a0: 0a 7d 3b 0a 75 73 65 20 63 68 72 6f 6e 6f 3a 3a .};.use chrono::
00b0: 7b 0a 09 44 61 74 65 54 69 6d 65 2c 0a 09 4c 6f {..DateTime,..Lo
00c0: 63 61 6c 2c 0a 7d 3b 0a 75 73 65 20 6c 61 7a 79 cal,.};.use lazy
00d0: 5f 73 74 61 74 69 63 3a 3a 6c 61 7a 79 5f 73 74 _static::lazy_st
00e0: 61 74 69 63 3b 0a 75 73 65 20 72 65 67 65 78 3a atic;.use regex:
00f0: 3a 52 65 67 65 78 3b 0a 75 73 65 20 72 65 71 77 :Regex;.use reqw
0100: 65 73 74 3a 3a 68 65 61 64 65 72 3a 3a 7b 0a 09 est::header::{..
0110: 43 41 43 48 45 5f 43 4f 4e 54 52 4f 4c 2c 0a 09 CACHE_CONTROL,..
0120: 45 58 50 49 52 45 53 2c 0a 09 4c 41 53 54 5f 4d EXPIRES,..LAST_M
0130: 4f 44 49 46 49 45 44 0a 7d 3b 0a 75 73 65 20 74 ODIFIED.};.use t
0140: 67 62 6f 74 3a 3a 7b 0a 09 61 70 69 3a 3a 43 6c gbot::{..api::Cl
0150: 69 65 6e 74 2c 0a 09 68 61 6e 64 6c 65 72 3a 3a ient,..handler::
0160: 55 70 64 61 74 65 48 61 6e 64 6c 65 72 2c 0a 09 UpdateHandler,..
0170: 74 79 70 65 73 3a 3a 7b 0a 09 09 42 6f 74 2c 0a types::{...Bot,.
0180: 09 09 43 68 61 74 50 65 65 72 49 64 2c 0a 09 09 ..ChatPeerId,...
0190: 43 6f 6d 6d 61 6e 64 2c 0a 09 09 47 65 74 42 6f Command,...GetBo
01a0: 74 2c 0a 09 09 4d 65 73 73 61 67 65 2c 0a 09 09 t,...Message,...
01b0: 50 61 72 73 65 4d 6f 64 65 2c 0a 09 09 53 65 6e ParseMode,...Sen
01c0: 64 4d 65 73 73 61 67 65 2c 0a 09 09 55 70 64 61 dMessage,...Upda
01d0: 74 65 2c 0a 09 09 55 70 64 61 74 65 54 79 70 65 te,...UpdateType
01e0: 2c 0a 09 09 55 73 65 72 50 65 65 72 49 64 2c 0a ,...UserPeerId,.
01f0: 09 7d 2c 0a 7d 3b 0a 75 73 65 20 73 74 61 63 6b .},.};.use stack
0200: 65 64 5f 65 72 72 6f 72 73 3a 3a 7b 0a 09 52 65 ed_errors::{..Re
0210: 73 75 6c 74 2c 0a 09 53 74 61 63 6b 61 62 6c 65 sult,..Stackable
0220: 45 72 72 2c 0a 09 61 6e 79 68 6f 77 2c 0a 09 62 Err,..anyhow,..b
0230: 61 69 6c 2c 0a 7d 3b 0a 0a 6c 61 7a 79 5f 73 74 ail,.};..lazy_st
0240: 61 74 69 63 21 7b 0a 09 70 75 62 20 73 74 61 74 atic!{..pub stat
0250: 69 63 20 72 65 66 20 52 45 5f 53 50 45 43 49 41 ic ref RE_SPECIA
0260: 4c 3a 20 52 65 67 65 78 20 3d 20 52 65 67 65 78 L: Regex = Regex
0270: 3a 3a 6e 65 77 28 72 22 28 5b 5c 2d 5f 2a 5c 5b ::new(r"([\-_*\[
0280: 5c 5d 28 29 7e 60 3e 23 2b 7c 7b 7d 5c 2e 21 5d \]()~`>#+|{}\.!]
0290: 29 22 29 2e 75 6e 77 72 61 70 28 29 3b 0a 7d 0a )").unwrap();.}.
02a0: 0a 2f 2f 2f 20 45 6e 63 6f 64 65 73 20 73 70 65 ./// Encodes spe
02b0: 63 69 61 6c 20 48 54 4d 4c 20 65 6e 74 69 74 69 cial HTML entiti
02c0: 65 73 20 74 6f 20 70 72 65 76 65 6e 74 20 74 68 es to prevent th
02d0: 65 6d 20 69 6e 74 65 72 66 65 72 69 6e 67 20 77 em interfering w
02e0: 69 74 68 20 54 65 6c 65 67 72 61 6d 20 48 54 4d ith Telegram HTM
02f0: 4c 0a 70 75 62 20 66 6e 20 65 6e 63 6f 64 65 20 L.pub fn encode
0300: 28 74 65 78 74 3a 20 26 73 74 72 29 20 2d 3e 20 (text: &str) ->
0310: 43 6f 77 3c 27 5f 2c 20 73 74 72 3e 20 7b 0a 09 Cow<'_, str> {..
0320: 52 45 5f 53 50 45 43 49 41 4c 2e 72 65 70 6c 61 RE_SPECIAL.repla
0330: 63 65 5f 61 6c 6c 28 74 65 78 74 2c 20 22 5c 5c ce_all(text, "\\
0340: 24 31 22 29 0a 7d 0a 0a 23 5b 64 65 72 69 76 65 $1").}..#[derive
0350: 28 43 6c 6f 6e 65 29 5d 0a 70 75 62 20 73 74 72 (Clone)].pub str
0360: 75 63 74 20 43 6f 72 65 20 7b 0a 09 6f 77 6e 65 uct Core {..owne
0370: 72 5f 63 68 61 74 3a 20 43 68 61 74 50 65 65 72 r_chat: ChatPeer
0380: 49 64 2c 0a 09 2f 2f 20 6d 61 78 5f 64 65 6c 61 Id,..// max_dela
0390: 79 3a 20 75 31 36 2c 0a 09 70 75 62 20 74 67 3a y: u16,..pub tg:
03a0: 20 43 6c 69 65 6e 74 2c 0a 09 70 75 62 20 6d 65 Client,..pub me
03b0: 3a 20 42 6f 74 2c 0a 09 70 75 62 20 64 62 3a 20 : Bot,..pub db:
03c0: 44 62 2c 0a 09 73 6f 75 72 63 65 73 3a 20 41 72 Db,..sources: Ar
03d0: 63 3c 4d 75 74 65 78 3c 48 61 73 68 53 65 74 3c c<Mutex<HashSet<
03e0: 41 72 63 3c 69 33 32 3e 3e 3e 3e 2c 0a 09 68 74 Arc<i32>>>>,..ht
03f0: 74 70 5f 63 6c 69 65 6e 74 3a 20 72 65 71 77 65 tp_client: reqwe
0400: 73 74 3a 3a 43 6c 69 65 6e 74 2c 0a 7d 0a 0a 69 st::Client,.}..i
0410: 6d 70 6c 20 43 6f 72 65 20 7b 0a 09 70 75 62 20 mpl Core {..pub
0420: 61 73 79 6e 63 20 66 6e 20 6e 65 77 28 73 65 74 async fn new(set
0430: 74 69 6e 67 73 3a 20 63 6f 6e 66 69 67 3a 3a 43 tings: config::C
0440: 6f 6e 66 69 67 29 20 2d 3e 20 52 65 73 75 6c 74 onfig) -> Result
0450: 3c 43 6f 72 65 3e 20 7b 0a 09 09 6c 65 74 20 6f <Core> {...let o
0460: 77 6e 65 72 5f 63 68 61 74 20 3d 20 43 68 61 74 wner_chat = Chat
0470: 50 65 65 72 49 64 3a 3a 66 72 6f 6d 28 73 65 74 PeerId::from(set
0480: 74 69 6e 67 73 2e 67 65 74 5f 69 6e 74 28 22 6f tings.get_int("o
0490: 77 6e 65 72 22 29 2e 73 74 61 63 6b 28 29 3f 29 wner").stack()?)
04a0: 3b 0a 09 09 6c 65 74 20 61 70 69 5f 6b 65 79 20 ;...let api_key
04b0: 3d 20 73 65 74 74 69 6e 67 73 2e 67 65 74 5f 73 = settings.get_s
04c0: 74 72 69 6e 67 28 22 61 70 69 5f 6b 65 79 22 29 tring("api_key")
04d0: 2e 73 74 61 63 6b 28 29 3f 3b 0a 09 09 6c 65 74 .stack()?;...let
04e0: 20 74 67 20 3d 20 43 6c 69 65 6e 74 3a 3a 6e 65 tg = Client::ne
04f0: 77 28 26 61 70 69 5f 6b 65 79 29 2e 73 74 61 63 w(&api_key).stac
0500: 6b 28 29 3f 0a 09 09 09 2e 77 69 74 68 5f 68 6f k()?.....with_ho
0510: 73 74 28 73 65 74 74 69 6e 67 73 2e 67 65 74 5f st(settings.get_
0520: 73 74 72 69 6e 67 28 22 61 70 69 5f 67 61 74 65 string("api_gate
0530: 77 61 79 22 29 2e 73 74 61 63 6b 28 29 3f 29 3b way").stack()?);
0540: 0a 0a 09 09 6c 65 74 20 6d 75 74 20 63 6c 69 65 ....let mut clie
0550: 6e 74 20 3d 20 72 65 71 77 65 73 74 3a 3a 43 6c nt = reqwest::Cl
0560: 69 65 6e 74 3a 3a 62 75 69 6c 64 65 72 28 29 3b ient::builder();
0570: 0a 09 09 69 66 20 6c 65 74 20 4f 6b 28 70 72 6f ...if let Ok(pro
0580: 78 79 29 20 3d 20 73 65 74 74 69 6e 67 73 2e 67 xy) = settings.g
0590: 65 74 5f 73 74 72 69 6e 67 28 22 70 72 6f 78 79 et_string("proxy
05a0: 22 29 20 7b 0a 09 09 09 6c 65 74 20 70 72 6f 78 ") {....let prox
05b0: 79 20 3d 20 72 65 71 77 65 73 74 3a 3a 50 72 6f y = reqwest::Pro
05c0: 78 79 3a 3a 61 6c 6c 28 70 72 6f 78 79 29 2e 73 xy::all(proxy).s
05d0: 74 61 63 6b 28 29 3f 3b 0a 09 09 09 63 6c 69 65 tack()?;....clie
05e0: 6e 74 20 3d 20 63 6c 69 65 6e 74 2e 70 72 6f 78 nt = client.prox
05f0: 79 28 70 72 6f 78 79 29 3b 0a 09 09 7d 0a 09 09 y(proxy);...}...
0600: 6c 65 74 20 68 74 74 70 5f 63 6c 69 65 6e 74 20 let http_client
0610: 3d 20 63 6c 69 65 6e 74 2e 62 75 69 6c 64 28 29 = client.build()
0620: 2e 73 74 61 63 6b 28 29 3f 3b 0a 09 09 6c 65 74 .stack()?;...let
0630: 20 6d 65 20 3d 20 74 67 2e 65 78 65 63 75 74 65 me = tg.execute
0640: 28 47 65 74 42 6f 74 29 2e 61 77 61 69 74 2e 73 (GetBot).await.s
0650: 74 61 63 6b 28 29 3f 3b 0a 09 09 6c 65 74 20 63 tack()?;...let c
0660: 6f 72 65 20 3d 20 43 6f 72 65 20 7b 0a 09 09 09 ore = Core {....
0670: 74 67 2c 0a 09 09 09 6d 65 2c 0a 09 09 09 6f 77 tg,....me,....ow
0680: 6e 65 72 5f 63 68 61 74 2c 0a 09 09 09 64 62 3a ner_chat,....db:
0690: 20 44 62 3a 3a 6e 65 77 28 26 73 65 74 74 69 6e Db::new(&settin
06a0: 67 73 2e 67 65 74 5f 73 74 72 69 6e 67 28 22 70 gs.get_string("p
06b0: 67 22 29 2e 73 74 61 63 6b 28 29 3f 29 3f 2c 0a g").stack()?)?,.
06c0: 09 09 09 73 6f 75 72 63 65 73 3a 20 41 72 63 3a ...sources: Arc:
06d0: 3a 6e 65 77 28 4d 75 74 65 78 3a 3a 6e 65 77 28 :new(Mutex::new(
06e0: 48 61 73 68 53 65 74 3a 3a 6e 65 77 28 29 29 29 HashSet::new()))
06f0: 2c 0a 09 09 09 68 74 74 70 5f 63 6c 69 65 6e 74 ,....http_client
0700: 2c 0a 09 09 09 2f 2f 20 6d 61 78 5f 64 65 6c 61 ,....// max_dela
0710: 79 3a 20 36 30 2c 0a 09 09 7d 3b 0a 09 09 6c 65 y: 60,...};...le
0720: 74 20 63 6c 6f 6e 65 20 3d 20 63 6f 72 65 2e 63 t clone = core.c
0730: 6c 6f 6e 65 28 29 3b 0a 09 09 74 61 73 6b 3a 3a lone();...task::
0740: 73 70 61 77 6e 28 61 73 79 6e 63 20 6d 6f 76 65 spawn(async move
0750: 20 7b 0a 09 09 09 6c 6f 6f 70 20 7b 0a 09 09 09 {....loop {....
0760: 09 6c 65 74 20 64 65 6c 61 79 20 3d 20 6d 61 74 .let delay = mat
0770: 63 68 20 26 63 6c 6f 6e 65 2e 61 75 74 6f 66 65 ch &clone.autofe
0780: 74 63 68 28 29 2e 61 77 61 69 74 20 7b 0a 09 09 tch().await {...
0790: 09 09 09 45 72 72 28 65 72 72 29 20 3d 3e 20 7b ...Err(err) => {
07a0: 0a 09 09 09 09 09 09 69 66 20 6c 65 74 20 45 72 .......if let Er
07b0: 72 28 65 72 72 29 20 3d 20 63 6c 6f 6e 65 2e 73 r(err) = clone.s
07c0: 65 6e 64 28 66 6f 72 6d 61 74 21 28 22 f0 9f 9b end(format!("š
07d0: 91 20 7b 65 72 72 7d 22 29 2c 20 4e 6f 6e 65 2c {err}"), None,
07e0: 20 4e 6f 6e 65 29 2e 61 77 61 69 74 20 7b 0a 09 None).await {..
07f0: 09 09 09 09 09 09 65 70 72 69 6e 74 6c 6e 21 28 ......eprintln!(
0800: 22 41 75 74 6f 66 65 74 63 68 20 65 72 72 6f 72 "Autofetch error
0810: 3a 20 7b 65 72 72 3a 3f 7d 22 29 3b 0a 09 09 09 : {err:?}");....
0820: 09 09 09 7d 3b 0a 09 09 09 09 09 09 73 74 64 3a ...};.......std:
0830: 3a 74 69 6d 65 3a 3a 44 75 72 61 74 69 6f 6e 3a :time::Duration:
0840: 3a 66 72 6f 6d 5f 73 65 63 73 28 36 30 29 0a 09 :from_secs(60)..
0850: 09 09 09 09 7d 2c 0a 09 09 09 09 09 4f 6b 28 74 ....},......Ok(t
0860: 69 6d 65 29 20 3d 3e 20 2a 74 69 6d 65 2c 0a 09 ime) => *time,..
0870: 09 09 09 7d 3b 0a 09 09 09 09 74 61 73 6b 3a 3a ...};.....task::
0880: 73 6c 65 65 70 28 64 65 6c 61 79 29 2e 61 77 61 sleep(delay).awa
0890: 69 74 3b 0a 09 09 09 7d 0a 09 09 7d 29 3b 0a 09 it;....}...});..
08a0: 09 4f 6b 28 63 6f 72 65 29 0a 09 7d 0a 0a 09 70 .Ok(core)..}...p
08b0: 75 62 20 61 73 79 6e 63 20 66 6e 20 73 65 6e 64 ub async fn send
08c0: 20 3c 53 3e 28 26 73 65 6c 66 2c 20 6d 73 67 3a <S>(&self, msg:
08d0: 20 53 2c 20 74 61 72 67 65 74 3a 20 4f 70 74 69 S, target: Opti
08e0: 6f 6e 3c 43 68 61 74 50 65 65 72 49 64 3e 2c 20 on<ChatPeerId>,
08f0: 6d 6f 64 65 3a 20 4f 70 74 69 6f 6e 3c 50 61 72 mode: Option<Par
0900: 73 65 4d 6f 64 65 3e 29 20 2d 3e 20 52 65 73 75 seMode>) -> Resu
0910: 6c 74 3c 4d 65 73 73 61 67 65 3e 0a 09 77 68 65 lt<Message>..whe
0920: 72 65 20 53 3a 20 49 6e 74 6f 3c 53 74 72 69 6e re S: Into<Strin
0930: 67 3e 20 7b 0a 09 09 6c 65 74 20 6d 73 67 20 3d g> {...let msg =
0940: 20 6d 73 67 2e 69 6e 74 6f 28 29 3b 0a 0a 09 09 msg.into();....
0950: 6c 65 74 20 6d 6f 64 65 20 3d 20 6d 6f 64 65 2e let mode = mode.
0960: 75 6e 77 72 61 70 5f 6f 72 28 50 61 72 73 65 4d unwrap_or(ParseM
0970: 6f 64 65 3a 3a 48 74 6d 6c 29 3b 0a 09 09 6c 65 ode::Html);...le
0980: 74 20 74 61 72 67 65 74 20 3d 20 74 61 72 67 65 t target = targe
0990: 74 2e 75 6e 77 72 61 70 5f 6f 72 28 73 65 6c 66 t.unwrap_or(self
09a0: 2e 6f 77 6e 65 72 5f 63 68 61 74 29 3b 0a 09 09 .owner_chat);...
09b0: 73 65 6c 66 2e 74 67 2e 65 78 65 63 75 74 65 28 self.tg.execute(
09c0: 0a 09 09 09 53 65 6e 64 4d 65 73 73 61 67 65 3a ....SendMessage:
09d0: 3a 6e 65 77 28 74 61 72 67 65 74 2c 20 6d 73 67 :new(target, msg
09e0: 29 0a 09 09 09 09 2e 77 69 74 68 5f 70 61 72 73 )......with_pars
09f0: 65 5f 6d 6f 64 65 28 6d 6f 64 65 29 0a 09 09 29 e_mode(mode)...)
0a00: 2e 61 77 61 69 74 2e 73 74 61 63 6b 28 29 0a 09 .await.stack()..
0a10: 7d 0a 0a 09 70 75 62 20 61 73 79 6e 63 20 66 6e }...pub async fn
0a20: 20 63 68 65 63 6b 20 28 26 73 65 6c 66 2c 20 69 check (&self, i
0a30: 64 3a 20 69 33 32 2c 20 72 65 61 6c 3a 20 62 6f d: i32, real: bo
0a40: 6f 6c 2c 20 6c 61 73 74 5f 73 63 72 61 70 65 3a ol, last_scrape:
0a50: 20 4f 70 74 69 6f 6e 3c 44 61 74 65 54 69 6d 65 Option<DateTime
0a60: 3c 4c 6f 63 61 6c 3e 3e 29 20 2d 3e 20 52 65 73 <Local>>) -> Res
0a70: 75 6c 74 3c 53 74 72 69 6e 67 3e 20 7b 0a 09 09 ult<String> {...
0a80: 6c 65 74 20 6d 75 74 20 70 6f 73 74 65 64 3a 20 let mut posted:
0a90: 69 33 32 20 3d 20 30 3b 0a 09 09 6c 65 74 20 6d i32 = 0;...let m
0aa0: 75 74 20 63 6f 6e 6e 20 3d 20 73 65 6c 66 2e 64 ut conn = self.d
0ab0: 62 2e 62 65 67 69 6e 28 29 2e 61 77 61 69 74 2e b.begin().await.
0ac0: 73 74 61 63 6b 28 29 3f 3b 0a 0a 09 09 6c 65 74 stack()?;....let
0ad0: 20 69 64 20 3d 20 7b 0a 09 09 09 6c 65 74 20 6d id = {....let m
0ae0: 75 74 20 73 65 74 20 3d 20 73 65 6c 66 2e 73 6f ut set = self.so
0af0: 75 72 63 65 73 2e 6c 6f 63 6b 5f 61 72 63 28 29 urces.lock_arc()
0b00: 2e 61 77 61 69 74 3b 0a 09 09 09 6d 61 74 63 68 .await;....match
0b10: 20 73 65 74 2e 67 65 74 28 26 69 64 29 20 7b 0a set.get(&id) {.
0b20: 09 09 09 09 53 6f 6d 65 28 69 64 29 20 3d 3e 20 ....Some(id) =>
0b30: 69 64 2e 63 6c 6f 6e 65 28 29 2c 0a 09 09 09 09 id.clone(),.....
0b40: 4e 6f 6e 65 20 3d 3e 20 7b 0a 09 09 09 09 09 6c None => {......l
0b50: 65 74 20 69 64 20 3d 20 41 72 63 3a 3a 6e 65 77 et id = Arc::new
0b60: 28 69 64 29 3b 0a 09 09 09 09 09 73 65 74 2e 69 (id);......set.i
0b70: 6e 73 65 72 74 28 69 64 2e 63 6c 6f 6e 65 28 29 nsert(id.clone()
0b80: 29 3b 0a 09 09 09 09 09 69 64 2e 63 6c 6f 6e 65 );......id.clone
0b90: 28 29 0a 09 09 09 09 7d 2c 0a 09 09 09 7d 0a 09 ().....},....}..
0ba0: 09 7d 3b 0a 09 09 6c 65 74 20 63 6f 75 6e 74 20 .};...let count
0bb0: 3d 20 41 72 63 3a 3a 73 74 72 6f 6e 67 5f 63 6f = Arc::strong_co
0bc0: 75 6e 74 28 26 69 64 29 3b 0a 09 09 69 66 20 63 unt(&id);...if c
0bd0: 6f 75 6e 74 20 3d 3d 20 32 20 7b 0a 09 09 09 6c ount == 2 {....l
0be0: 65 74 20 73 6f 75 72 63 65 20 3d 20 63 6f 6e 6e et source = conn
0bf0: 2e 67 65 74 5f 73 6f 75 72 63 65 28 2a 69 64 2c .get_source(*id,
0c00: 20 73 65 6c 66 2e 6f 77 6e 65 72 5f 63 68 61 74 self.owner_chat
0c10: 29 2e 61 77 61 69 74 2e 73 74 61 63 6b 28 29 3f ).await.stack()?
0c20: 3b 0a 09 09 09 63 6f 6e 6e 2e 73 65 74 5f 73 63 ;....conn.set_sc
0c30: 72 61 70 65 28 2a 69 64 29 2e 61 77 61 69 74 2e rape(*id).await.
0c40: 73 74 61 63 6b 28 29 3f 3b 0a 09 09 09 6c 65 74 stack()?;....let
0c50: 20 64 65 73 74 69 6e 61 74 69 6f 6e 20 3d 20 43 destination = C
0c60: 68 61 74 50 65 65 72 49 64 3a 3a 66 72 6f 6d 28 hatPeerId::from(
0c70: 6d 61 74 63 68 20 72 65 61 6c 20 7b 0a 09 09 09 match real {....
0c80: 09 74 72 75 65 20 3d 3e 20 73 6f 75 72 63 65 2e .true => source.
0c90: 63 68 61 6e 6e 65 6c 5f 69 64 2c 0a 09 09 09 09 channel_id,.....
0ca0: 66 61 6c 73 65 20 3d 3e 20 73 6f 75 72 63 65 2e false => source.
0cb0: 6f 77 6e 65 72 2c 0a 09 09 09 7d 29 3b 0a 09 09 owner,....});...
0cc0: 09 6c 65 74 20 6d 75 74 20 74 68 69 73 5f 66 65 .let mut this_fe
0cd0: 74 63 68 3a 20 4f 70 74 69 6f 6e 3c 44 61 74 65 tch: Option<Date
0ce0: 54 69 6d 65 3c 63 68 72 6f 6e 6f 3a 3a 46 69 78 Time<chrono::Fix
0cf0: 65 64 4f 66 66 73 65 74 3e 3e 20 3d 20 4e 6f 6e edOffset>> = Non
0d00: 65 3b 0a 09 09 09 6c 65 74 20 6d 75 74 20 70 6f e;....let mut po
0d10: 73 74 73 3a 20 42 54 72 65 65 4d 61 70 3c 44 61 sts: BTreeMap<Da
0d20: 74 65 54 69 6d 65 3c 63 68 72 6f 6e 6f 3a 3a 46 teTime<chrono::F
0d30: 69 78 65 64 4f 66 66 73 65 74 3e 2c 20 53 74 72 ixedOffset>, Str
0d40: 69 6e 67 3e 20 3d 20 42 54 72 65 65 4d 61 70 3a ing> = BTreeMap:
0d50: 3a 6e 65 77 28 29 3b 0a 0a 09 09 09 6c 65 74 20 :new();.....let
0d60: 6d 75 74 20 62 75 69 6c 64 65 72 20 3d 20 73 65 mut builder = se
0d70: 6c 66 2e 68 74 74 70 5f 63 6c 69 65 6e 74 2e 67 lf.http_client.g
0d80: 65 74 28 26 73 6f 75 72 63 65 2e 75 72 6c 29 3b et(&source.url);
0d90: 0a 09 09 09 69 66 20 6c 65 74 20 53 6f 6d 65 28 ....if let Some(
0da0: 6c 61 73 74 5f 73 63 72 61 70 65 29 20 3d 20 6c last_scrape) = l
0db0: 61 73 74 5f 73 63 72 61 70 65 20 7b 0a 09 09 09 ast_scrape {....
0dc0: 09 62 75 69 6c 64 65 72 20 3d 20 62 75 69 6c 64 .builder = build
0dd0: 65 72 2e 68 65 61 64 65 72 28 4c 41 53 54 5f 4d er.header(LAST_M
0de0: 4f 44 49 46 49 45 44 2c 20 6c 61 73 74 5f 73 63 ODIFIED, last_sc
0df0: 72 61 70 65 2e 74 6f 5f 72 66 63 32 38 32 32 28 rape.to_rfc2822(
0e00: 29 29 3b 0a 09 09 09 7d 3b 0a 09 09 09 6c 65 74 ));....};....let
0e10: 20 72 65 73 70 6f 6e 73 65 20 3d 20 62 75 69 6c response = buil
0e20: 64 65 72 2e 73 65 6e 64 28 29 2e 61 77 61 69 74 der.send().await
0e30: 2e 73 74 61 63 6b 28 29 3f 3b 0a 09 09 09 7b 0a .stack()?;....{.
0e40: 09 09 09 09 6c 65 74 20 68 65 61 64 65 72 73 20 ....let headers
0e50: 3d 20 72 65 73 70 6f 6e 73 65 2e 68 65 61 64 65 = response.heade
0e60: 72 73 28 29 3b 0a 09 09 09 09 6c 65 74 20 65 78 rs();.....let ex
0e70: 70 69 72 65 73 20 3d 20 68 65 61 64 65 72 73 2e pires = headers.
0e80: 67 65 74 28 45 58 50 49 52 45 53 29 3b 0a 09 09 get(EXPIRES);...
0e90: 09 09 6c 65 74 20 63 61 63 68 65 20 3d 20 68 65 ..let cache = he
0ea0: 61 64 65 72 73 2e 67 65 74 28 43 41 43 48 45 5f aders.get(CACHE_
0eb0: 43 4f 4e 54 52 4f 4c 29 3b 0a 09 09 09 09 69 66 CONTROL);.....if
0ec0: 20 65 78 70 69 72 65 73 2e 69 73 5f 73 6f 6d 65 expires.is_some
0ed0: 28 29 20 7c 7c 20 63 61 63 68 65 2e 69 73 5f 73 () || cache.is_s
0ee0: 6f 6d 65 28 29 20 7b 0a 09 09 09 09 09 70 72 69 ome() {......pri
0ef0: 6e 74 6c 6e 21 28 22 7b 7d 20 7b 7d 20 7b 3a 3f ntln!("{} {} {:?
0f00: 7d 20 7b 3a 3f 7d 20 7b 3a 3f 7d 22 2c 20 4c 6f } {:?} {:?}", Lo
0f10: 63 61 6c 3a 3a 6e 6f 77 28 29 2e 74 6f 5f 72 66 cal::now().to_rf
0f20: 63 32 38 32 32 28 29 2c 20 26 73 6f 75 72 63 65 c2822(), &source
0f30: 2e 75 72 6c 2c 20 6c 61 73 74 5f 73 63 72 61 70 .url, last_scrap
0f40: 65 2c 20 65 78 70 69 72 65 73 2c 20 63 61 63 68 e, expires, cach
0f50: 65 29 3b 0a 09 09 09 09 7d 0a 09 09 09 7d 0a 09 e);.....}....}..
0f60: 09 09 6c 65 74 20 73 74 61 74 75 73 20 3d 20 72 ..let status = r
0f70: 65 73 70 6f 6e 73 65 2e 73 74 61 74 75 73 28 29 esponse.status()
0f80: 3b 0a 09 09 09 6c 65 74 20 63 6f 6e 74 65 6e 74 ;....let content
0f90: 20 3d 20 72 65 73 70 6f 6e 73 65 2e 62 79 74 65 = response.byte
0fa0: 73 28 29 2e 61 77 61 69 74 2e 73 74 61 63 6b 28 s().await.stack(
0fb0: 29 3f 3b 0a 09 09 09 6d 61 74 63 68 20 72 73 73 )?;....match rss
0fc0: 3a 3a 43 68 61 6e 6e 65 6c 3a 3a 72 65 61 64 5f ::Channel::read_
0fd0: 66 72 6f 6d 28 26 63 6f 6e 74 65 6e 74 5b 2e 2e from(&content[..
0fe0: 5d 29 20 7b 0a 09 09 09 09 4f 6b 28 66 65 65 64 ]) {.....Ok(feed
0ff0: 29 20 3d 3e 20 7b 0a 09 09 09 09 09 66 6f 72 20 ) => {......for
1000: 69 74 65 6d 20 69 6e 20 66 65 65 64 2e 69 74 65 item in feed.ite
1010: 6d 73 28 29 20 7b 0a 09 09 09 09 09 09 69 66 20 ms() {.......if
1020: 6c 65 74 20 53 6f 6d 65 28 6c 69 6e 6b 29 20 3d let Some(link) =
1030: 20 69 74 65 6d 2e 6c 69 6e 6b 28 29 20 7b 0a 09 item.link() {..
1040: 09 09 09 09 09 09 6c 65 74 20 64 61 74 65 20 3d ......let date =
1050: 20 6d 61 74 63 68 20 69 74 65 6d 2e 70 75 62 5f match item.pub_
1060: 64 61 74 65 28 29 20 7b 0a 09 09 09 09 09 09 09 date() {........
1070: 09 53 6f 6d 65 28 66 65 65 64 5f 64 61 74 65 29 .Some(feed_date)
1080: 20 3d 3e 20 44 61 74 65 54 69 6d 65 3a 3a 70 61 => DateTime::pa
1090: 72 73 65 5f 66 72 6f 6d 5f 72 66 63 32 38 32 32 rse_from_rfc2822
10a0: 28 66 65 65 64 5f 64 61 74 65 29 2c 0a 09 09 09 (feed_date),....
10b0: 09 09 09 09 09 4e 6f 6e 65 20 3d 3e 20 44 61 74 .....None => Dat
10c0: 65 54 69 6d 65 3a 3a 70 61 72 73 65 5f 66 72 6f eTime::parse_fro
10d0: 6d 5f 72 66 63 33 33 33 39 28 26 69 74 65 6d 2e m_rfc3339(&item.
10e0: 64 75 62 6c 69 6e 5f 63 6f 72 65 5f 65 78 74 28 dublin_core_ext(
10f0: 29 2e 75 6e 77 72 61 70 28 29 2e 64 61 74 65 73 ).unwrap().dates
1100: 28 29 5b 30 5d 29 2c 0a 09 09 09 09 09 09 09 7d ()[0]),........}
1110: 2e 73 74 61 63 6b 28 29 3f 3b 0a 09 09 09 09 09 .stack()?;......
1120: 09 09 6c 65 74 20 75 72 6c 20 3d 20 6c 69 6e 6b ..let url = link
1130: 3b 0a 09 09 09 09 09 09 09 70 6f 73 74 73 2e 69 ;........posts.i
1140: 6e 73 65 72 74 28 64 61 74 65 2c 20 75 72 6c 2e nsert(date, url.
1150: 74 6f 5f 73 74 72 69 6e 67 28 29 29 3b 0a 09 09 to_string());...
1160: 09 09 09 09 7d 0a 09 09 09 09 09 7d 3b 0a 09 09 ....}......};...
1170: 09 09 7d 2c 0a 09 09 09 09 45 72 72 28 65 72 72 ..},.....Err(err
1180: 29 20 3d 3e 20 6d 61 74 63 68 20 65 72 72 20 7b ) => match err {
1190: 0a 09 09 09 09 09 72 73 73 3a 3a 45 72 72 6f 72 ......rss::Error
11a0: 3a 3a 49 6e 76 61 6c 69 64 53 74 61 72 74 54 61 ::InvalidStartTa
11b0: 67 20 3d 3e 20 7b 0a 09 09 09 09 09 09 6d 61 74 g => {.......mat
11c0: 63 68 20 61 74 6f 6d 5f 73 79 6e 64 69 63 61 74 ch atom_syndicat
11d0: 69 6f 6e 3a 3a 46 65 65 64 3a 3a 72 65 61 64 5f ion::Feed::read_
11e0: 66 72 6f 6d 28 26 63 6f 6e 74 65 6e 74 5b 2e 2e from(&content[..
11f0: 5d 29 20 7b 0a 09 09 09 09 09 09 09 4f 6b 28 66 ]) {........Ok(f
1200: 65 65 64 29 20 3d 3e 20 7b 0a 09 09 09 09 09 09 eed) => {.......
1210: 09 09 66 6f 72 20 69 74 65 6d 20 69 6e 20 66 65 ..for item in fe
1220: 65 64 2e 65 6e 74 72 69 65 73 28 29 20 7b 0a 09 ed.entries() {..
1230: 09 09 09 09 09 09 09 09 6c 65 74 20 64 61 74 65 ........let date
1240: 20 3d 20 69 74 65 6d 2e 70 75 62 6c 69 73 68 65 = item.publishe
1250: 64 28 29 2e 75 6e 77 72 61 70 28 29 3b 0a 09 09 d().unwrap();...
1260: 09 09 09 09 09 09 09 6c 65 74 20 75 72 6c 20 3d .......let url =
1270: 20 69 74 65 6d 2e 6c 69 6e 6b 73 28 29 5b 30 5d item.links()[0]
1280: 2e 68 72 65 66 28 29 3b 0a 09 09 09 09 09 09 09 .href();........
1290: 09 09 70 6f 73 74 73 2e 69 6e 73 65 72 74 28 2a ..posts.insert(*
12a0: 64 61 74 65 2c 20 75 72 6c 2e 74 6f 5f 73 74 72 date, url.to_str
12b0: 69 6e 67 28 29 29 3b 0a 09 09 09 09 09 09 09 09 ing());.........
12c0: 7d 3b 0a 09 09 09 09 09 09 09 7d 2c 0a 09 09 09 };........},....
12d0: 09 09 09 09 45 72 72 28 65 72 72 29 20 3d 3e 20 ....Err(err) =>
12e0: 7b 0a 09 09 09 09 09 09 09 09 62 61 69 6c 21 28 {.........bail!(
12f0: 22 55 6e 73 75 70 70 6f 72 74 65 64 20 6f 72 20 "Unsupported or
1300: 6d 61 6e 67 6c 65 64 20 63 6f 6e 74 65 6e 74 3a mangled content:
1310: 5c 6e 7b 3a 3f 7d 5c 6e 7b 65 72 72 7d 5c 6e 7b \n{:?}\n{err}\n{
1320: 73 74 61 74 75 73 3a 23 3f 7d 5c 6e 22 2c 20 26 status:#?}\n", &
1330: 73 6f 75 72 63 65 2e 75 72 6c 29 0a 09 09 09 09 source.url).....
1340: 09 09 09 7d 2c 0a 09 09 09 09 09 09 7d 0a 09 09 ...},.......}...
1350: 09 09 09 7d 2c 0a 09 09 09 09 09 72 73 73 3a 3a ...},......rss::
1360: 45 72 72 6f 72 3a 3a 45 6f 66 20 3d 3e 20 28 29 Error::Eof => ()
1370: 2c 0a 09 09 09 09 09 5f 20 3d 3e 20 62 61 69 6c ,......_ => bail
1380: 21 28 22 55 6e 73 75 70 70 6f 72 74 65 64 20 6f !("Unsupported o
1390: 72 20 6d 61 6e 67 6c 65 64 20 63 6f 6e 74 65 6e r mangled conten
13a0: 74 3a 5c 6e 7b 3a 3f 7d 5c 6e 7b 65 72 72 7d 5c t:\n{:?}\n{err}\
13b0: 6e 7b 73 74 61 74 75 73 3a 23 3f 7d 5c 6e 22 2c n{status:#?}\n",
13c0: 20 26 73 6f 75 72 63 65 2e 75 72 6c 29 0a 09 09 &source.url)...
13d0: 09 09 7d 0a 09 09 09 7d 3b 0a 09 09 09 66 6f 72 ..}....};....for
13e0: 20 28 64 61 74 65 2c 20 75 72 6c 29 20 69 6e 20 (date, url) in
13f0: 70 6f 73 74 73 2e 69 74 65 72 28 29 20 7b 0a 09 posts.iter() {..
1400: 09 09 09 6c 65 74 20 70 6f 73 74 5f 75 72 6c 3a ...let post_url:
1410: 20 43 6f 77 3c 73 74 72 3e 20 3d 20 6d 61 74 63 Cow<str> = matc
1420: 68 20 73 6f 75 72 63 65 2e 75 72 6c 5f 72 65 20 h source.url_re
1430: 7b 0a 09 09 09 09 09 53 6f 6d 65 28 72 65 66 20 {......Some(ref
1440: 78 29 20 3d 3e 20 73 65 64 72 65 67 65 78 3a 3a x) => sedregex::
1450: 52 65 70 6c 61 63 65 43 6f 6d 6d 61 6e 64 3a 3a ReplaceCommand::
1460: 6e 65 77 28 78 29 2e 73 74 61 63 6b 28 29 3f 2e new(x).stack()?.
1470: 65 78 65 63 75 74 65 28 75 72 6c 29 2c 0a 09 09 execute(url),...
1480: 09 09 09 4e 6f 6e 65 20 3d 3e 20 75 72 6c 2e 69 ...None => url.i
1490: 6e 74 6f 28 29 2c 0a 09 09 09 09 7d 3b 0a 09 09 nto(),.....};...
14a0: 09 09 69 66 20 6c 65 74 20 53 6f 6d 65 28 65 78 ..if let Some(ex
14b0: 69 73 74 73 29 20 3d 20 63 6f 6e 6e 2e 65 78 69 ists) = conn.exi
14c0: 73 74 73 28 26 70 6f 73 74 5f 75 72 6c 2c 20 2a sts(&post_url, *
14d0: 69 64 29 2e 61 77 61 69 74 2e 73 74 61 63 6b 28 id).await.stack(
14e0: 29 3f 20 7b 0a 09 09 09 09 09 69 66 20 21 20 65 )? {......if ! e
14f0: 78 69 73 74 73 20 7b 0a 09 09 09 09 09 09 69 66 xists {.......if
1500: 20 74 68 69 73 5f 66 65 74 63 68 2e 69 73 5f 6e this_fetch.is_n
1510: 6f 6e 65 28 29 20 7c 7c 20 2a 64 61 74 65 20 3e one() || *date >
1520: 20 74 68 69 73 5f 66 65 74 63 68 2e 75 6e 77 72 this_fetch.unwr
1530: 61 70 28 29 20 7b 0a 09 09 09 09 09 09 09 74 68 ap() {........th
1540: 69 73 5f 66 65 74 63 68 20 3d 20 53 6f 6d 65 28 is_fetch = Some(
1550: 2a 64 61 74 65 29 3b 0a 09 09 09 09 09 09 7d 3b *date);.......};
1560: 0a 09 09 09 09 09 09 73 65 6c 66 2e 73 65 6e 64 .......self.send
1570: 28 20 6d 61 74 63 68 20 26 73 6f 75 72 63 65 2e ( match &source.
1580: 69 76 5f 68 61 73 68 20 7b 0a 09 09 09 09 09 09 iv_hash {.......
1590: 09 53 6f 6d 65 28 68 61 73 68 29 20 3d 3e 20 66 .Some(hash) => f
15a0: 6f 72 6d 61 74 21 28 22 3c 61 20 68 72 65 66 3d ormat!("<a href=
15b0: 5c 22 68 74 74 70 73 3a 2f 2f 74 2e 6d 65 2f 69 \"https://t.me/i
15c0: 76 3f 75 72 6c 3d 7b 70 6f 73 74 5f 75 72 6c 7d v?url={post_url}
15d0: 26 72 68 61 73 68 3d 7b 68 61 73 68 7d 5c 22 3e &rhash={hash}\">
15e0: 20 3c 2f 61 3e 7b 70 6f 73 74 5f 75 72 6c 7d 22 </a>{post_url}"
15f0: 29 2c 0a 09 09 09 09 09 09 09 4e 6f 6e 65 20 3d ),........None =
1600: 3e 20 66 6f 72 6d 61 74 21 28 22 7b 70 6f 73 74 > format!("{post
1610: 5f 75 72 6c 7d 22 29 2c 0a 09 09 09 09 09 09 7d _url}"),.......}
1620: 2c 20 53 6f 6d 65 28 64 65 73 74 69 6e 61 74 69 , Some(destinati
1630: 6f 6e 29 2c 20 53 6f 6d 65 28 50 61 72 73 65 4d on), Some(ParseM
1640: 6f 64 65 3a 3a 48 74 6d 6c 29 29 2e 61 77 61 69 ode::Html)).awai
1650: 74 2e 73 74 61 63 6b 28 29 3f 3b 0a 09 09 09 09 t.stack()?;.....
1660: 09 09 63 6f 6e 6e 2e 61 64 64 5f 70 6f 73 74 28 ..conn.add_post(
1670: 2a 69 64 2c 20 64 61 74 65 2c 20 26 70 6f 73 74 *id, date, &post
1680: 5f 75 72 6c 29 2e 61 77 61 69 74 2e 73 74 61 63 _url).await.stac
1690: 6b 28 29 3f 3b 0a 09 09 09 09 09 7d 3b 0a 09 09 k()?;......};...
16a0: 09 09 7d 3b 0a 09 09 09 09 70 6f 73 74 65 64 20 ..};.....posted
16b0: 2b 3d 20 31 3b 0a 09 09 09 7d 3b 0a 09 09 09 70 += 1;....};....p
16c0: 6f 73 74 73 2e 63 6c 65 61 72 28 29 3b 0a 09 09 osts.clear();...
16d0: 7d 3b 0a 09 09 4f 6b 28 66 6f 72 6d 61 74 21 28 };...Ok(format!(
16e0: 22 50 6f 73 74 65 64 3a 20 7b 70 6f 73 74 65 64 "Posted: {posted
16f0: 7d 22 29 29 0a 09 7d 0a 0a 09 61 73 79 6e 63 20 }"))..}...async
1700: 66 6e 20 61 75 74 6f 66 65 74 63 68 28 26 73 65 fn autofetch(&se
1710: 6c 66 29 20 2d 3e 20 52 65 73 75 6c 74 3c 73 74 lf) -> Result<st
1720: 64 3a 3a 74 69 6d 65 3a 3a 44 75 72 61 74 69 6f d::time::Duratio
1730: 6e 3e 20 7b 0a 09 09 6c 65 74 20 6d 75 74 20 64 n> {...let mut d
1740: 65 6c 61 79 20 3d 20 63 68 72 6f 6e 6f 3a 3a 44 elay = chrono::D
1750: 75 72 61 74 69 6f 6e 3a 3a 6d 69 6e 75 74 65 73 uration::minutes
1760: 28 31 29 3b 0a 09 09 6c 65 74 20 6e 6f 77 20 3d (1);...let now =
1770: 20 63 68 72 6f 6e 6f 3a 3a 4c 6f 63 61 6c 3a 3a chrono::Local::
1780: 6e 6f 77 28 29 3b 0a 09 09 6c 65 74 20 71 75 65 now();...let que
1790: 75 65 20 3d 20 7b 0a 09 09 09 6c 65 74 20 6d 75 ue = {....let mu
17a0: 74 20 63 6f 6e 6e 20 3d 20 73 65 6c 66 2e 64 62 t conn = self.db
17b0: 2e 62 65 67 69 6e 28 29 2e 61 77 61 69 74 2e 73 .begin().await.s
17c0: 74 61 63 6b 28 29 3f 3b 0a 09 09 09 63 6f 6e 6e tack()?;....conn
17d0: 2e 67 65 74 5f 71 75 65 75 65 28 29 2e 61 77 61 .get_queue().awa
17e0: 69 74 2e 73 74 61 63 6b 28 29 3f 0a 09 09 7d 3b it.stack()?...};
17f0: 0a 09 09 66 6f 72 20 72 6f 77 20 69 6e 20 71 75 ...for row in qu
1800: 65 75 65 20 7b 0a 09 09 09 69 66 20 6c 65 74 20 eue {....if let
1810: 53 6f 6d 65 28 6e 65 78 74 5f 66 65 74 63 68 29 Some(next_fetch)
1820: 20 3d 20 72 6f 77 2e 6e 65 78 74 5f 66 65 74 63 = row.next_fetc
1830: 68 20 7b 0a 09 09 09 09 69 66 20 6e 65 78 74 5f h {.....if next_
1840: 66 65 74 63 68 20 3c 20 6e 6f 77 20 7b 0a 09 09 fetch < now {...
1850: 09 09 09 69 66 20 6c 65 74 20 28 53 6f 6d 65 28 ...if let (Some(
1860: 6f 77 6e 65 72 29 2c 20 53 6f 6d 65 28 73 6f 75 owner), Some(sou
1870: 72 63 65 5f 69 64 29 2c 20 6c 61 73 74 5f 73 63 rce_id), last_sc
1880: 72 61 70 65 29 20 3d 20 28 72 6f 77 2e 6f 77 6e rape) = (row.own
1890: 65 72 2c 20 72 6f 77 2e 73 6f 75 72 63 65 5f 69 er, row.source_i
18a0: 64 2c 20 72 6f 77 2e 6c 61 73 74 5f 73 63 72 61 d, row.last_scra
18b0: 70 65 29 20 7b 0a 09 09 09 09 09 09 6c 65 74 20 pe) {.......let
18c0: 63 6c 6f 6e 65 20 3d 20 43 6f 72 65 20 7b 0a 09 clone = Core {..
18d0: 09 09 09 09 09 09 6f 77 6e 65 72 5f 63 68 61 74 ......owner_chat
18e0: 3a 20 43 68 61 74 50 65 65 72 49 64 3a 3a 66 72 : ChatPeerId::fr
18f0: 6f 6d 28 6f 77 6e 65 72 29 2c 0a 09 09 09 09 09 om(owner),......
1900: 09 09 2e 2e 73 65 6c 66 2e 63 6c 6f 6e 65 28 29 ....self.clone()
1910: 0a 09 09 09 09 09 09 7d 3b 0a 09 09 09 09 09 09 .......};.......
1920: 6c 65 74 20 73 6f 75 72 63 65 20 3d 20 7b 0a 09 let source = {..
1930: 09 09 09 09 09 09 6c 65 74 20 6d 75 74 20 63 6f ......let mut co
1940: 6e 6e 20 3d 20 73 65 6c 66 2e 64 62 2e 62 65 67 nn = self.db.beg
1950: 69 6e 28 29 2e 61 77 61 69 74 2e 73 74 61 63 6b in().await.stack
1960: 28 29 3f 3b 0a 09 09 09 09 09 09 09 6d 61 74 63 ()?;........matc
1970: 68 20 63 6f 6e 6e 2e 67 65 74 5f 6f 6e 65 28 6f h conn.get_one(o
1980: 77 6e 65 72 2c 20 73 6f 75 72 63 65 5f 69 64 29 wner, source_id)
1990: 2e 61 77 61 69 74 20 7b 0a 09 09 09 09 09 09 09 .await {........
19a0: 09 4f 6b 28 53 6f 6d 65 28 73 6f 75 72 63 65 29 .Ok(Some(source)
19b0: 29 20 3d 3e 20 73 6f 75 72 63 65 2e 74 6f 5f 73 ) => source.to_s
19c0: 74 72 69 6e 67 28 29 2c 0a 09 09 09 09 09 09 09 tring(),........
19d0: 09 4f 6b 28 4e 6f 6e 65 29 20 3d 3e 20 22 53 6f .Ok(None) => "So
19e0: 75 72 63 65 20 6e 6f 74 20 66 6f 75 6e 64 20 69 urce not found i
19f0: 6e 20 64 61 74 61 62 61 73 65 2e 73 74 61 63 6b n database.stack
1a00: 28 29 3f 22 2e 74 6f 5f 73 74 72 69 6e 67 28 29 ()?".to_string()
1a10: 2c 0a 09 09 09 09 09 09 09 09 45 72 72 28 65 72 ,.........Err(er
1a20: 72 29 20 3d 3e 20 66 6f 72 6d 61 74 21 28 22 46 r) => format!("F
1a30: 61 69 6c 65 64 20 74 6f 20 66 65 74 63 68 20 73 ailed to fetch s
1a40: 6f 75 72 63 65 20 64 61 74 61 3a 5c 6e 7b 65 72 ource data:\n{er
1a50: 72 7d 22 29 2c 0a 09 09 09 09 09 09 09 7d 0a 09 r}"),........}..
1a60: 09 09 09 09 09 7d 3b 0a 09 09 09 09 09 09 74 61 .....};.......ta
1a70: 73 6b 3a 3a 73 70 61 77 6e 28 61 73 79 6e 63 20 sk::spawn(async
1a80: 6d 6f 76 65 20 7b 0a 09 09 09 09 09 09 09 69 66 move {........if
1a90: 20 6c 65 74 20 45 72 72 28 65 72 72 29 20 3d 20 let Err(err) =
1aa0: 63 6c 6f 6e 65 2e 63 68 65 63 6b 28 73 6f 75 72 clone.check(sour
1ab0: 63 65 5f 69 64 2c 20 74 72 75 65 2c 20 53 6f 6d ce_id, true, Som
1ac0: 65 28 6c 61 73 74 5f 73 63 72 61 70 65 29 29 2e e(last_scrape)).
1ad0: 61 77 61 69 74 20 7b 0a 09 09 09 09 09 09 09 09 await {.........
1ae0: 69 66 20 6c 65 74 20 45 72 72 28 65 72 72 29 20 if let Err(err)
1af0: 3d 20 63 6c 6f 6e 65 2e 73 65 6e 64 28 26 66 6f = clone.send(&fo
1b00: 72 6d 61 74 21 28 22 7b 73 6f 75 72 63 65 7d 5c rmat!("{source}\
1b10: 6e 5c 6e f0 9f 9b 91 20 7b 7d 22 2c 20 65 6e 63 n\nš {}", enc
1b20: 6f 64 65 28 26 65 72 72 2e 74 6f 5f 73 74 72 69 ode(&err.to_stri
1b30: 6e 67 28 29 29 29 2c 20 4e 6f 6e 65 2c 20 53 6f ng())), None, So
1b40: 6d 65 28 50 61 72 73 65 4d 6f 64 65 3a 3a 4d 61 me(ParseMode::Ma
1b50: 72 6b 64 6f 77 6e 56 32 29 29 2e 61 77 61 69 74 rkdownV2)).await
1b60: 20 7b 0a 09 09 09 09 09 09 09 09 09 65 70 72 69 {..........epri
1b70: 6e 74 6c 6e 21 28 22 43 68 65 63 6b 20 65 72 72 ntln!("Check err
1b80: 6f 72 3a 20 7b 65 72 72 7d 22 29 3b 0a 09 09 09 or: {err}");....
1b90: 09 09 09 09 09 09 2f 2f 20 63 6c 6f 6e 65 2e 64 ......// clone.d
1ba0: 69 73 61 62 6c 65 28 26 73 6f 75 72 63 65 5f 69 isable(&source_i
1bb0: 64 2c 20 6f 77 6e 65 72 29 2e 61 77 61 69 74 2e d, owner).await.
1bc0: 75 6e 77 72 61 70 28 29 3b 0a 09 09 09 09 09 09 unwrap();.......
1bd0: 09 09 7d 3b 0a 09 09 09 09 09 09 09 7d 3b 0a 09 ..};........};..
1be0: 09 09 09 09 09 7d 29 3b 0a 09 09 09 09 09 7d 0a .....});......}.
1bf0: 09 09 09 09 7d 20 65 6c 73 65 20 69 66 20 6e 65 ....} else if ne
1c00: 78 74 5f 66 65 74 63 68 20 2d 20 6e 6f 77 20 3c xt_fetch - now <
1c10: 20 64 65 6c 61 79 20 7b 0a 09 09 09 09 09 64 65 delay {......de
1c20: 6c 61 79 20 3d 20 6e 65 78 74 5f 66 65 74 63 68 lay = next_fetch
1c30: 20 2d 20 6e 6f 77 3b 0a 09 09 09 09 7d 0a 09 09 - now;.....}...
1c40: 09 7d 0a 09 09 7d 3b 0a 09 09 64 65 6c 61 79 2e .}...};...delay.
1c50: 74 6f 5f 73 74 64 28 29 2e 73 74 61 63 6b 28 29 to_std().stack()
1c60: 0a 09 7d 0a 0a 09 70 75 62 20 61 73 79 6e 63 20 ..}...pub async
1c70: 66 6e 20 6c 69 73 74 20 28 26 73 65 6c 66 2c 20 fn list (&self,
1c80: 6f 77 6e 65 72 3a 20 55 73 65 72 50 65 65 72 49 owner: UserPeerI
1c90: 64 29 20 2d 3e 20 52 65 73 75 6c 74 3c 53 74 72 d) -> Result<Str
1ca0: 69 6e 67 3e 20 7b 0a 09 09 6c 65 74 20 6d 75 74 ing> {...let mut
1cb0: 20 72 65 70 6c 79 3a 20 56 65 63 3c 53 74 72 69 reply: Vec<Stri
1cc0: 6e 67 3e 20 3d 20 76 65 63 21 5b 5d 3b 0a 09 09 ng> = vec![];...
1cd0: 72 65 70 6c 79 2e 70 75 73 68 28 22 43 68 61 6e reply.push("Chan
1ce0: 6e 65 6c 73 3a 22 2e 69 6e 74 6f 28 29 29 3b 0a nels:".into());.
1cf0: 09 09 6c 65 74 20 6d 75 74 20 63 6f 6e 6e 20 3d ..let mut conn =
1d00: 20 73 65 6c 66 2e 64 62 2e 62 65 67 69 6e 28 29 self.db.begin()
1d10: 2e 61 77 61 69 74 2e 73 74 61 63 6b 28 29 3f 3b .await.stack()?;
1d20: 0a 09 09 66 6f 72 20 72 6f 77 20 69 6e 20 63 6f ...for row in co
1d30: 6e 6e 2e 67 65 74 5f 6c 69 73 74 28 6f 77 6e 65 nn.get_list(owne
1d40: 72 29 2e 61 77 61 69 74 2e 73 74 61 63 6b 28 29 r).await.stack()
1d50: 3f 20 7b 0a 09 09 09 72 65 70 6c 79 2e 70 75 73 ? {....reply.pus
1d60: 68 28 72 6f 77 2e 74 6f 5f 73 74 72 69 6e 67 28 h(row.to_string(
1d70: 29 29 3b 0a 09 09 7d 3b 0a 09 09 4f 6b 28 72 65 ));...};...Ok(re
1d80: 70 6c 79 2e 6a 6f 69 6e 28 22 5c 6e 5c 6e 22 29 ply.join("\n\n")
1d90: 29 0a 09 7d 0a 7d 0a 0a 69 6d 70 6c 20 55 70 64 )..}.}..impl Upd
1da0: 61 74 65 48 61 6e 64 6c 65 72 20 66 6f 72 20 43 ateHandler for C
1db0: 6f 72 65 20 7b 0a 09 61 73 79 6e 63 20 66 6e 20 ore {..async fn
1dc0: 68 61 6e 64 6c 65 20 28 26 73 65 6c 66 2c 20 75 handle (&self, u
1dd0: 70 64 61 74 65 3a 20 55 70 64 61 74 65 29 20 7b pdate: Update) {
1de0: 0a 09 09 69 66 20 6c 65 74 20 55 70 64 61 74 65 ...if let Update
1df0: 54 79 70 65 3a 3a 4d 65 73 73 61 67 65 28 6d 73 Type::Message(ms
1e00: 67 29 20 3d 20 75 70 64 61 74 65 2e 75 70 64 61 g) = update.upda
1e10: 74 65 5f 74 79 70 65 20 7b 0a 09 09 09 69 66 20 te_type {....if
1e20: 6c 65 74 20 4f 6b 28 63 6d 64 29 20 3d 20 43 6f let Ok(cmd) = Co
1e30: 6d 6d 61 6e 64 3a 3a 74 72 79 5f 66 72 6f 6d 28 mmand::try_from(
1e40: 6d 73 67 29 20 7b 0a 09 09 09 09 6c 65 74 20 6d msg) {.....let m
1e50: 73 67 20 3d 20 63 6d 64 2e 67 65 74 5f 6d 65 73 sg = cmd.get_mes
1e60: 73 61 67 65 28 29 3b 0a 09 09 09 09 6c 65 74 20 sage();.....let
1e70: 77 6f 72 64 73 20 3d 20 63 6d 64 2e 67 65 74 5f words = cmd.get_
1e80: 61 72 67 73 28 29 3b 0a 09 09 09 09 6c 65 74 20 args();.....let
1e90: 63 6f 6d 6d 61 6e 64 20 3d 20 63 6d 64 2e 67 65 command = cmd.ge
1ea0: 74 5f 6e 61 6d 65 28 29 3b 0a 09 09 09 09 6c 65 t_name();.....le
1eb0: 74 20 72 65 73 20 3d 20 6d 61 74 63 68 20 63 6f t res = match co
1ec0: 6d 6d 61 6e 64 20 7b 0a 09 09 09 09 09 22 2f 63 mmand {......"/c
1ed0: 68 65 63 6b 22 20 7c 20 22 2f 63 6c 65 61 6e 22 heck" | "/clean"
1ee0: 20 7c 20 22 2f 65 6e 61 62 6c 65 22 20 7c 20 22 | "/enable" | "
1ef0: 2f 64 65 6c 65 74 65 22 20 7c 20 22 2f 64 69 73 /delete" | "/dis
1f00: 61 62 6c 65 22 20 3d 3e 20 63 6f 6d 6d 61 6e 64 able" => command
1f10: 3a 3a 63 6f 6d 6d 61 6e 64 28 73 65 6c 66 2c 20 ::command(self,
1f20: 63 6f 6d 6d 61 6e 64 2c 20 6d 73 67 2c 20 77 6f command, msg, wo
1f30: 72 64 73 29 2e 61 77 61 69 74 2c 0a 09 09 09 09 rds).await,.....
1f40: 09 22 2f 73 74 61 72 74 22 20 3d 3e 20 63 6f 6d ."/start" => com
1f50: 6d 61 6e 64 3a 3a 73 74 61 72 74 28 73 65 6c 66 mand::start(self
1f60: 2c 20 6d 73 67 29 2e 61 77 61 69 74 2c 0a 09 09 , msg).await,...
1f70: 09 09 09 22 2f 6c 69 73 74 22 20 3d 3e 20 63 6f ..."/list" => co
1f80: 6d 6d 61 6e 64 3a 3a 6c 69 73 74 28 73 65 6c 66 mmand::list(self
1f90: 2c 20 6d 73 67 29 2e 61 77 61 69 74 2c 0a 09 09 , msg).await,...
1fa0: 09 09 09 22 2f 61 64 64 22 20 7c 20 22 2f 75 70 ..."/add" | "/up
1fb0: 64 61 74 65 22 20 3d 3e 20 63 6f 6d 6d 61 6e 64 date" => command
1fc0: 3a 3a 75 70 64 61 74 65 28 73 65 6c 66 2c 20 63 ::update(self, c
1fd0: 6f 6d 6d 61 6e 64 2c 20 6d 73 67 2c 20 77 6f 72 ommand, msg, wor
1fe0: 64 73 29 2e 61 77 61 69 74 2c 0a 09 09 09 09 09 ds).await,......
1ff0: 61 6e 79 20 3d 3e 20 45 72 72 28 61 6e 79 68 6f any => Err(anyho
2000: 77 21 28 22 55 6e 6b 6e 6f 77 6e 20 63 6f 6d 6d w!("Unknown comm
2010: 61 6e 64 3a 20 7b 61 6e 79 7d 22 29 29 2c 0a 09 and: {any}")),..
2020: 09 09 09 7d 3b 0a 09 09 09 09 69 66 20 6c 65 74 ...};.....if let
2030: 20 45 72 72 28 65 72 72 29 20 3d 20 72 65 73 20 Err(err) = res
2040: 7b 0a 09 09 09 09 09 69 66 20 6c 65 74 20 45 72 {......if let Er
2050: 72 28 65 72 72 32 29 20 3d 20 73 65 6c 66 2e 73 r(err2) = self.s
2060: 65 6e 64 28 66 6f 72 6d 61 74 21 28 22 5c 5c 23 end(format!("\\#
2070: 65 72 72 6f 72 5c 6e 60 60 60 5c 6e 7b 65 72 72 error\n```\n{err
2080: 7d 5c 6e 60 60 60 22 29 2c 0a 09 09 09 09 09 09 }\n```"),.......
2090: 53 6f 6d 65 28 6d 73 67 2e 63 68 61 74 2e 67 65 Some(msg.chat.ge
20a0: 74 5f 69 64 28 29 29 2c 0a 09 09 09 09 09 09 53 t_id()),.......S
20b0: 6f 6d 65 28 50 61 72 73 65 4d 6f 64 65 3a 3a 4d ome(ParseMode::M
20c0: 61 72 6b 64 6f 77 6e 56 32 29 0a 09 09 09 09 09 arkdownV2)......
20d0: 29 2e 61 77 61 69 74 7b 0a 09 09 09 09 09 09 64 ).await{.......d
20e0: 62 67 21 28 65 72 72 32 29 3b 0a 09 09 09 09 09 bg!(err2);......
20f0: 7d 3b 0a 09 09 09 09 7d 0a 09 09 09 7d 3b 0a 09 };.....}....};..
2100: 09 7d 3b 0a 09 7d 0a 7d 0a .};..}.}.