0000: 75 73 65 20 63 72 61 74 65 3a 3a 7b 0a 09 63 6f use crate::{..co
0010: 6d 6d 61 6e 64 2c 0a 09 73 71 6c 3a 3a 44 62 2c mmand,..sql::Db,
0020: 0a 7d 3b 0a 0a 75 73 65 20 73 74 64 3a 3a 7b 0a .};..use std::{.
0030: 09 62 6f 72 72 6f 77 3a 3a 43 6f 77 2c 0a 09 63 .borrow::Cow,..c
0040: 6f 6c 6c 65 63 74 69 6f 6e 73 3a 3a 7b 0a 09 09 ollections::{...
0050: 42 54 72 65 65 4d 61 70 2c 0a 09 09 48 61 73 68 BTreeMap,...Hash
0060: 53 65 74 2c 0a 09 7d 2c 0a 09 73 79 6e 63 3a 3a Set,..},..sync::
0070: 41 72 63 2c 0a 7d 3b 0a 0a 75 73 65 20 61 73 79 Arc,.};..use asy
0080: 6e 63 5f 63 6f 6d 70 61 74 3a 3a 43 6f 6d 70 61 nc_compat::Compa
0090: 74 3b 0a 75 73 65 20 63 68 72 6f 6e 6f 3a 3a 7b t;.use chrono::{
00a0: 0a 09 44 61 74 65 54 69 6d 65 2c 0a 09 4c 6f 63 ..DateTime,..Loc
00b0: 61 6c 2c 0a 7d 3b 0a 75 73 65 20 6c 61 7a 79 5f al,.};.use lazy_
00c0: 73 74 61 74 69 63 3a 3a 6c 61 7a 79 5f 73 74 61 static::lazy_sta
00d0: 74 69 63 3b 0a 75 73 65 20 72 65 67 65 78 3a 3a tic;.use regex::
00e0: 52 65 67 65 78 3b 0a 75 73 65 20 72 65 71 77 65 Regex;.use reqwe
00f0: 73 74 3a 3a 68 65 61 64 65 72 3a 3a 7b 0a 09 43 st::header::{..C
0100: 41 43 48 45 5f 43 4f 4e 54 52 4f 4c 2c 0a 09 45 ACHE_CONTROL,..E
0110: 58 50 49 52 45 53 2c 0a 09 4c 41 53 54 5f 4d 4f XPIRES,..LAST_MO
0120: 44 49 46 49 45 44 0a 7d 3b 0a 75 73 65 20 73 6d DIFIED.};.use sm
0130: 6f 6c 3a 3a 7b 0a 09 54 69 6d 65 72 2c 0a 09 6c ol::{..Timer,..l
0140: 6f 63 6b 3a 3a 4d 75 74 65 78 2c 0a 7d 3b 0a 75 ock::Mutex,.};.u
0150: 73 65 20 74 67 62 6f 74 3a 3a 7b 0a 09 61 70 69 se tgbot::{..api
0160: 3a 3a 43 6c 69 65 6e 74 2c 0a 09 68 61 6e 64 6c ::Client,..handl
0170: 65 72 3a 3a 55 70 64 61 74 65 48 61 6e 64 6c 65 er::UpdateHandle
0180: 72 2c 0a 09 74 79 70 65 73 3a 3a 7b 0a 09 09 42 r,..types::{...B
0190: 6f 74 2c 0a 09 09 43 68 61 74 50 65 65 72 49 64 ot,...ChatPeerId
01a0: 2c 0a 09 09 43 6f 6d 6d 61 6e 64 2c 0a 09 09 47 ,...Command,...G
01b0: 65 74 42 6f 74 2c 0a 09 09 4d 65 73 73 61 67 65 etBot,...Message
01c0: 2c 0a 09 09 50 61 72 73 65 4d 6f 64 65 2c 0a 09 ,...ParseMode,..
01d0: 09 53 65 6e 64 4d 65 73 73 61 67 65 2c 0a 09 09 .SendMessage,...
01e0: 55 70 64 61 74 65 2c 0a 09 09 55 70 64 61 74 65 Update,...Update
01f0: 54 79 70 65 2c 0a 09 09 55 73 65 72 50 65 65 72 Type,...UserPeer
0200: 49 64 2c 0a 09 7d 2c 0a 7d 3b 0a 75 73 65 20 73 Id,..},.};.use s
0210: 74 61 63 6b 65 64 5f 65 72 72 6f 72 73 3a 3a 7b tacked_errors::{
0220: 0a 09 52 65 73 75 6c 74 2c 0a 09 53 74 61 63 6b ..Result,..Stack
0230: 61 62 6c 65 45 72 72 2c 0a 09 61 6e 79 68 6f 77 ableErr,..anyhow
0240: 2c 0a 09 62 61 69 6c 2c 0a 7d 3b 0a 0a 6c 61 7a ,..bail,.};..laz
0250: 79 5f 73 74 61 74 69 63 21 7b 0a 09 70 75 62 20 y_static!{..pub
0260: 73 74 61 74 69 63 20 72 65 66 20 52 45 5f 53 50 static ref RE_SP
0270: 45 43 49 41 4c 3a 20 52 65 67 65 78 20 3d 20 52 ECIAL: Regex = R
0280: 65 67 65 78 3a 3a 6e 65 77 28 72 22 28 5b 5c 2d egex::new(r"([\-
0290: 5f 2a 5c 5b 5c 5d 28 29 7e 60 3e 23 2b 7c 7b 7d _*\[\]()~`>#+|{}
02a0: 5c 2e 21 5d 29 22 29 2e 75 6e 77 72 61 70 28 29 \.!])").unwrap()
02b0: 3b 0a 7d 0a 0a 2f 2f 2f 20 45 73 63 61 70 65 20 ;.}../// Escape
02c0: 63 68 61 72 61 63 74 65 72 73 20 74 68 61 74 20 characters that
02d0: 61 72 65 20 73 70 65 63 69 61 6c 20 69 6e 20 54 are special in T
02e0: 65 6c 65 67 72 61 6d 20 4d 61 72 6b 64 6f 77 6e elegram Markdown
02f0: 56 32 20 62 79 20 70 72 65 66 69 78 69 6e 67 20 V2 by prefixing
0300: 74 68 65 6d 20 77 69 74 68 20 61 20 62 61 63 6b them with a back
0310: 73 6c 61 73 68 2e 0a 2f 2f 2f 0a 2f 2f 2f 20 54 slash..///./// T
0320: 68 69 73 20 65 6e 73 75 72 65 73 20 74 68 65 20 his ensures the
0330: 72 65 74 75 72 6e 65 64 20 73 74 72 69 6e 67 20 returned string
0340: 63 61 6e 20 62 65 20 75 73 65 64 20 61 73 20 4d can be used as M
0350: 61 72 6b 64 6f 77 6e 56 32 2d 66 6f 72 6d 61 74 arkdownV2-format
0360: 74 65 64 20 54 65 6c 65 67 72 61 6d 20 6d 65 73 ted Telegram mes
0370: 73 61 67 65 20 63 6f 6e 74 65 6e 74 0a 2f 2f 2f sage content.///
0380: 20 77 69 74 68 6f 75 74 20 73 70 65 63 69 61 6c without special
0390: 20 63 68 61 72 61 63 74 65 72 73 20 62 65 69 6e characters bein
03a0: 67 20 69 6e 74 65 72 70 72 65 74 65 64 20 61 73 g interpreted as
03b0: 20 4d 61 72 6b 64 6f 77 6e 56 32 20 6d 61 72 6b MarkdownV2 mark
03c0: 75 70 2e 0a 70 75 62 20 66 6e 20 65 6e 63 6f 64 up..pub fn encod
03d0: 65 20 28 74 65 78 74 3a 20 26 73 74 72 29 20 2d e (text: &str) -
03e0: 3e 20 43 6f 77 3c 27 5f 2c 20 73 74 72 3e 20 7b > Cow<'_, str> {
03f0: 0a 09 52 45 5f 53 50 45 43 49 41 4c 2e 72 65 70 ..RE_SPECIAL.rep
0400: 6c 61 63 65 5f 61 6c 6c 28 74 65 78 74 2c 20 22 lace_all(text, "
0410: 5c 5c 24 31 22 29 0a 7d 0a 0a 2f 2f 20 54 68 69 \\$1").}..// Thi
0420: 73 20 6f 6e 65 20 64 6f 65 73 20 6e 6f 74 68 69 s one does nothi
0430: 6e 67 20 65 78 63 65 70 74 20 6d 61 6b 69 6e 67 ng except making
0440: 20 73 75 72 65 20 6f 6e 6c 79 20 6f 6e 65 20 74 sure only one t
0450: 6f 6b 65 6e 20 65 78 69 73 74 73 20 66 6f 72 20 oken exists for
0460: 65 61 63 68 20 69 64 0a 70 75 62 20 73 74 72 75 each id.pub stru
0470: 63 74 20 54 6f 6b 65 6e 20 7b 0a 09 72 75 6e 6e ct Token {..runn
0480: 69 6e 67 3a 20 41 72 63 3c 4d 75 74 65 78 3c 48 ing: Arc<Mutex<H
0490: 61 73 68 53 65 74 3c 69 33 32 3e 3e 3e 2c 0a 09 ashSet<i32>>>,..
04a0: 6d 79 5f 69 64 3a 20 69 33 32 2c 0a 7d 0a 0a 69 my_id: i32,.}..i
04b0: 6d 70 6c 20 54 6f 6b 65 6e 20 7b 0a 09 2f 2f 2f mpl Token {..///
04c0: 20 41 74 74 65 6d 70 74 73 20 74 6f 20 61 63 71 Attempts to acq
04d0: 75 69 72 65 20 61 20 70 65 72 2d 69 64 20 74 6f uire a per-id to
04e0: 6b 65 6e 20 62 79 20 69 6e 73 65 72 74 69 6e 67 ken by inserting
04f0: 20 60 6d 79 5f 69 64 60 20 69 6e 74 6f 20 74 68 `my_id` into th
0500: 65 20 73 68 61 72 65 64 20 60 72 75 6e 6e 69 6e e shared `runnin
0510: 67 60 20 73 65 74 2e 0a 09 2f 2f 2f 0a 09 2f 2f g` set...///..//
0520: 2f 20 49 66 20 74 68 65 20 69 64 20 77 61 73 20 / If the id was
0530: 6e 6f 74 20 61 6c 72 65 61 64 79 20 70 72 65 73 not already pres
0540: 65 6e 74 2c 20 74 68 65 20 66 75 6e 63 74 69 6f ent, the functio
0550: 6e 20 69 6e 73 65 72 74 73 20 69 74 20 61 6e 64 n inserts it and
0560: 20 72 65 74 75 72 6e 73 20 60 53 6f 6d 65 28 54 returns `Some(T
0570: 6f 6b 65 6e 29 60 2e 0a 09 2f 2f 2f 20 57 68 65 oken)`.../// Whe
0580: 6e 20 74 68 65 20 72 65 74 75 72 6e 65 64 20 60 n the returned `
0590: 54 6f 6b 65 6e 60 20 69 73 20 64 72 6f 70 70 65 Token` is droppe
05a0: 64 2c 20 74 68 65 20 69 64 20 77 69 6c 6c 20 62 d, the id will b
05b0: 65 20 72 65 6d 6f 76 65 64 20 66 72 6f 6d 20 74 e removed from t
05c0: 68 65 20 60 72 75 6e 6e 69 6e 67 60 20 73 65 74 he `running` set
05d0: 2c 0a 09 2f 2f 2f 20 61 6c 6c 6f 77 69 6e 67 20 ,../// allowing
05e0: 73 75 62 73 65 71 75 65 6e 74 20 61 63 71 75 69 subsequent acqui
05f0: 73 69 74 69 6f 6e 73 20 66 6f 72 20 74 68 65 20 sitions for the
0600: 73 61 6d 65 20 69 64 2e 0a 09 2f 2f 2f 0a 09 2f same id...///../
0610: 2f 2f 20 23 20 50 61 72 61 6d 65 74 65 72 73 0a // # Parameters.
0620: 09 2f 2f 2f 0a 09 2f 2f 2f 20 2d 20 60 72 75 6e .///../// - `run
0630: 6e 69 6e 67 60 3a 20 53 68 61 72 65 64 20 73 65 ning`: Shared se
0640: 74 20 74 72 61 63 6b 69 6e 67 20 61 63 74 69 76 t tracking activ
0650: 65 20 69 64 73 2e 0a 09 2f 2f 2f 20 2d 20 60 6d e ids.../// - `m
0660: 79 5f 69 64 60 3a 20 49 64 65 6e 74 69 66 69 65 y_id`: Identifie
0670: 72 20 74 6f 20 61 63 71 75 69 72 65 20 61 20 74 r to acquire a t
0680: 6f 6b 65 6e 20 66 6f 72 2e 0a 09 2f 2f 2f 0a 09 oken for...///..
0690: 2f 2f 2f 20 23 20 52 65 74 75 72 6e 73 0a 09 2f /// # Returns../
06a0: 2f 2f 0a 09 2f 2f 2f 20 60 4f 6b 28 54 6f 6b 65 //../// `Ok(Toke
06b0: 6e 29 60 20 69 66 20 74 68 65 20 69 64 20 77 61 n)` if the id wa
06c0: 73 20 73 75 63 63 65 73 73 66 75 6c 6c 79 20 61 s successfully a
06d0: 63 71 75 69 72 65 64 2c 20 60 45 72 72 6f 72 60 cquired, `Error`
06e0: 20 69 66 20 61 20 74 6f 6b 65 6e 20 66 6f 72 20 if a token for
06f0: 74 68 65 20 69 64 20 69 73 20 61 6c 72 65 61 64 the id is alread
0700: 79 20 61 63 74 69 76 65 2e 0a 09 61 73 79 6e 63 y active...async
0710: 20 66 6e 20 6e 65 77 20 28 72 75 6e 6e 69 6e 67 fn new (running
0720: 3a 20 26 41 72 63 3c 4d 75 74 65 78 3c 48 61 73 : &Arc<Mutex<Has
0730: 68 53 65 74 3c 69 33 32 3e 3e 3e 2c 20 6d 79 5f hSet<i32>>>, my_
0740: 69 64 3a 20 69 33 32 29 20 2d 3e 20 52 65 73 75 id: i32) -> Resu
0750: 6c 74 3c 54 6f 6b 65 6e 3e 20 7b 0a 09 09 6c 65 lt<Token> {...le
0760: 74 20 72 75 6e 6e 69 6e 67 20 3d 20 72 75 6e 6e t running = runn
0770: 69 6e 67 2e 63 6c 6f 6e 65 28 29 3b 0a 09 09 6c ing.clone();...l
0780: 65 74 20 6d 75 74 20 73 65 74 20 3d 20 72 75 6e et mut set = run
0790: 6e 69 6e 67 2e 6c 6f 63 6b 5f 61 72 63 28 29 2e ning.lock_arc().
07a0: 61 77 61 69 74 3b 0a 09 09 69 66 20 73 65 74 2e await;...if set.
07b0: 63 6f 6e 74 61 69 6e 73 28 26 6d 79 5f 69 64 29 contains(&my_id)
07c0: 20 7b 0a 09 09 09 62 61 69 6c 21 28 22 54 6f 6b {....bail!("Tok
07d0: 65 6e 20 61 6c 72 65 61 64 79 20 74 61 6b 65 6e en already taken
07e0: 22 29 3b 0a 09 09 7d 20 65 6c 73 65 20 7b 0a 09 ");...} else {..
07f0: 09 09 73 65 74 2e 69 6e 73 65 72 74 28 6d 79 5f ..set.insert(my_
0800: 69 64 29 3b 0a 09 09 09 4f 6b 28 54 6f 6b 65 6e id);....Ok(Token
0810: 20 7b 0a 09 09 09 09 72 75 6e 6e 69 6e 67 2c 0a {.....running,.
0820: 09 09 09 09 6d 79 5f 69 64 2c 0a 09 09 09 7d 29 ....my_id,....})
0830: 0a 09 09 7d 0a 09 7d 0a 7d 0a 0a 69 6d 70 6c 20 ...}..}.}..impl
0840: 44 72 6f 70 20 66 6f 72 20 54 6f 6b 65 6e 20 7b Drop for Token {
0850: 0a 09 2f 2f 2f 20 52 65 6c 65 61 73 65 73 20 74 ../// Releases t
0860: 68 69 73 20 74 6f 6b 65 6e 27 73 20 63 6c 61 69 his token's clai
0870: 6d 20 6f 6e 20 74 68 65 20 73 68 61 72 65 64 20 m on the shared
0880: 72 75 6e 6e 69 6e 67 2d 73 65 74 20 77 68 65 6e running-set when
0890: 20 74 68 65 20 74 6f 6b 65 6e 20 69 73 20 64 72 the token is dr
08a0: 6f 70 70 65 64 2e 0a 09 2f 2f 2f 0a 09 2f 2f 2f opped...///..///
08b0: 20 54 68 65 20 74 6f 6b 65 6e 27 73 20 69 64 65 The token's ide
08c0: 6e 74 69 66 69 65 72 20 69 73 20 72 65 6d 6f 76 ntifier is remov
08d0: 65 64 20 66 72 6f 6d 20 74 68 65 20 73 68 61 72 ed from the shar
08e0: 65 64 20 60 72 75 6e 6e 69 6e 67 60 20 73 65 74 ed `running` set
08f0: 20 73 6f 20 74 68 61 74 20 66 75 74 75 72 65 0a so that future.
0900: 09 2f 2f 2f 20 6f 70 65 72 61 74 69 6f 6e 73 20 ./// operations
0910: 66 6f 72 20 74 68 65 20 73 61 6d 65 20 69 64 20 for the same id
0920: 6d 61 79 20 70 72 6f 63 65 65 64 2e 0a 09 2f 2f may proceed...//
0930: 2f 0a 09 2f 2f 2f 20 54 4f 44 4f 3a 20 69 73 20 /../// TODO: is
0940: 75 73 69 6e 67 20 62 6c 6f 63 6b 5f 6f 6e 20 69 using block_on i
0950: 6e 73 69 64 65 20 62 6c 6f 63 6b 5f 6f 6e 20 73 nside block_on s
0960: 61 66 65 3f 20 43 75 72 72 65 6e 74 6c 79 20 74 afe? Currently t
0970: 65 73 74 65 64 20 61 6e 64 20 77 6f 72 6b 69 6e ested and workin
0980: 67 20 66 69 6e 65 2e 0a 09 66 6e 20 64 72 6f 70 g fine...fn drop
0990: 20 28 26 6d 75 74 20 73 65 6c 66 29 20 7b 0a 09 (&mut self) {..
09a0: 09 73 6d 6f 6c 3a 3a 62 6c 6f 63 6b 5f 6f 6e 28 .smol::block_on(
09b0: 61 73 79 6e 63 20 7b 0a 09 09 09 6c 65 74 20 6d async {....let m
09c0: 75 74 20 73 65 74 20 3d 20 73 65 6c 66 2e 72 75 ut set = self.ru
09d0: 6e 6e 69 6e 67 2e 6c 6f 63 6b 5f 61 72 63 28 29 nning.lock_arc()
09e0: 2e 61 77 61 69 74 3b 0a 09 09 09 73 65 74 2e 72 .await;....set.r
09f0: 65 6d 6f 76 65 28 26 73 65 6c 66 2e 6d 79 5f 69 emove(&self.my_i
0a00: 64 29 3b 0a 09 09 7d 29 0a 09 7d 0a 7d 0a 0a 23 d);...})..}.}..#
0a10: 5b 64 65 72 69 76 65 28 43 6c 6f 6e 65 29 5d 0a [derive(Clone)].
0a20: 70 75 62 20 73 74 72 75 63 74 20 43 6f 72 65 20 pub struct Core
0a30: 7b 0a 09 6f 77 6e 65 72 5f 63 68 61 74 3a 20 43 {..owner_chat: C
0a40: 68 61 74 50 65 65 72 49 64 2c 0a 09 2f 2f 20 6d hatPeerId,..// m
0a50: 61 78 5f 64 65 6c 61 79 3a 20 75 31 36 2c 0a 09 ax_delay: u16,..
0a60: 70 75 62 20 74 67 3a 20 43 6c 69 65 6e 74 2c 0a pub tg: Client,.
0a70: 09 70 75 62 20 6d 65 3a 20 42 6f 74 2c 0a 09 70 .pub me: Bot,..p
0a80: 75 62 20 64 62 3a 20 44 62 2c 0a 09 72 75 6e 6e ub db: Db,..runn
0a90: 69 6e 67 3a 20 41 72 63 3c 4d 75 74 65 78 3c 48 ing: Arc<Mutex<H
0aa0: 61 73 68 53 65 74 3c 69 33 32 3e 3e 3e 2c 0a 09 ashSet<i32>>>,..
0ab0: 68 74 74 70 5f 63 6c 69 65 6e 74 3a 20 72 65 71 http_client: req
0ac0: 77 65 73 74 3a 3a 43 6c 69 65 6e 74 2c 0a 7d 0a west::Client,.}.
0ad0: 0a 70 75 62 20 73 74 72 75 63 74 20 50 6f 73 74 .pub struct Post
0ae0: 20 7b 0a 09 75 72 69 3a 20 53 74 72 69 6e 67 2c {..uri: String,
0af0: 0a 09 74 69 74 6c 65 3a 20 53 74 72 69 6e 67 2c ..title: String,
0b00: 0a 09 61 75 74 68 6f 72 73 3a 20 53 74 72 69 6e ..authors: Strin
0b10: 67 2c 0a 09 73 75 6d 6d 61 72 79 3a 20 53 74 72 g,..summary: Str
0b20: 69 6e 67 2c 0a 7d 0a 0a 69 6d 70 6c 20 43 6f 72 ing,.}..impl Cor
0b30: 65 20 7b 0a 09 2f 2f 2f 20 43 72 65 61 74 65 20 e {../// Create
0b40: 61 20 43 6f 72 65 20 69 6e 73 74 61 6e 63 65 20 a Core instance
0b50: 66 72 6f 6d 20 63 6f 6e 66 69 67 75 72 61 74 69 from configurati
0b60: 6f 6e 20 61 6e 64 20 73 74 61 72 74 20 69 74 73 on and start its
0b70: 20 62 61 63 6b 67 72 6f 75 6e 64 20 61 75 74 6f background auto
0b80: 66 65 74 63 68 20 6c 6f 6f 70 2e 0a 09 2f 2f 2f fetch loop...///
0b90: 0a 09 2f 2f 2f 20 54 68 65 20 70 72 6f 76 69 64 ../// The provid
0ba0: 65 64 20 60 73 65 74 74 69 6e 67 73 60 20 6d 75 ed `settings` mu
0bb0: 73 74 20 69 6e 63 6c 75 64 65 3a 0a 09 2f 2f 2f st include:..///
0bc0: 20 2d 20 60 6f 77 6e 65 72 60 20 28 69 6e 74 65 - `owner` (inte
0bd0: 67 65 72 29 3a 20 63 68 61 74 20 69 64 20 74 6f ger): chat id to
0be0: 20 75 73 65 20 61 73 20 74 68 65 20 64 65 66 61 use as the defa
0bf0: 75 6c 74 20 64 65 73 74 69 6e 61 74 69 6f 6e 2c ult destination,
0c00: 0a 09 2f 2f 2f 20 2d 20 60 61 70 69 5f 6b 65 79 ../// - `api_key
0c10: 60 20 28 73 74 72 69 6e 67 29 3a 20 54 65 6c 65 ` (string): Tele
0c20: 67 72 61 6d 20 62 6f 74 20 41 50 49 20 6b 65 79 gram bot API key
0c30: 2c 0a 09 2f 2f 2f 20 2d 20 60 61 70 69 5f 67 61 ,../// - `api_ga
0c40: 74 65 77 61 79 60 20 28 73 74 72 69 6e 67 29 3a teway` (string):
0c50: 20 54 65 6c 65 67 72 61 6d 20 41 50 49 20 67 61 Telegram API ga
0c60: 74 65 77 61 79 20 68 6f 73 74 2c 0a 09 2f 2f 2f teway host,..///
0c70: 20 2d 20 60 70 67 60 20 28 73 74 72 69 6e 67 29 - `pg` (string)
0c80: 3a 20 50 6f 73 74 67 72 65 53 51 4c 20 63 6f 6e : PostgreSQL con
0c90: 6e 65 63 74 69 6f 6e 20 73 74 72 69 6e 67 2c 0a nection string,.
0ca0: 09 2f 2f 2f 20 2d 20 6f 70 74 69 6f 6e 61 6c 20 ./// - optional
0cb0: 60 70 72 6f 78 79 60 20 28 73 74 72 69 6e 67 29 `proxy` (string)
0cc0: 3a 20 70 72 6f 78 79 20 55 52 4c 20 66 6f 72 20 : proxy URL for
0cd0: 74 68 65 20 48 54 54 50 20 63 6c 69 65 6e 74 2e the HTTP client.
0ce0: 0a 09 2f 2f 2f 0a 09 2f 2f 2f 20 4f 6e 20 73 75 ..///../// On su
0cf0: 63 63 65 73 73 20 72 65 74 75 72 6e 73 20 61 6e ccess returns an
0d00: 20 69 6e 69 74 69 61 6c 69 7a 65 64 20 60 43 6f initialized `Co
0d10: 72 65 60 20 77 69 74 68 20 54 65 6c 65 67 72 61 re` with Telegra
0d20: 6d 20 61 6e 64 20 48 54 54 50 20 63 6c 69 65 6e m and HTTP clien
0d30: 74 73 2c 20 64 61 74 61 62 61 73 65 20 63 6f 6e ts, database con
0d40: 6e 65 63 74 69 6f 6e 2c 0a 09 2f 2f 2f 20 61 6e nection,../// an
0d50: 20 65 6d 70 74 79 20 72 75 6e 6e 69 6e 67 20 73 empty running s
0d60: 65 74 20 66 6f 72 20 70 65 72 2d 69 64 20 74 6f et for per-id to
0d70: 6b 65 6e 73 2c 20 61 6e 64 20 61 20 73 70 61 77 kens, and a spaw
0d80: 6e 65 64 20 62 61 63 6b 67 72 6f 75 6e 64 20 74 ned background t
0d90: 61 73 6b 20 74 68 61 74 20 70 65 72 69 6f 64 69 ask that periodi
0da0: 63 61 6c 6c 79 20 72 75 6e 73 0a 09 2f 2f 2f 20 cally runs..///
0db0: 60 61 75 74 6f 66 65 74 63 68 60 2e 20 49 66 20 `autofetch`. If
0dc0: 61 6e 79 20 72 65 71 75 69 72 65 64 20 73 65 74 any required set
0dd0: 74 69 6e 67 20 69 73 20 6d 69 73 73 69 6e 67 20 ting is missing
0de0: 6f 72 20 69 6e 69 74 69 61 6c 69 7a 61 74 69 6f or initializatio
0df0: 6e 20 66 61 69 6c 73 2c 20 61 6e 20 65 72 72 6f n fails, an erro
0e00: 72 20 69 73 20 72 65 74 75 72 6e 65 64 2e 0a 09 r is returned...
0e10: 70 75 62 20 61 73 79 6e 63 20 66 6e 20 6e 65 77 pub async fn new
0e20: 28 73 65 74 74 69 6e 67 73 3a 20 63 6f 6e 66 69 (settings: confi
0e30: 67 3a 3a 43 6f 6e 66 69 67 29 20 2d 3e 20 52 65 g::Config) -> Re
0e40: 73 75 6c 74 3c 43 6f 72 65 3e 20 7b 0a 09 09 6c sult<Core> {...l
0e50: 65 74 20 6f 77 6e 65 72 5f 63 68 61 74 20 3d 20 et owner_chat =
0e60: 43 68 61 74 50 65 65 72 49 64 3a 3a 66 72 6f 6d ChatPeerId::from
0e70: 28 73 65 74 74 69 6e 67 73 2e 67 65 74 5f 69 6e (settings.get_in
0e80: 74 28 22 6f 77 6e 65 72 22 29 2e 73 74 61 63 6b t("owner").stack
0e90: 28 29 3f 29 3b 0a 09 09 6c 65 74 20 61 70 69 5f ()?);...let api_
0ea0: 6b 65 79 20 3d 20 73 65 74 74 69 6e 67 73 2e 67 key = settings.g
0eb0: 65 74 5f 73 74 72 69 6e 67 28 22 61 70 69 5f 6b et_string("api_k
0ec0: 65 79 22 29 2e 73 74 61 63 6b 28 29 3f 3b 0a 09 ey").stack()?;..
0ed0: 09 6c 65 74 20 74 67 20 3d 20 43 6c 69 65 6e 74 .let tg = Client
0ee0: 3a 3a 6e 65 77 28 26 61 70 69 5f 6b 65 79 29 2e ::new(&api_key).
0ef0: 73 74 61 63 6b 28 29 3f 0a 09 09 09 2e 77 69 74 stack()?.....wit
0f00: 68 5f 68 6f 73 74 28 73 65 74 74 69 6e 67 73 2e h_host(settings.
0f10: 67 65 74 5f 73 74 72 69 6e 67 28 22 61 70 69 5f get_string("api_
0f20: 67 61 74 65 77 61 79 22 29 2e 73 74 61 63 6b 28 gateway").stack(
0f30: 29 3f 29 3b 0a 0a 09 09 6c 65 74 20 6d 75 74 20 )?);....let mut
0f40: 63 6c 69 65 6e 74 20 3d 20 72 65 71 77 65 73 74 client = reqwest
0f50: 3a 3a 43 6c 69 65 6e 74 3a 3a 62 75 69 6c 64 65 ::Client::builde
0f60: 72 28 29 3b 0a 09 09 69 66 20 6c 65 74 20 4f 6b r();...if let Ok
0f70: 28 70 72 6f 78 79 29 20 3d 20 73 65 74 74 69 6e (proxy) = settin
0f80: 67 73 2e 67 65 74 5f 73 74 72 69 6e 67 28 22 70 gs.get_string("p
0f90: 72 6f 78 79 22 29 20 7b 0a 09 09 09 6c 65 74 20 roxy") {....let
0fa0: 70 72 6f 78 79 20 3d 20 72 65 71 77 65 73 74 3a proxy = reqwest:
0fb0: 3a 50 72 6f 78 79 3a 3a 61 6c 6c 28 70 72 6f 78 :Proxy::all(prox
0fc0: 79 29 2e 73 74 61 63 6b 28 29 3f 3b 0a 09 09 09 y).stack()?;....
0fd0: 63 6c 69 65 6e 74 20 3d 20 63 6c 69 65 6e 74 2e client = client.
0fe0: 70 72 6f 78 79 28 70 72 6f 78 79 29 3b 0a 09 09 proxy(proxy);...
0ff0: 7d 0a 09 09 6c 65 74 20 68 74 74 70 5f 63 6c 69 }...let http_cli
1000: 65 6e 74 20 3d 20 63 6c 69 65 6e 74 2e 62 75 69 ent = client.bui
1010: 6c 64 28 29 2e 73 74 61 63 6b 28 29 3f 3b 0a 09 ld().stack()?;..
1020: 09 6c 65 74 20 6d 65 20 3d 20 74 67 2e 65 78 65 .let me = tg.exe
1030: 63 75 74 65 28 47 65 74 42 6f 74 29 2e 61 77 61 cute(GetBot).awa
1040: 69 74 2e 73 74 61 63 6b 28 29 3f 3b 0a 09 09 6c it.stack()?;...l
1050: 65 74 20 63 6f 72 65 20 3d 20 43 6f 72 65 20 7b et core = Core {
1060: 0a 09 09 09 74 67 2c 0a 09 09 09 6d 65 2c 0a 09 ....tg,....me,..
1070: 09 09 6f 77 6e 65 72 5f 63 68 61 74 2c 0a 09 09 ..owner_chat,...
1080: 09 64 62 3a 20 44 62 3a 3a 6e 65 77 28 26 73 65 .db: Db::new(&se
1090: 74 74 69 6e 67 73 2e 67 65 74 5f 73 74 72 69 6e ttings.get_strin
10a0: 67 28 22 70 67 22 29 2e 73 74 61 63 6b 28 29 3f g("pg").stack()?
10b0: 29 3f 2c 0a 09 09 09 72 75 6e 6e 69 6e 67 3a 20 )?,....running:
10c0: 41 72 63 3a 3a 6e 65 77 28 4d 75 74 65 78 3a 3a Arc::new(Mutex::
10d0: 6e 65 77 28 48 61 73 68 53 65 74 3a 3a 6e 65 77 new(HashSet::new
10e0: 28 29 29 29 2c 0a 09 09 09 68 74 74 70 5f 63 6c ())),....http_cl
10f0: 69 65 6e 74 2c 0a 09 09 09 2f 2f 20 6d 61 78 5f ient,....// max_
1100: 64 65 6c 61 79 3a 20 36 30 2c 0a 09 09 7d 3b 0a delay: 60,...};.
1110: 09 09 6c 65 74 20 63 6c 6f 6e 65 20 3d 20 63 6f ..let clone = co
1120: 72 65 2e 63 6c 6f 6e 65 28 29 3b 0a 09 09 73 6d re.clone();...sm
1130: 6f 6c 3a 3a 73 70 61 77 6e 28 43 6f 6d 70 61 74 ol::spawn(Compat
1140: 3a 3a 6e 65 77 28 61 73 79 6e 63 20 6d 6f 76 65 ::new(async move
1150: 20 7b 0a 09 09 09 6c 6f 6f 70 20 7b 0a 09 09 09 {....loop {....
1160: 09 6c 65 74 20 64 65 6c 61 79 20 3d 20 6d 61 74 .let delay = mat
1170: 63 68 20 26 63 6c 6f 6e 65 2e 61 75 74 6f 66 65 ch &clone.autofe
1180: 74 63 68 28 29 2e 61 77 61 69 74 20 7b 0a 09 09 tch().await {...
1190: 09 09 09 45 72 72 28 65 72 72 29 20 3d 3e 20 7b ...Err(err) => {
11a0: 0a 09 09 09 09 09 09 69 66 20 6c 65 74 20 45 72 .......if let Er
11b0: 72 28 65 72 72 29 20 3d 20 63 6c 6f 6e 65 2e 73 r(err) = clone.s
11c0: 65 6e 64 28 66 6f 72 6d 61 74 21 28 22 f0 9f 9b end(format!("ðŸ›
11d0: 91 20 7b 65 72 72 7d 22 29 2c 20 4e 6f 6e 65 2c ‘ {err}"), None,
11e0: 20 4e 6f 6e 65 29 2e 61 77 61 69 74 20 7b 0a 09 None).await {..
11f0: 09 09 09 09 09 09 65 70 72 69 6e 74 6c 6e 21 28 ......eprintln!(
1200: 22 41 75 74 6f 66 65 74 63 68 20 65 72 72 6f 72 "Autofetch error
1210: 3a 20 7b 65 72 72 3a 3f 7d 22 29 3b 0a 09 09 09 : {err:?}");....
1220: 09 09 09 7d 3b 0a 09 09 09 09 09 09 73 74 64 3a ...};.......std:
1230: 3a 74 69 6d 65 3a 3a 44 75 72 61 74 69 6f 6e 3a :time::Duration:
1240: 3a 66 72 6f 6d 5f 73 65 63 73 28 36 30 29 0a 09 :from_secs(60)..
1250: 09 09 09 09 7d 2c 0a 09 09 09 09 09 4f 6b 28 74 ....},......Ok(t
1260: 69 6d 65 29 20 3d 3e 20 2a 74 69 6d 65 2c 0a 09 ime) => *time,..
1270: 09 09 09 7d 3b 0a 09 09 09 09 54 69 6d 65 72 3a ...};.....Timer:
1280: 3a 61 66 74 65 72 28 64 65 6c 61 79 29 2e 61 77 :after(delay).aw
1290: 61 69 74 3b 0a 09 09 09 7d 0a 09 09 7d 29 29 2e ait;....}...})).
12a0: 64 65 74 61 63 68 28 29 3b 0a 09 09 4f 6b 28 63 detach();...Ok(c
12b0: 6f 72 65 29 0a 09 7d 0a 0a 09 70 75 62 20 61 73 ore)..}...pub as
12c0: 79 6e 63 20 66 6e 20 73 65 6e 64 20 3c 53 3e 28 ync fn send <S>(
12d0: 26 73 65 6c 66 2c 20 6d 73 67 3a 20 53 2c 20 74 &self, msg: S, t
12e0: 61 72 67 65 74 3a 20 4f 70 74 69 6f 6e 3c 43 68 arget: Option<Ch
12f0: 61 74 50 65 65 72 49 64 3e 2c 20 6d 6f 64 65 3a atPeerId>, mode:
1300: 20 4f 70 74 69 6f 6e 3c 50 61 72 73 65 4d 6f 64 Option<ParseMod
1310: 65 3e 29 20 2d 3e 20 52 65 73 75 6c 74 3c 4d 65 e>) -> Result<Me
1320: 73 73 61 67 65 3e 0a 09 77 68 65 72 65 20 53 3a ssage>..where S:
1330: 20 49 6e 74 6f 3c 53 74 72 69 6e 67 3e 20 7b 0a Into<String> {.
1340: 09 09 6c 65 74 20 6d 73 67 20 3d 20 6d 73 67 2e ..let msg = msg.
1350: 69 6e 74 6f 28 29 3b 0a 0a 09 09 6c 65 74 20 6d into();....let m
1360: 6f 64 65 20 3d 20 6d 6f 64 65 2e 75 6e 77 72 61 ode = mode.unwra
1370: 70 5f 6f 72 28 50 61 72 73 65 4d 6f 64 65 3a 3a p_or(ParseMode::
1380: 48 74 6d 6c 29 3b 0a 09 09 6c 65 74 20 74 61 72 Html);...let tar
1390: 67 65 74 20 3d 20 74 61 72 67 65 74 2e 75 6e 77 get = target.unw
13a0: 72 61 70 5f 6f 72 28 73 65 6c 66 2e 6f 77 6e 65 rap_or(self.owne
13b0: 72 5f 63 68 61 74 29 3b 0a 09 09 73 65 6c 66 2e r_chat);...self.
13c0: 74 67 2e 65 78 65 63 75 74 65 28 0a 09 09 09 53 tg.execute(....S
13d0: 65 6e 64 4d 65 73 73 61 67 65 3a 3a 6e 65 77 28 endMessage::new(
13e0: 74 61 72 67 65 74 2c 20 6d 73 67 29 0a 09 09 09 target, msg)....
13f0: 09 2e 77 69 74 68 5f 70 61 72 73 65 5f 6d 6f 64 ..with_parse_mod
1400: 65 28 6d 6f 64 65 29 0a 09 09 29 2e 61 77 61 69 e(mode)...).awai
1410: 74 2e 73 74 61 63 6b 28 29 0a 09 7d 0a 0a 09 2f t.stack()..}.../
1420: 2f 2f 20 46 65 74 63 68 65 73 20 74 68 65 20 66 // Fetches the f
1430: 65 65 64 20 66 6f 72 20 61 20 73 6f 75 72 63 65 eed for a source
1440: 2c 20 73 65 6e 64 73 20 61 6e 79 20 6e 65 77 6c , sends any newl
1450: 79 20 64 69 73 63 6f 76 65 72 65 64 20 70 6f 73 y discovered pos
1460: 74 73 20 74 6f 20 74 68 65 20 61 70 70 72 6f 70 ts to the approp
1470: 72 69 61 74 65 20 63 68 61 74 2c 20 61 6e 64 20 riate chat, and
1480: 72 65 63 6f 72 64 73 20 74 68 65 6d 20 69 6e 20 records them in
1490: 74 68 65 20 64 61 74 61 62 61 73 65 2e 0a 09 2f the database.../
14a0: 2f 2f 0a 09 2f 2f 2f 20 54 68 69 73 20 61 63 71 //../// This acq
14b0: 75 69 72 65 73 20 61 20 70 65 72 2d 73 6f 75 72 uires a per-sour
14c0: 63 65 20 67 75 61 72 64 20 74 6f 20 70 72 65 76 ce guard to prev
14d0: 65 6e 74 20 63 6f 6e 63 75 72 72 65 6e 74 20 63 ent concurrent c
14e0: 68 65 63 6b 73 20 66 6f 72 20 74 68 65 20 73 61 hecks for the sa
14f0: 6d 65 20 60 69 64 60 2e 20 49 66 20 61 20 63 68 me `id`. If a ch
1500: 65 63 6b 20 69 73 20 61 6c 72 65 61 64 79 20 72 eck is already r
1510: 75 6e 6e 69 6e 67 20 66 6f 72 0a 09 2f 2f 2f 20 unning for..///
1520: 74 68 65 20 67 69 76 65 6e 20 60 69 64 60 2c 20 the given `id`,
1530: 74 68 65 20 66 75 6e 63 74 69 6f 6e 20 72 65 74 the function ret
1540: 75 72 6e 73 20 61 6e 20 65 72 72 6f 72 2e 20 49 urns an error. I
1550: 66 20 60 6c 61 73 74 5f 73 63 72 61 70 65 60 20 f `last_scrape`
1560: 69 73 20 70 72 6f 76 69 64 65 64 2c 20 69 74 20 is provided, it
1570: 69 73 20 73 65 6e 74 20 61 73 20 74 68 65 20 60 is sent as the `
1580: 49 66 2d 4d 6f 64 69 66 69 65 64 2d 53 69 6e 63 If-Modified-Sinc
1590: 65 60 0a 09 2f 2f 2f 20 68 65 61 64 65 72 20 74 e`../// header t
15a0: 6f 20 74 68 65 20 66 65 65 64 20 72 65 71 75 65 o the feed reque
15b0: 73 74 2e 20 54 68 65 20 66 75 6e 63 74 69 6f 6e st. The function
15c0: 20 70 61 72 73 65 73 20 52 53 53 20 6f 72 20 41 parses RSS or A
15d0: 74 6f 6d 20 66 65 65 64 73 2c 20 73 65 6e 64 73 tom feeds, sends
15e0: 20 75 6e 73 65 65 6e 20 70 6f 73 74 20 55 52 4c unseen post URL
15f0: 73 20 74 6f 20 65 69 74 68 65 72 20 74 68 65 20 s to either the
1600: 73 6f 75 72 63 65 27 73 0a 09 2f 2f 2f 20 63 68 source's../// ch
1610: 61 6e 6e 65 6c 20 28 77 68 65 6e 20 60 72 65 61 annel (when `rea
1620: 6c 60 20 69 73 20 74 72 75 65 29 20 6f 72 20 74 l` is true) or t
1630: 68 65 20 73 6f 75 72 63 65 20 6f 77 6e 65 72 20 he source owner
1640: 28 77 68 65 6e 20 60 72 65 61 6c 60 20 69 73 20 (when `real` is
1650: 66 61 6c 73 65 29 2c 20 61 6e 64 20 70 65 72 73 false), and pers
1660: 69 73 74 73 20 70 6f 73 74 65 64 20 65 6e 74 72 ists posted entr
1670: 69 65 73 20 73 6f 20 74 68 65 79 20 61 72 65 0a ies so they are.
1680: 09 2f 2f 2f 20 6e 6f 74 20 72 65 70 6f 73 74 65 ./// not reposte
1690: 64 20 6c 61 74 65 72 2e 0a 09 2f 2f 2f 0a 09 2f d later...///../
16a0: 2f 2f 20 50 61 72 61 6d 65 74 65 72 73 3a 0a 09 // Parameters:..
16b0: 2f 2f 2f 20 2d 20 60 69 64 60 3a 20 49 64 65 6e /// - `id`: Iden
16c0: 74 69 66 69 65 72 20 6f 66 20 74 68 65 20 73 6f tifier of the so
16d0: 75 72 63 65 20 74 6f 20 63 68 65 63 6b 2e 0a 09 urce to check...
16e0: 2f 2f 2f 20 2d 20 60 72 65 61 6c 60 3a 20 57 68 /// - `real`: Wh
16f0: 65 6e 20 60 74 72 75 65 60 2c 20 73 65 6e 64 20 en `true`, send
1700: 70 6f 73 74 73 20 74 6f 20 74 68 65 20 73 6f 75 posts to the sou
1710: 72 63 65 27 73 20 63 68 61 6e 6e 65 6c 3b 20 77 rce's channel; w
1720: 68 65 6e 20 60 66 61 6c 73 65 60 2c 20 73 65 6e hen `false`, sen
1730: 64 20 74 6f 20 74 68 65 20 73 6f 75 72 63 65 20 d to the source
1740: 6f 77 6e 65 72 2e 0a 09 2f 2f 2f 20 2d 20 60 6c owner.../// - `l
1750: 61 73 74 5f 73 63 72 61 70 65 60 3a 20 4f 70 74 ast_scrape`: Opt
1760: 69 6f 6e 61 6c 20 74 69 6d 65 73 74 61 6d 70 20 ional timestamp
1770: 75 73 65 64 20 74 6f 20 73 65 74 20 74 68 65 20 used to set the
1780: 60 49 66 2d 4d 6f 64 69 66 69 65 64 2d 53 69 6e `If-Modified-Sin
1790: 63 65 60 20 68 65 61 64 65 72 20 66 6f 72 20 74 ce` header for t
17a0: 68 65 20 48 54 54 50 20 72 65 71 75 65 73 74 2e he HTTP request.
17b0: 0a 09 2f 2f 2f 0a 09 2f 2f 2f 20 23 20 52 65 74 ..///../// # Ret
17c0: 75 72 6e 73 0a 09 2f 2f 2f 0a 09 2f 2f 2f 20 60 urns..///../// `
17d0: 50 6f 73 74 65 64 3a 20 4e 60 20 77 68 65 72 65 Posted: N` where
17e0: 20 60 4e 60 20 69 73 20 74 68 65 20 6e 75 6d 62 `N` is the numb
17f0: 65 72 20 6f 66 20 70 6f 73 74 73 20 70 72 6f 63 er of posts proc
1800: 65 73 73 65 64 20 61 6e 64 20 73 65 6e 74 2e 0a essed and sent..
1810: 09 70 75 62 20 61 73 79 6e 63 20 66 6e 20 63 68 .pub async fn ch
1820: 65 63 6b 20 28 26 73 65 6c 66 2c 20 69 64 3a 20 eck (&self, id:
1830: 69 33 32 2c 20 72 65 61 6c 3a 20 62 6f 6f 6c 2c i32, real: bool,
1840: 20 6c 61 73 74 5f 73 63 72 61 70 65 3a 20 4f 70 last_scrape: Op
1850: 74 69 6f 6e 3c 44 61 74 65 54 69 6d 65 3c 4c 6f tion<DateTime<Lo
1860: 63 61 6c 3e 3e 29 20 2d 3e 20 52 65 73 75 6c 74 cal>>) -> Result
1870: 3c 53 74 72 69 6e 67 3e 20 7b 0a 09 09 6c 65 74 <String> {...let
1880: 20 6d 75 74 20 70 6f 73 74 65 64 3a 20 69 33 32 mut posted: i32
1890: 20 3d 20 30 3b 0a 09 09 6c 65 74 20 6d 75 74 20 = 0;...let mut
18a0: 63 6f 6e 6e 20 3d 20 73 65 6c 66 2e 64 62 2e 62 conn = self.db.b
18b0: 65 67 69 6e 28 29 2e 61 77 61 69 74 2e 73 74 61 egin().await.sta
18c0: 63 6b 28 29 3f 3b 0a 0a 09 09 6c 65 74 20 5f 74 ck()?;....let _t
18d0: 6f 6b 65 6e 20 3d 20 54 6f 6b 65 6e 3a 3a 6e 65 oken = Token::ne
18e0: 77 28 26 73 65 6c 66 2e 72 75 6e 6e 69 6e 67 2c w(&self.running,
18f0: 20 69 64 29 2e 61 77 61 69 74 2e 73 74 61 63 6b id).await.stack
1900: 28 29 3f 3b 0a 09 09 6c 65 74 20 73 6f 75 72 63 ()?;...let sourc
1910: 65 20 3d 20 63 6f 6e 6e 2e 67 65 74 5f 73 6f 75 e = conn.get_sou
1920: 72 63 65 28 69 64 2c 20 73 65 6c 66 2e 6f 77 6e rce(id, self.own
1930: 65 72 5f 63 68 61 74 29 2e 61 77 61 69 74 2e 73 er_chat).await.s
1940: 74 61 63 6b 28 29 3f 3b 0a 09 09 63 6f 6e 6e 2e tack()?;...conn.
1950: 73 65 74 5f 73 63 72 61 70 65 28 69 64 29 2e 61 set_scrape(id).a
1960: 77 61 69 74 2e 73 74 61 63 6b 28 29 3f 3b 0a 09 wait.stack()?;..
1970: 09 6c 65 74 20 64 65 73 74 69 6e 61 74 69 6f 6e .let destination
1980: 20 3d 20 43 68 61 74 50 65 65 72 49 64 3a 3a 66 = ChatPeerId::f
1990: 72 6f 6d 28 6d 61 74 63 68 20 72 65 61 6c 20 7b rom(match real {
19a0: 0a 09 09 09 74 72 75 65 20 3d 3e 20 73 6f 75 72 ....true => sour
19b0: 63 65 2e 63 68 61 6e 6e 65 6c 5f 69 64 2c 0a 09 ce.channel_id,..
19c0: 09 09 66 61 6c 73 65 20 3d 3e 20 73 6f 75 72 63 ..false => sourc
19d0: 65 2e 6f 77 6e 65 72 2c 0a 09 09 7d 29 3b 0a 09 e.owner,...});..
19e0: 09 6c 65 74 20 6d 75 74 20 74 68 69 73 5f 66 65 .let mut this_fe
19f0: 74 63 68 3a 20 4f 70 74 69 6f 6e 3c 44 61 74 65 tch: Option<Date
1a00: 54 69 6d 65 3c 63 68 72 6f 6e 6f 3a 3a 46 69 78 Time<chrono::Fix
1a10: 65 64 4f 66 66 73 65 74 3e 3e 20 3d 20 4e 6f 6e edOffset>> = Non
1a20: 65 3b 0a 09 09 6c 65 74 20 6d 75 74 20 70 6f 73 e;...let mut pos
1a30: 74 73 3a 20 42 54 72 65 65 4d 61 70 3c 44 61 74 ts: BTreeMap<Dat
1a40: 65 54 69 6d 65 3c 63 68 72 6f 6e 6f 3a 3a 46 69 eTime<chrono::Fi
1a50: 78 65 64 4f 66 66 73 65 74 3e 2c 20 50 6f 73 74 xedOffset>, Post
1a60: 3e 20 3d 20 42 54 72 65 65 4d 61 70 3a 3a 6e 65 > = BTreeMap::ne
1a70: 77 28 29 3b 0a 0a 09 09 6c 65 74 20 6d 75 74 20 w();....let mut
1a80: 62 75 69 6c 64 65 72 20 3d 20 73 65 6c 66 2e 68 builder = self.h
1a90: 74 74 70 5f 63 6c 69 65 6e 74 2e 67 65 74 28 26 ttp_client.get(&
1aa0: 73 6f 75 72 63 65 2e 75 72 6c 29 3b 0a 09 09 69 source.url);...i
1ab0: 66 20 6c 65 74 20 53 6f 6d 65 28 6c 61 73 74 5f f let Some(last_
1ac0: 73 63 72 61 70 65 29 20 3d 20 6c 61 73 74 5f 73 scrape) = last_s
1ad0: 63 72 61 70 65 20 7b 0a 09 09 09 62 75 69 6c 64 crape {....build
1ae0: 65 72 20 3d 20 62 75 69 6c 64 65 72 2e 68 65 61 er = builder.hea
1af0: 64 65 72 28 4c 41 53 54 5f 4d 4f 44 49 46 49 45 der(LAST_MODIFIE
1b00: 44 2c 20 6c 61 73 74 5f 73 63 72 61 70 65 2e 74 D, last_scrape.t
1b10: 6f 5f 72 66 63 32 38 32 32 28 29 29 3b 0a 09 09 o_rfc2822());...
1b20: 7d 3b 0a 09 09 6c 65 74 20 72 65 73 70 6f 6e 73 };...let respons
1b30: 65 20 3d 20 62 75 69 6c 64 65 72 2e 73 65 6e 64 e = builder.send
1b40: 28 29 2e 61 77 61 69 74 2e 73 74 61 63 6b 28 29 ().await.stack()
1b50: 3f 3b 0a 09 09 23 5b 63 66 67 28 64 65 62 75 67 ?;...#[cfg(debug
1b60: 5f 61 73 73 65 72 74 69 6f 6e 73 29 5d 0a 09 09 _assertions)]...
1b70: 7b 0a 09 09 09 6c 65 74 20 68 65 61 64 65 72 73 {....let headers
1b80: 20 3d 20 72 65 73 70 6f 6e 73 65 2e 68 65 61 64 = response.head
1b90: 65 72 73 28 29 3b 0a 09 09 09 6c 65 74 20 65 78 ers();....let ex
1ba0: 70 69 72 65 73 20 3d 20 68 65 61 64 65 72 73 2e pires = headers.
1bb0: 67 65 74 28 45 58 50 49 52 45 53 29 3b 0a 09 09 get(EXPIRES);...
1bc0: 09 6c 65 74 20 63 61 63 68 65 20 3d 20 68 65 61 .let cache = hea
1bd0: 64 65 72 73 2e 67 65 74 28 43 41 43 48 45 5f 43 ders.get(CACHE_C
1be0: 4f 4e 54 52 4f 4c 29 3b 0a 09 09 09 69 66 20 65 ONTROL);....if e
1bf0: 78 70 69 72 65 73 2e 69 73 5f 73 6f 6d 65 28 29 xpires.is_some()
1c00: 20 7c 7c 20 63 61 63 68 65 2e 69 73 5f 73 6f 6d || cache.is_som
1c10: 65 28 29 20 7b 0a 09 09 09 09 70 72 69 6e 74 6c e() {.....printl
1c20: 6e 21 28 22 7b 7d 20 7b 7d 20 7b 3a 3f 7d 20 7b n!("{} {} {:?} {
1c30: 3a 3f 7d 20 7b 3a 3f 7d 22 2c 20 4c 6f 63 61 6c :?} {:?}", Local
1c40: 3a 3a 6e 6f 77 28 29 2e 74 6f 5f 72 66 63 32 38 ::now().to_rfc28
1c50: 32 32 28 29 2c 20 26 73 6f 75 72 63 65 2e 75 72 22(), &source.ur
1c60: 6c 2c 20 6c 61 73 74 5f 73 63 72 61 70 65 2c 20 l, last_scrape,
1c70: 65 78 70 69 72 65 73 2c 20 63 61 63 68 65 29 3b expires, cache);
1c80: 0a 09 09 09 7d 0a 09 09 7d 0a 09 09 6c 65 74 20 ....}...}...let
1c90: 73 74 61 74 75 73 20 3d 20 72 65 73 70 6f 6e 73 status = respons
1ca0: 65 2e 73 74 61 74 75 73 28 29 3b 0a 09 09 6c 65 e.status();...le
1cb0: 74 20 63 6f 6e 74 65 6e 74 20 3d 20 72 65 73 70 t content = resp
1cc0: 6f 6e 73 65 2e 62 79 74 65 73 28 29 2e 61 77 61 onse.bytes().awa
1cd0: 69 74 2e 73 74 61 63 6b 28 29 3f 3b 0a 09 09 6d it.stack()?;...m
1ce0: 61 74 63 68 20 72 73 73 3a 3a 43 68 61 6e 6e 65 atch rss::Channe
1cf0: 6c 3a 3a 72 65 61 64 5f 66 72 6f 6d 28 26 63 6f l::read_from(&co
1d00: 6e 74 65 6e 74 5b 2e 2e 5d 29 20 7b 0a 09 09 09 ntent[..]) {....
1d10: 4f 6b 28 66 65 65 64 29 20 3d 3e 20 7b 0a 09 09 Ok(feed) => {...
1d20: 09 09 66 6f 72 20 69 74 65 6d 20 69 6e 20 66 65 ..for item in fe
1d30: 65 64 2e 69 74 65 6d 73 28 29 20 7b 0a 09 09 09 ed.items() {....
1d40: 09 09 69 66 20 6c 65 74 20 53 6f 6d 65 28 6c 69 ..if let Some(li
1d50: 6e 6b 29 20 3d 20 69 74 65 6d 2e 6c 69 6e 6b 28 nk) = item.link(
1d60: 29 20 7b 0a 09 09 09 09 09 09 6c 65 74 20 64 61 ) {.......let da
1d70: 74 65 20 3d 20 6d 61 74 63 68 20 69 74 65 6d 2e te = match item.
1d80: 70 75 62 5f 64 61 74 65 28 29 20 7b 0a 09 09 09 pub_date() {....
1d90: 09 09 09 09 53 6f 6d 65 28 66 65 65 64 5f 64 61 ....Some(feed_da
1da0: 74 65 29 20 3d 3e 20 44 61 74 65 54 69 6d 65 3a te) => DateTime:
1db0: 3a 70 61 72 73 65 5f 66 72 6f 6d 5f 72 66 63 32 :parse_from_rfc2
1dc0: 38 32 32 28 66 65 65 64 5f 64 61 74 65 29 2c 0a 822(feed_date),.
1dd0: 09 09 09 09 09 09 09 4e 6f 6e 65 20 3d 3e 20 44 .......None => D
1de0: 61 74 65 54 69 6d 65 3a 3a 70 61 72 73 65 5f 66 ateTime::parse_f
1df0: 72 6f 6d 5f 72 66 63 33 33 33 39 28 6d 61 74 63 rom_rfc3339(matc
1e00: 68 20 69 74 65 6d 2e 64 75 62 6c 69 6e 5f 63 6f h item.dublin_co
1e10: 72 65 5f 65 78 74 28 29 20 7b 0a 09 09 09 09 09 re_ext() {......
1e20: 09 09 09 53 6f 6d 65 28 65 78 74 29 20 3d 3e 20 ...Some(ext) =>
1e30: 7b 0a 09 09 09 09 09 09 09 09 09 6c 65 74 20 64 {..........let d
1e40: 61 74 65 73 20 3d 20 65 78 74 2e 64 61 74 65 73 ates = ext.dates
1e50: 28 29 3b 0a 09 09 09 09 09 09 09 09 09 69 66 20 ();..........if
1e60: 64 61 74 65 73 2e 69 73 5f 65 6d 70 74 79 28 29 dates.is_empty()
1e70: 20 7b 0a 09 09 09 09 09 09 09 09 09 09 62 61 69 {...........bai
1e80: 6c 21 28 22 46 65 65 64 20 69 74 65 6d 20 68 61 l!("Feed item ha
1e90: 73 20 44 75 62 6c 69 6e 20 43 6f 72 65 20 65 78 s Dublin Core ex
1ea0: 74 65 6e 73 69 6f 6e 20 62 75 74 20 6e 6f 20 64 tension but no d
1eb0: 61 74 65 73 2e 22 29 0a 09 09 09 09 09 09 09 09 ates.").........
1ec0: 09 7d 20 65 6c 73 65 20 7b 0a 09 09 09 09 09 09 .} else {.......
1ed0: 09 09 09 09 26 64 61 74 65 73 5b 30 5d 0a 09 09 ....&dates[0]...
1ee0: 09 09 09 09 09 09 09 7d 0a 09 09 09 09 09 09 09 .......}........
1ef0: 09 7d 2c 0a 09 09 09 09 09 09 09 09 4e 6f 6e 65 .},.........None
1f00: 20 3d 3e 20 62 61 69 6c 21 28 22 46 65 65 64 20 => bail!("Feed
1f10: 69 74 65 6d 20 6d 69 73 73 65 73 20 70 6f 73 74 item misses post
1f20: 69 6e 67 20 64 61 74 65 2e 22 29 2c 0a 09 09 09 ing date."),....
1f30: 09 09 09 09 7d 29 2c 0a 09 09 09 09 09 09 7d 2e ....}),.......}.
1f40: 73 74 61 63 6b 28 29 3f 3b 0a 09 09 09 09 09 09 stack()?;.......
1f50: 6c 65 74 20 75 72 69 20 3d 20 6c 69 6e 6b 2e 74 let uri = link.t
1f60: 6f 5f 73 74 72 69 6e 67 28 29 3b 0a 09 09 09 09 o_string();.....
1f70: 09 09 6c 65 74 20 74 69 74 6c 65 20 3d 20 69 74 ..let title = it
1f80: 65 6d 2e 74 69 74 6c 65 28 29 2e 75 6e 77 72 61 em.title().unwra
1f90: 70 5f 6f 72 28 22 22 29 2e 74 6f 5f 73 74 72 69 p_or("").to_stri
1fa0: 6e 67 28 29 3b 0a 09 09 09 09 09 09 6c 65 74 20 ng();.......let
1fb0: 61 75 74 68 6f 72 73 20 3d 20 69 74 65 6d 2e 61 authors = item.a
1fc0: 75 74 68 6f 72 28 29 2e 75 6e 77 72 61 70 5f 6f uthor().unwrap_o
1fd0: 72 28 22 22 29 2e 74 6f 5f 73 74 72 69 6e 67 28 r("").to_string(
1fe0: 29 3b 0a 09 09 09 09 09 09 6c 65 74 20 73 75 6d );.......let sum
1ff0: 6d 61 72 79 20 3d 20 69 74 65 6d 2e 63 6f 6e 74 mary = item.cont
2000: 65 6e 74 28 29 2e 75 6e 77 72 61 70 5f 6f 72 28 ent().unwrap_or(
2010: 22 22 29 2e 74 6f 5f 73 74 72 69 6e 67 28 29 3b "").to_string();
2020: 0a 09 09 09 09 09 09 70 6f 73 74 73 2e 69 6e 73 .......posts.ins
2030: 65 72 74 28 64 61 74 65 2c 20 50 6f 73 74 7b 0a ert(date, Post{.
2040: 09 09 09 09 09 09 09 75 72 69 2c 0a 09 09 09 09 .......uri,.....
2050: 09 09 09 74 69 74 6c 65 2c 0a 09 09 09 09 09 09 ...title,.......
2060: 09 61 75 74 68 6f 72 73 2c 0a 09 09 09 09 09 09 .authors,.......
2070: 09 73 75 6d 6d 61 72 79 2c 0a 09 09 09 09 09 09 .summary,.......
2080: 7d 29 3b 0a 09 09 09 09 09 7d 0a 09 09 09 09 7d });......}.....}
2090: 3b 0a 09 09 09 7d 2c 0a 09 09 09 45 72 72 28 65 ;....},....Err(e
20a0: 72 72 29 20 3d 3e 20 6d 61 74 63 68 20 65 72 72 rr) => match err
20b0: 20 7b 0a 09 09 09 09 72 73 73 3a 3a 45 72 72 6f {.....rss::Erro
20c0: 72 3a 3a 49 6e 76 61 6c 69 64 53 74 61 72 74 54 r::InvalidStartT
20d0: 61 67 20 3d 3e 20 7b 0a 09 09 09 09 09 6d 61 74 ag => {......mat
20e0: 63 68 20 61 74 6f 6d 5f 73 79 6e 64 69 63 61 74 ch atom_syndicat
20f0: 69 6f 6e 3a 3a 46 65 65 64 3a 3a 72 65 61 64 5f ion::Feed::read_
2100: 66 72 6f 6d 28 26 63 6f 6e 74 65 6e 74 5b 2e 2e from(&content[..
2110: 5d 29 20 7b 0a 09 09 09 09 09 09 4f 6b 28 66 65 ]) {.......Ok(fe
2120: 65 64 29 20 3d 3e 20 7b 0a 09 09 09 09 09 09 09 ed) => {........
2130: 66 6f 72 20 69 74 65 6d 20 69 6e 20 66 65 65 64 for item in feed
2140: 2e 65 6e 74 72 69 65 73 28 29 20 7b 0a 09 09 09 .entries() {....
2150: 09 09 09 09 09 6c 65 74 20 64 61 74 65 20 3d 20 .....let date =
2160: 69 74 65 6d 2e 70 75 62 6c 69 73 68 65 64 28 29 item.published()
2170: 0a 09 09 09 09 09 09 09 09 09 2e 73 74 61 63 6b ...........stack
2180: 5f 65 72 72 28 22 46 65 65 64 20 69 74 65 6d 20 _err("Feed item
2190: 6d 69 73 73 69 6e 67 20 70 75 62 6c 69 73 68 69 missing publishi
21a0: 6e 67 20 64 61 74 65 2e 22 29 3f 3b 0a 09 09 09 ng date.")?;....
21b0: 09 09 09 09 09 6c 65 74 20 75 72 69 20 3d 20 7b .....let uri = {
21c0: 0a 09 09 09 09 09 09 09 09 09 6c 65 74 20 6c 69 ..........let li
21d0: 6e 6b 73 20 3d 20 69 74 65 6d 2e 6c 69 6e 6b 73 nks = item.links
21e0: 28 29 3b 0a 09 09 09 09 09 09 09 09 09 69 66 20 ();..........if
21f0: 6c 69 6e 6b 73 2e 69 73 5f 65 6d 70 74 79 28 29 links.is_empty()
2200: 20 7b 0a 09 09 09 09 09 09 09 09 09 09 62 61 69 {...........bai
2210: 6c 21 28 22 46 65 65 64 20 69 74 65 6d 20 6d 69 l!("Feed item mi
2220: 73 73 69 6e 67 20 70 6f 73 74 20 6c 69 6e 6b 73 ssing post links
2230: 2e 22 29 3b 0a 09 09 09 09 09 09 09 09 09 7d 20 .");..........}
2240: 65 6c 73 65 20 7b 0a 09 09 09 09 09 09 09 09 09 else {..........
2250: 09 6c 69 6e 6b 73 5b 30 5d 2e 68 72 65 66 28 29 .links[0].href()
2260: 2e 74 6f 5f 73 74 72 69 6e 67 28 29 0a 09 09 09 .to_string()....
2270: 09 09 09 09 09 09 7d 0a 09 09 09 09 09 09 09 09 ......}.........
2280: 7d 3b 0a 09 09 09 09 09 09 09 09 6c 65 74 20 74 };.........let t
2290: 69 74 6c 65 20 3d 20 69 74 65 6d 2e 74 69 74 6c itle = item.titl
22a0: 65 28 29 2e 74 6f 5f 73 74 72 69 6e 67 28 29 3b e().to_string();
22b0: 0a 09 09 09 09 09 09 09 09 6c 65 74 20 61 75 74 .........let aut
22c0: 68 6f 72 73 20 3d 20 69 74 65 6d 2e 61 75 74 68 hors = item.auth
22d0: 6f 72 73 28 29 2e 69 74 65 72 28 29 2e 6d 61 70 ors().iter().map
22e0: 28 7c 78 7c 20 66 6f 72 6d 61 74 21 28 22 7b 7d (|x| format!("{}
22f0: 20 3c 7b 3a 3f 7d 3e 22 2c 20 78 2e 6e 61 6d 65 <{:?}>", x.name
2300: 28 29 2c 20 78 2e 65 6d 61 69 6c 28 29 29 29 2e (), x.email())).
2310: 63 6f 6c 6c 65 63 74 3a 3a 3c 56 65 63 3c 53 74 collect::<Vec<St
2320: 72 69 6e 67 3e 3e 28 29 2e 6a 6f 69 6e 28 22 2c ring>>().join(",
2330: 20 22 29 3b 0a 09 09 09 09 09 09 09 09 6c 65 74 ");.........let
2340: 20 73 75 6d 6d 61 72 79 20 3d 20 69 66 20 6c 65 summary = if le
2350: 74 20 53 6f 6d 65 28 73 75 6d 29 20 3d 20 69 74 t Some(sum) = it
2360: 65 6d 2e 73 75 6d 6d 61 72 79 28 29 20 7b 20 73 em.summary() { s
2370: 75 6d 2e 76 61 6c 75 65 2e 63 6c 6f 6e 65 28 29 um.value.clone()
2380: 20 7d 20 65 6c 73 65 20 7b 20 53 74 72 69 6e 67 } else { String
2390: 3a 3a 6e 65 77 28 29 20 7d 3b 0a 09 09 09 09 09 ::new() };......
23a0: 09 09 09 70 6f 73 74 73 2e 69 6e 73 65 72 74 28 ...posts.insert(
23b0: 2a 64 61 74 65 2c 20 50 6f 73 74 7b 0a 09 09 09 *date, Post{....
23c0: 09 09 09 09 09 09 75 72 69 2c 0a 09 09 09 09 09 ......uri,......
23d0: 09 09 09 09 74 69 74 6c 65 2c 0a 09 09 09 09 09 ....title,......
23e0: 09 09 09 09 61 75 74 68 6f 72 73 2c 0a 09 09 09 ....authors,....
23f0: 09 09 09 09 09 09 73 75 6d 6d 61 72 79 2c 0a 09 ......summary,..
2400: 09 09 09 09 09 09 09 7d 29 3b 0a 09 09 09 09 09 .......});......
2410: 09 09 7d 3b 0a 09 09 09 09 09 09 7d 2c 0a 09 09 ..};.......},...
2420: 09 09 09 09 45 72 72 28 65 72 72 29 20 3d 3e 20 ....Err(err) =>
2430: 7b 0a 09 09 09 09 09 09 09 62 61 69 6c 21 28 22 {........bail!("
2440: 55 6e 73 75 70 70 6f 72 74 65 64 20 6f 72 20 6d Unsupported or m
2450: 61 6e 67 6c 65 64 20 63 6f 6e 74 65 6e 74 3a 5c angled content:\
2460: 6e 7b 3a 3f 7d 5c 6e 7b 65 72 72 7d 5c 6e 7b 73 n{:?}\n{err}\n{s
2470: 74 61 74 75 73 3a 23 3f 7d 5c 6e 22 2c 20 26 73 tatus:#?}\n", &s
2480: 6f 75 72 63 65 2e 75 72 6c 29 0a 09 09 09 09 09 ource.url)......
2490: 09 7d 2c 0a 09 09 09 09 09 7d 0a 09 09 09 09 7d .},......}.....}
24a0: 2c 0a 09 09 09 09 72 73 73 3a 3a 45 72 72 6f 72 ,.....rss::Error
24b0: 3a 3a 45 6f 66 20 3d 3e 20 28 29 2c 0a 09 09 09 ::Eof => (),....
24c0: 09 5f 20 3d 3e 20 62 61 69 6c 21 28 22 55 6e 73 ._ => bail!("Uns
24d0: 75 70 70 6f 72 74 65 64 20 6f 72 20 6d 61 6e 67 upported or mang
24e0: 6c 65 64 20 63 6f 6e 74 65 6e 74 3a 5c 6e 7b 3a led content:\n{:
24f0: 3f 7d 5c 6e 7b 65 72 72 7d 5c 6e 7b 73 74 61 74 ?}\n{err}\n{stat
2500: 75 73 3a 23 3f 7d 5c 6e 22 2c 20 26 73 6f 75 72 us:#?}\n", &sour
2510: 63 65 2e 75 72 6c 29 0a 09 09 09 7d 0a 09 09 7d ce.url)....}...}
2520: 3b 0a 09 09 66 6f 72 20 28 64 61 74 65 2c 20 70 ;...for (date, p
2530: 6f 73 74 29 20 69 6e 20 70 6f 73 74 73 2e 69 74 ost) in posts.it
2540: 65 72 28 29 20 7b 0a 09 09 09 6c 65 74 20 70 6f er() {....let po
2550: 73 74 5f 75 72 6c 3a 20 43 6f 77 3c 73 74 72 3e st_url: Cow<str>
2560: 20 3d 20 6d 61 74 63 68 20 73 6f 75 72 63 65 2e = match source.
2570: 75 72 6c 5f 72 65 20 7b 0a 09 09 09 09 53 6f 6d url_re {.....Som
2580: 65 28 72 65 66 20 78 29 20 3d 3e 20 73 65 64 72 e(ref x) => sedr
2590: 65 67 65 78 3a 3a 52 65 70 6c 61 63 65 43 6f 6d egex::ReplaceCom
25a0: 6d 61 6e 64 3a 3a 6e 65 77 28 78 29 2e 73 74 61 mand::new(x).sta
25b0: 63 6b 28 29 3f 2e 65 78 65 63 75 74 65 28 26 70 ck()?.execute(&p
25c0: 6f 73 74 2e 75 72 69 29 2c 0a 09 09 09 09 4e 6f ost.uri),.....No
25d0: 6e 65 20 3d 3e 20 70 6f 73 74 2e 75 72 69 2e 63 ne => post.uri.c
25e0: 6c 6f 6e 65 28 29 2e 69 6e 74 6f 28 29 2c 0a 09 lone().into(),..
25f0: 09 09 7d 3b 0a 09 09 09 69 66 20 21 20 63 6f 6e ..};....if ! con
2600: 6e 2e 65 78 69 73 74 73 28 26 70 6f 73 74 5f 75 n.exists(&post_u
2610: 72 6c 2c 20 69 64 29 2e 61 77 61 69 74 2e 73 74 rl, id).await.st
2620: 61 63 6b 28 29 3f 20 7b 0a 09 09 09 09 69 66 20 ack()? {.....if
2630: 74 68 69 73 5f 66 65 74 63 68 2e 69 73 5f 6e 6f this_fetch.is_no
2640: 6e 65 28 29 20 7c 7c 20 2a 64 61 74 65 20 3e 20 ne() || *date >
2650: 74 68 69 73 5f 66 65 74 63 68 2e 75 6e 77 72 61 this_fetch.unwra
2660: 70 28 29 20 7b 0a 09 09 09 09 09 74 68 69 73 5f p() {......this_
2670: 66 65 74 63 68 20 3d 20 53 6f 6d 65 28 2a 64 61 fetch = Some(*da
2680: 74 65 29 3b 0a 09 09 09 09 7d 3b 0a 09 09 09 09 te);.....};.....
2690: 73 65 6c 66 2e 73 65 6e 64 28 20 6d 61 74 63 68 self.send( match
26a0: 20 26 73 6f 75 72 63 65 2e 69 76 5f 68 61 73 68 &source.iv_hash
26b0: 20 7b 0a 09 09 09 09 09 53 6f 6d 65 28 68 61 73 {......Some(has
26c0: 68 29 20 3d 3e 20 66 6f 72 6d 61 74 21 28 22 3c h) => format!("<
26d0: 61 20 68 72 65 66 3d 5c 22 68 74 74 70 73 3a 2f a href=\"https:/
26e0: 2f 74 2e 6d 65 2f 69 76 3f 75 72 6c 3d 7b 70 6f /t.me/iv?url={po
26f0: 73 74 5f 75 72 6c 7d 26 72 68 61 73 68 3d 7b 68 st_url}&rhash={h
2700: 61 73 68 7d 5c 22 3e 20 3c 2f 61 3e 7b 70 6f 73 ash}\"> </a>{pos
2710: 74 5f 75 72 6c 7d 22 29 2c 0a 09 09 09 09 09 4e t_url}"),......N
2720: 6f 6e 65 20 3d 3e 20 66 6f 72 6d 61 74 21 28 22 one => format!("
2730: 7b 70 6f 73 74 5f 75 72 6c 7d 22 29 2c 0a 09 09 {post_url}"),...
2740: 09 09 7d 2c 20 53 6f 6d 65 28 64 65 73 74 69 6e ..}, Some(destin
2750: 61 74 69 6f 6e 29 2c 20 53 6f 6d 65 28 50 61 72 ation), Some(Par
2760: 73 65 4d 6f 64 65 3a 3a 48 74 6d 6c 29 29 2e 61 seMode::Html)).a
2770: 77 61 69 74 2e 73 74 61 63 6b 28 29 3f 3b 0a 09 wait.stack()?;..
2780: 09 09 09 63 6f 6e 6e 2e 61 64 64 5f 70 6f 73 74 ...conn.add_post
2790: 28 69 64 2c 20 64 61 74 65 2c 20 26 70 6f 73 74 (id, date, &post
27a0: 5f 75 72 6c 29 2e 61 77 61 69 74 2e 73 74 61 63 _url).await.stac
27b0: 6b 28 29 3f 3b 0a 09 09 09 09 70 6f 73 74 65 64 k()?;.....posted
27c0: 20 2b 3d 20 31 3b 0a 09 09 09 7d 3b 0a 09 09 7d += 1;....};...}
27d0: 3b 0a 09 09 70 6f 73 74 73 2e 63 6c 65 61 72 28 ;...posts.clear(
27e0: 29 3b 0a 09 09 4f 6b 28 66 6f 72 6d 61 74 21 28 );...Ok(format!(
27f0: 22 50 6f 73 74 65 64 3a 20 7b 70 6f 73 74 65 64 "Posted: {posted
2800: 7d 22 29 29 0a 09 7d 0a 0a 09 61 73 79 6e 63 20 }"))..}...async
2810: 66 6e 20 61 75 74 6f 66 65 74 63 68 28 26 73 65 fn autofetch(&se
2820: 6c 66 29 20 2d 3e 20 52 65 73 75 6c 74 3c 73 74 lf) -> Result<st
2830: 64 3a 3a 74 69 6d 65 3a 3a 44 75 72 61 74 69 6f d::time::Duratio
2840: 6e 3e 20 7b 0a 09 09 6c 65 74 20 6d 75 74 20 64 n> {...let mut d
2850: 65 6c 61 79 20 3d 20 63 68 72 6f 6e 6f 3a 3a 44 elay = chrono::D
2860: 75 72 61 74 69 6f 6e 3a 3a 6d 69 6e 75 74 65 73 uration::minutes
2870: 28 31 29 3b 0a 09 09 6c 65 74 20 6e 6f 77 20 3d (1);...let now =
2880: 20 63 68 72 6f 6e 6f 3a 3a 4c 6f 63 61 6c 3a 3a chrono::Local::
2890: 6e 6f 77 28 29 3b 0a 09 09 6c 65 74 20 71 75 65 now();...let que
28a0: 75 65 20 3d 20 7b 0a 09 09 09 6c 65 74 20 6d 75 ue = {....let mu
28b0: 74 20 63 6f 6e 6e 20 3d 20 73 65 6c 66 2e 64 62 t conn = self.db
28c0: 2e 62 65 67 69 6e 28 29 2e 61 77 61 69 74 2e 73 .begin().await.s
28d0: 74 61 63 6b 28 29 3f 3b 0a 09 09 09 63 6f 6e 6e tack()?;....conn
28e0: 2e 67 65 74 5f 71 75 65 75 65 28 29 2e 61 77 61 .get_queue().awa
28f0: 69 74 2e 73 74 61 63 6b 28 29 3f 0a 09 09 7d 3b it.stack()?...};
2900: 0a 09 09 66 6f 72 20 72 6f 77 20 69 6e 20 71 75 ...for row in qu
2910: 65 75 65 20 7b 0a 09 09 09 69 66 20 6c 65 74 20 eue {....if let
2920: 53 6f 6d 65 28 6e 65 78 74 5f 66 65 74 63 68 29 Some(next_fetch)
2930: 20 3d 20 72 6f 77 2e 6e 65 78 74 5f 66 65 74 63 = row.next_fetc
2940: 68 20 7b 0a 09 09 09 09 69 66 20 6e 65 78 74 5f h {.....if next_
2950: 66 65 74 63 68 20 3c 20 6e 6f 77 20 7b 0a 09 09 fetch < now {...
2960: 09 09 09 69 66 20 6c 65 74 20 28 53 6f 6d 65 28 ...if let (Some(
2970: 6f 77 6e 65 72 29 2c 20 53 6f 6d 65 28 73 6f 75 owner), Some(sou
2980: 72 63 65 5f 69 64 29 2c 20 6c 61 73 74 5f 73 63 rce_id), last_sc
2990: 72 61 70 65 29 20 3d 20 28 72 6f 77 2e 6f 77 6e rape) = (row.own
29a0: 65 72 2c 20 72 6f 77 2e 73 6f 75 72 63 65 5f 69 er, row.source_i
29b0: 64 2c 20 72 6f 77 2e 6c 61 73 74 5f 73 63 72 61 d, row.last_scra
29c0: 70 65 29 20 7b 0a 09 09 09 09 09 09 6c 65 74 20 pe) {.......let
29d0: 63 6c 6f 6e 65 20 3d 20 43 6f 72 65 20 7b 0a 09 clone = Core {..
29e0: 09 09 09 09 09 09 6f 77 6e 65 72 5f 63 68 61 74 ......owner_chat
29f0: 3a 20 43 68 61 74 50 65 65 72 49 64 3a 3a 66 72 : ChatPeerId::fr
2a00: 6f 6d 28 6f 77 6e 65 72 29 2c 0a 09 09 09 09 09 om(owner),......
2a10: 09 09 2e 2e 73 65 6c 66 2e 63 6c 6f 6e 65 28 29 ....self.clone()
2a20: 0a 09 09 09 09 09 09 7d 3b 0a 09 09 09 09 09 09 .......};.......
2a30: 6c 65 74 20 73 6f 75 72 63 65 20 3d 20 7b 0a 09 let source = {..
2a40: 09 09 09 09 09 09 6c 65 74 20 6d 75 74 20 63 6f ......let mut co
2a50: 6e 6e 20 3d 20 73 65 6c 66 2e 64 62 2e 62 65 67 nn = self.db.beg
2a60: 69 6e 28 29 2e 61 77 61 69 74 2e 73 74 61 63 6b in().await.stack
2a70: 28 29 3f 3b 0a 09 09 09 09 09 09 09 6d 61 74 63 ()?;........matc
2a80: 68 20 63 6f 6e 6e 2e 67 65 74 5f 6f 6e 65 28 6f h conn.get_one(o
2a90: 77 6e 65 72 2c 20 73 6f 75 72 63 65 5f 69 64 29 wner, source_id)
2aa0: 2e 61 77 61 69 74 20 7b 0a 09 09 09 09 09 09 09 .await {........
2ab0: 09 4f 6b 28 53 6f 6d 65 28 73 6f 75 72 63 65 29 .Ok(Some(source)
2ac0: 29 20 3d 3e 20 73 6f 75 72 63 65 2e 74 6f 5f 73 ) => source.to_s
2ad0: 74 72 69 6e 67 28 29 2c 0a 09 09 09 09 09 09 09 tring(),........
2ae0: 09 4f 6b 28 4e 6f 6e 65 29 20 3d 3e 20 22 53 6f .Ok(None) => "So
2af0: 75 72 63 65 20 6e 6f 74 20 66 6f 75 6e 64 20 69 urce not found i
2b00: 6e 20 64 61 74 61 62 61 73 65 3f 22 2e 74 6f 5f n database?".to_
2b10: 73 74 72 69 6e 67 28 29 2c 0a 09 09 09 09 09 09 string(),.......
2b20: 09 09 45 72 72 28 65 72 72 29 20 3d 3e 20 66 6f ..Err(err) => fo
2b30: 72 6d 61 74 21 28 22 46 61 69 6c 65 64 20 74 6f rmat!("Failed to
2b40: 20 66 65 74 63 68 20 73 6f 75 72 63 65 20 64 61 fetch source da
2b50: 74 61 3a 5c 6e 7b 65 72 72 7d 22 29 2c 0a 09 09 ta:\n{err}"),...
2b60: 09 09 09 09 09 7d 0a 09 09 09 09 09 09 7d 3b 0a .....}.......};.
2b70: 09 09 09 09 09 09 73 6d 6f 6c 3a 3a 73 70 61 77 ......smol::spaw
2b80: 6e 28 43 6f 6d 70 61 74 3a 3a 6e 65 77 28 61 73 n(Compat::new(as
2b90: 79 6e 63 20 6d 6f 76 65 20 7b 0a 09 09 09 09 09 ync move {......
2ba0: 09 09 69 66 20 6c 65 74 20 45 72 72 28 65 72 72 ..if let Err(err
2bb0: 29 20 3d 20 63 6c 6f 6e 65 2e 63 68 65 63 6b 28 ) = clone.check(
2bc0: 73 6f 75 72 63 65 5f 69 64 2c 20 74 72 75 65 2c source_id, true,
2bd0: 20 53 6f 6d 65 28 6c 61 73 74 5f 73 63 72 61 70 Some(last_scrap
2be0: 65 29 29 2e 61 77 61 69 74 20 7b 0a 09 09 09 09 e)).await {.....
2bf0: 09 09 09 09 69 66 20 6c 65 74 20 45 72 72 28 65 ....if let Err(e
2c00: 72 72 29 20 3d 20 63 6c 6f 6e 65 2e 73 65 6e 64 rr) = clone.send
2c10: 28 26 66 6f 72 6d 61 74 21 28 22 f0 9f 9b 91 20 (&format!("🛑
2c20: 7b 73 6f 75 72 63 65 7d 5c 6e 7b 7d 22 2c 20 65 {source}\n{}", e
2c30: 6e 63 6f 64 65 28 26 65 72 72 2e 74 6f 5f 73 74 ncode(&err.to_st
2c40: 72 69 6e 67 28 29 29 29 2c 20 4e 6f 6e 65 2c 20 ring())), None,
2c50: 53 6f 6d 65 28 50 61 72 73 65 4d 6f 64 65 3a 3a Some(ParseMode::
2c60: 4d 61 72 6b 64 6f 77 6e 56 32 29 29 2e 61 77 61 MarkdownV2)).awa
2c70: 69 74 20 7b 0a 09 09 09 09 09 09 09 09 09 65 70 it {..........ep
2c80: 72 69 6e 74 6c 6e 21 28 22 43 68 65 63 6b 20 65 rintln!("Check e
2c90: 72 72 6f 72 3a 20 7b 65 72 72 7d 22 29 3b 0a 09 rror: {err}");..
2ca0: 09 09 09 09 09 09 09 09 2f 2f 20 63 6c 6f 6e 65 ........// clone
2cb0: 2e 64 69 73 61 62 6c 65 28 26 73 6f 75 72 63 65 .disable(&source
2cc0: 5f 69 64 2c 20 6f 77 6e 65 72 29 2e 61 77 61 69 _id, owner).awai
2cd0: 74 2e 75 6e 77 72 61 70 28 29 3b 0a 09 09 09 09 t.unwrap();.....
2ce0: 09 09 09 09 7d 3b 0a 09 09 09 09 09 09 09 7d 3b ....};........};
2cf0: 0a 09 09 09 09 09 09 7d 29 29 2e 64 65 74 61 63 .......})).detac
2d00: 68 28 29 3b 0a 09 09 09 09 09 7d 0a 09 09 09 09 h();......}.....
2d10: 7d 20 65 6c 73 65 20 69 66 20 6e 65 78 74 5f 66 } else if next_f
2d20: 65 74 63 68 20 2d 20 6e 6f 77 20 3c 20 64 65 6c etch - now < del
2d30: 61 79 20 7b 0a 09 09 09 09 09 64 65 6c 61 79 20 ay {......delay
2d40: 3d 20 6e 65 78 74 5f 66 65 74 63 68 20 2d 20 6e = next_fetch - n
2d50: 6f 77 3b 0a 09 09 09 09 7d 0a 09 09 09 7d 0a 09 ow;.....}....}..
2d60: 09 7d 3b 0a 09 09 64 65 6c 61 79 2e 74 6f 5f 73 .};...delay.to_s
2d70: 74 64 28 29 2e 73 74 61 63 6b 28 29 0a 09 7d 0a td().stack()..}.
2d80: 0a 09 70 75 62 20 61 73 79 6e 63 20 66 6e 20 6c ..pub async fn l
2d90: 69 73 74 20 28 26 73 65 6c 66 2c 20 6f 77 6e 65 ist (&self, owne
2da0: 72 3a 20 55 73 65 72 50 65 65 72 49 64 29 20 2d r: UserPeerId) -
2db0: 3e 20 52 65 73 75 6c 74 3c 53 74 72 69 6e 67 3e > Result<String>
2dc0: 20 7b 0a 09 09 6c 65 74 20 6d 75 74 20 72 65 70 {...let mut rep
2dd0: 6c 79 3a 20 56 65 63 3c 53 74 72 69 6e 67 3e 20 ly: Vec<String>
2de0: 3d 20 76 65 63 21 5b 5d 3b 0a 09 09 72 65 70 6c = vec![];...repl
2df0: 79 2e 70 75 73 68 28 22 43 68 61 6e 6e 65 6c 73 y.push("Channels
2e00: 3a 22 2e 69 6e 74 6f 28 29 29 3b 0a 09 09 6c 65 :".into());...le
2e10: 74 20 6d 75 74 20 63 6f 6e 6e 20 3d 20 73 65 6c t mut conn = sel
2e20: 66 2e 64 62 2e 62 65 67 69 6e 28 29 2e 61 77 61 f.db.begin().awa
2e30: 69 74 2e 73 74 61 63 6b 28 29 3f 3b 0a 09 09 66 it.stack()?;...f
2e40: 6f 72 20 72 6f 77 20 69 6e 20 63 6f 6e 6e 2e 67 or row in conn.g
2e50: 65 74 5f 6c 69 73 74 28 6f 77 6e 65 72 29 2e 61 et_list(owner).a
2e60: 77 61 69 74 2e 73 74 61 63 6b 28 29 3f 20 7b 0a wait.stack()? {.
2e70: 09 09 09 72 65 70 6c 79 2e 70 75 73 68 28 72 6f ...reply.push(ro
2e80: 77 2e 74 6f 5f 73 74 72 69 6e 67 28 29 29 3b 0a w.to_string());.
2e90: 09 09 7d 3b 0a 09 09 4f 6b 28 72 65 70 6c 79 2e ..};...Ok(reply.
2ea0: 6a 6f 69 6e 28 22 5c 6e 5c 6e 22 29 29 0a 09 7d join("\n\n"))..}
2eb0: 0a 7d 0a 0a 69 6d 70 6c 20 55 70 64 61 74 65 48 .}..impl UpdateH
2ec0: 61 6e 64 6c 65 72 20 66 6f 72 20 43 6f 72 65 20 andler for Core
2ed0: 7b 0a 09 61 73 79 6e 63 20 66 6e 20 68 61 6e 64 {..async fn hand
2ee0: 6c 65 20 28 26 73 65 6c 66 2c 20 75 70 64 61 74 le (&self, updat
2ef0: 65 3a 20 55 70 64 61 74 65 29 20 7b 0a 09 09 69 e: Update) {...i
2f00: 66 20 6c 65 74 20 55 70 64 61 74 65 54 79 70 65 f let UpdateType
2f10: 3a 3a 4d 65 73 73 61 67 65 28 6d 73 67 29 20 3d ::Message(msg) =
2f20: 20 75 70 64 61 74 65 2e 75 70 64 61 74 65 5f 74 update.update_t
2f30: 79 70 65 20 7b 0a 09 09 09 69 66 20 6c 65 74 20 ype {....if let
2f40: 4f 6b 28 63 6d 64 29 20 3d 20 43 6f 6d 6d 61 6e Ok(cmd) = Comman
2f50: 64 3a 3a 74 72 79 5f 66 72 6f 6d 28 6d 73 67 29 d::try_from(msg)
2f60: 20 7b 0a 09 09 09 09 6c 65 74 20 6d 73 67 20 3d {.....let msg =
2f70: 20 63 6d 64 2e 67 65 74 5f 6d 65 73 73 61 67 65 cmd.get_message
2f80: 28 29 3b 0a 09 09 09 09 6c 65 74 20 77 6f 72 64 ();.....let word
2f90: 73 20 3d 20 63 6d 64 2e 67 65 74 5f 61 72 67 73 s = cmd.get_args
2fa0: 28 29 3b 0a 09 09 09 09 6c 65 74 20 63 6f 6d 6d ();.....let comm
2fb0: 61 6e 64 20 3d 20 63 6d 64 2e 67 65 74 5f 6e 61 and = cmd.get_na
2fc0: 6d 65 28 29 3b 0a 09 09 09 09 6c 65 74 20 72 65 me();.....let re
2fd0: 73 20 3d 20 6d 61 74 63 68 20 63 6f 6d 6d 61 6e s = match comman
2fe0: 64 20 7b 0a 09 09 09 09 09 22 2f 63 68 65 63 6b d {......"/check
2ff0: 22 20 7c 20 22 2f 63 6c 65 61 6e 22 20 7c 20 22 " | "/clean" | "
3000: 2f 65 6e 61 62 6c 65 22 20 7c 20 22 2f 64 65 6c /enable" | "/del
3010: 65 74 65 22 20 7c 20 22 2f 64 69 73 61 62 6c 65 ete" | "/disable
3020: 22 20 3d 3e 20 63 6f 6d 6d 61 6e 64 3a 3a 63 6f " => command::co
3030: 6d 6d 61 6e 64 28 73 65 6c 66 2c 20 63 6f 6d 6d mmand(self, comm
3040: 61 6e 64 2c 20 6d 73 67 2c 20 77 6f 72 64 73 29 and, msg, words)
3050: 2e 61 77 61 69 74 2c 0a 09 09 09 09 09 22 2f 73 .await,......"/s
3060: 74 61 72 74 22 20 3d 3e 20 63 6f 6d 6d 61 6e 64 tart" => command
3070: 3a 3a 73 74 61 72 74 28 73 65 6c 66 2c 20 6d 73 ::start(self, ms
3080: 67 29 2e 61 77 61 69 74 2c 0a 09 09 09 09 09 22 g).await,......"
3090: 2f 6c 69 73 74 22 20 3d 3e 20 63 6f 6d 6d 61 6e /list" => comman
30a0: 64 3a 3a 6c 69 73 74 28 73 65 6c 66 2c 20 6d 73 d::list(self, ms
30b0: 67 29 2e 61 77 61 69 74 2c 0a 09 09 09 09 09 22 g).await,......"
30c0: 2f 61 64 64 22 20 7c 20 22 2f 75 70 64 61 74 65 /add" | "/update
30d0: 22 20 3d 3e 20 63 6f 6d 6d 61 6e 64 3a 3a 75 70 " => command::up
30e0: 64 61 74 65 28 73 65 6c 66 2c 20 63 6f 6d 6d 61 date(self, comma
30f0: 6e 64 2c 20 6d 73 67 2c 20 77 6f 72 64 73 29 2e nd, msg, words).
3100: 61 77 61 69 74 2c 0a 09 09 09 09 09 61 6e 79 20 await,......any
3110: 3d 3e 20 45 72 72 28 61 6e 79 68 6f 77 21 28 22 => Err(anyhow!("
3120: 55 6e 6b 6e 6f 77 6e 20 63 6f 6d 6d 61 6e 64 3a Unknown command:
3130: 20 7b 61 6e 79 7d 22 29 29 2c 0a 09 09 09 09 7d {any}")),.....}
3140: 3b 0a 09 09 09 09 69 66 20 6c 65 74 20 45 72 72 ;.....if let Err
3150: 28 65 72 72 29 20 3d 20 72 65 73 20 7b 0a 09 09 (err) = res {...
3160: 09 09 09 69 66 20 6c 65 74 20 45 72 72 28 65 72 ...if let Err(er
3170: 72 32 29 20 3d 20 73 65 6c 66 2e 73 65 6e 64 28 r2) = self.send(
3180: 66 6f 72 6d 61 74 21 28 22 5c 5c 23 65 72 72 6f format!("\\#erro
3190: 72 5c 6e 60 60 60 5c 6e 7b 65 72 72 7d 5c 6e 60 r\n```\n{err}\n`
31a0: 60 60 22 29 2c 0a 09 09 09 09 09 09 53 6f 6d 65 ``"),.......Some
31b0: 28 6d 73 67 2e 63 68 61 74 2e 67 65 74 5f 69 64 (msg.chat.get_id
31c0: 28 29 29 2c 0a 09 09 09 09 09 09 53 6f 6d 65 28 ()),.......Some(
31d0: 50 61 72 73 65 4d 6f 64 65 3a 3a 4d 61 72 6b 64 ParseMode::Markd
31e0: 6f 77 6e 56 32 29 0a 09 09 09 09 09 29 2e 61 77 ownV2)......).aw
31f0: 61 69 74 7b 0a 09 09 09 09 09 09 64 62 67 21 28 ait{.......dbg!(
3200: 65 72 72 32 29 3b 0a 09 09 09 09 09 7d 3b 0a 09 err2);......};..
3210: 09 09 09 7d 0a 09 09 09 7d 3b 0a 09 09 7d 3b 0a ...}....};...};.
3220: 09 7d 0a 7d 0a .}.}.