Artifact
f70755a4b36dd293660c9571d01d8e78858b421adbd935745a300d8887b98530:
0000: 65 78 74 65 72 6e 20 63 72 61 74 65 20 63 6f 6e extern crate con
0010: 66 69 67 3b 0a 65 78 74 65 72 6e 20 63 72 61 74 fig;.extern crat
0020: 65 20 70 6f 73 74 67 72 65 73 3b 0a 65 78 74 65 e postgres;.exte
0030: 72 6e 20 63 72 61 74 65 20 72 65 64 69 73 3b 0a rn crate redis;.
0040: 65 78 74 65 72 6e 20 63 72 61 74 65 20 72 65 67 extern crate reg
0050: 65 78 3b 0a 0a 75 73 65 20 70 6f 73 74 67 72 65 ex;..use postgre
0060: 73 3a 3a 7b 43 6f 6e 6e 65 63 74 69 6f 6e 2c 20 s::{Connection,
0070: 54 6c 73 4d 6f 64 65 7d 3b 0a 75 73 65 20 72 65 TlsMode};.use re
0080: 64 69 73 3a 3a 43 6f 6d 6d 61 6e 64 73 3b 0a 75 dis::Commands;.u
0090: 73 65 20 72 65 67 65 78 3a 3a 52 65 67 65 78 3b se regex::Regex;
00a0: 0a 75 73 65 20 73 74 64 3a 3a 63 6f 6c 6c 65 63 .use std::collec
00b0: 74 69 6f 6e 73 3a 3a 48 61 73 68 4d 61 70 3b 0a tions::HashMap;.
00c0: 75 73 65 20 73 74 64 3a 3a 74 69 6d 65 3a 3a 44 use std::time::D
00d0: 75 72 61 74 69 6f 6e 3b 0a 75 73 65 20 73 74 64 uration;.use std
00e0: 3a 3a 74 68 72 65 61 64 3b 0a 0a 66 6e 20 6d 61 ::thread;..fn ma
00f0: 69 6e 28 29 20 7b 0a 20 20 20 20 6c 6f 6f 70 20 in() {. loop
0100: 7b 0a 20 20 20 20 20 20 20 20 6c 65 74 20 6d 75 {. let mu
0110: 74 20 73 65 74 74 69 6e 67 73 20 3d 20 63 6f 6e t settings = con
0120: 66 69 67 3a 3a 43 6f 6e 66 69 67 3a 3a 64 65 66 fig::Config::def
0130: 61 75 6c 74 28 29 3b 0a 20 20 20 20 20 20 20 20 ault();.
0140: 73 65 74 74 69 6e 67 73 2e 6d 65 72 67 65 28 63 settings.merge(c
0150: 6f 6e 66 69 67 3a 3a 46 69 6c 65 3a 3a 77 69 74 onfig::File::wit
0160: 68 5f 6e 61 6d 65 28 22 6f 66 66 6c 6f 61 64 22 h_name("offload"
0170: 29 29 2e 65 78 70 65 63 74 28 22 43 61 6e 27 74 )).expect("Can't
0180: 20 72 65 61 64 20 63 6f 6e 66 69 67 75 72 61 74 read configurat
0190: 69 6f 6e 20 66 69 6c 65 22 29 3b 0a 0a 20 20 20 ion file");..
01a0: 20 20 20 20 20 6c 65 74 20 72 65 64 64 62 20 3d let reddb =
01b0: 20 72 65 64 69 73 3a 3a 43 6c 69 65 6e 74 3a 3a redis::Client::
01c0: 6f 70 65 6e 28 22 72 65 64 69 73 3a 2f 2f 31 32 open("redis://12
01d0: 37 2e 30 2e 30 2e 31 2f 22 29 2e 65 78 70 65 63 7.0.0.1/").expec
01e0: 74 28 22 43 61 6e 27 74 20 63 6f 6e 6e 65 63 74 t("Can't connect
01f0: 20 74 6f 20 74 68 65 20 64 61 74 61 62 61 73 65 to the database
0200: 22 29 3b 0a 20 20 20 20 20 20 20 20 6c 65 74 20 ");. let
0210: 72 65 64 20 3d 20 72 65 64 64 62 2e 67 65 74 5f red = reddb.get_
0220: 63 6f 6e 6e 65 63 74 69 6f 6e 28 29 2e 65 78 70 connection().exp
0230: 65 63 74 28 22 43 61 6e 27 74 20 69 6e 69 74 69 ect("Can't initi
0240: 61 6c 69 7a 65 20 6e 65 77 20 63 6f 6e 6e 65 63 alize new connec
0250: 74 69 6f 6e 22 29 3b 0a 0a 20 20 20 20 20 20 20 tion");..
0260: 20 6c 65 74 20 72 65 20 3d 20 52 65 67 65 78 3a let re = Regex:
0270: 3a 6e 65 77 28 22 5e 28 5b 30 2d 39 41 2d 5a 5d :new("^([0-9A-Z]
0280: 2b 29 5b 7c 5f 5d 28 5b 61 2d 7a 41 2d 5a 2e 2f +)[|_]([a-zA-Z./
0290: 30 2d 39 2d 5f 23 5d 2b 29 5b 7c 5f 5d 28 5b 30 0-9-_#]+)[|_]([0
02a0: 2d 39 2e 5d 2b 29 24 22 29 2e 65 78 70 65 63 74 -9.]+)$").expect
02b0: 28 22 43 61 6e 27 74 20 70 61 72 73 65 20 72 65 ("Can't parse re
02c0: 67 65 78 70 22 29 3b 0a 20 20 20 20 20 20 20 20 gexp");.
02d0: 6c 65 74 20 63 6f 6e 6e 20 3d 20 43 6f 6e 6e 65 let conn = Conne
02e0: 63 74 69 6f 6e 3a 3a 63 6f 6e 6e 65 63 74 28 73 ction::connect(s
02f0: 65 74 74 69 6e 67 73 2e 67 65 74 5f 73 74 72 28 ettings.get_str(
0300: 22 70 67 22 29 2e 65 78 70 65 63 74 28 22 50 6f "pg").expect("Po
0310: 73 74 67 72 65 73 20 63 6f 6e 6e 65 63 74 69 6f stgres connectio
0320: 6e 20 61 62 73 65 6e 74 20 69 6e 20 63 6f 6e 66 n absent in conf
0330: 69 67 22 29 2c 20 54 6c 73 4d 6f 64 65 3a 3a 4e ig"), TlsMode::N
0340: 6f 6e 65 29 2e 65 78 70 65 63 74 28 22 43 61 6e one).expect("Can
0350: 27 74 20 63 6f 6e 6e 65 63 74 20 74 6f 20 70 6f 't connect to po
0360: 73 74 67 72 65 73 22 29 3b 0a 0a 20 20 20 20 20 stgres");..
0370: 20 20 20 6c 65 74 20 73 63 68 65 6d 61 73 20 3d let schemas =
0380: 20 73 65 74 74 69 6e 67 73 2e 67 65 74 5f 61 72 settings.get_ar
0390: 72 61 79 28 22 73 63 68 65 6d 61 73 22 29 2e 65 ray("schemas").e
03a0: 78 70 65 63 74 28 22 53 63 68 65 6d 61 20 6c 69 xpect("Schema li
03b0: 73 74 20 6e 6f 74 20 66 6f 75 6e 64 20 69 6e 20 st not found in
03c0: 63 6f 6e 66 69 67 22 29 2e 69 6e 74 6f 5f 69 74 config").into_it
03d0: 65 72 28 29 2e 6d 61 70 28 7c 76 61 6c 75 65 7c er().map(|value|
03e0: 20 63 6f 6e 66 69 67 3a 3a 56 61 6c 75 65 3a 3a config::Value::
03f0: 69 6e 74 6f 5f 73 74 72 28 76 61 6c 75 65 29 2e into_str(value).
0400: 65 78 70 65 63 74 28 22 57 65 20 72 65 71 75 69 expect("We requi
0410: 72 65 20 73 74 72 69 6e 67 20 68 65 72 65 22 29 re string here")
0420: 29 3b 0a 20 20 20 20 20 20 20 20 66 6f 72 20 73 );. for s
0430: 63 68 65 6d 61 20 69 6e 20 73 63 68 65 6d 61 73 chema in schemas
0440: 20 7b 0a 20 20 20 20 20 20 20 20 20 20 20 20 6c {. l
0450: 65 74 20 64 61 74 61 5f 6b 65 79 20 3d 20 73 63 et data_key = sc
0460: 68 65 6d 61 2e 74 6f 5f 6f 77 6e 65 64 28 29 20 hema.to_owned()
0470: 2b 20 22 5f 63 6f 75 6e 74 65 72 5f 70 65 6e 64 + "_counter_pend
0480: 69 6e 67 22 3b 0a 20 20 20 20 20 20 20 20 20 20 ing";.
0490: 20 20 6c 65 74 20 63 61 63 68 65 5f 6b 65 79 20 let cache_key
04a0: 3d 20 73 63 68 65 6d 61 2e 74 6f 5f 6f 77 6e 65 = schema.to_owne
04b0: 64 28 29 20 2b 20 22 5f 63 6f 75 6e 74 65 72 5f d() + "_counter_
04c0: 70 65 6e 64 69 6e 67 5f 6e 6f 77 22 3b 0a 0a 20 pending_now";..
04d0: 20 20 20 20 20 20 20 20 20 20 20 69 66 20 72 65 if re
04e0: 64 2e 65 78 69 73 74 73 28 26 63 61 63 68 65 5f d.exists(&cache_
04f0: 6b 65 79 29 2e 65 78 70 65 63 74 28 22 43 61 6e key).expect("Can
0500: 27 74 20 71 75 65 72 79 20 63 61 63 68 65 20 65 't query cache e
0510: 78 69 73 74 61 6e 63 65 22 29 20 7b 0a 20 20 20 xistance") {.
0520: 20 20 20 20 20 20 20 20 20 7d 20 65 6c 73 65 20 } else
0530: 69 66 20 72 65 64 2e 65 78 69 73 74 73 28 26 64 if red.exists(&d
0540: 61 74 61 5f 6b 65 79 29 2e 65 78 70 65 63 74 28 ata_key).expect(
0550: 22 43 61 6e 27 74 20 71 75 65 72 79 20 64 61 74 "Can't query dat
0560: 61 20 65 78 69 73 74 61 6e 63 65 22 29 20 7b 0a a existance") {.
0570: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
0580: 6c 65 74 20 5f 20 3a 20 62 6f 6f 6c 20 3d 20 72 let _ : bool = r
0590: 65 64 2e 72 65 6e 61 6d 65 5f 6e 78 28 26 64 61 ed.rename_nx(&da
05a0: 74 61 5f 6b 65 79 2c 20 26 63 61 63 68 65 5f 6b ta_key, &cache_k
05b0: 65 79 29 2e 65 78 70 65 63 74 28 22 43 61 6e 27 ey).expect("Can'
05c0: 74 20 72 65 61 64 64 20 75 6e 66 6c 75 73 68 65 t readd unflushe
05d0: 64 20 68 61 73 68 22 29 3b 0a 20 20 20 20 20 20 d hash");.
05e0: 20 20 20 20 20 20 7d 20 65 6c 73 65 20 7b 0a 20 } else {.
05f0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 63 c
0600: 6f 6e 74 69 6e 75 65 3b 0a 20 20 20 20 20 20 20 ontinue;.
0610: 20 20 20 20 20 7d 0a 0a 20 20 20 20 20 20 20 20 }..
0620: 20 20 20 20 6c 65 74 20 73 74 61 74 73 20 3a 20 let stats :
0630: 48 61 73 68 4d 61 70 3c 53 74 72 69 6e 67 2c 20 HashMap<String,
0640: 69 31 36 3e 20 3d 20 72 65 64 2e 68 67 65 74 61 i16> = red.hgeta
0650: 6c 6c 28 26 63 61 63 68 65 5f 6b 65 79 29 2e 65 ll(&cache_key).e
0660: 78 70 65 63 74 28 22 43 61 6e 27 74 20 71 75 65 xpect("Can't que
0670: 72 79 20 66 6f 72 20 73 74 6f 72 65 64 20 73 74 ry for stored st
0680: 61 74 20 6b 65 79 73 22 29 3b 0a 0a 20 20 20 20 at keys");..
0690: 20 20 20 20 20 20 20 20 2f 2f 70 72 69 6e 74 6c //printl
06a0: 6e 21 28 22 23 20 7b 3a 3f 7d 22 2c 20 73 74 61 n!("# {:?}", sta
06b0: 74 73 29 3b 0a 0a 20 20 20 20 20 20 20 20 20 20 ts);..
06c0: 20 20 6c 65 74 20 74 72 61 6e 73 20 3d 20 63 6f let trans = co
06d0: 6e 6e 2e 74 72 61 6e 73 61 63 74 69 6f 6e 28 29 nn.transaction()
06e0: 2e 65 78 70 65 63 74 28 22 43 61 6e 27 74 20 73 .expect("Can't s
06f0: 74 61 72 74 20 74 72 61 6e 73 61 63 74 69 6f 6e tart transaction
0700: 22 29 3b 0a 20 20 20 20 20 20 20 20 20 20 20 20 ");.
0710: 6c 65 74 20 73 74 6d 74 20 3d 20 74 72 61 6e 73 let stmt = trans
0720: 2e 70 72 65 70 61 72 65 28 26 66 6f 72 6d 61 74 .prepare(&format
0730: 21 28 22 73 65 6c 65 63 74 20 7b 7d 2e 6d 65 72 !("select {}.mer
0740: 67 65 5f 63 6f 75 6e 74 65 72 28 24 31 3a 3a 74 ge_counter($1::t
0750: 65 78 74 2c 20 24 32 3a 3a 74 65 78 74 2c 20 28 ext, $2::text, (
0760: 24 33 3a 3a 74 65 78 74 29 3a 3a 69 6e 65 74 2c $3::text)::inet,
0770: 20 24 34 3a 3a 73 6d 61 6c 6c 69 6e 74 29 3b 22 $4::smallint);"
0780: 2c 20 26 73 63 68 65 6d 61 29 29 2e 65 78 70 65 , &schema)).expe
0790: 63 74 28 22 43 61 6e 27 74 20 70 72 65 70 61 72 ct("Can't prepar
07a0: 65 20 73 74 61 74 65 6d 65 6e 74 22 29 3b 0a 20 e statement");.
07b0: 20 20 20 20 20 20 20 20 20 20 20 66 6f 72 20 28 for (
07c0: 63 6c 69 65 6e 74 2c 20 63 6f 75 6e 74 29 20 69 client, count) i
07d0: 6e 20 73 74 61 74 73 20 7b 0a 20 20 20 20 20 20 n stats {.
07e0: 20 20 20 20 20 20 20 20 20 20 2f 2f 70 72 69 6e //prin
07f0: 74 6c 6e 21 28 22 23 20 7b 3a 3f 7d 3a 20 7b 3a tln!("# {:?}: {:
0800: 3f 7d 22 2c 20 26 63 6c 69 65 6e 74 2c 20 26 63 ?}", &client, &c
0810: 6f 75 6e 74 29 3b 0a 20 20 20 20 20 20 20 20 20 ount);.
0820: 20 20 20 20 20 20 20 6c 65 74 20 63 61 70 20 3d let cap =
0830: 20 72 65 2e 63 61 70 74 75 72 65 73 28 26 63 6c re.captures(&cl
0840: 69 65 6e 74 29 2e 65 78 70 65 63 74 28 26 66 6f ient).expect(&fo
0850: 72 6d 61 74 21 28 22 43 6c 69 65 6e 74 20 6d 61 rmat!("Client ma
0860: 74 63 68 20 66 61 69 6c 65 64 3a c2 a0 7b 7d 22 tch failed: {}"
0870: 2c 20 26 63 6c 69 65 6e 74 29 29 3b 0a 20 20 20 , &client));.
0880: 20 20 20 20 20 20 20 20 20 20 20 20 20 2f 2f 6c //l
0890: 65 74 20 61 64 64 72 20 3d 20 49 70 41 64 64 72 et addr = IpAddr
08a0: 3a 3a 56 34 28 63 61 70 5b 33 5d 2e 70 61 72 73 ::V4(cap[3].pars
08b0: 65 28 29 2e 65 78 70 65 63 74 28 22 43 61 6e 27 e().expect("Can'
08c0: 74 20 70 61 72 73 65 20 49 50 22 29 29 3b 0a 20 t parse IP"));.
08d0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 2f /
08e0: 2f 70 72 69 6e 74 6c 6e 21 28 22 69 6e 73 65 72 /println!("inser
08f0: 74 20 69 6e 74 6f 20 78 20 76 61 6c 75 65 73 28 t into x values(
0900: 7b 3a 3f 7d 2c 20 7b 3a 3f 7d 2c 20 7b 3a 3f 7d {:?}, {:?}, {:?}
0910: 2c 20 7b 3a 3f 7d 29 3b 22 2c 20 26 63 61 70 5b , {:?});", &cap[
0920: 31 5d 2c 20 26 63 61 70 5b 32 5d 2c 20 26 63 61 1], &cap[2], &ca
0930: 70 5b 33 5d 2c 20 26 63 6f 75 6e 74 29 3b 0a 20 p[3], &count);.
0940: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 73 s
0950: 74 6d 74 2e 65 78 65 63 75 74 65 28 26 5b 26 63 tmt.execute(&[&c
0960: 61 70 5b 31 5d 2e 74 6f 5f 73 74 72 69 6e 67 28 ap[1].to_string(
0970: 29 2c 20 26 63 61 70 5b 32 5d 2e 74 6f 5f 73 74 ), &cap[2].to_st
0980: 72 69 6e 67 28 29 2c 20 26 63 61 70 5b 33 5d 2e ring(), &cap[3].
0990: 74 6f 5f 73 74 72 69 6e 67 28 29 2c 20 26 63 6f to_string(), &co
09a0: 75 6e 74 5d 29 2e 65 78 70 65 63 74 28 22 43 61 unt]).expect("Ca
09b0: 6e 27 74 20 65 78 65 63 75 74 65 20 70 72 65 70 n't execute prep
09c0: 61 72 65 64 22 29 3b 0a 20 20 20 20 20 20 20 20 ared");.
09d0: 20 20 20 20 20 20 20 20 2f 2f 74 72 61 6e 73 2e //trans.
09e0: 71 75 65 72 79 28 26 66 6f 72 6d 61 74 21 28 22 query(&format!("
09f0: 73 65 6c 65 63 74 20 7b 7d 2e 6d 65 72 67 65 5f select {}.merge_
0a00: 63 6f 75 6e 74 65 72 28 24 31 3a 3a 74 65 78 74 counter($1::text
0a10: 2c 20 24 32 3a 3a 74 65 78 74 2c 20 24 33 3a 3a , $2::text, $3::
0a20: 69 6e 65 74 2c 20 24 34 3a 3a 73 6d 61 6c 6c 69 inet, $4::smalli
0a30: 6e 74 29 3b 22 2c 20 26 73 63 68 65 6d 61 29 2c nt);", &schema),
0a40: 20 26 5b 26 63 61 70 5b 31 5d 2e 74 6f 5f 73 74 &[&cap[1].to_st
0a50: 72 69 6e 67 28 29 2c 20 26 63 61 70 5b 32 5d 2e ring(), &cap[2].
0a60: 74 6f 5f 73 74 72 69 6e 67 28 29 2c 20 26 63 61 to_string(), &ca
0a70: 70 5b 33 5d 2e 74 6f 5f 73 74 72 69 6e 67 28 29 p[3].to_string()
0a80: 2c 20 26 63 6f 75 6e 74 5d 29 2e 65 78 70 65 63 , &count]).expec
0a90: 74 28 22 43 61 6e 27 74 20 70 72 65 70 61 72 65 t("Can't prepare
0aa0: 20 73 74 61 74 65 6d 65 6e 74 22 29 3b 0a 20 20 statement");.
0ab0: 20 20 20 20 20 20 20 20 20 20 7d 0a 20 20 20 20 }.
0ac0: 20 20 20 20 20 20 20 20 74 72 61 6e 73 2e 63 6f trans.co
0ad0: 6d 6d 69 74 28 29 2e 65 78 70 65 63 74 28 22 43 mmit().expect("C
0ae0: 61 6e 27 74 20 63 6f 6d 6d 69 74 20 74 72 61 6e an't commit tran
0af0: 73 61 63 74 69 6f 6e 22 29 3b 0a 20 20 20 20 20 saction");.
0b00: 20 20 20 20 20 20 20 72 65 64 2e 64 65 6c 28 63 red.del(c
0b10: 61 63 68 65 5f 6b 65 79 29 2e 65 78 70 65 63 74 ache_key).expect
0b20: 28 22 43 61 6e 27 74 20 72 65 6d 6f 76 65 20 73 ("Can't remove s
0b30: 74 61 6c 65 20 6b 65 79 22 29 0a 20 20 20 20 20 tale key").
0b40: 20 20 20 7d 0a 20 20 20 20 20 20 20 20 74 68 72 }. thr
0b50: 65 61 64 3a 3a 73 6c 65 65 70 28 44 75 72 61 74 ead::sleep(Durat
0b60: 69 6f 6e 3a 3a 6e 65 77 28 73 65 74 74 69 6e 67 ion::new(setting
0b70: 73 2e 67 65 74 28 22 64 65 6c 61 79 22 29 2e 65 s.get("delay").e
0b80: 78 70 65 63 74 28 22 44 65 6c 61 79 20 73 70 65 xpect("Delay spe
0b90: 63 69 66 69 63 61 74 69 6f 6e 20 61 62 73 65 6e cification absen
0ba0: 74 20 69 6e 20 63 6f 6e 66 69 67 22 29 2c 20 30 t in config"), 0
0bb0: 29 29 3b 0a 20 20 20 20 7d 0a 7d 0a ));. }.}.