Architecture Decision Record
← Eisimpleirean de chlàran co-dhùnaidh

Meadrachd, sgrùdairean, rabhaidhean

Susbaint:

Geàrr-chunntas

Cùis

Tha sinn airson meadrachd, sgrùdairean, agus rabhaidhean a chleachdadh, oir tha sinn airson fios a bhith againn dè cho math ’s a tha ar n-aplacaidean ag obair, agus fios a bhith againn nuair a tha duilgheadas ann.

Co-dhùnadh

WIP.

Staid

A’ cruinneachadh fiosrachaidh. Tha sinn a’ tòiseachadh le crìochan creidsinneach an speactram: an inneal saor as sine as motha air a mholadh (Nagios) agus an inneal pàighte as ùire as motha air a mholadh (New Relic).

Mion-fhiosrachadh

Barailean

Tha sinn airson aplacaidean-lìn a chruthachadh a tha ùr-nodha, luath, earbsach, freagarrach, msaa.

Tha sinn airson ceannach seach togail.

Cuingeadan

Tha sinn airson innealan a dh’obraicheas gu math leis a’ phìob devops againn agus leis na neòil cur-gu-gnìomh againn.

Seasamhan

Tha sinn a’ rannsachadh sheasamhan an-dràsta.

  • AlertManager

  • AppDynamics

  • AppOptics

  • Azure Monitor/Analytics/Insights/Dashboards

  • Bosun

  • Checkly

  • Circonus

  • Cloudwatch

  • EFK

  • ELK

  • Grafana

  • Grafana

  • Graphite

  • Graylog

  • Healthchecks.io

  • Heroku

  • icinga2

  • InfluxDB

  • Instana

  • Kafka

  • Logagent

  • Logz.io

  • Loki

  • Monitis

  • Nagios

  • Nagios

  • Nagiosgraph

  • NewRelic

  • OpsGenie

  • Outlyer

  • PagerDuty

  • Pagerduty

  • PagerDuty

  • Papertrail

  • Prometheus

  • Rollbar

  • Scalyr

  • Sematext Metrics, Logs, Experience, Tracing

  • Sensu

  • SignalFX

  • Slack

  • Splunk

  • Stackdriver

  • Stackstorm

  • Telegraf

  • Telegraf

  • Thanos

  • VictorOps

  • Wavefront

  • Zabbix

Argamaid

Gu ruige seo, is e Nagios agus New Relic crìochan an speactram. Is e Nagios an inneal as sine, as sìmplidhe, saor, ion-dhèanta. Is e New Relic an inneal as ùire a thaobh fheartan, as iomlaine, pàighte, ion-dhèanta. Tòisichidh sinn le measaidhean air iad sin. Mar a dh’fheumar, imrichidh sinn a-steach don speactram.

Gu ruige seo, tha na molaidhean as fheàrr aig Zabbix, agus tha e cuideachd a’ tabhann nan comasan as iomlaine.

Gu ruige seo, tha am mòr-chòrdalachd stòr fosgailte togail-seach-ceannach as fheàrr aig ELK.

Gu ruige seo, tha am mòr-chòrdalachd as fheàrr aig Prometheus + Graphana.

Builean

TODO.

Co-cheangailte

Co-dhùnaidhean co-cheangailte

Bheir na roghainnean buaidh air so-dheuchainn, telemetry, agus is dòcha siostaman eile leithid airson seirbheis teachdaiche, innleadaireachd earbsachd làraich, msaa.

Riatanasan co-cheangailte

TODO.

Ealain-chruthan co-cheangailte

TODO.

Prionnsabalan co-cheangailte

Furasta a thilleadh.

Feum air astar.

Notaichean

Is e stac stòr fosgailte caran math:

  • Prometheus airson meatraigean agus rabhaidhean stèidhichte air meatraigean

  • Grafana gus meatraigean a thaisbeanadh

  • Elasticsearch/Logstash/Kibana (ELK) airson logaichean agus tachartasan structaraichte

  • Pushover airson brathan gluasadach

Teachdaireachdan teacsa saor an aghaidh teachdaireachdan tachartais structaraichte

Teachdaireachdan teacsa saor: mar eisimpleir, an seòrsa stuth air thuaiream a lorgadh tu ann am /var/log/messages, agus rudeigin a ghineadh a dh’aona ghnothach leis an aplacaid. Tha na teachdaireachdan feumail airson rudan eile a tha a’ tachairt air a’ bhogsa aithneachadh leithid mearachdan cuimhne no bathar-cruaidh, ach tha tòrr sgudail annta.

Teachdaireachdan tachartais structaraichte: air an gineadh leis an aplacaid, le seata stèidhichte no dinamach de bhuadhan, m.e. loga iarrtas HTTP, loga cunntasachd, clàradh a-steach neach-cleachdaidh.

San fharsaingeachd, tha e snog mion-fhiosrachadh mu gach iarrtas a chlàradh ann an dòigh gum faod thu drileadh sìos stèidhichte air buadhan. Mar sin leigidh cur m.e. userid no sessionid ri gach nì leat lorg. Tha lorg soilleir math cuideachd, gu dearbh. Tha a bhith a’ cleachdadh ELK airson seo mar https://www.honeycomb.io/ duine bochd.

Tha Graylog nas fhasa

Tha Graylog nas fhasa a thòiseachadh bhon eòlas agam.

Feumaidh Prometheus beagan tiùnaidh

Tha mi sa chumantas toilichte le Prometheus airson meatraigean. Feumaidh na rabhaidhean beagan tiùnaidh, ach tha iad gu math math. Tha e an urra ris an aplacaid agad. Tha mi a’ smaoineachadh gur e as fheàrr rabhadh a thoirt air suidheachaidhean a chì an neach-cleachdaidh deireannach, chan e adhbharan bunaiteach. Mar eisimpleir, tha ùine luchdaidh duilleige math, chan eil an àireamh iarrtasan gach diog. Ged a tha neoni iarrtas gach diog a’ comharrachadh gu bheil rudeigin ceàrr.

Is e buannachd seirbheis gu bheil iad a’ tabhann fiosrachadh a bharrachd dìreach às a’ bhogsa. Is toil leam Datadog san fharsaingeachd. Faodaidh na seirbheisean a bhith cosgail gu eagallach ma tha tòrr dàta agad, agus uaireannan tha modailean prìsean aca nach eil càirdeil don neul, m.e. a’ cosg gach eisimpleir, nuair a tha eisimpleirean dinamach. Tha eadar-dhealachadh ann cuideachd eadar seirbheisean far a bheil gach iarrtas bho neach-cleachdaidh pàighte agus feadhainn a tha co-cheangailte ri sanasachd, agus mar sin chan eil ach ceudad beag de na h-iarrtasan a’ dèanamh airgead dhut. Faodaidh tu crìochnachadh le tòrr dàta agus chan e uiread de bhuidseat.

Bidh mi ag obair air cuid de sheirbheisean a gheibh 1B iarrtas san latha, agus mar sin tha ciall ann ar sgrùdadh agus logadh fhèin òstadh. Ma tha na meudan agad nas lugha, tha seirbheisean òstaichte nas fhasa.

Tha seirbheisean AWS measgaichte

Tha an t-eòlas agam air seirbheisean AWS air a bhith measgaichte. Tha an seirbheis Elasticsearch aca air a bhith neo-sheasmhach, agus mar sin ruitheas sinn ar n-eisimpleirean fhèin airson sin. Tha meatraigean CloudWatch cosgail, agus mar sin cha chleachd sinn iad ach airson meatraigean aig ìre “bun-structair” seach an aplacaid, i.e. meatraigean co-cheangailte ri slàinte far an urrainn AWS fios a bhith aige nas fheàrr dè tha a’ dol na bathar-bog ag ruith air an eisimpleir. Faodaidh CloudWatch Logs a bhith slaodach ri ùrachadh agus chan eil uiread de mheata-dàta annta. Cuidichidh ruith ELK le sin. Ma tha mi dha-rìribh ag iarraidh dàta fìor-ùine, tha e nas fheàrr Kafka a chleachdadh mar an còmhdhail airson logaichean. Tha sin air a thaicinn gu math le Logstash. Chan eil riaghladh clustar Kafka airson na daoine lag-chridheach, ge-tà, tha tòrr pìobaireachd nochdte.

Kafka

Beachd: Faodaidh Kafka a bhith glè dhuilich uaireannan, no faodaidh Kafka a bhith cho làidir ri carraig agus cha mhòr nach dìochuimhnich thu gu bheil e an sin a’ ceangal a h-uile càil còmhla.

Beachd: Tha Kafka air a bhith làidir, ach b’ e uiread iongantach de dh’obair a bh’ ann a chur dol. Tha mi a’ smaoineachadh air mar stòr dàta dàimheach ach chan eil thu ag obair ach aig an t-sreath “fhiosaigeach”, m.e. tablespaces, faidhlichean agus partitions. Bha amannan thràth ann far an robh innealan riaghlaidh a dhìth, agus bha againn ri prògraman a sgrìobhadh gus m.e. buidheann luchd-cleachdaidh ath-shuidheachadh. http://howfuckedismydatabase.com/nosql/

Beachd: Bidh sinn a’ cleachdadh Kafka mar “bufair” airson teachdaireachdan loga agus àite far an urrainn dhuinn giullachd srutha fìor-ùine a dhèanamh air dàta a tha a’ tighinn bho ioma-fhrithealaichean. Ma gheibh sinn ionnsaigh DDOS, feumaidh sinn dòigh air dàta a mhion-sgrùdadh thar iomadh eisimpleir. Ma tha sinn a’ logadh dìreach bho na frithealaichean gu ELK, faodaidh an luchd cruinneachadh Elasticsearch a spreadhadh.

Beachd: Tha Kafka math dhuinne oir ma gheibh sinn ionnsaigh DDOS, feumaidh sinn dòigh air dàta a mhion-sgrùdadh thar iomadh eisimpleir. Ma tha sinn a’ logadh dìreach bho na frithealaichean gu ELK, faodaidh an luchd cruinneachadh Elasticsearch a spreadhadh.

Beachd: Bidh Kafka a’ dèanamh nas lugha de dh’obair agus tha e nas èifeachdaiche, agus mar sin is urrainn dha an luchd a làimhseachadh nas fheàrr. Agus bidh sinn a’ cur obair Kafka ann an ciudha agus a’ feuchainn a-rithist. Agus chan eil Kafka a bhith fo ghlaodh a’ toirt buaidh air luchd-cleachdaidh a tha a’ feuchainn ri obair eadar-ghnìomhach a dhèanamh le Kibana, mar a dhèanadh e nan robh Elasticsearch a’ strì.

Beachd: Is e giullachd srutha sa mhòr-chuid a bhith a’ coimhead airson mì-ghnàthachadh, m.e. cus trafaig bho aon IP thar a’ chlustair gu lèir, agus an uairsin an bacadh a cho-roinn thar a’ chlustair gu lèir.

Beachd: Tha plugan logstash-output-kafka gu math neo-earbsach an-dràsta ge-tà. Tha mi air a bhith air mo bhìdeadh le grunn de na cùisean air an duilleag GitHub issues aige, nach coltach a bhith air an càradh a-chaoidh. Tha mi airson gluasad air falbh bho bhith ga chleachdadh, gu bhith a’ cur dìreach bho na h-aplacaidean againn gu Kafka.

Beachd: Tha sinn a-nis a’ cur thachartasan structaraichte dìreach bhon aplacaid gu Kafka. B’ e am prìomh bhrosnachadh dàta an loga a bhualadh nas lugha de thursan agus a bhith a’ seachnadh leughadh is sgrìobhadh an diosg iomadh uair. Ann an siostaman àrd-mheud, faodaidh logadh barrachd obrach a ghabhail na an aplacaid fhèin. Tha mi a’ smaoineachadh air journald a dhèanamh a’ cur logaichean dìreach cuideachd, bho phrògram C.

Loki

Cùm sùil gheur air Loki. Chan eil e deiseil fhathast ach nuair a bhios, bhithinn an dùil gum bi e na fhreagarrachd nas fheàrr san stac seo. Tha Loki na luchd-cruinneachaidh loga a chruthaich grafana labs, bidh e a’ cleachdadh scraping coltach agus co-chòrdadh tagaichean mar Prometheus.

Prometheus + alertmanager + Rollbar + Graylog + Grafana

Prometheus + alertmanager airson meatraigean. <3 Prometheus.

Rollbar/Graylog airson logadh/aithris mhearachdan (tha beagan thar-chòmhdachaidh an seo; is dòcha nach fheum seirbheis bheag an dà chuid).

An-dràsta, bidh rabhaidhean dìreach a’ dol gu aon de bheagan sheanalan Slack aig a bheil pàrtaidhean le ùidh brathan air. Nan robh sinn nas dùrachdaiche mu air-ghairm bhiodh iad a’ dol gu PagerDuty/VictorOps/msaa.

Grafana airson grafaichean agus deas-bhùird. Cuideachd a’ coimhead air adhart gu dealasach ri faicinn an cuir na goireasan logaidh aca a tha ri thighinn Graylog gun fheum.

Thanos

Bidh sinn a’ cleachdadh Thanos mar aghaidh airson ar rèiteachadh HA. Tha fios aige ciamar a dhì-dhùblaicheas e paidhrichean HA.

Tha sinn an-dràsta a’ cumail 6 mìosan de dhàta Prometheus ionadail. Tha seo ag obair gu reusanta math dhuinn. Ach tha mi ann am meadhan cur a-mach stòradh bucaid dhan rèiteachadh Thanos againn airson stòradh dàta fad-ùine. Ann an teòiridh, bidh stòradh GCS timcheall air 30% nas saoire na an diosg maireannach àbhaisteach GCE a tha sinn a’ cleachdadh an-dràsta.

Chan eil sinn a’ dèanamh lethbhric de dhàta Prometheus an-dràsta. Chan eil an dàta dha-rìribh cudromach dhuinn seach gu bheil gu leòr againn airson rabhaidhean. Bidh ar cur-gu-gnìomh làn-bhuidheann ag atharrachadh uiread bho bhliadhna gu bliadhna nach eil dàta eachdraidheil nas sine na beagan mhìosan dha-rìribh inntinneach. Dh’fhaodadh e a bhith inntinneach beagan stats cridhe bliadhna-air-bliadhna a bhith agam, is dòcha gun cuir mi seata riaghailtean clàraidh stats-cridhe air dòigh agus gan stòradh le Federation no leigeil le Thanos cùram a ghabhail dheth.

EDIT: Dì-chùram beag, tha mi nam leasaiche Prometheus.

Prometheus HA

Tha HA ann am Prometheus air a dhèanamh le dùblachadh a’ ruith thu grunn poppers an sin tha dòighean ann air grunn a phoilligeadh agus an dàta a dhì-dhùblachadh

Tha an sgèileadh le bhith a’ co-dhùnadh lìonra agus diofar Prometheus a’ poilligeadh diofar phàirtean den lìonra

Chan e stòradh fad-ùine prìomh neart Prom ach tha e air a luchdachadh gu rudeigin mar influxes no timescaledb (a nì gu teicnigeach an comharra-sgrùdaidh HA cuideachd) artaigil a leugh mi air https://blog.timescale.com/prometheus-ha-postgresql-8de68d19b6f5?gi=7df160f10e07

Chan eil mi air feuchainn ris na rudan fad-ùine fhathast oir chan eil mi ach a’ dèanamh deuchainn agus ga chleachdadh airson grafaichean geàrr-ùine fhad ’s a tha librenms a’ sgrùdadh mo lìonra airson fad-ùine

Datadog + PagerDuty + Threat Stack

Bidh sinn a’ cleachdadh Datadog (le PagerDuty) agus Threat Stack agus chan urrainn dhuinn a bhith nas toilichte. Is e m’ aon ghearain mu DD cosgais an ìre mhath àrd stòradh meatraigean.

Zabbix

Zabbix le sgriobtaichean gnàthaichte gus cha mhòr a h-uile càil a sgrùdadh. Ag obair mar bhrosnachadh.

Outlyer

Tha mi a’ cleachdadh Outlyer, ach feumaidh mi dì-chùram a dhèanamh gu bheil mi ag obair an seo, agus tha dog fooding riatanach.

Feumaidh sinn Graylog, Sentry agus Statuscake fhathast gus leasachadh.

Faodaidh e fuaimneachadh claon, ach air dhomh Nagios agus siostaman sgrùdaidh eile a ruith gu toilichte a-staigh, cheannaichinn fuasgladh òstaichte ann an gig ùr sam bith agus bheirinn an phian sin air falbh.

Nagios + Nagiosgraph

Bidh sinn a’ ruith Nagios airson a h-uile sgrùdadh agus rabhadh. Bidh rabhaidhean a’ tachairt tro phost-d (rabhaidhean agus brathan èiginneach) agus brathan aplacaid claisneachd (airson rabhaidhean èiginneach).

Tha Nagiosgraph air a chleachdadh airson lèirsinnean.

Tha an rèiteachadh seo air a bhith gu math èifeachdach ann a bhith gar cumail eòlach gu h-iomlan air na tha a’ tachairt san àrainneachd againn. Bidh sinn a’ ruith agus a’ sgrùdadh timcheall air 110 frithealaiche èiginneach don mhisean agus timcheall air 760 puing dàta, agus tha an siostam maidne seo againn air a bhith ann airson còrr air seachd bliadhna.

Bu toil leam cuideachd logaichean a chruinneachadh le Graylog no ELk uaireigin.

Prometheus + Grafana + AlertManager

Prometheus + Grafana + AlertManager tron helm chart sàr-mhath Prometheus Operator. Bidh logaichean fhathast a’ dol gu plana birch LogDNA oir mhothaich sinn gu bheil ELK ro throm airson ar nodan beaga 3 as lugha 5 as motha air GKE.

DataDog + Sentry + PagerDuty.

Bha mi a’ ruith mo fhuasglaidhean sgrùdaidh fhèin gu lèir a’ cleachdadh gach seòrsa bathar-bog a’ gabhail a-steach Nagios, Icinga, Zabbix, ELK, Greylog2, Influx, agus mòran innealan eile, ach is e an fhìrinn gu bheil dìreach cus oidhirp an sàs ann a bhith a’ ruith do bhun-structar sgrùdaidh fhèin, gu sònraichte nuair as urrainn dhut ìrean cho ìosal a phàigheadh do chuideigin eile airson a dhèanamh air do shon!

Le bhith a’ pàigheadh dhaoine eile gus am bun-structar sgrùdaidh a ruith bidh mo chliantan saor fòcas a chur air ruith nan àrd-ùrlaran aca an àite sgrùdadh an sgrùdaidh, a’ ciallachadh gu bheil an luach a gheibh iad à seasmhachd an àrd-ùrlair aca fada nas motha na cosgaisean sam bith Monitoring as a Service.

Sensu + Graphite + ELK

Tha mo chompanaidh gu math mòr air stuth fèin-òstaichte.

Sensu -> PagerDuty

Graphite/Grafana

ELK (Elasticsearch, Logstash, Kibana)

Prometheus + Alertmanager

Prometheus + Alertmanager airson rabhaidhean, tha an sgioba agam a’ creidsinn gur e sgrùdadh sìmplidh deagh sgrùdadh.

Bheir siostaman eile leithid logadh agus lorg co-theacsa beairteach airson breithneachadh nuair a gheibh an neach air-ghairm rabhadh, ach chan eil sinn a-riamh a’ togail rabhaidhean air iad sin.

Sensu + Grafana + Graylog + Kibana + NewRelic.

Sensu, grafana, graylog, kibana, newrelic.

Prometheus + Circonus

Seirbheisean ionnsramaichte Prometheus => mion-sgrùdadh agus lèirsinn Circonus

icinga2 + VictorOps + NewRelic + Sentry + Slack

Tha sinn a’ cleachdadh na seirbheisean gu h-ìosal:

icinga2 airson sgrùdadh agus VictorOps airson rabhaidhean

NewRelic airson sgrùdadh mionaideach den t-seirbheis

Sentry airson lorg mhearachdan san t-seirbheis

Tha Slack/Post-d na phàirt de rabhaidhean a thèid a bhrosnachadh bho NewRelic no icinga2

AppDynamics + Papertrail + PagerDuty + Healthchecks.io + Stackdriver

AppDynamics

Papertrail

PagerDuty

Healthchecks.io

Stackdriver

icinga2 + elasticsearch

icinga2 le amalachadh elasticsearch airson mion-sgrùdadh agus amalachadh graphite+grafana airson grafaichean.

taing do shùbailteachd riaghailtean cur-an-sàs ann an icinga2, chan fhaic luchd-leasachaidh ach seirbheisean dhan fhaigh iad brathan.

agus tro icinga2 director, faodaidh prògramadairean na sgrùdaidhean aca fhèin a mhìneachadh gu furasta (rud a nì iad, gach beagan làithean - bidh 100 sgrùdadh a’ dol a-mach, 100 sgrùdadh eile a’ tighinn a-steach) aig sgèile mhòr gun dragh sam bith.

DataDog + New Relic + ELK + EFK + Sentry + Alertmanager + VictorOps

Dè tha againn a-nis:

DataDog airson meatraigean

New Relic airson sgrùdadh aplacaid

ELK (Elastic Search + Logstash + Kibana) airson na logaichean

Sentry (fèin-òstaichte) airson logadh eisgeachdan

Puist-d + Slack + VictorOps airson rabhaidhean (a-rèir cho dona ’s a tha)

Dè tha sinn ag iarraidh a bhith againn:

Prometheus airson meatraigean (Grafana airson lèirsinn)

New Relic (is dòcha Elastic Search APM) airson sgrùdadh na h-aplacaid

EFK (elastic search + fluentd + kibana) airson logadh. Is dòcha, bhiodh Loki le Grafana deiseil airson cinneasachadh ron àm a ruigeas sinn an seo

Sentry airson na h-eisgeachdan

Alertmanager + post-d + VictorOps airson na rabhaidhean

Wavefront + Scalyr + PagerDuty + Stackstorm + Slack

Wavefront + Scalyr + PagerDuty + Stackstorm + Slack (Dì-chùram: ag obair aig VMware)

Telegraf + Prometheus + InfluxDB + Grafana

Telegraf airson meatraigean frithealaiche leithid CPU, Diosg, Cuimhne agus Lìonra. Bidh sinn cuideachd a’ cleachdadh Telegraf airson sgrùdadh SNMP de na h-innealan lìonraidh againn.

Prometheus airson meatraigean aplacaid. Bidh sinn a’ còdadh sgrùdaidhean slàinte dhan aplacaid againn a bhios Prometheus a’ scrapeadh.

InfluxDB airson stòradh sreath-ama. Seo far a bheil an dàta Telegraf againn air a chur.

Grafana airson deas-bhùird agus rabhaidhean. Chan eil an einnsean rabhaidh glè làidir, ach nì e an obair. Bidh sinn cuideachd a’ losgadh rabhaidhean gu Slack.

Na chan eil agam an-dràsta is fuasgladh logaidh meadhanaichte. Tha ELK cumhachdach ach duilich a stèidheachadh agus a riaghladh, agus chan eil fios agam air roghainnean saor sam bith a tha dlùth gu leòr airson sùil a thoirt orra.

Sematext + Logagent + Experience

Sematext airson meatraigean, airson logaichean, airson lorgan, a dh’aithghearr airson sgrùdadh fìor luchd-cleachdaidh cuideachd. Nas sìmplidhe/nas saoire na bhith a’ cleachdadh N diofar innealan/seirbheisean, IMHO.

Airson cur logaichean bhiodh sinn a’ cleachdadh rsyslog agus an uairsin ghluais sinn gu Logagent.

Airson aithris tuiteam aghaidh bidh sinn a’ cleachdadh Sentry, ach gluaisidh sinn gu Experience a dh’aithghearr.

Dì-chùram: Is mise Sematextan.

Azure Monitor/Analytics + OpsGenie

Bu mhath leam gum biodh eadar-aghaidh nas fheàrr aig Log Analytics. Tha sinn a’ gluasad air falbh bho splunk, a bha tòrr nas fhasa a stiùireadh.

Prometheus + Alertmanager + Grafana + Splunk + PagerDuty

Prometheus, Alertmanager, Grafana, Splunk, PagerDuty

Gu cinnteach chan eil thu airson do shiostam bhrathan fhèin a ruith. Faodaidh tu ELK a chur an àite Splunk mura fheàrr leis an sgioba Tèarainteachd agad Splunk.

Telegraf + Prometheus + Grafana + Alertmanager

Telegraf mar neach-cruinneachaidh, Prometheus + Alertmanager airson sgrùdadh agus rabhaidhean, air an amalachadh le seanalan slack agus pagerduty airson rabhaidhean èiginneach. Grafana airson lèirsinn meatraigean òstair.

Prometheus + Grafana + Cloudwatch + sentry + kibana + elasticsearch

Prometheus airson meatraigean + rabhaidhean

Grafana airson deas-bhùird Prometheus

Cloudwatch a’ sgrùdadh eisimpleirean Prometheus

sentry airson lorg eisgeachdan

kibana + elasticsearch

graylog

prometheus Push Gateway airson batch/cronjobs

SOP https://github.com/rapidloop/sop gus meatraigean a „phutadh/chur air adhart“ bho aon eisimpleir Prometheus gu fear eile

bidh teachdaichean a’ cleachdadh an dàrna cuid teachdaichean Prometheus. Bidh sinn a’ feuchainn ri opencensus.io a chleachdadh air taobh an teachdaiche

PagerDuty + Monitis

PagerDuty + Monitis. Cuideachd cuid de Azure Functions gnàthaichte airson deuchainn air slàinte cuid de sheirbheisean.

A’ coimhead ri Prometheus agus Grafana a thoirt a-steach am-bliadhna

Prometheus + Grafana + Bosun

Prometheus airson stòradh dàta sreath-ama. Grafana airson lèirsinn. Bosun airson riaghladh rabhaidhean.

Azure Monitor/Analytics/Insights/Dashboards

Bùth Azure a-mhàin, Azure Monitor, Log Analytics, App Insights, Azure Dashboards + Pager Duty

Grafana + Monitis + OpsGenie + Slack

Grafana airson sgrùdadh sheirbheisean container ann an Kubernetes tro Prometheus

Monitis airson sgrùdadh seirbheis end-to-end sa mhòr-chuid airson APIan-lìn agus aplacaidean-lìn

OpsGenie airson riaghladh rabhaidhean

Slack airson fiosrachadh staid fhaighinn bho na siostaman againn

Checkly + AppOptics + Cloudwatch + Heroku + Pagerduty + Papertrail

Innleadair (dev)ops fad na h-ùine an seo. Dh’fhàs mi suas air Nagios. Bu toil leam beachdan fhaighinn air an SaaS bootstrapped agam https://checklyhq.com. Bidh sinn a’ dèanamh sgrùdadh API & sgrùdadh gnothaichean làraich le rabhaidhean gu math domhainn.

Thòisich mi Checkly oir bha sgrùdadh gnìomhach / synthetic san raon API caran cuingealaichte (agus daor). Tha sgrùdadh stèidhichte air brabhsair / sgriobtaichte eadhon nas seilbheile agus daoire. Bidh sinn a’ cleachdadh Puppeteer agus a’ cumail prìsean cho ìosal ’s as urrainn.

An stac sgrùdaidh againn:

Checkly (dog fooding...)

AppOptics (grafachd ghnàthaichte)

AWS Cloudwatch & SNS airson teachdaireachdan SMS.

rabhadh togte a-staigh Heroku.

Pagerduty

Papertrail

Instana + Logz.io + slack

Bidh Instana gar rabhadh ann an slack mu dhuilgheadasan bun-structair no lùghdachadh coileanaidh, agus tha sinn air logz.io a rèiteachadh gus rabhadh a thoirt ann an slack air meud sònraichte de logaichean aig ìre mearachd bhon t-sreath aplacaid.

SignalFX + Splunk + PagerDuty + Slack

A’ cleachdadh an-dràsta: SignalFX, Splunk, PagerDuty agus Slack. Chan eil mi gu mòr dèidheil air SignalFX ged a tha an sgioba taice aca glè chàirdeil agus freagarrach. Is toil leam Splunk (airidh air ma tha e comasach dhut a phàigheadh), PagerDuty agus Slack.

Bhithinn a’ cleachdadh an stac TICK far an robh a’ mhòr-chuid den C dha-rìribh na G, is e sin Grafana ged a chleachd mi Chronograf beagan. Bha sin sgoinneil ach bha e na phian a riaghladh. An duilgheadas clasaigeach SaaS an aghaidh fèin-òstadh.

Tha mi air DataDog, New Relic, Graylog, ELK agus BugSnag a chleachdadh. Is toil leam DataDog agus New Relic gu mòr, tha Graylog gu math math. Chan eil mi dèidheil mòr air ELK ge-tà. Tha BugSnag snog, tha mi dha-rìribh a’ faireachdainn gu bheil lorg mhearachdan/eisgeachdan na àite math airson làn sgrùdadh loga, ann am mòran chùisean.

ELK + Prometheus + Grafana

Dìreach mar chàch, bidh sinn a’ cleachdadh ELK airson logaichean agus Prometheus+Grafana airson a h-uile càil eile.

Tha cumail suas an rèiteachaidh seo furasta ma bheir thu cead dhut fhèin dàta a chall uaireannan. Mar eisimpleir, ma thèid ar stòr dàta ElasticSearch a-steach do funk (rud a thachras gach 2-3 mìosan dhuinne gu mì-fhortanach) chan eil sinn a’ gabhail dragh le HA agus an àite sin bidh sinn a’ dumpadh an dàta agus a’ dol air adhart le ar beatha. Ma tha thu an-dràsta feumach air HA no cumail fad-ùine, math fortan.

Datadog + Prometheus + Grafana

Stèidhich mi Datadog air bonn mìos-gu-mìos oir nuair a ràinig mi an seo, cha robh sgrùdadh agus rabhadh ann. Cha robh ach dà dhe na làraich againn gan sgrùdadh gach 5m airson ùine suas. Is e Datadog gun teagamh am fear as fhasa a stèidheachadh. Nuair a chrìochnaicheas mi a’ dèiligeadh leis na cùisean eile gu lèir, atharraichidh mi gu Prometheus+Grafana. Chan eil mi 100% cinnteach mu riaghladh logaichean fhathast.

Nagios + ELK

Tha còrr air 100+ toradh againn a bheir sinn taic dhaibh.

Airson air-làrach, is e sa mhòr-chuid Nagios agus ELK. Airson an neòil, tha sinn a’ gluasad bho DataDog gu NewRelic.

Datadog vs. Site24x7 + StatusCake + PagerDuty + SumoLogic + Slack

Bhiodh sinn a’ cleachdadh datadog ach lorg sinn e ro dhaor airson ar feumalachdan. Na gabh a dh’easbhaidh e tha e sgoinneil ach, tha cosgais mhòr aige. Bha sinn comasach site24x7.com a stèidheachadh le fo-sgrìobhadh bliadhnail airson timcheall air 2-3 mìosan de chosgais bho DD.

An stac sgrùdaidh againn:

Site24x7 - APM, sgrùdadh URL taobh a-muigh, sgrùdadh sruth puist SMTP, crìochnachaidhean ssl agus sgrùdadh phròiseasan.

StatusCake - airson sgrùdadh agus dearbhadh URL - Is e an lethbhric againn air eagal ’s gun caill site24x7 rudeigin (chan eil) ach tha SC nas sùbailte airson sgrùdadh puirt agus seirbheis taobh a-muigh airson ar feumalachdan.

Bidh an dà inneal a’ àrdachadh gu PagerDuty, agus an uairsin gheibh sinn na h-àrdachaidhean againn ann an slack.

SumoLogic - airson sgrùdadh logaichean (tha e na inneal math ach caran toinnte airson ar feumalachdan)

Bho slack is urrainn dhuinn ack, no an rabhadh a leasachadh

Tha tòrr fèin-obrachaidhean site24x7 againn an uairsin a cheanglas ri commando.io airson ‘BedOps’ mar a bheir sinn air - far a bheil rabhadh air a bhrosnachadh, bidh sinn a’ cur air bhog beagan sgriobtaichean no fèin-obrachaidhean mar oidhirp air an t-suidheachadh a leasachadh (99% den ùine bidh am fèin-obrachadh + ar sgriobtaichean gar cumail a-mach à trioblaid)

Tha runbooks a-staigh againn sa KB againn airson nuair a dh’fhailicheas na fèin-obrachaidhean no ma tha rudeigin a-mach à sgòp a dh’fheumas a chàradh.

Prometheus + AlertManager + Grafana + Stackdriver

Prometheus (Operator) / AlertManager / Grafana airson meatraigean sna clustaran GKE againn agus VMan.

Google Stackdriver airson Logaichean (oir tha e air a ghabhail a-steach agus gnìomhach mar bhunait agus tha e gu leòr airson ar feumalachdan an-dràsta).

Zabbix

Zabbix airson a h-uile càil. Gun bathar-bog a bharrachd a dhìth.