Architecture Decision Record
← Ensamplow kovskrif dyberth

Musurow, gwithysi, alarmow

Kenwyns:

Berrskrif

Kudyn

Ni a vynn usya musurow, gwithysi, ha alarmow, awos ni a vynn godhvos pygemmys yw agan aplikasyons ow oberi yn da, ha godhvos pan vo kudyn.

Dyberth

WIP.

Studh

Ow kuntelles kedhlow. Ni yw ow talleth gans ogasow gallus an spektrom: an toul rydh koth moyha kusulys (Nagios) ha'n toul tal nowydh moyha kusulys (New Relic).

Manylyow

Tybyansow

Ni a vynn gwul aplikasyons gwew nowydhek, skav, fydhek, gorthybus, hag yn.

Ni a vynn prena yn le drehevel.

Lettyansow

Ni a vynn toulys a oberi yn da gans agan pibell devops ha gans agan kommolyow displegyans.

Savyow

Ni yw ow hwilas savyow lemmyn.

  • AlertManager

  • AppDynamics

  • AppOptics

  • Azure Monitor/Analytics/Insights/Dashboards

  • Bosun

  • Checkly

  • Circonus

  • Cloudwatch

  • EFK

  • ELK

  • Grafana

  • Grafana

  • Graphite

  • Graylog

  • Healthchecks.io

  • Heroku

  • icinga2

  • InfluxDB

  • Instana

  • Kafka

  • Logagent

  • Logz.io

  • Loki

  • Monitis

  • Nagios

  • Nagios

  • Nagiosgraph

  • NewRelic

  • OpsGenie

  • Outlyer

  • PagerDuty

  • Pagerduty

  • PagerDuty

  • Papertrail

  • Prometheus

  • Rollbar

  • Scalyr

  • Sematext Metrics, Logs, Experience, Tracing

  • Sensu

  • SignalFX

  • Slack

  • Splunk

  • Stackdriver

  • Stackstorm

  • Telegraf

  • Telegraf

  • Thanos

  • VictorOps

  • Wavefront

  • Zabbix

Argument

Bys lemmyn, Nagios ha New Relic yw ogasow an spektrom. Nagios yw an toul koth, sempel, rydh, gallus. New Relic yw an toul gans nodhow nowydha, an moyha kowlwir, tal, gallus. Ni a dhalleth gans jydjyansow anodhans. Avel a vo othom, ni a dreylya y'n spektrom.

Bys lemmyn, Zabbix a'n jeves an dasbrofyansow gwella, ha ynwedh a re an gallusow moyha kowlwir.

Bys lemmyn, ELK a'n jeves an poblekter drehevel-a-ugh-prena ygor-fenten gwella.

Bys lemmyn, Prometheus + Graphana a'n jeves an poblekter gwella.

Sewyansow

TODO.

Kelmys

Dybyrthow kelmys

An dewisyow a drehedh previadewder, telemetry, ha martesen systemow erell avel rag gwassanath kerysyow, injynyrnans fydhekter gwiasva, hag yn.

Othommow kelmys

TODO.

Arteffaktys kelmys

TODO.

Prensiplys kelmys

Es dhe dasfyna.

Othom a fistenys.

Notennow

Stakk ygor-fenten pur-da yw:

  • Prometheus rag musurow ha alarmya selys war musurow

  • Grafana rag diskwedha musurow

  • Elasticsearch/Logstash/Kibana (ELK) rag logys ha hwarvosow strokturys

  • Pushover rag gwarnyansow symudek

Messajys tekst rydh erbynn messajys hwarvos strokturys

Messajys tekst rydh: rag ensampel, an sort a daklow hap ow kavos yn /var/log/messages, ha tra jeneredhys yn bwrpasek gans an aplikasyon. An messajys yw gwiw rag aswonn taklow erell ow hwarvos war an bolgh avel diffyth a gov po gwallow hardware, mes y'n jeves meur a vol.

Messajys hwarvos strokturys: jeneredhys gans an aplikasyon, gans set kefrys po dynamek a atributs, rag ensampel lagys govyn HTTP, lagys kontow, omlogya usyer.

Yn ollgemmyn, da yw logya manylyow pub govyn yn fordh may hyllir mos downha herwydh atributs. Rakhenna, gorra userid po sessionid dhe bub tra a re dhyn treckya. Treckya splann yw da ynwedh, a-der. Usya ELK rag hemma yw nebes kepar ha https://www.honeycomb.io/ an den bohosek.

Graylog yw es

Graylog yw es dhe settya a'm skians.

Prometheus a res nebes tunya

Me yw lowen yn ollgemmyn gans Prometheus rag musurow. An alarmow a res nebes tunya, mes yw pur-da. Ev a bleg orth agas aplikasyon. Me a gryj may fo gwella alarmya war studhow gwelus dhe'n usyer diwedh, nag ow dhyskwedh awosow ynworrek. Rag ensampel, termyn karga folen yw da, niver govynnow pub eylenn nyns yw. Kyn dhiskwedh nul govynn pub eylenn may fo neppyth kamm.

An a-dhesk a wassanath yw may profons kuvder ychwanek yn genesek. Me a gar Datadog yn ollgemmyn. An gwassanethow a hyll bos kostus yn arveth mar kevewgh lies data, ha nebes treweythyow y'n jeves modhelow prys na vons hegar dhe'n kommol, rag ensampel tylly dre enstans, pan vo enstansow dynamek. Yma dyffrans ynwedh ynter gwassanethow may fo pub govyn dhyworth usyer a dal ha re yw kelmys dhe gonvedhes rag-gwerth, may hwra hepken nebes parth kans a'n govynnow gwul arghans dhywgh. Hwi a hyll gorfedna gans meur a ddata ha nebes budjet.

Me a oberi war nebes gwassanethow a gaf 1B govyn pub dydh, ytho yma skil dhe withe agan monitorya ha logya agan honan. Mar pe agas volumys le, ytho gwassanethow gwithys yw moy es.

Gwassanethow AWS yw kemmyskys

Ow skians gans gwassanethow AWS re beu kemmyskys. Aga gwassaneth Elasticsearch re beu skudhel, ytho ni a weythi agan enstansow agan honan rag henna. Musurow CloudWatch yw kostus, ytho ni a'n usya yn ollgemmyn hepken rag musurow live "infrastruktur" yn le an aplikasyon, hen yw musurow kelmys dhe iechyd may hyll AWS godhvos gwell pyth yw ow hwarvos es medhelweyth ow kweythi war an enstans. Logs CloudWatch a hyll bos hweg dhe nowydhhe ha nyns eus ino meur a veta-data. Weythi ELK a weres gans henna. Mar mynnav data real-termyn yn gwir, ytho usya Kafka avel an treusfurvyans rag logys yw gwell. Hemma yw skoodhys yn da gans Logstash. Rewlya klyster Kafka nyns yw rag an re gwan-kolon, byttele, yma meur a bibwydhow diskwedhys.

Kafka

Kehes: Kafka a hyll bos pur-gales nebes treweythyow, po Kafka a hyll bos kerreg-krev ha ni a bes hwath ankevi y vos ena ow kelmi pub tra warbarth.

Kehes: Kafka re beu studhus, mes o kebmys souprijus a ober dh'y gafos ow oberi. Me a'n tybi avel selva ros kelmys mes hwi a oberi hepken orth an gwisk "fisek", rag ensampel tabelspasow, fayls, ha rannow. Re beu nebes treweythyow kynsa may feu diffyth a doulys rewlyans, ha res o dhyn skrifa progromow rag ensampel dasvettya kuntelles-usyer. http://howfuckedismydatabase.com/nosql/

Kehes: Ni a usya Kafka avel "byfer" rag messajys log ha le may hyllyn gul argerdh fluv real-termyn war data a dheu dhyworth lies servyer. Mar kevyn omsettyans DDOS, ytho res yw dhyn fordh dhe dhasdhesk data a-dreus lies enstans. Mar logyn yn rakt dhyworth an servyers dhe ELK, an karg a hyll terri klyster Elasticsearch.

Kehes: Kafka yw da dhyn awos mar kevyn omsettyans DDOS, ytho res yw dhyn fordh dhe dhasdhesk data a-dreus lies enstans. Mar logyn yn rakt dhyworth an servyers dhe ELK, an karg a hyll terri klyster Elasticsearch.

Kehes: Kafka a wra nebes ober ha yw moy effeythus, ytho ev a hyll rewlya an karg gwell. Ha ni a worr an ober Kafka yn rew ha assaya arta. Ha kafos Kafka re-garghys ny drehedh usyoryon a assay oberi ynterweythek gans Kibana, an fordh a wrella mar pe Elasticsearch ow strivya.

Kehes: Argerdh fluv yw yn kresek hwilas camdhefnyth, rag ensampel re a drafyk dhyworth unn IP a-dreus an klyster oll, ha wosa rannas an lettyans a-dreus an klyster oll.

Kehes: An plugin logstash-output-kafka yw pur-anfydhek lemmyn. Me re beu brethys gans nebes a'n ishuyow war y folen ishuyow GitHub, na seem bys vyken bos gwellhes. Me a vynn mos dhe-ves dhyworth y usya, dhe dhanvon yn rakt dhyworth agan appys dhe Kafka.

Kehes: Ni yw ow tanvon lemmyn hwarvosow strokturys yn rakt dhyworth an app dhe Kafka. An gyrryans kresek o tuchya an data log nebes treweythyow ha gochewgh redya ha skrifa an disk lies treweyth. Yn systemow bonn uhel, logya a hyll kemeres moy ober es an app y honan. Yth esov ow tybi a wul journald danvon logys yn rakt ynwedh, dhyworth progrom C.

Loki

Gwithewgh lagas ogas war Loki. Nyns yw parys hwath mes pan vo, me a wayt may fo gwell junyans y'n stakk ma. Loki yw kuntellyer logys krehys gans grafana labs, ev a usya syntaks scrapya ha tag haval dhe Prometheus.

Prometheus + alertmanager + Rollbar + Graylog + Grafana

Prometheus + alertmanager rag musurow. <3 Prometheus.

Rollbar/Graylog rag logya/derivas gwall (yma nebes dowblans omma; gwassanath byghan ny res martesen an dhew).

Lemmyn, alarmow yw danvonys hepken dhe unn a nebes kanal Slack may hyllyn perthynyoryon kerhek aga gwarnyow ymlenwys. Mar pen moy ervirys a-dro dhe war-alwes, i a dheuth dhe PagerDuty/VictorOps/hag yn.

Grafana rag grafow ha dashboards. Ow kuvyes ynwedh tu ha'y wul gwelas mar kyll aga gallusow logya a dheu gwul Graylog heb othom.

Thanos

Ni a usya Thanos avel kynsa-tu rag agan selyans HA. Ev a wor dhe-dhowblans re HA.

Ni a withe 6 mis a ddata Prometheus leel lemmyn. Hemma a oberi yn rewlus da dhyn. Mes yth esov y'n kres a gorrya gwithyans bucket dhe'gan selyans Thanos rag gwithyans data hirdermyn. Yn teori, gwithyans GCS a vydh 30% moy kuv es an disk pesys savonys GCE a usyn lemmyn.

Ny wren ni backupya data Prometheus lemmyn. An data nyns yw yn gwir poesek dhyn marnas kavos lowr rag alarmya. Agan displegyans floth oll a chanj kebmys bledhen dhe bledhen na yw data istorek koth es nebes mis hwath dyveurek. Martesen y fydh dyveurek kavos nebes statistikow kresek bledhen-dhe-bledhen, martesen me a sett set a reglow resordya statistikow-kresek ha gwitha an re na gans Federation po gasa Thanos dh'y gemeres.

EDIT: Disklaymya byghan, me yw displegyor Prometheus.

Prometheus HA

HA yn Prometheus yw gwrys dre dowblyas ni a weythi lies poller ena yma fordhow dhe bollya lies ha dhe-dhowblya an data

An skalyans yw dre dybarth ros ha kavos Prometheus dyffrans ow pollya rannow dyffrans a'n ros

Gwithyans hirdermyn nyns yw poynt krev proms mes yw dreylys dhe neppyth avel influxes po timescaledb (a wra an checkmark HA ynwedh yn teknegek) erthygel a redis a-dro dhodho https://blog.timescale.com/prometheus-ha-postgresql-8de68d19b6f5?gi=7df160f10e07

Ny assayis an taklow hirdermyn hwath awos esov hwath ow arbrofya hepken ha ow usya rag grafow berrdermyn pan vo librenms ow monitorya ow ros rag hirdermyn

Datadog + PagerDuty + Threat Stack

Ni a usya Datadog (gans PagerDuty) ha Threat Stack ha ny hyllyn bos moy lowen. Ow unn kudyn gans DD yw kost uhel dre gehaval gwithyans musurow.

Zabbix

Zabbix gans skriptys hewelus rag monitorya hogen pub tra. Oberi avel hus.

Outlyer

Esov ow usya Outlyer, mes res yw dhymm disklaymya may hwrav oberi omma, ha dog fooding yw res.

Res yw hwath Graylog, Sentry ha Statuscake dhe wellhe.

A seem biasys, mes wosa bos lowen ow kweythi Nagios ha systemow monitorya erell ynwedh, me a brenna solusyon gwithys yn pub gweth nowydh ha dyleva an poen na.

Nagios + Nagiosgraph

Ni a weythi Nagios rag oll monitorya ha alarmya. Alarmow a hwarvos dre e-bost (gwarnyow ha gwarnyansow kritek) ha gwarnyansow app klywadow (rag alarmow kritek).

Nagiosgraph yw usys rag gwelheansow.

An selyans ma re beu pur-effeythus ow witha agan hwarnys kowlwir a'n pyth yw ow hwarvos yn agan kerghynnedh. Ni a weythi ha monitorya a-dro dhe 110 servyer kritek-mission ha a-dro dhe 760 poynt data, ha'gan re an system monitorya vyttyn ma yn plas rag moy es seyth bledhen.

Me a vynnsa ynwedh kuntelles logys gans Graylog po ELk war neb poynt.

Prometheus + Grafana + AlertManager

Prometheus + Grafana + AlertManager dre dhiagram helm marthys Prometheus Operator. Logys yw danvonys hwath dhe gynllyn LogDNA birch, awos ni a notyas may fo ELK re bos rag agan nodys byghan 3 min 5 uhelha war GKE.

DataDog + Sentry + PagerDuty.

Me a usya weythi oll ow solusyons monitorya ow honan ow usya pub sort a vedhelweyth ow keworra Nagios, Icinga, Zabbix, ELK, Greylog2, Influx, ha lies toul erell, mes an gwir yw may fo re a strivyans ow weythi infrastruktur monitorya dha honan, arbennik pan hyllewgh tylly nebonan aral mar izel rag nebonan aral dh'y wul rag dhywgh!

Tylly erell dhe weythi an infra monitorya a rydh ow cliantow dhe fokusya war weythi aga hplatformow yn le monitorya an monitorya, hen yw may fo an prow a dhynnons dhyworth studhusder aga hplatform meur moy es pynag kostow Monitorya avel Gwassaneth.

Sensu + Graphite + ELK

Ow kowethas yw pur-bras war daklow hunnos-gwithys.

Sensu -> PagerDuty

Graphite/Grafana

ELK (Elasticsearch, Logstash, Kibana)

Prometheus + Alertmanager

Prometheus + Alertmanager rag alarmya, ow thim a gryj may fo monitorya sempel monitorya da.

Systemow erell avel logya ha treckya a re kettesten rych rag diagnosa pan wra an war-alwes degemeres alarm, mes ny dhrehevyn alarmya war an re ma bys vyken.

Sensu + Grafana + Graylog + Kibana + NewRelic.

Sensu, grafana, graylog, kibana, newrelic.

Prometheus + Circonus

Gwassanethow instrumentys Prometheus => dasdhesk ha gwelheans Circonus

icinga2 + VictorOps + NewRelic + Sentry + Slack

Ni yw ow usya an gwassanethow a-woles:

icinga2 rag monitorya ha VictorOps rag alarmya

NewRelic rag monitorya manylys a'n gwassaneth

Sentry rag treckya gwallow y'n gwassaneth

Slack/E-bost yw rann a alarmya a dhallath dhyworth NewRelic po icinga2

AppDynamics + Papertrail + PagerDuty + Healthchecks.io + Stackdriver

AppDynamics

Papertrail

PagerDuty

Healthchecks.io

Stackdriver

icinga2 + elasticsearch

icinga2 gans junyans elasticsearch rag dasdhesk ha junyans graphite+grafana rag grafow.

awos fexibilita reglow apply yn icinga2, an displegyoryon a hyll gweles hepken gwassanethow may kevons gwarnyansow.

ha dre icinga2 director, towlennoryon a hyll defina yn es aga hekkys aga honan (hag a wrons, pub nebes dydhyow - 100 jekyans a dheu ina, 100 jekyans erell a dheu ino) war skala bras heb ankombrans vyth.

DataDog + New Relic + ELK + EFK + Sentry + Alertmanager + VictorOps

Pyth a'n jeves ni lemmyn:

DataDog rag musurow

New Relic rag monitorya aplikasyon

ELK (Elastic Search + Logstash + Kibana) rag an logys

Sentry (hunnos-gwithys) rag logya esskeusys

E-bostow + Slack + VictorOps rag alarmya (selys war ankerensa)

Pyth a vynn ni kavos:

Prometheus rag musurow (Grafana rag gwelheans)

New Relic (martesen Elastic Search APM) rag monitorya aplikasyon

EFK (elastic search + fluentd + kibana) rag logya. Martesen, Loki gans Grafana a vydh parys-produksyon erna dheuvn ni dhe'n le ma

Sentry rag an esskeusys

Alertmanager + e-bost + VictorOps rag an alarmow

Wavefront + Scalyr + PagerDuty + Stackstorm + Slack

Wavefront + Scalyr + PagerDuty + Stackstorm + Slack (Disklaymya: ow kweythi yn VMware)

Telegraf + Prometheus + InfluxDB + Grafana

Telegraf rag musurow servyer avel CPU, Disk, Kov ha Ros. Ni a usya ynwedh Telegraf rag monitorya SNMP a'gan dyvisyow ros.

Prometheus rag musurow aplikasyon. Ni a skrif jekyansow iechyd y'gan aplikasyon a scrapya Prometheus.

InfluxDB rag gwithyans rew-termyn. Hemma yw le may fo danvonys agan data Telegraf.

Grafana rag dashboards ha alarmow. An ynjin alarmya nyns yw pur-krev, mes ev a wra an ober. Ni a dhanvon ynwedh alarmow dhe Slack.

Pyth na'n jeves lemmyn yw solusyon logya kresek. ELK yw nerthek mes kales dhe settya ha rewlya, ha ny wonn a nul alternativ rydh nes lowr dhe hwilas.

Sematext + Logagent + Experience

Sematext rag musurow, rag logys, rag trasys, skon rag monitorya usyer gwir ynwedh. Moy sempel/kuv es usya N toulys/gwassanethow dyffrans, IMHO.

Rag kanans logys ni a usya rsyslog ha wosa ni a dreylyas dhe Logagent.

Rag derivas kowlya kynsa-tu ni a usya Sentry, mes ni a dreyl dhe Experience skon.

Disklaymya: Sematextan ov.

Azure Monitor/Analytics + OpsGenie

Me a vynnsa may fo gwell ynterfas dhe Log Analytics. Ni yw ow mos dhe-ves dhyworth splunk, o meur es dhe lywya ino.

Prometheus + Alertmanager + Grafana + Splunk + PagerDuty

Prometheus, Alertmanager, Grafana, Splunk, PagerDuty

Ny vynnewgh yn gwir weythi agas system hwarnyans agas honan. Hwi a hyll gorra ELK yn le Splunk marnas agas tim Sawder a gar Splunk moy.

Telegraf + Prometheus + Grafana + Alertmanager

Telegraf avel kuntellyer, Prometheus + Alertmanager rag monitorya ha alarmya, junys gans kanalow slack ha pagerduty rag alarmow kritek. Grafana rag gwelheans musurow hostya.

Prometheus + Grafana + Cloudwatch + sentry + kibana + elasticsearch

Prometheus rag musurow + alarmow

Grafana rag dashboards Prometheus

Cloudwatch ow monitorya enstansow Prometheus

sentry rag treckya esskeusys

kibana + elasticsearch

graylog

prometheus Push Gateway rag batch/cronjobs

SOP https://github.com/rapidloop/sop dhe „push/forward“ musurow dhyworth unn enstans Prometheus dhe'n aral

cliantow a usya kyns an cliantow Prometheus. Ni a assay usya opencensus.io war an tu cliant

PagerDuty + Monitis

PagerDuty + Monitis. Ynwedh nebes Azure Functions hewelus rag previ iechyd nebes gwassanethow.

Ow hwilas junya Prometheus ha Grafana an bledhen ma

Prometheus + Grafana + Bosun

Prometheus rag gwitha an data rew-termyn. Grafana rag gwelheans. Bosun rag rewlyans alarmow.

Azure Monitor/Analytics/Insights/Dashboards

Gwerthva Azure hepken, Azure Monitor, Log Analytics, App Insights, Azure Dashboards + Pager Duty

Grafana + Monitis + OpsGenie + Slack

Grafana rag monitorya gwassanethow kenyow yn Kubernetes dre Prometheus

Monitis rag monitorya gwassanath penn-dhe-benn yn arbennik rag APIyow gwew ha aplikasyons gwew

OpsGenie rag rewlyans alarmow

Slack rag kavos kedhlow studh dhyworth agan systemow

Checkly + AppOptics + Cloudwatch + Heroku + Pagerduty + Papertrail

Ynjynyer (dev)ops hir-termyn omma. Tevys war Nagios. Me a vynnsa kavos tybyansow war ow SaaS bootstrapped https://checklyhq.com. Ni a wra monitorya API ha monitorya treusverkans gwiasva gans alarmya downha dhe lowr.

Me a dhallathas Checkly awos monitorya bewek / synthetic y'n spas API o nebes kyfyngys (ha kostus). Monitorya selys war beurell / skriptys yw hwath moy perghennek ha kostus. Ni a usya Puppeteer ha gwitha prysyow mar izel avel possybyl.

Agan stakk monitorya:

Checkly (dog fooding...)

AppOptics (grafow hewelus)

AWS Cloudwatch & SNS rag messajys SMS.

alarmya genesek Heroku.

Pagerduty

Papertrail

Instana + Logz.io + slack

Instana a'gan alarm yn slack a-dro dhe gudynyow infrastruktur po dismygh gwrians, ha ni re gefrysyas logz.io dhe alarmya yn slack war bonn arbennik a logys live gwall dhyworth gwisk an aplikasyon.

SignalFX + Splunk + PagerDuty + Slack

Lemmyn ow usya: SignalFX, Splunk, PagerDuty ha Slack. Nyns esov marnas bras ow kara SignalFX kyn fo aga thim skoodh pur-gerensa ha gorthybus. Me a gar Splunk (gwiw mar hyllir y dalleth), PagerDuty ha Slack.

Me a usya an stakk TICK may feu an moyha a'n C yn gwir G, hen yw Grafana kyn whrug usya Chronograf nebes. Hemma o marthys mes o poen dhe rewlya. An dilemma klasek SaaS erbynn hunnos-whaleth.

Me re usyas DataDog, New Relic, Graylog, ELK ha BugSnag. Me a gar DataDog ha New Relic meur, Graylog yw pur-da. Nyns esov marnas bras ELK. BugSnag yw teg, me a gryj gwir may fo treckya gwallow/esskeusys dewis da yn le monitorya leun logys, yn lies kas.

ELK + Prometheus + Grafana

Kepar ha re erell, ni a usya ELK rag logys ha Prometheus+Grafana rag pub tra aral.

Gwitha an selyans ma yw es mar rewgh kummyas dhywgh agas honan dhe golli data a-dermyn. Rag ensampel, mar kyv agan selva ros ElasticSearch yn funk (a hwarvos pub 2-3 mis dhyn dhe verth) ny wren ni strivya gans HA mes yn le dhort an data ha mos war-pell gans agan bewnans. Mar res yw dhywgh HA po gwithyans hirdermyn yn sur, chons da.

Datadog + Prometheus + Grafana

Me a settyas Datadog war-fordh mis dhe vis awos pan dheuth omma, nyns esa monitorya na alarmya. Hepken dhew a'gan gwiasvaow o monitoryes pub 5m rag uptime. Datadog yw an es dhe settya heb dowt. Pan worfednav oll an ishuyow erell, me a dreyl dhe Prometheus+Grafana. Nyns esov 100% ervirys a-dro dhe rewlyans logys hwath.

Nagios + ELK

Yma moy es 100+ produkt a skoodhyn.

Rag war-le, yw yn kresek Nagios ha ELK. Rag an kommol, ni yw ow treylya dhyworth DataDog dhe NewRelic.

Datadog erbynn Site24x7 + StatusCake + PagerDuty + SumoLogic + Slack

Ni a usya datadog mes ni a gafas may feu re gostus rag agan othommow. Na gamdhesewgh ow ger y yw marthys mes y'n jeves kost bras. Ni a hyllas settya site24x7.com gans sodhrayans bledhenek rag a-dro dhe 2-3 mis a gost dhyworth DD.

Agan stakk monitorya:

Site24x7 - APM, monitorya URL a-ves, monitorya fluv e-bost SMTP, deweth ssl ha monitorya argerdh.

StatusCake - rag monitorya ha kadarnhe URL - Ev yw agan backup rag an kas may fyllo site24x7 (ny wra) mes SC yw moy fexibl rag monitorya porth a-ves ha gwassanath rag agan othommow.

An dhew doul a eskarya dhe PagerDuty, ha wosa ni a dhegemmer agan eskaryansow yn slack.

SumoLogic - rag monitorya logys (toul bras yw mes nebes kompleks rag agan othommow)

Dhyworth slack ni a hyll ack, po remedya an alarm.

Ni a'n jeves wosa lies awtomatiansow site24x7 a junn gans commando.io rag 'BedOps' avel yth hanwn - may fo alarm tennys, ni a dhalleth nebes skriptys po awtomatiansow avel assay dhe remedya an studh (99% a'n termyn an awtomatiansow + agan skriptys a'gan gwith dhyworth kudynyow)

Ni a'n jeves runbooks ynwedhek y'gan KB rag an kas may fyllo an awtomatons po mar pe neppyth a-ves skope res dhe remedya.

Prometheus + AlertManager + Grafana + Stackdriver

Prometheus (Operator) / AlertManager / Grafana rag musurow yn agan klysterow GKE ha VMs.

Google Stackdriver rag Logys (avel yw junys ha bewek yn genesek ha lowr rag agan othommow lemmyn).

Zabbix

Zabbix rag pub tra. Nyns eus othom a vedhelweyth ychwanek.