Paano Pinapahusay ng Pagpapatunay ng Crowd Signal ang Pagtuklas ng Outage

Ano ang idinaragdag ng mga crowd signal sa pagtuklas ng outage

Hindi mapapalitan ang tradisyonal na monitoring ng serbisyo, ngunit walang iisang vantage point ang nakaaobserba sa bawat failure mode. Ibinubukod ng gabay ng Site Reliability Engineering ng Google ang black-box monitoring—mga sintomas na inoobserbahan mula sa labas—sa white-box monitoring ng panloob na instrumentation. Binabanggit nito na maaaring hindi makita ng purely white-box na pagtingin ang mga request na pumapalya bago marating ang target, tulad ng mga na-block ng DNS error o nawala sa server crash. Para sa paging, inirerekomenda nito ang simple at matitibay na signal na kumakatawan sa malinaw na pagkabigong nakaharap sa user. [1]

Nagdaragdag ang mga ulat mula sa crowd ng panlabas na vantage point: mga apektadong taong naglalarawan ng karanasan habang nangyayari ito. Maaaring maging nauugnay ito kapag regional, partikular sa network, partikular sa device, o nakadepende sa isang journey na hindi sinusubukan ng batayang availability check ang nakikitang sintomas. Maaari rin nitong hikayatin ang imbestigasyon ng tao kapag malabo ang isang insidente.

Ang pananaliksik na naghahambing ng mga self-reported at automated na sukat sa anim na pangunahing event ng Internet outage sa Germany ay umabot sa katulad na limitadong konklusyon. Natuklasan ng mga awtor na maaaring mahirap ang automated na pagtuklas dahil sa dami at likas na di-katumpakan; kapag nalalaman na sa publiko ang isang event sa pamamagitan ng self-reporting, makakatulong ang obhetibong pagsukat na makuha ang temporal at spatial na dimensyon nito. Iminumungkahi nila ang crowdsourcing bilang pagpapahusay at panimulang punto para sa karagdagang pagsusuri—hindi bilang pamalit dito. [2]

Mahalaga ang pagkakaibang iyon. Ang pagdami ng ulat ay nangangahulugang may mga taong nakararanas, o naniniwalang nakararanas, ng problema. Hindi nito nag-iisa na pinatutunayang hindi available sa buong mundo ang isang provider, tinutukoy ang responsableng component, o ipinakikitang apektado ang bawat user.

Ginagawang hanay ng ebidensya ng pagpapatunay ang mga ulat

Ang pagpapatunay ang disiplina na nagko-convert ng panimulang signal tungo sa pagtatayang handa para sa pasya. Sinasabi ng kasalukuyang gabay ng NIST sa pagtugon sa insidente na dapat suriin ang mga event na posibleng masama upang mailarawan ang mga ito at matukoy kung kailan nagkaroon ng insidente. Kinikilala rin nito na nag-iiba ang fidelity ng event, maaaring may hindi nakapipinsalang paliwanag ang mga anomaly, at dapat iugnay ang impormasyon mula sa maraming source. [3]

Kapag inilapat sa pagkagambala sa serbisyo, nangangahulugan ito ng paghahanap ng corroboration na tunay na independiyente sa stream ng ulat. Ihambing ang oras at konsentrasyon ng mga ulat sa availability o performance na naobserbahan mula sa labas, pagkatapos ay tasahin kung ang pattern ay limitado sa heograpiya, network, device, feature, o customer path. Layunin nitong ihiwalay ang kapani-paniwala at may-saklaw na signal ng epekto sa user sa ingay o lokal na kondisyon.

Inilalarawan ng mga playbook sa pagtugon sa insidente ng CISA ang kaparehong analytical na tindig: i-deconflict ang pinaghihinalaang insidente sa awtorisadong aktibidad, kolektahin ang datos na kailangan para sa pagpapatunay at pagkakategorya, iugnay ang impormasyon, at tasahin ang anomalous na aktibidad laban sa kilalang baseline. [4] Para sa operasyon sa outage, sinusuportahan nito ang malinaw na paghihiwalay sa pagitan ng pagtuklas, pagpapatunay, pagkakategorya, at root-cause analysis. Ang paghahalo sa mga yugtong ito ay maaaring magdulot ng parehong maagang deklarasyon ng insidente at mabagal na pagkilala sa tunay na epekto sa user.

Modelo ng pasyang nakabatay sa ebidensya

Hindi kailangan ng mga team ng pangkalahatang hangganan sa bilang ng ulat upang gamitin nang responsable ang mga crowd signal. Dapat ipakita ng mga hangganan at tuntunin sa escalation ang serbisyo, normal na trapiko, populasyon ng user, at gastos ng false positive kumpara sa naantalang tugon. Nagbibigay ang sumusunod na mga tanong ng malinaw na modelo nang hindi nagtatakda ng proprietary na pamamaraan.

Malaya at magkakatugma ba ang signal? Maaaring maglarawan ng lokal na problema ang mga paulit-ulit na ulat na magkakalapit ang dating ngunit nagmumula sa makitid na pinagbabahaging konteksto. Mas nagbibigay-kaalaman ang pattern sa magkakaibang konteksto. Ang kasarinlan ay tungkol sa pag-iwas sa labis na kumpiyansa kapag maaaring iisa ang pinagbabatayang source ng maraming obserbasyon.

May teknikal bang corroboration? Maaaring mag-isyu ng mga request ang mga pampublikong uptime check mula sa maraming lokasyon sa buong mundo at suriin ang tagumpay gamit ang HTTP status at kinakailangang response content. Makakatulong din ang nakadokumentong failure diagnostic ng mga ito upang maiba ang mga failure sa connectivity sa application timeout. [5] Kapaki-pakinabang na pandagdag ang mga check na ito, ngunit hindi kumpletong pagsusuri ng karanasan ng user: hindi nila nilo-load ang page asset o ine-execute ang JavaScript bilang default. [5]

Ano ang malamang na saklaw? Dapat tasahin, hindi ipagpalagay, ang saklaw. Ihambing kung kailan nagsimula ang mga ulat, saan lumilitaw ang mga ito, aling workflow ang sangkot, at kung nagpapakita ang mga independiyenteng check ng kaugnay na sintomas. Inilalarawan ng Internet Outage Detection and Analysis system ng Georgia Tech ang halaga ng pagsasama ng magkakaibang sukat: BGP routing data, Internet background radiation, at active probing. [6]

Anong pasya ang kasunod? Dapat tumugma ang tugon sa ebidensya: panatilihin ang mahinang signal para sa pagmamasid, magbukas ng imbestigasyon para sa kapani-paniwalang corroboration, o ipaalam ang may-saklaw na pagkagambala kapag sinusuportahan ito ng available na ebidensya. Dapat manatiling may kwalipikasyon ang root cause, oras ng pagpapanumbalik, at pangkalahatang epekto hanggang independiyenteng maitatag.

Metodolohiya at mga pag-iingat

Pinagsasama-sama ng artikulong ito ang kasalukuyang gabay mula sa Google SRE, NIST, CISA, dokumentasyon ng Google Cloud, akademikong paghahambing ng self-reported at automated na pagsukat ng outage, at metodolohiya ng IODA ng Georgia Tech. Ginagamit nito ang mga source na ito upang ilarawan ang pangkalahatang mga prinsipyo ng ebidensya, hindi upang isiwalat o ipahiwatig ang panloob na proseso ng pagtuklas, pag-score, o escalation ng anumang platform.

May mga limitasyon ang pagpapatunay ng crowd signal. Maaaring humubog sa dami ng ulat ang publicity, wika, access sa channel ng pag-uulat, at mga grupong lubhang aktibo. Maaari ring kulang ang pag-uulat sa isang seryosong isyu kapag hindi maabot ng mga apektadong tao ang channel ng pag-uulat. Limitado ang mga teknikal na check ng lokasyon, protocol, estado ng authentication, at test path ng mga ito. Dapat ilahad ng pagtatasa kung ano ang naobserbahan, tasang saklaw, window ng oras, at mga nananatiling hindi alam.

Pananaw ng SID Monitor

Tinitingnan ng SID Monitor ang intelligence sa pagkagambala bilang praktikal na input sa pagpapahusay ng uptime: makakatulong ang mas malinaw na ebidensya sa mga technical at executive team upang mag-triage ng epekto, makipagkomunikasyon nang may angkop na kumpiyansa, at matuto mula sa pagitan ng kalagayan ng system at karanasan ng user. Pampublikong iniuulat ng Status Is Down ang saklaw na 2M+ website, 13,500+ serbisyo, 20,000+ naitalang makasaysayang outage, at 60+ kategorya. [7] Ito ay mga bilang ng pampublikong aggregate na saklaw, hindi sukatan ng isang partikular na quarter. Para sa Q3 brief na ito, walang pahayag ang SID Monitor tungkol sa hindi naobserbahang trend kada quarter, mga rate ng insidente, o pagbabago sa performance.

Hindi layunin ang mas maraming alerto. Layunin ang mas matibay na pinagbatayang mga pasya: gamitin ang mga crowd signal upang tukuyin ang posibleng epekto sa user, patunayan ang mga ito nang independiyente, panatilihing nakikita ang kawalan ng katiyakan, at suportahan ang pagbangon at mas resilient na disenyo ng serbisyo.

Mga sanggunian

1. Google SRE: Monitoring Distributed Systems — Google Site Reliability Engineering
2. Detecting a Crisis: Comparison of Self-Reported vs. Automated Internet Outage Measuring Methods — Gesellschaft für Informatik
3. NIST SP 800-61r3: Incident Response Recommendations and Considerations for Cyber Risk Management — National Institute of Standards and Technology
4. CISA Federal Government Cybersecurity Incident and Vulnerability Response Playbooks — Cybersecurity and Infrastructure Security Agency
5. Google Cloud: Create Public Uptime Checks — Google Cloud
6. IODA: Internet Outage Detection and Analysis — Georgia Tech IODA
7. Status Is Down — Status Is Down

Ipagpatuloy ang pagtuklas