Tid til opdagelse og tid til reaktion: målepunkter uden tomme tal

Tid er et af de mål, ledelsen spørger efter, når en red team-øvelse er slut. Hvor lang tid gik der, før forsvaret så noget, og hvor lang tid før det gjorde noget? Spørgsmålet er rimeligt, men et enkelt tal kan let blive misvisende. Et brugbart svar hviler på tre ting: et præcist startpunkt, et præcist slutpunkt og en ærlig beskrivelse af de forhold, der har påvirket tiden undervejs.

Forkortelserne og det, de lover

I fagsproget bruges betegnelserne MTTD og MTTR, gennemsnitlig tid til opdagelse og gennemsnitlig tid til reaktion eller genopretning. Det er driftsmål, som giver mening, når en organisation har mange hændelser at regne på. En øvelse giver ikke mange hændelser. Den giver et enkelt forløb, måske med en håndfuld skridt, der blev set eller ikke set.

Et gennemsnit over så få observationer siger meget lidt. Derfor er det bedre at tale om målte tidsrum i det konkrete forløb: hvor lang tid der gik fra et bestemt skridt til en bestemt reaktion. Det er mindre imponerende på et dias, men det kan forklares, og det kan bruges. → Opdagelse, eskalering og reaktion

Hvor uret starter

Det sværeste valg er startpunktet. Der er flere kandidater, og de giver vidt forskellige tal:

Holdets første handling · den første aktivitet mod organisationen, uanset om den kunne ses.
Første spor i organisationens systemer · det første tidspunkt, hvor noget faktisk blev registreret.
Det skridt, der betyder noget · fx det tidspunkt, hvor holdet fik adgang til et system tæt på målet.

Den første kandidat måler også tid, hvor intet var synligt, og blander dermed synlighed og opdagelse sammen. Den anden er mere retfærdig over for forsvaret, men kræver, at logningen kan dokumentere tidspunktet. Den tredje kan være den mest relevante for forretningen, fordi den svarer på, om forsvaret nåede at reagere, før noget alvorligt skete. Vælg på forhånd, og skriv valget i måleplanen.

Hvor uret stopper

Slutpunktet afhænger af, hvad der skal måles. Tid til opdagelse kan slutte, når en alarm blev rejst, eller når en person vurderede aktiviteten som mistænkelig. Tid til reaktion kan slutte, når en sag blev oprettet, når beslutningstageren fik besked, eller når en handling begrænsede holdet.

Mål gerne flere tidsrum i stedet for ét. Afstanden mellem alarm og vurdering fortæller noget om bemanding og prioritering. Afstanden mellem vurdering og beslutning fortæller noget om eskaleringen. Afstanden mellem beslutning og handling fortæller noget om mandater og adgang. Hvert af de tidsrum peger på sin egen forbedring. → Eskalering: fra alarm til beslutning

Tidsstempler, der kan holdes op mod hinanden

Tiderne kommer fra forskellige kilder: holdets logbog, overvågningssystemernes registreringer, sagsstyringen og white teams notater. Hvis urene går forskelligt, eller hvis nogle kilder bruger lokal tid og andre ikke, bliver sammenligningen usikker. NCSC i Storbritannien anbefaler i sin vejledning om logning, at alt logges med tidsstempler i UTC, og at logkilder synkroniseres mod en præcis tidskilde.

Aftal derfor før øvelsen, hvilken tidszone der bruges i logbogen, og hvordan holdets tidspunkter angives. Notér også, hvor præcist hvert tidspunkt er. Et klokkeslæt fra et system er mere præcist end en analytikers erindring om, at det var omkring frokost. → Holdets logbog

Forhold, der strækker eller forkorter tiden

Et tal uden forbehold kan være mere skadeligt end intet tal. Disse forhold bør fremgå ved siden af enhver måling:

Holdets tempo · et hold, der bevidst bevæger sig langsomt, giver forsvaret mere tid og færre spor at se.
Pauser og leg-ups · en pause stopper ikke forsvarets ur, og et skub fra white team ændrer forløbet. → Leg-up
Tidspunkt på døgnet · en aktivitet en fredag aften møder et andet forsvar end en tirsdag formiddag.
Tilfældige opdagelser · en medarbejder, der opdager noget af andre grunde, forkorter tiden uden at sige noget om overvågningen.
Kendskab til øvelsen · personer i forsvaret, der kender til øvelsen, påvirker begge retninger.

Forbeholdene er ikke undskyldninger. De er det, der gør det muligt for en læser at vurdere, om tallet siger noget om hverdagen. → Overvågning uden for arbejdstid

Når uret aldrig stopper

Nogle skridt bliver slet ikke opdaget, mens øvelsen står på. Det er fristende at udelade dem fra målingen eller at regne dem med, som om de blev opdaget ved afslutningen. Begge dele giver et forkert billede. Det første gør resultatet bedre, end det er. Det andet giver en tid, der i virkeligheden blot er længden af den aktive testperiode.

Skriv i stedet, at skridtet ikke blev opdaget inden for øvelsens varighed, og angiv, hvor lang perioden var. Et tænkt eksempel: i en øvelse hos en pensionskasse blev holdets adgang til en filserver aldrig set, mens forsøget på at nå betalingssystemet blev opdaget næste morgen. De to oplysninger hører sammen. Den ene viser en blind vinkel, den anden en kæde, der virkede, men langsomt. → Blinde vinkler

Hvis blue team efter afsløringen finder spor af skridtet i data, der blev gemt undervejs, er det også værd at notere. Det viser, at synligheden var der, men at ingen nåede at kigge.

Tal til ledelsen

Ledelsen har brug for få tal, der kan forklares i en sætning. Et godt mål kan være: “Fra holdet fik adgang til økonomisystemet, gik der et bestemt tidsrum, før en alarm blev vurderet, og yderligere et tidsrum, før adgangen blev lukket.” Sammen med en kort forklaring af, hvad der forsinkede kæden, giver det et grundlag for at prioritere.

Undgå at sammenligne med tal fra andre organisationer eller fra branchen. Scenarier, mål, systemer og bemanding er forskellige, og et tal fra en anden sammenhæng kan ikke oversættes. Sammenligning med jeres egne tidligere øvelser er mere relevant, men kun når scenarierne ligner hinanden. → Måling over tid

Det skal I lade være med

At kalde et enkelt forløb for et gennemsnit · det er en måling, ikke en statistik.
At vælge startpunkt efter resultatet · det skal stå i måleplanen, før øvelsen begynder.
At slå flere tidsrum sammen til ét · så forsvinder forklaringen på, hvor tiden gik.
At blande urene · uden fælles tidsangivelse kan tiderne ikke holdes op mod hinanden.
At bruge tallet uden forbehold · tempo, pauser og tidspunkt hører med.
At sammenligne med andre organisationer · forudsætningerne er ikke de samme.

Hvad kan og ikke kan konkluderes

En måling af tid kan vise, hvor længe et bestemt forløb gik uopdaget, og hvor i kæden tiden blev brugt. Den kan ikke vise, hvor hurtigt forsvaret generelt opdager angreb, og den kan ikke bruges som et mål for, om organisationen er sikker nok. Tallet er et udgangspunkt for spørgsmål, ikke et svar.