Måling over tid: sammenlign øvelser uden at snyde jer selv

Efter den anden eller tredje red team-øvelse kommer spørgsmålet: er vi blevet bedre? Det er et rimeligt spørgsmål, men svaret kan ikke læses direkte af tallene, fordi to øvelser med forskellige scenarier, forskellige hold og forskellige forudsætninger måler forskellige ting. En ærlig sammenligning hviler på faste definitioner, sammenlignelige målepunkter og en beskrivelse af alt det, der har ændret sig, så udviklingen kan vurderes og ikke bare aflæses.

For CISO’en er det vigtigt at have svaret klar, før ledelsen stiller spørgsmålet. Ellers ender en kortere opdagelsestid i år med at blive præsenteret som fremgang, selv om forklaringen er, at scenariet var lettere at se.

Hvorfor tallene ikke kan stilles op direkte

Nationalbankens implementeringsdokument for TIBER-DK skriver, at en TIBER-test er en læringsøvelse og et øjebliksbillede af bestemte scenarier, ikke en udtømmende vurdering. Det gælder enhver red team-øvelse. Et øjebliksbillede kan sammenlignes med et andet, men kun hvis det er klart, hvad der er fotograferet.

Flere forhold kan ændre sig mellem to øvelser:

Scenariet · en anden modstander, en anden indgang og et andet mål giver andre spor.
Holdet · et nyt hold arbejder anderledes, og selv det samme hold lærer organisationen at kende.
Forudsætningerne · leg-ups, udgangspunkt i et assumed breach-scenarie og fredede områder ændrer, hvad der kan opdages.
Organisationen · nye systemer, ny leverandør, ny bemanding i SOC’en og ændrede processer.
Forsvarets viden · efter en øvelse ved blue team, at der øves, og det påvirker årvågenheden.

Hver af dem kan forklare en forskel i tallene. Tilsammen kan de forklare det hele. → Scenarievalg

Det, der kan sammenlignes

Selv om scenarierne skifter, er der målepunkter, der giver mening på tværs, fordi de handler om processen og ikke om det konkrete angreb.

Eskalering · nåede en observation frem til den, der skulle beslutte, og fulgte forløbet den aftalte vej? → Eskalering
Beslutninger · var det klart, hvem der havde mandat til at inddæmme, og blev mandatet brugt?
Samarbejde med leverandører · blev eksterne parter inddraget efter aftalen?
Dokumentation · kunne forsvaret bagefter finde de data, der viste forløbet?
Opfølgning · blev handlingerne fra sidste øvelse gennemført, og kan det ses i denne?

Den sidste er måske den mest brugbare. Hvis forrige øvelse viste en bestemt blind vinkel, og den er lukket, kan det undersøges direkte, uanset om scenariet er nyt. → Opfølgning efter øvelsen

Faste definitioner

Tid til opdagelse og tid til reaktion lyder enkle, men kan defineres på mange måder. Regnes fra holdets første handling eller fra den handling, der burde have været set? Til første alarm eller til den første person, der forstod, at det var et angreb? Hvis definitionen skifter mellem øvelserne, skifter tallet også.

Skriv derfor definitionerne ned i et kort målebilag første gang og brug det samme bilag hver gang. Hvis en definition ændres, fordi den første viste sig at være upraktisk, beregnes de gamle tal om, eller ændringen noteres tydeligt. → Tid til opdagelse og tid til reaktion

Målebilaget bør også stå i aftalen med leverandøren, så holdet ved, hvad dets logbog skal kunne understøtte.

Samme hold eller et nyt

Et tilbagevendende valg er, om den næste øvelse skal laves af samme leverandør. Samme hold giver mere sammenlignelige forudsætninger: samme arbejdsform, samme logbog og samme forståelse af målebilaget. Til gengæld kender holdet efterhånden organisationen, og det kan gøre øvelsen lettere for holdet og dermed sværere at sammenligne med en modstander, der starter uden den viden.

Et nyt hold giver friske øjne og måske andre fund, men en større del af forskellen i resultatet skyldes så holdet og ikke forsvaret. Der er ikke et rigtigt svar. Det vigtige er, at valget træffes bevidst og noteres, så ingen bagefter tolker en forskel som fremgang eller tilbagegang uden at kende årsagen. → Valg af leverandør til red teaming

Faste kontrolpunkter mellem de store øvelser

En måde at skabe sammenlignelighed på er at afprøve de samme få ting med jævne mellemrum, uden for de store øvelser. Det kan være mindre, åbne øvelser, hvor forsvaret ved, at der testes, og hvor formålet er at se, om en bestemt type aktivitet bliver set og eskaleret.

Fordelen er, at forudsætningerne er de samme hver gang. Ulempen er, at det ikke er en realistisk øvelse, og at forsvaret kan lære at genkende netop de kontroller. Brug resultaterne som supplement til red teaming, ikke som erstatning. → Små, hyppige kontrolløvelser

Kontekst skal følge med tallet

Når et tal fra en øvelse sammenlignes med et tal fra en tidligere, skal konteksten stå ved siden af. Et kort afsnit er nok:

☐ Hvilke scenarier blev afprøvet i hver øvelse?
☐ Var det samme hold eller den samme leverandør?
☐ Hvilke leg-ups og hvilket udgangspunkt fik holdet?
☐ Hvad har ændret sig i forsvaret siden sidst?
☐ Bruges de samme definitioner som sidst?
☐ Hvilke punkter fra sidste handlingsplan er gennemført?

Hvis svarene viser, at forudsætningerne er meget forskellige, er den ærlige konklusion, at tallene ikke kan sammenlignes. Det er også en konklusion, og den er mere værd end en kurve, der ikke betyder noget.

Få målinger er ikke en tendens

Med to eller tre øvelser over nogle år er der ikke datagrundlag til at tale om en tendens. Det kan være fristende at tegne en kurve, fordi ledelsen er vant til at se udvikling vist sådan. Men to punkter danner altid en linje, uanset om der er en sammenhæng.

Fortæl i stedet, hvad der konkret er blevet bedre, og hvordan det kan ses. Fx at en type observation, der sidste gang blev liggende, denne gang blev eskaleret til vagthavende og videre til beslutning. Det er et konkret og efterprøveligt udsagn. → Nøgletal til ledelsen

Det skal I lade være med

At sammenligne tal fra forskellige scenarier uden forbehold · forskellen kan skyldes scenariet, ikke forsvaret.
At ændre definitioner uden at sige det · så måler tallet noget andet end sidst.
At glemme, at forsvaret nu ved, der øves · årvågenheden påvirker resultatet.
At vælge lettere scenarier for at vise fremgang · det snyder kun organisationen selv.
At tegne en tendens af to målinger · det er en linje, ikke en udvikling.
At lade konteksten blive i rapporten · den skal stå ved siden af tallet, hvor det bruges.

Hvad kan og ikke kan konkluderes

Gentagne øvelser kan vise, om bestemte svagheder er udbedret, og om eskalering, beslutning og samarbejde fungerer bedre end sidst. De kan ikke vise en generel forbedring af forsvaret, fordi hver øvelse kun dækker sine egne scenarier. Og de kan ikke sammenlignes med andre organisationers øvelser, fordi forudsætningerne dér er ukendte.

Kilder

Danmarks Nationalbank, TIBER-DK Implementation Document: TIBER-test som læringsøvelse og øjebliksbillede af bestemte scenarier frem for en udtømmende vurdering.

Senest gennemgået: oktober 2026.