Når resultatet bliver læst forkert

Et resultat fra en red team-øvelse når ud til flere, der ikke var med: direktionen, bestyrelsen, afdelingsledere, leverandører og måske tilsynet. Hver af dem læser det med sit eget spørgsmål i hovedet, og resultatet bliver let forenklet til en overskrift, der siger mere eller mindre, end øvelsen kan bære. At undgå fejllæsningerne hviler på at kende dem, der ligger lige for, og at formulere resultatet, så de bliver svære at drage.

Grundreglen er enkel: øvelsen viser, hvad der skete i ét forløb under aftalte forhold. Alt, der går videre end det, er en fortolkning, som skal begrundes.

Hvorfor resultater bliver læst forkert

Nationalbanken skriver i implementeringsdokumentet for TIBER-DK, at testen er en læringsøvelse, og at testene er øjebliksbilleder af bestemte scenarier frem for samlede vurderinger. Den præcisering er nødvendig, fordi det modsatte ligger lige for. En øvelse har et forløb med en begyndelse og en slutning, og det er nærliggende at læse slutningen som en dom.

Fejllæsningerne kan opstå tre steder: når resultatet forkortes til et resumé, når det præsenteres for nogen, der ikke kender forudsætningerne, og når det bruges som argument i en anden sag, fx et budget eller en leverandørdrøftelse. Grænserne for, hvad en øvelse kan svare på, er beskrevet særskilt. Her handler det om de konkrete fejlslutninger. → Hvad red teaming ikke kan svare på

“Vi blev hacket”

Når holdet nåede målet, bliver det let til en fortælling om et nederlag. Men holdet blev bestilt til at forsøge, havde tilladelse, tid og måske hjælp fra white team undervejs. At det lykkedes, viser, at der fandtes mindst én vej under de forhold. Det er præcis den viden, øvelsen blev købt for.

Fejllæsningen har konsekvenser. Hvis ledelsen tror, at organisationen blev slået, kan reaktionen blive at lede efter en ansvarlig eller at bruge store beløb på det synlige frem for det, rapporten peger på. Den rigtige læsning er: hvor tidligt kunne forsvaret have grebet ind, og hvad skal der til for, at det sker næste gang? → Når målet nås tidligt

“Vi fangede dem”

Den modsatte fejllæsning er lige så nærliggende: forsvaret opdagede holdet, og derfor er alt i orden. Men en opdagelse ét sted siger ikke, at forsvaret ville have set en anden vej, og den siger ikke noget om de skridt, holdet tog, før det blev set. Hvis forsvaret greb ind sent i forløbet, kan en rigtig modstander have nået meget i den mellemliggende tid.

Hvis holdet slet ikke kom ind, er det heller ikke et bevis på, at det er umuligt. Det kan skyldes scenariet, tidsrammen eller reglerne. → Når holdet ikke kommer ind

Når skylden placeres

En tredje fejllæsning handler om personer og leverandører. “SOC’en fejlede”, “receptionen lukkede dem ind” eller “medarbejderen klikkede” er sætninger, der placerer ansvaret ét sted. Som forklaring er de for simple. Bag hvert sådant fund ligger forhold som regler, bemanding, uddannelse, arbejdsgange og forventninger, som organisationen selv har skabt.

Skyld er også dårligt for næste øvelse. Hvis forsvaret eller medarbejderne oplever, at et resultat bruges imod dem, vil de være mindre åbne ved replay og mindre villige til at melde mistanke næste gang. Formulér derfor fund om mennesker som fund om processer og roller. → Fund om mennesker i rapporten

“Vi er godkendt”

I de regulerede test for finanssektoren udsteder myndigheden en erklæring. DORA beskriver den som en bekræftelse af, at testen er gennemført i overensstemmelse med kravene. Det er en bekræftelse af processen, ikke af resultatet. Den siger ikke, at virksomheden er sikker, eller at fundene er rettet. → Attestation efter TLPT

Uden for de regulerede rammer findes der ingen erklæring, men fristelsen er den samme: at bruge en gennemført øvelse som bevis på sikkerhed over for kunder, revision eller bestyrelse. Beskriv i stedet, hvad øvelsen omfattede, hvornår den fandt sted, og hvordan resultatet følges op. Det er en stærkere oplysning end en påstand om sikkerhed, fordi den kan efterprøves.

“Bedre end sidst”

Når en organisation har gennemført flere øvelser, opstår ønsket om at sammenligne. Det er forståeligt, men to øvelser med forskellige scenarier, hold, regler og miljøer kan ikke stilles op som to målinger af samme ting. At det tog længere tid at nå målet denne gang, kan skyldes et bedre forsvar, men også et andet scenarie eller et mere forsigtigt hold. → Måling over tid

Tal fra en øvelse skal derfor altid ledsages af den forklaring, der gør dem forståelige. Et tal uden forklaring bliver læst som en karakter. → Nøgletal til ledelsen

Sådan forebygges fejllæsninger

Det meste kan forebygges, før resultatet forlader sikkerhedsfunktionen:

Sæt forventningen før øvelsen · fortæl ledelsen, hvad øvelsen kan og ikke kan svare på, inden den begynder.
Skriv resuméet selv · lad ikke andre forkorte rapporten for jer.
Begynd med spørgsmålet · gentag, hvad øvelsen skulle besvare, før resultatet præsenteres.
Nævn forudsætningerne · scenarie, periode, regler og eventuelle leg-ups.
Undgå dom-ord · skriv om forløb og læring, ikke om sejr og nederlag.
Hav ét budskab til andre · aftal, hvad der må siges uden for sikkerhedsfunktionen, og af hvem.

Det er også en god idé at teste resuméet på en kollega, der ikke var med i øvelsen. Hvis kollegaen kan gengive det med en dom i én sætning, er formuleringen ikke stram nok.

Hvis en fejllæsning alligevel har spredt sig, så ret den hurtigt og sagligt. Gå tilbage til den, der formulerede den, forklar forudsætningerne og tilbyd en bedre sætning, der kan bruges i stedet. Det er lettere at rette en overskrift i et referat end at rette det indtryk, ledelsen har dannet sig på grundlag af den. Hvis fejllæsningen har ramt bestemte personer eller en leverandør, skal rettelsen også nå dem. → Afrapportering til direktion og bestyrelse

Det skal I lade være med

At lade resultatet blive til en overskrift · formulér resuméet selv.
At præsentere et nået mål som et nederlag · det er den viden, øvelsen skulle give.
At præsentere en opdagelse som en garanti · andre veje er ikke afprøvet.
At pege på enkeltpersoner · fund handler om forhold.
At bruge en erklæring eller en gennemført øvelse som bevis på sikkerhed · den bekræfter processen.
At sammenligne tal mellem øvelser uden forklaring · forudsætningerne er forskellige.

Hvad kan og ikke kan konkluderes

En red team-øvelse kan vise, hvordan forsvaret og organisationen klarede ét forløb, og hvad der kan læres af det. Den kan ikke afsige en dom over organisationens sikkerhed, over forsvarets kvalitet som helhed eller over enkeltpersoner. Jo tættere formuleringen holder sig til forløbet, jo mindre plads er der til fejllæsninger.

Kilder

Danmarks Nationalbank, TIBER-DK Implementation Document: fodnote 8 om, at TIBER er en læringsøvelse, og at testene er øjebliksbilleder af bestemte scenarier frem for samlede vurderinger.
Forordning (EU) 2022/2554 (DORA): artikel 26, stk. 7, om erklæringen, der bekræfter, at testen er gennemført i overensstemmelse med kravene.

Senest gennemgået: oktober 2026.