Lessons learned efter øvelsen: mødet, der gør fund til læring

Replay viser, hvad holdet gjorde, og hvad forsvaret så. Det svarer ikke på, hvordan resten af organisationen fungerede: hvem der blev ringet op, hvem der traf beslutninger, hvad der gik i stå mellem afdelingerne, og om beredskabet virkede, som det står beskrevet. Lessons learned-mødet hviler på netop det skifte i fokus, fra angrebets skridt til organisationens reaktion, og på en fast form, der gør, at konklusionerne bliver til ændringer.

Mødet er det sted, hvor øvelsen bliver organisationens og ikke kun sikkerhedsfunktionens.

Hvad mødet skal, og hvad replay allerede har gjort

Replay er en fælles gennemgang af forløbet for holdet og forsvaret. Den er detaljeret og teknisk og holdes i en lille kreds. → Replay

Lessons learned-mødet holdes bagefter og har et andet formål. Her er spørgsmålene: Hvad gjorde organisationen, da noget blev opdaget? Hvad virkede i eskalering, beslutninger og kommunikation? Hvad manglede? Og hvad lærte vi om selve måden, øvelsen blev planlagt og styret på? Holdets tekniske skridt er baggrund, ikke emne.

Tidspunktet følger af formålet. Mødet holdes efter replay, så alle kender forløbet, men før handlingsplanen er låst, så ændringerne kan skrives ind i den. Hvis øvelsen efterfølges af purple teaming, kan mødet ligge efter, så erfaringerne derfra også kommer med. Vent dog ikke så længe, at deltagerne har glemt, hvorfor de traf de beslutninger, de gjorde. Det er beslutningernes begrundelser, der er mødets råstof, og de huskes dårligere end handlingerne. Ved en længere øvelse kan det være en hjælp, at white team allerede undervejs noterer de beslutninger, der skal tages op.

DORA kræver, at finansielle virksomheder løbende indarbejder erfaringer fra TLPT og fra faktiske hændelser i deres vurdering af IKT-risici. Kravet gælder de regulerede test, men det beskriver godt, hvad mødet skal føre til: læring, der finder vej ind i den faste risikostyring.

Hvem der skal i rummet

Kredsen er bredere end ved replay, men skal stadig være lille nok til, at folk taler frit.

White team · som mødeleder og referent.
Repræsentanter for forsvaret · SOC, vagthavende og eventuelt SOC-leverandøren.
De, der traf beslutninger · beredskabsledelse og krisestab, hvis den blev aktiveret. → Krisestaben i øvelsen
Ejere af berørte processer · IT-drift, HR, facility og kommunikation efter behov.
Holdets leder · til at svare på spørgsmål, ikke til at præsentere.
Sponsor fra ledelsen · i hvert fald i den afsluttende del, hvor ændringer besluttes.

Medarbejdere, der blev en del af forløbet uden at have en rolle i forsvaret, hører ikke hjemme i mødet. Deres oplevelse samles i debriefingen.

Forberedelse

Mødet bliver bedre, hvis deltagerne har tænkt over spørgsmålene på forhånd. Send tre spørgsmål ud en uge før, og bed hver deltager svare skriftligt og kort:

Hvad fungerede i din del af reaktionen?
Hvor gik det i stå, og hvorfor?
Hvad ville du ændre, hvis det var en rigtig hændelse i morgen?

Svarene samles af white team og grupperes, før mødet holdes. Så bruges tiden på de emner, flere peger på, og ikke på den, der taler højest. Sammen med svarene sendes en kort tidslinje over organisationens reaktion: hvornår noget blev set, eskaleret, besluttet og kommunikeret. → Eskalering

Mødets gang

En dagsorden, der kan bruges som udgangspunkt:

Rammen · formål, scenarie og de vigtigste regler, kort og for alle.
Organisationens tidslinje · hvordan reaktionen forløb set udefra.
Det, der virkede · konkrete eksempler, før der tales om mangler.
Det, der gik i stå · grupperet efter emne, ikke efter afdeling.
Beredskabsplanen over for virkeligheden · blev planen fulgt, og passede den? → Beredskabsplanen i øvelsen
Øvelsen selv · planlægning, fortrolighed, stopregler og white teams styring.
Ændringer · hvad der skal ændres, og hvem der ejer det.

Punkt seks er let at glemme, fordi det handler om dem, der leder mødet. Men det er her, den næste øvelse bliver bedre. En mere udførlig gensidig evaluering mellem holdene kan holdes for sig. → Feedback mellem holdene

Tonen: læring uden skyld

Et lessons learned-møde virker kun, hvis deltagerne kan sige, hvad de faktisk gjorde og tænkte. Hvis mødet opleves som en eksamen, vil folk forsvare deres beslutninger i stedet for at forklare dem.

Mødelederen kan sætte tonen ved at begynde med det, der virkede, ved at spørge til forhold i stedet for personer og ved at afbryde, når en drøftelse bliver til placering af skyld. Det skal være tydeligt fra start, at referatet beskriver forløb og forhold, ikke enkeltpersoners præstation. Spørgsmålet “hvad gjorde det svært at handle?” åbner mere end “hvorfor handlede du ikke?”. Mønstrene bag de enkelte svar kan derefter tages med i arbejdet med årsagerne. → Rodårsager efter red teaming

Fra møde til rapport

NIST bruger betegnelsen after action report om et dokument med fund og anbefalinger fra en øvelse eller test. Efter mødet skrives en sådan kort rapport, der supplerer holdets og forsvarets rapporter med organisationens egne læringspunkter. Den skal rumme de konklusioner, mødet nåede, de ændringer, der blev besluttet, og hvem der ejer dem. Den skal ikke referere diskussionen ordret.

I TIBER-DK indgår erfaringer fra den indbyrdes feedback i den sammenfattende rapport. Uden for de regulerede rammer er pointen den samme: læringspunkterne skal stå et sted, hvor de bliver fundet igen. Ændringerne føres ind i handlingsplanen på lige fod med de tekniske fund, og forhold, der ikke kan ændres foreløbig, registreres som risici. → Handlingsplan efter red teaming · → Fra øvelse til risikoregister

Det skal I lade være med

At gentage replay med flere deltagere · mødet handler om organisationens reaktion.
At springe det, der virkede, over · det skal bevares lige så bevidst som det, der skal ændres.
At lade mødet blive en eksamen · så forsvarer folk sig i stedet for at forklare.
At glemme øvelsens egen styring · white team har også noget at lære.
At slutte uden ejere · en konklusion uden ejer er en iagttagelse.
At holde mødet for sent · hukommelsen om beslutningerne forsvinder hurtigt.

Hvad kan og ikke kan konkluderes

Mødet kan vise, hvordan organisationen reagerede i ét forløb, og hvor samarbejde, beslutninger og planer holdt eller svigtede. Det bygger på deltagernes erindring og kan ikke erstatte den tidslinje, data viser. Konklusioner om, hvordan organisationen ville reagere på en anden hændelse, skal drages forsigtigt. Mødet er også kun så godt som deltagernes åbenhed, og den afhænger af, hvordan tidligere møder er blevet brugt.

Tjekliste til mødet

☐ Er spørgsmålene sendt ud, og er svarene grupperet?
☐ Er organisationens tidslinje klar?
☐ Er beslutningstagere og procesejere inviteret?
☐ Er der afsat tid til øvelsens egen styring?
☐ Ender hver konklusion med en ejer?
☐ Skrives der en kort rapport med læringspunkter og ændringer?

Kilder

NIST CSRC Glossary, after action report: dokument med fund og anbefalinger fra en øvelse eller test (efter SP 800-84).
Forordning (EU) 2022/2554 (DORA): artikel 13, stk. 3, om erfaringer fra TLPT og hændelser i IKT-risikovurderingen.
Danmarks Nationalbank, TIBER-DK Implementation Document: erfaringer fra feedback indgår i Test Summary Report (s. 40).

Senest gennemgået: oktober 2026.