Feedback mellem holdene: også red team skal lære

Efter en red team-øvelse er det som regel forsvaret, anbefalingerne retter sig mod. Men holdet, white team og en eventuel leverandør af trusselsefterretning har også gjort ting, der kunne gøres bedre, og det er kun de andre parter, der kan fortælle dem det. Den gensidige feedback hviler på, at alle parter evaluerer hinanden og processen skriftligt efter en fast form, før de mødes, og at resultatet bruges, når næste øvelse planlægges og næste leverandør vælges.

Feedbacken er altså ikke en høflighedsrunde. Den er det eneste sted, hvor kvaliteten af selve øvelsen bliver målt.

Hvorfor feedback skal gå begge veje

En øvelse er kun så god som dens realisme, dens styring og dens rapportering. Forsvaret ved, om holdets adfærd lignede noget, de kunne forvente fra en rigtig modstander. White team ved, om holdet kommunikerede klart og holdt sig inden for rammerne. Holdet ved, om white team gav svar i tide, og om scope og regler gjorde det muligt at afprøve det, øvelsen skulle afprøve.

Hvis kun forsvaret evalueres, bliver det samme hold, de samme regler og den samme styring brugt igen, uden at nogen ved, om de var gode nok. → Modstandersimulering

Hvis øvelsen byggede på trusselsefterretning fra en særskilt leverandør, hører den leverandør også med. Holdet kan fortælle, om scenarierne var til at omsætte til en plan, og om oplysningerne var præcise nok. Forsvaret og white team kan fortælle, om scenarierne ramte det, organisationen faktisk frygter. Uden den feedback ved leverandøren kun, at rapporten blev modtaget, ikke om den blev brugt.

Hvad de regulerede rammer gør

De tekniske reguleringsstandarder for TLPT kræver, at kontrolteamet, det blå team, testerne og formidlerne af trusselsefterretninger giver hinanden indbyrdes feedback om processen, når gennemspilningen og purple teaming er afsluttet. Testlederne fra myndigheden kan også give feedback.

Nationalbanken har i TIBER-DK gjort det til et fast forløb med en skriftlig rapport og et fysisk møde. Ifølge implementeringsdokumentet afleverer parterne feedback via kontrolteamet, Nationalbankens TIBER Cyber Team samler en konsolideret version før mødet, og mødet har ikke noget referat. Myndigheden kan dele resultatet i anonymiseret form, så erfaringerne kan forbedre rammen. Formen kan lånes til frivillige øvelser, også uden en myndighed i rummet.

Hvad forsvaret kan fortælle holdet

Forsvaret har set holdets spor fra den anden side og kan give feedback, som holdet ikke kan få andre steder:

Realisme · lignede adfærden det, de modstandere, scenariet byggede på, ville gøre?
Synlighed · var der skridt, der var unødigt synlige eller unødigt skjulte i forhold til scenariet?
Rapporten · kunne forsvaret genkende sit eget forløb i holdets beskrivelse?
Tonen · blev forsvarets arbejde beskrevet sagligt, også hvor det ikke lykkedes?

Feedback om realisme er særlig nyttig, hvis øvelsen byggede på trusselsefterretning. Hvis forsvaret mener, at holdet afveg fra scenariet, er det en drøftelse værd med både holdet og leverandøren af efterretningen. → Trusselsefterretning

Hvad holdet kan fortælle forsvaret og white team

Holdet kan omvendt fortælle, hvad der gjorde det svært for det. Det er ikke det samme som fundene i rapporten. Det er holdets oplevelse af forsvaret som modstander: hvor det mærkede, at det var tæt på at blive set, hvor forsvaret reagerede, så holdet måtte ændre plan, og hvilke tiltag det ville frygte mest som rigtig modstander.

Over for white team kan holdet give feedback på styringen:

Svartider · fik holdet beslutninger i tide, når der skulle tages stilling undervejs?
Leg-ups · kom de på det rette tidspunkt, og var de tilstrækkelige? → Leg-up
Scope og regler · var der grænser, der gjorde det umuligt at afprøve scenariet som planlagt?
Forberedelse · manglede der oplysninger eller tilladelser, da øvelsen startede?

White team bør tage imod den feedback med samme åbenhed, som det forventer af forsvaret. → White team

Formen

Feedback, der gives mundtligt i et fælles møde, bliver let høflig og generel. Bed derfor hver part om at skrive sin feedback til de andre på forhånd efter samme skabelon, fx med hvad der virkede, hvad der bør ændres, og hvad der bør bevares til næste gang. White team samler svarene og deler en samlet version med alle parter før mødet.

Mødet bruges til at drøfte de punkter, hvor parterne ser forskelligt på det. Det skal ikke handle om at forsvare sig. Overvej, om der skal være et referat. Uden referat kan parterne tale mere frit; med referat bliver beslutningerne lettere at finde igen. Et kompromis er at skrive konklusioner ned, men ikke diskussionen. Feedbackmødet kan holdes særskilt eller som en del af det bredere møde om organisationens læring. → Lessons learned efter øvelsen

Feedbacken bruges

Feedbacken er grundlag for tre beslutninger. Den første er, om samme hold eller leverandør skal bruges igen, og hvad der i så fald skal ændres i aftalen. Den anden er, hvad white team skal gøre anderledes i planlægning og styring. Den tredje er, hvad der skal med i rammerne for næste øvelse: scope, regler, tidsplan og rapportkrav. → Valg af red team-leverandør · → Næste øvelse

Gem den samlede feedback sammen med øvelsens øvrige dokumentation, så den kan findes, når næste øvelse planlægges.

Har organisationen sit eget interne red team, er feedbacken endnu vigtigere. Et internt hold møder det samme forsvar igen og igen og risikerer at blive forudsigeligt eller at undgå de områder, hvor det tidligere er blevet set. Feedback fra forsvaret og white team efter hver øvelse er en måde at holde holdet skarpt på, og den kan bruges i holdets egen plan for udvikling.

Det skal I lade være med

At evaluere kun forsvaret · holdets og white teams indsats afgør også kvaliteten.
At holde feedback mundtlig og fælles · skriftlige input på forhånd giver mere ærlige svar.
At gøre feedback til en karakterbog over personer · den handler om roller og proces.
At afvise holdets feedback om styringen · white team har også noget at lære.
At lade feedbacken ligge · den skal bruges i næste leverandørvalg og næste plan.

Hvad kan og ikke kan konkluderes

Gensidig feedback kan vise, hvordan parterne oplevede realisme, styring og samarbejde i én øvelse. Den er subjektiv og bør vejes op mod tidslinjen og rapporterne. Feedback fra én øvelse er heller ikke nok til at vurdere en leverandør; flere øvelser giver et sikrere billede. Det, feedbacken kan, er at pege på, hvad der skal spørges ind til næste gang.

Tjekliste til feedbacken

☐ Skriver alle parter feedback til hinanden efter samme skabelon?
☐ Er feedbacken samlet og delt før mødet?
☐ Er det besluttet, hvordan mødet dokumenteres?
☐ Er feedback om white teams styring taget med?
☐ Er feedbacken gemt, så den kan bruges ved næste øvelse?

Kilder

Kommissionens delegerede forordning (EU) 2025/1190: artikel 12, stk. 6, om indbyrdes feedback mellem kontrolteam, blåt team, testere og formidlere af trusselsefterretninger.
Danmarks Nationalbank, TIBER-DK Implementation Document: 360˚ Feedback Report og 360˚ Feedback Meeting (s. 42).

Senest gennemgået: oktober 2026.