Hvad red teaming ikke kan svare på

En vellykket red team-øvelse giver et stærkt indtryk, og netop derfor kan resultatet blive læst bredere, end det kan bære. Grænserne hviler på øvelsens natur: den følger ét eller få scenarier, gennemføres i en bestemt periode under aftalte regler og viser, hvordan forsvaret håndterede netop det forløb. Den er ikke en samlet måling af organisationens sikkerhed.

For en CISO er det vigtigt at kende grænserne, før øvelsen bestilles. Ellers kan ledelsen forvente svar, som øvelsen aldrig kunne give, og et godt eller dårligt resultat kan føre til beslutninger, der ikke har dækning.

Ét scenarie er ikke alle scenarier

En øvelse tager udgangspunkt i en bestemt modstander med et bestemt mål. Holdet vælger én eller få veje dertil. Hvis forsvaret stoppede holdet, er det et godt tegn for det scenarie. Det siger ikke, at andre modstandere med andre mål ville blive stoppet på samme måde.

Omvendt betyder det heller ikke, at alle veje står åbne, fordi holdet nåede målet. Det viser, at der fandtes mindst én vej under de givne forhold. Hvor mange andre der findes, ved I ikke. → Scenarievalg

Det har betydning for, hvordan scenarierne vælges. Hvis ledelsen er mest bekymret for et bestemt trusselsbillede, skal det afspejles i scenariet. En øvelse, der afprøver et bekvemt scenarie, giver et svar på et spørgsmål, som ingen har stillet. Og hvis flere scenarier er lige vigtige, må I enten prioritere eller planlægge flere øvelser over tid.

Øvelsen er ikke en svaghedsoversigt

En red team-rapport er ikke en liste over alle svagheder i de systemer, holdet berørte. Holdet leder efter en vej til målet, ikke efter fuld dækning. Svagheder, holdet ikke havde brug for, bliver ikke nødvendigvis undersøgt, og nogle bliver måske slet ikke set. Holdet kan notere bemærkelsesværdige forhold, det støder på undervejs, men det sker uden systematik, og listen er ikke et udtryk for, hvad der faktisk findes.

Hvis organisationen har brug for et overblik over svagheder i et bestemt system, er en penetrationstest det bedre værktøj. Mere om forskellen og om pentest i almindelighed står på penetrationtest.dk. → Det, red teaming afprøver

Tidspunktet påvirker resultatet

En øvelse gennemføres i en bestemt periode. Bemandingen i overvågningen, de igangværende projekter og den aktuelle konfiguration af systemerne er alle en del af billedet. Et skift af SOC-leverandør, en ny analytiker eller en ændring i et regelsæt kan ændre resultatet markant.

Det samme gælder modstanderne. Trusselsbilledet ændrer sig, og et scenarie, der var relevant, da øvelsen blev planlagt, kan være mindre relevant et stykke tid efter. Opdateret trusselsefterretning er derfor en del af grundlaget for at vurdere, om et gammelt resultat stadig siger noget.

Derfor bliver resultatet hurtigt historisk. En øvelse, der viste stærk opdagelse for et år siden, siger ikke meget om forsvaret i dag, hvis vigtige dele er ændret i mellemtiden. → Måling over tid

Reglerne gør øvelsen anderledes end virkeligheden

En øvelse foregår inden for rules of engagement. Holdet undgår at forstyrre driften, holder sig fra fredede områder og stopper, når white team beder om det. En virkelig modstander har ingen af de begrænsninger.

Det betyder, at øvelsen på nogle punkter er mildere end virkeligheden. Den kan ikke vise, hvad der sker, hvis en modstander er villig til at ødelægge systemer, presse medarbejdere eller angribe på det mest ubelejlige tidspunkt. Leg-ups fra white team kan også betyde, at holdet når dele af forløbet, som det ellers ikke ville have nået, og at forsvarets indsats mod de tidlige trin ikke blev afprøvet fuldt ud. Omvendt kan holdet have haft mindre tid end en tålmodig modstander, og det kan få forsvaret til at se bedre ud, end det er. → Leg-up

Opdagelse er ikke det samme som modstandskraft

Øvelsen kan vise, om et angreb blev opdaget og stoppet. Den viser ikke nødvendigvis, hvordan organisationen ville have håndteret konsekvenserne af et angreb, der lykkedes: genetablering, kommunikation med kunder, samarbejde med myndigheder og forretningens evne til at fortsætte.

Hvis ledelsen vil vide, om organisationen kan komme igen efter et alvorligt angreb, skal red teaming suppleres med beredskabsøvelser og afprøvning af genetablering.

En øvelse kan også slutte, når holdet når målet eller bliver stoppet. Det, der ville være sket bagefter, fx hvordan krisestaben ville have prioriteret, eller hvordan kunder og samarbejdspartnere ville være blevet informeret, bliver ikke afprøvet. Den del kan med fordel drøftes i en tabletop med øvelsens forløb som oplæg. → Cyberresiliens

Ingen bestået eller dumpet

Den Europæiske Centralbank skriver om TIBER-EU, at resultaterne ikke er et spørgsmål om bestået eller dumpet, men skal vise styrker og svagheder og hjælpe til et højere modenhedsniveau. Den tilgang er nyttig uden for de regulerede rammer også.

En red team-øvelse er ikke en certificering. Den kan ikke bruges som dokumentation for, at organisationen overholder en regulering, og den lover ikke noget om fremtiden. Den er et grundlag for læring, ikke et stempel. Brug den derfor sammen med de øvrige kilder til viden om forsvaret, fx revision, pentest og egne hændelser.

Det gælder også over for kunder og samarbejdspartnere. Hvis en kunde spørger til jeres sikkerhed, kan det være fristende at henvise til en vellykket øvelse. Beskriv i så fald, hvad øvelsen omfattede, og undlad at give indtryk af en bredere godkendelse. → Misforståede resultater

Det skal I lade være med

At bruge resultatet som garanti · et stoppet angreb siger ikke, at det næste også bliver stoppet.
At læse en mislykket øvelse som et nederlag · det handler om, hvad I lærer.
At erstatte penetrationstest med red teaming · de to svarer på forskellige spørgsmål.
At præsentere resultatet uden forbehold for ledelsen · scenarie, tidspunkt og regler skal fremgå.
At bruge et gammelt resultat som aktuelt bevis · forsvaret ændrer sig.
At ignorere de veje, holdet ikke prøvede · de er stadig ukendte.

Hvad kan og ikke kan konkluderes

En red team-øvelse kan vise, hvordan forsvaret håndterede et bestemt scenarie under bestemte regler på et bestemt tidspunkt, og hvor det fungerede eller svigtede. Den kan ikke vise, at organisationen er sikker, at alle veje er lukket, eller at forsvaret vil håndtere et andet scenarie lige så godt. Den er ikke en vurdering af modstandskraft efter et vellykket angreb, og den er ikke dokumentation for overholdelse af regler.