Sikkerhedsværktøjernes værdi: hvad øvelsen siger om investeringen

Efter en red team-øvelse, hvor holdet kom langt uden at blive set, kommer spørgsmålet hurtigt fra ledelsen: virker de værktøjer, vi har betalt for? Svaret er ikke nødvendigvis et ja eller nej om selve produktet. Øvelsen afprøver værktøjerne, som de er udrullet, sat op og brugt i organisationen, og værdien skal derfor vurderes ud fra fire led: dækning, opsætning, drift og reaktion. Først når de fire er adskilt, kan det afgøres, om problemet er værktøjet, eller om det er det, der omgiver det.

For CISO’en er det et vigtigt skel. En beslutning om at skifte værktøj, der bygger på en misforstået øvelse, kan koste meget og ændre lidt.

Det, øvelsen faktisk måler

Et sikkerhedsværktøj bidrager kun til forsvaret, hvis fire betingelser er opfyldt på samme tid.

Dækning · værktøjet er installeret eller tilsluttet de steder, hvor holdet var aktivt.
Opsætning · det er sat op til at registrere og reagere på den type aktivitet, der fandt sted.
Drift · det kører, er opdateret, og dets data når frem til dem, der skal se dem.
Reaktion · nogen ser det, værktøjet melder, og handler på det.

Hvis holdet gik ubemærket forbi, er det et af de fire led, der svigtede. Øvelsen kan ikke uden videre vise, at værktøjet i sig selv er uegnet, fordi det kræver, at de tre andre led var i orden. → Detektionsdækning

Dækning: et led, der kan blive overset

Det er almindeligt, at et værktøj er købt til hele organisationen, men kun er udrullet på en del af den. Servere, der blev sat op før værktøjet, systemer hos en driftsleverandør, maskiner i et datterselskab eller miljøer i skyen kan stå uden. Øvelsen finder sådanne huller, fordi en modstander, også en simuleret, søger efter steder, hvor forsvaret er svagest. → Blinde vinkler

Spørgsmålet til organisationen er ikke, om værktøjet virker, men om organisationen ved, hvor det er. En opdateret oversigt over dækningen kan være den første og enkleste forbedring efter en øvelse. Den skal også have en ejer, så den ikke forælder igen.

Opsætning og drift

Værktøjer kan indstilles til at være mere eller mindre opmærksomme, og nogle har funktioner, der er slået fra fra start. Hvis øvelsen viser, at værktøjet registrerede aktiviteten, men ikke vurderede den som alvorlig, er det et spørgsmål om opsætning, ikke om produkt.

Drift handler om, at værktøjet kører, er opdateret og sender data videre. Et værktøj, der er stoppet på en maskine, eller som ikke er opdateret, giver en falsk tryghed. Øvelsen kan afsløre det, men den skal fortolkes sammen med driftens egne oplysninger.

Sikkerhedsfunktionen skal ikke selv kunne opsætningen i detaljer. Den skal kunne stille spørgsmålene: hvem ejer opsætningen, hvornår blev den sidst gennemgået, og hvem får besked, hvis værktøjet holder op med at virke?

Reaktion: værktøjet melder, men ingen hører det

Det sidste led er menneskeligt. Et værktøj, der udløser en alarm, som ingen ser, eller som bliver lukket uden undersøgelse, har gjort sit arbejde, men forsvaret har ikke. Det er et fund om bemanding, prioritering og proces, og det løses ikke ved at købe et nyt værktøj. → Oversete alarmer

Den fælles tidslinje fra øvelsen viser, om værktøjet meldte noget, og hvad der skete bagefter. Uden den er det let at give værktøjet skylden for noget, der skete længere nede i kæden. → Tidslinjen for red og blue team

Samtalen med leverandøren

Når øvelsen peger på et værktøj, er det naturligt at tage det op med leverandøren. Samtalen bliver mere frugtbar, hvis organisationen har sorteret fundene efter de fire led og kan vise, hvad der blev registreret, og hvad der ikke gjorde. Leverandøren kan måske forklare, om aktiviteten burde være set med den nuværende opsætning, og hvad det vil kræve at se den.

Vær opmærksom på, hvad der deles. Holdets rapport er fortrolig, og leverandøren har kun brug for de dele, der handler om værktøjet. Hvis overvågningen også ligger hos leverandøren, er der et ekstra lag: fejlen kan ligge i leverandørens drift eller reaktion og ikke i produktet. → SOC-leverandøren og øvelsen

Når det er tid til at skifte

Nogle gange viser analysen, at dækning, opsætning, drift og reaktion var i orden, og at værktøjet alligevel ikke så noget, eller at det ikke kan sættes op til de behov, øvelsen afslørede. Så er der et grundlag for at overveje et andet værktøj eller et supplement. Den beslutning skal stadig bygge på mere end én øvelse, fordi øvelsen kun afprøvede bestemte scenarier.

Det er også værd at spørge, hvad et nyt værktøj ville kræve af de tre andre led. Et skifte flytter ikke automatisk dækning, opsætning og bemanding med, og overgangen kan i sig selv skabe nye huller. → Fra øvelse til investeringsbeslutning

Forbered vurderingen, før øvelsen begynder

Hvis ledelsen forventer et svar om værktøjerne, skal det med i planlægningen. Ellers mangler de oplysninger, der skal til for at skelne mellem de fire led, når rapporten kommer.

☐ Er det skrevet ind i formålet, at øvelsen også skal belyse værktøjernes bidrag?
☐ Findes der en oversigt over, hvor værktøjerne er udrullet, fra før øvelsen starter?
☐ Er det aftalt, at holdet i logbogen noterer, hvor det var aktivt, så dækningen kan sammenholdes?
☐ Kan driften bagefter dokumentere, om værktøjerne kørte i hele perioden?
☐ Er det aftalt med en eventuel leverandør, hvilke data den bidrager med?

Med de svar på plads kan rapporten sige noget præcist om værdien. Uden dem bliver vurderingen et skøn. → Formålet med øvelsen

Det skal I lade være med

At konkludere, at et værktøj ikke virker, ud fra én øvelse · fejlen kan ligge i dækning, opsætning eller reaktion.
At købe nyt, før dækningen er kortlagt · det nye værktøj kan ende med samme huller.
At glemme driftens oplysninger · et stoppet værktøj ser ud som et dårligt værktøj.
At give værktøjet skylden for oversete alarmer · det er et fund om bemanding og proces.
At dele hele rapporten med leverandøren · del kun det, der handler om værktøjet.
At bede holdet om at undgå bestemte værktøjer for at få et pænere resultat · så måler øvelsen ikke længere forsvaret.

Hvad kan og ikke kan konkluderes

En red team-øvelse kan vise, om sikkerhedsværktøjerne bidrog til at opdage og stoppe et bestemt forløb, og hvilket af de fire led der svigtede, hvis de ikke gjorde. Den kan ikke vise, at et produkt er bedre eller dårligere end et andet, og den kan ikke vurdere værktøjets værdi i scenarier, der ikke blev afprøvet. En investeringsbeslutning bør derfor bygge på øvelsen sammen med andre kilder.

Senest gennemgået: oktober 2026.