MITRE ATT&CK Evaluations: hvad produkttestene siger, og hvad de ikke siger om jeres forsvar

Når en leverandør af overvågning eller endpointbeskyttelse præsenterer sit produkt, kan der komme en henvisning til resultater fra MITRE ATT&CK Evaluations. Spørgsmålet for CISO’en er, hvad de resultater siger om det forsvar, organisationen selv har. Svaret hviler på det, MITRE skriver om sine egne test: de viser, hvad et produkt gjorde mod bestemte, efterlignede modstandere i et standardiseret testmiljø, og de udpeger ingen vinder.

Resultaterne kan derfor bruges som et udgangspunkt for spørgsmål til leverandøren. De kan ikke fortælle, om jeres egen opsætning, jeres SOC og jeres eskalering opdager og standser en modstander. Det er det spørgsmål, en red team-øvelse i jeres eget miljø stiller.

Hvad testene er

MITRE beskriver ATT&CK Evaluations som en uafhængig metode, der bygger på vidensbasen ATT&CK og afprøver sikkerhedsprodukter mod adfærd, der er kendt fra rigtige modstandere. Hver runde efterligner udvalgte modstandere. Den seneste offentliggjorte runde, Enterprise 2025, omfattede ifølge MITRE social engineering og misbrug af identiteter samt statsstøttet spionage på tværs af Windows, Linux og cloud.

Forløbet er delt mellem flere hold hos MITRE. Et hold for trusselsefterretning vælger modstanderne og beskriver deres adfærd, et udviklingshold omsætter beskrivelsen til et gennemførligt angrebsforløb, et hold fastlægger, hvad et velkonfigureret forsvar burde opdage, og et udførelseshold gennemfører testen sammen med leverandøren. MITRE offentliggør metoden og resultaterne, og ifølge MITRE kan resultaterne fra alle runder siden 2018 findes med fordeling på teknikker. Det gør det muligt for en CISO selv at slå op, hvad en leverandør henviser til, i stedet for at nøjes med et udsnit i en præsentation.

Det, MITRE selv siger om resultaterne

MITRE er usædvanligt tydelig om, hvad testene ikke er. Ifølge MITRE er de ikke en rangliste, ikke en certificering eller anbefaling og ikke en konkurrence, der kårer vindere. Organisationer har forskellige trusselsbilleder, infrastrukturer og behov, og derfor findes der efter MITRE’s opfattelse ingen enkelt måde at rangordne produkterne på.

MITRE giver også en række forbehold, som er nyttige at have med i en samtale med leverandøren:

Udgangspunkt, ikke dom · testen foregår i et standardiseret miljø med åben bog, og drift i jeres miljø vil give andre resultater.
Objektiv, men ikke fuldstændig · resultaterne viser, hvad produktet gjorde mod de testede scenarier, ikke dets samlede evner eller dets virkning mod andre modstandere.
Teknikker vejer forskelligt · et resultat for én teknik har ikke samme betydning som et resultat for en anden.
Sammenlign inden for samme kategori · et platformsresultat kan ikke sammenlignes direkte med en administreret tjeneste.
Se bag det samlede tal · fordelingen på teknikker siger mere end overskriften.

MITRE nævner desuden, at antallet af falske alarmer i drift kan afvige fra testens. → MITRE ATT&CK i red teaming

Sådan læser I en leverandørs henvisning

Når resultaterne indgår i et salgsmateriale, kan CISO’en stille enkle kontrolspørgsmål:

Hvilken runde · hvilket år og hvilke modstandere testen handlede om, og om de ligner dem, der er relevante for jer.
Hvilken kategori · om det var produktet alene, eller om en administreret tjeneste indgik.
Hvilken opsætning · hvordan produktet var konfigureret i testen, og om jeres udrulning ligner.
Hvilke teknikker · hvordan produktet klarede sig netop på de teknikker, der vejer tungest i jeres scenarier.
Hvilken metode · om scoringen er ændret mellem runderne. MITRE oplyser, at Enterprise 2026 indfører en ny, samlet scoringsramme, så tal fra forskellige år ikke uden videre kan stilles op mod hinanden.

Svarene gør ikke resultatet dårligere eller bedre. De gør det muligt at se, hvad det handler om, og hvor langt det rækker ind i jeres egen situation. En leverandør, der kan svare præcist på de fem spørgsmål, har sat sig ind i testen. En leverandør, der kun kan gentage et samlet tal, har det ikke nødvendigvis.

Hvorfor de ikke erstatter en øvelse hos jer

En red team-øvelse afprøver ikke et produkt. Den afprøver det samlede forsvar, som det er udrullet og bemandet: om sensorerne dækker de rigtige systemer, om logningen kommer frem, om alarmerne bliver læst, og om nogen har mandat til at handle. Et produkt, der klarede sig godt hos MITRE, kan stå med huller i dækningen hos jer, og et svagere testresultat kan være mindre vigtigt, hvis jeres SOC kompenserer med andre kilder. → Sikkerhedsværktøjernes værdi

Testmiljøet hos MITRE er heller ikke jeres miljø. Der er ingen ferieafvikling, ingen driftsleverandør med egne procedurer og ingen sammenblanding med almindelig brug. Netop de forhold er det, en øvelse hos jer kan vise. → Detektionsdækning

Hvor testene kan bruges i jeres arbejde

Resultaterne kan bruges som forberedelse. De offentliggjorte beskrivelser af modstandere og angrebsforløb kan give white team og blue team inspiration til, hvilke adfærdsmønstre en purple team-session kan tage op. Fordelingen på teknikker kan give et fingerpeg om, hvor I bør undersøge jeres egen dækning. Og ved valg af værktøj kan resultaterne være ét af flere grundlag, men ikke et bevis for, at valget løser jeres opdagelsesproblemer. → Purple teaming

Et tænkt eksempel

En forsikringskoncern skal forny sin aftale om endpointbeskyttelse, og to leverandører henviser begge til gode resultater fra ATT&CK Evaluations. CISO’en beder dem vise fordelingen på de teknikker, der indgik i koncernens seneste red team-øvelse, og forklare, hvordan produktet var sat op under testen. Den ene leverandør viser, at testen skete med en opsætning, koncernen ikke bruger. Den anden kan pege på de relevante teknikker, men det står klart, at koncernens egen dækning af servere i et ældre datacenter er det svage punkt, uanset hvilket produkt der vælges.

Beslutningen om produkt bliver derfor fulgt af en beslutning om at udvide dækningen og afprøve den i en purple team-session efter udrulningen. Produkttesten bidrog til valget; øvelsen og sessionen afgør, om valget virker. Eksemplet er tænkt.

Det skal I lade være med

At læse en høj procent som en karakter · MITRE kårer ingen vinder.
At sammenligne tal på tværs af runder og kategorier · metode og scenarier skifter.
At udskyde en øvelse, fordi produktet er testet · produkttesten siger ikke noget om jeres drift.
At lade leverandøren udvælge de tal, I ser · bed om fordelingen på de teknikker, der betyder noget for jer.

Hvad kan og ikke kan konkluderes

ATT&CK Evaluations viser, hvordan et produkt reagerede på bestemte efterlignede modstandere i et standardiseret miljø, med en åben metode. De kan ikke vise, hvordan forsvaret i jeres organisation opdager, eskalerer og standser et angreb, eller hvordan produktet virker med jeres opsætning og jeres folk. Det kræver en afprøvning hos jer. → Vores SOC opdager det

Kilder

MITRE: ATT&CK Evaluations, About: metode, de fire hold, ingen vindere, ingen certificering, forbehold om brug af resultater, Enterprise 2025 og Enterprise 2026.
MITRE ATT&CK: vidensbasen, som testene bygger på.

Senest gennemgået: oktober 2026.