Een beveiligingsonderzoeker heeft een aanval gedemonstreerd waarbij Copilot malafide prompts aan Word-documenten toevoegt, die zich vervolgens automatisch verder naar andere documenten kunnen verspreiden en de inhoud van deze documenten kunnen aanpassen, zoals financiële cijfers. Op verzoek van Microsoft besloot onderzoeker Hakon Maloy om details over het probleem niet na 90 maar na 144 dagen bekend te maken. Maloy merkt op dat het onderliggende probleem nog altijd is te misbruiken.

Bij de aanval plaatst een aanvaller verborgen instructies in een document dat later binnen Copilot voor Word als bronmateriaal wordt gebruikt. De eerste stap is dan ook het document met deze instructies bij het doelwit te krijgen, bijvoorbeeld via een malafide website of e-mail. Wanneer de gebruiker het document in combinatie met Copilot voor Word gebruikt, zorgt de verborgen malafide prompt ervoor dat die automatisch aan nieuwe documenten wordt toegevoegd die de gebruiker door Copilot laat genereren. Gebruikers kunnen Copilot nieuwe documenten laten genereren, waarbij bepaalde bestanden als bronmateriaal kunnen worden gebruikt.

Ook wanneer de gebruiker een bestaand document door Copilot laat aanpassen worden de malafide prompts toegevoegd. De chatbot doet dit omdat de malafide instructies die in het document zitten van de gebruiker lijken te komen. De instructies die Maloy toevoegde zorgen er niet alleen voor dat documenten de malafide prompts verder verspreiden, maar ook dat financiële cijfers worden aangepast. Om de toegevoegde prompts voor de gebruiker te verbergen kunnen die als witte tekst op een witte achtergrond en in een klein font worden toegevoegd.

Wanneer het besmette document door een andere medewerker in de organisatie als bronmateriaal wordt gebruikt kunnen de malafide prompts zich zo verder verspreiden. "De aanval kan zich zo verder verspreiden, zonder betrokkenheid van de gecompromitteerde website of het originele malafide document. Wanneer de betrokken rapporten worden hergebruikt, kunnen nieuwe rapporten en documenten de aanval verder verspreiden", aldus Maloy. Microsoft heeft verschillende fixes doorgevoerd, maar het onderliggende probleem is niet opgelost, stelt de onderzoeker.

Maloy merkt op dat AI-assistenten om bruikbaar te zijn vaak e-mails, documenten, webpagina's, uitvoer van allerlei tools en andere informatie moeten verwerken, die van een aanvaller afkomstig kunnen zijn. Om al die informatie te verwerken moet het beschikbaar zijn in het context windows van het AI-model, waar het zich bevindt naast systeeminstructies, instructies van de gebruiker en andere vertrouwde informatie."Dit zorgt voor een fundamenteel probleem: de LLM moet externe content verwerken om te bepalen wat het betekent, of het relevant is of niet, en of het een aanval bevat. Maar wanneer het die beslissing neemt, hebben de door de aanvaller gecontroleerde tokens de berekening die daartoe leidt al beïnvloed", aldus de onderzoeker.