AI-agenten Misleid Door Valse Herinneringen, wat Cryptodiefstal Mogelijk Maakt

Een nieuw onderzoek heeft significante beveiligingsproblemen blootgelegd in Web3 AI-gestuurde agenten, die aanvallers in staat stellen om valse herinneringen te gebruiken om ongeautoriseerde cryptocurrency overdrachten uit te voeren.

Onderzoekers van de Princeton University en de Sentient Foundation ontdekten dat deze AI-agenten, ontworpen om taken op blockchain-gebaseerde taken zoals het handelen in crypto en het beheren van digitale activa te verwerken, kwetsbaar zijn voor een tactiek die contextmanipulatie wordt genoemd.

De aanval werkt door zich te richten op de geheugensystemen van platforms zoals ElizaOS, dat AI-agents creëert voor gedecentraliseerde applicaties. Het geheugensysteem van deze agents bewaart eerdere gesprekken om ze te gebruiken als leidraad voor hun toekomstige keuzes.

De onderzoekers hebben aangetoond dat aanvallers misleidende commando’s in het geheugensysteem kunnen inbedden, waardoor de AI fondsen stuurt van de bedoelde portemonnee naar een door de aanvaller gecontroleerde portemonnee. Alarmerend genoeg kunnen deze valse herinneringen tussen platforms reizen.

Bijvoorbeeld, een agent die gecompromitteerd is op Discord, kan later onjuiste overdrachten maken via X, zonder te beseffen dat er iets mis is.

Wat dit bijzonder gevaarlijk maakt, is dat standaard defensieve maatregelen dit type aanval niet kunnen stoppen. De behandeling van valse herinneringen als echte instructies maakt basale, op prompts gebaseerde beveiligingsmaatregelen ineffectief tegen dit soort aanvallen.

Alle blockchain-transacties worden permanent, dus er is geen mogelijkheid om gestolen fondsen te herstellen. Het probleem wordt erger omdat bepaalde AI-agenten geheugen opslaan over meerdere gebruikers, dus een enkele beveiligingsinbreuk kan veel gebruikers treffen.

Het onderzoeksteam heeft verschillende manieren getest om dit te voorkomen, waaronder het aanpassen van AI-training en het vereisen van handmatige goedkeuring voor transacties. Hoewel deze benaderingen enige hoop bieden, gaan ze ten koste van het vertragen van de automatisering.

Het probleem gaat verder dan cryptocurrency. Dezelfde kwetsbaarheid zou algemene AI-assistenten kunnen beïnvloeden, met risico op datalekken of schadelijke acties als aanvallers hun geheugen veranderen.

Deze kwetsbaarheid is bijzonder verontrustend in het licht van recente bevindingen waaruit blijkt dat 84% van de IT-leiders AI-agenten evenveel of meer vertrouwt dan menselijke medewerkers, en 92% verwacht dat deze systemen binnen 12 tot 18 maanden bedrijfsresultaten zullen opleveren.

Om het probleem aan te pakken, hebben de onderzoekers een tool genaamd CrAIBench uitgebracht om ontwikkelaars te helpen hun systemen te testen en sterkere verdedigingsmechanismen op te bouwen. Tot die tijd waarschuwen experts gebruikers voorzichtig te zijn bij het vertrouwen van AI-agents met financiële beslissingen.