OpenAI har släppt en omfattande rapport med titeln "Disrupting malicious uses of AI: June 2025", där företaget redogör för hur man identifierat och neutraliserat tio illvilliga kampanjer som utnyttjat dess AI-system under de första månaderna av 2025.
Rapporten beskriver hur statsstödda aktörer från sex länder – Kina, Ryssland, Nordkorea, Iran, Kambodja och Filippinerna – har använt ChatGPT och andra AI-verktyg för att genomföra jobbfusk, påverkansoperationer och spamkampanjer. Fyra av dessa kampanjer hade sitt ursprung i Kina och fokuserade på social ingenjörskonst, dolda påverkansoperationer och cyberhot.
I en kampanj med kodnamnet "Sneer Review" översvämmade kinesiska aktörer sociala plattformar med kritiska kommentarer riktade mot ett taiwanesiskt brädspel som innehöll teman om motstånd mot det kinesiska kommunistpartiet. En annan operation, "Helgoland Bite", innebar att ryska aktörer genererade tyskspråkigt innehåll som kritiserade USA och NATO samtidigt som de försökte påverka det tyska valet 2025. Nordkoreanska aktörer observerades använda AI för att massproducera falska CV:n för distansbaserade tekniktjänster, med målet att få kontroll över företagsenheter som delas ut vid anställning.
OpenAIs säkerhetsteam använde AI som en kraftmultiplikator i sina undersökningar, vilket gjorde det möjligt att upptäcka, störa och avslöja missbrukande aktiviteter som social ingenjörskonst, cyber-spionage och bedrägliga rekryteringsförsök. Företagets detekteringssystem flaggade ovanligt beteende i samtliga kampanjer, vilket ledde till avstängda konton och underrättelsedelning med samarbetande plattformar.
"Vi anser att öppenhet och informationsdelning ökar medvetenheten och beredskapen hos alla intressenter, vilket leder till ett starkare gemensamt försvar mot ständigt föränderliga motståndare," skriver OpenAI i sin rapport. Även om generativ AI inte har skapat helt nya hotkategorier har tekniken kraftigt sänkt de tekniska trösklarna för illvilliga aktörer och ökat effektiviteten i koordinerade attacker.
Säkerhetsexperter betonar att organisationer måste vara vaksamma på hur motståndare använder stora språkmodeller i sina operationer och ta del av realtidsinformation som delas av företag som OpenAI, Google, Meta och Anthropic för att bygga starkare gemensamma försvar mot dessa växande hot.