I takt med att AI-genererade videor blir allt mer övertygande och lättillgängliga har forskare vid UC Riverside inlett ett samarbete med Google för att utveckla ett kraftfullt nytt vapen mot digitalt bedrägeri.
Systemet, som fått namnet Universal Network for Identifying Tampered and synthEtic videos (UNITE), adresserar en kritisk svaghet i dagens teknik för att upptäcka deepfakes. Medan befintliga verktyg främst fokuserar på ansiktsavvikelser, undersöker UNITE hela videorutor, inklusive bakgrunder, rörelsemönster och subtila rumsliga och tidsmässiga inkonsekvenser som avslöjar manipulation.
"Deepfakes har utvecklats," förklarar Rohit Kundu, doktorand vid UC Riverside och ledare för forskningen. "Det handlar inte längre bara om att byta ansikten. Nu skapar folk helt fejkade videor – från ansikten till bakgrunder – med hjälp av kraftfulla generativa modeller. Vårt system är byggt för att avslöja allt detta."
Samarbetet, som även inkluderade professor Amit Roy-Chowdhury samt Googles forskare Hao Xiong, Vishal Mohanty och Athula Balachandra, presenterades på konferensen Conference on Computer Vision and Pattern Recognition 2025 i Nashville. Deras innovation kommer i en tid då text-till-video- och bild-till-video-plattformar har gjort avancerade videoförfalskningar tillgängliga för i stort sett vem som helst.
UNITE använder en transformerbaserad deep learning-modell byggd på en grund som kallas SigLIP, vilken extraherar egenskaper som inte är bundna till specifika personer eller objekt. En ny träningsmetod, kallad "attention-diversity loss", tvingar systemet att övervaka flera visuella områden i varje ruta och förhindrar att det förlitar sig för mycket på ansikten.
Även om UNITE fortfarande är under utveckling kan systemet snart bli oumbärligt för sociala medieplattformar, nyhetsredaktioner och faktagranskare som arbetar för att stoppa manipulerade videor från att bli virala. I takt med att deepfakes i allt högre grad hotar allmänhetens förtroende, demokratiska processer och informationsintegritet, utgör universella detektionsverktyg som UNITE ett avgörande försvar mot digital desinformation.