OpenAI je lansirao novu obitelj modela pod nazivom GPT-4.1, uključujući GPT-4.1, GPT-4.1 mini i GPT-4.1 nano, koji svi briljiraju u kodiranju i praćenju uputa. Objavljeni 14. travnja, ovi novi modeli dostupni su isključivo putem OpenAI API-ja i nadmašuju najnapredniji GPT-4o model u svim segmentima.
Modeli donose poboljšano razumijevanje konteksta, podržavaju do 1 milijun tokena (otprilike 750.000 riječi) te imaju ažurirano znanje do lipnja 2024. Na SWE-bench Verified testu, koji mjeri stvarne vještine softverskog inženjerstva, GPT-4.1 uspješno izvršava 54,6% zadataka, dok GPT-4o ostvaruje 33,2%. To odražava napredak modela u pretraživanju repozitorija koda, dovršavanju zadataka i generiranju koda koji se može pokrenuti i prolazi testove.
"Optimizirali smo GPT-4.1 za stvarnu primjenu na temelju izravnih povratnih informacija kako bismo unaprijedili područja koja su najvažnija developerima: frontend kodiranje, manje suvišnih izmjena, pouzdano praćenje formata, pridržavanje strukture i redoslijeda odgovora, dosljedno korištenje alata i još mnogo toga", pojasnio je glasnogovornik OpenAI-ja. "Ova poboljšanja omogućuju developerima izradu agenata koji su znatno bolji u stvarnim zadacima softverskog inženjerstva."
Manje varijante nude različite kompromise između performansi i cijene. GPT-4.1 mini i nano su učinkovitiji i brži uz određeni gubitak preciznosti, a OpenAI navodi da je GPT-4.1 nano njihov najbrži i najjeftiniji model do sada. Cijene se značajno razlikuju: GPT-4.1 košta 2 USD po milijunu ulaznih tokena i 8 USD po milijunu izlaznih tokena, GPT-4.1 mini 0,40 USD/milijun ulaznih tokena i 1,60 USD/milijun izlaznih tokena, dok je GPT-4.1 nano samo 0,10 USD/milijun ulaznih tokena i 0,40 USD/milijun izlaznih tokena.
U evaluacijama izvan kodiranja, OpenAI je testirao GPT-4.1 pomoću Video-MME, koji mjeri sposobnost modela za razumijevanje sadržaja u videozapisima. GPT-4.1 je postigao 72% točnosti u kategoriji "dugi videozapisi bez titlova", zauzevši prvo mjesto na ovom testu.
Ovo izdanje usklađeno je s OpenAI-jevim širim ambicijama u području kodiranja. Financijska direktorica OpenAI-ja, Sarah Friar, nedavno je govorila o viziji tvrtke za stvaranje "agentskog softverskog inženjera" koji može programirati cijele aplikacije od početka do kraja. "Doslovno može izgraditi aplikaciju za vas — i ne samo izgraditi je, već i provesti vlastitu kontrolu kvalitete, testiranje bugova i pisanje dokumentacije", izjavila je Friar.
Područje AI modela za kodiranje postaje sve konkurentnije. Googleov Gemini 2.5 Pro trenutno je na vrhu SWE-bench Verified ljestvice s 63,8%, dok Anthropicov Claude 3.7 Sonnet postiže 62,3% u standardnom načinu i do 70,3% u načinu proširenog razmišljanja. Unatoč impresivnim rezultatima, OpenAI priznaje da se i najbolji modeli danas muče sa zadacima koji ne bi predstavljali problem stručnjacima. Brojne studije pokazale su da modeli za generiranje koda često ne uspijevaju ispraviti, pa čak i uvode sigurnosne ranjivosti i bugove. GPT-4.1 također postaje manje pouzdan što mora obraditi veći broj ulaznih tokena.