Američka kompanija OpenAI tvrdi da novi model GPT-401 može duže, u uzastopnim, sistematskim koracima rešavati složene zadatke i teže probleme iz nauke, matematike i kodiranja nego što su to mogli raniji modeli.
U testiranjima koja je sproveo OpenAI, ovaj je model postigao tačnost od 83% u rešavanju zadataka sa Olimpijade iz matematike, čime je daleko nadmašio GPT-4, koji je postigao samo 13% tačnosti.
Kompanija takođe tvrdi da je postigao izvanredne rezultate u kodiranju kojima se plasirao u 89. postotaka u takmičenjima poput Codeforcesa, kao i da bi po svojim rezultatima bio među 500 najboljih srednjoškolaca na Američkoj matematičkoj olimpijadi, koja obuhvata geometriju, teoriju brojeva i druge matematičke teme.
Model je takođe obučen za odgovaranje na pitanja na doktorskom nivou iz područja kao što su astrofizika i organska hemija.
Na doktorskom nivou tačnost mu je bila 78%, u poređenju sa 69.7% kod ljudi te 56.1% kod modela GPT-4a.
Tačno odgovorio na postavljena pitanja
GPT-401 dostupan je pretplatnicima premium verzije Chat GPT-ja u zborniku modela u prevju verziji.
Za neku ozbiljniju ocenu novog modela trebaće da se pričeka da prođe kroz ruke i testiranja ozbiljnih stručnjaka, naučnika i kodera.
Redakcija index.hr ga je iz znatiželje testirala sa dva jednostavnija testa, a model je na oba odgovorio tačno. Pritom je predstavio sve korake u rešavanju zadataka.
U prvom testu postavili su mu logički zadatak koji glasi:
Čovek u ormaru ima 53 čarape: 21 identičnu plavu, 15 identičnih crnih i 17 identičnih crvenih. Svetla su ugašena i on je u potpunom mraku. Koliko čarapa mora da izvadi da bi bio 100 posto siguran da ima barem jedan par crnih čarapa?
GPT-401 je zadatak razložio i promislio u koracima, njegov konačan odgovor je tačan, baš kao što su i koraci u razmišljanju, iako nam se neki od njih mogu učiniti suvišnima. Evo kako to izgleda:
- Imamo ladicu sa ukupno 53 čarape:
- 21 plavu čarapu
- 15 crnih čarapa
- 17 crvenih čarapa
Čovek je u mraku i nasumično izvlači čarape. Želimo da saznamo koliko čarapa mora da izvadi da bude 100% siguran da ima bar jedan par crnih čarapa.
Cilj: Pronaći minimalan broj čarapa koje treba da izvadi da bi se osiguralo da među njima ima najmanje dve crne čarape, što čini par.
Analiza problema:
Da bismo bili sigurni da imamo bar jedan par crnih čarapa, moramo razmotriti najgori mogući scenario u kom čovek duže vremena izbegava da pronađe dve crne čarape.
Koraci razmišljanja:
Izbegavanje crnih čarapa:
U najgorem slučaju, čovek će prvo izvući sve čarape koje nisu crne (plave i crvene).
Ukupan broj ne-crnih čarapa je: 21 (plavih)+17 (crvenih)=38 čarapa21\ (\text{plavih}) + 17\ (\text{crvenih}) = 38\ \text{čarapa}21 (plavih)+17 (crvenih)=38 čarapa
Izvlačenje crnih čarapa bez stvaranja para:
Nakon što su sve ne-crne čarape izvučene, čovek može izvući još jednu crnu čarapu bez formiranja para crnih čarapa.
To znači da je do sada izvukao: 38 (ne-crnih čarapa)+1 (crna čarapa)=39 čarapa38\ (\text{ne-crnih čarapa}) + 1\ (\text{crna čarapa}) = 39\ \text{čarapa}38 (ne-crnih čarapa)+1 (crna čarapa)=39 čarapa
Neizbežnost formiranja para crnih čarapa:
Ako izvuče još jednu čarapu (40. čarapu), mora izvući još jednu crnu čarapu jer su sve ne-crne čarape već izvučene.
S dve crne čarape u rukama, čovek sada ima bar jedan par crnih čarapa.
Zaključak:
Minimalan broj čarapa koje treba izvaditi: 40
Čovek mora izvaditi 40 čarapa da bi bio 100% siguran da ima bar jedan par crnih čarapa.
Objašnjenje:
39 čarapa može izvući bez garantovanja para crnih čarapa (38 ne-crnih + 1 crna).
S 40. čarapom, neizbežno će imati dve crne čarape, što čini bar jedan par.
Povećana sigurnost
Kao jedna od prednosti novog modela navodi se i njegova sposobnost da kroz novi pristup sigurnosnim pravilima bolje prepoznaje pokušaje zloupotrebe, čime se značajno povećava njegova otpornost na takozvani “jailbreaking”.
To znači da bi GPT-401 trebalo da bude značajno otporniji na tehnike koje korisnici znaju primjenjivati kako bi zaobišli ograničenja sigurnosnih mera modela, kako bi AI omogućili da odgovara na upite ili izvodi radnje koje su njegovi tvorci namerno onemogućili ili zabranili.
Sporost i visoka cena
Ipak, nisu svi oduševljeni sposobnostima novog modela.
Kompanija sama priznaje da mu, iako je moćan za kompleksne zadatke, još uvek nedostaju određene ključne funkcije koje su korisne u svakodnevnom radu, poput pretraživanja interneta i upravljanja datotekama.
Brojni kritičari ističu da im smeta njegova sporost i visoka cena koja je rezultat dužeg i dubljeg promišljanja.
Na primer, u slučaju GPT-40 cena za obradu ulaznih tokena iznosi oko 2.5 dolara za milion tokena, dok je cena za izlazne tokene 10 dolara za milion tokena.
GPT-401 (o1-preview) je značajno skuplji - cena ulaznih tokena je 15 dolara za milion tokena, dok izlazni tokeni koštaju 60 dolara za milion tokena.
Verzija GPT-401 Mini (o1-mini) je povoljnija sa cenom od 3 dolara za milion ulaznih tokena i 12 dolara za milion izlaznih tokena.
(M.A./EUpravo zato/index.hr)