Krajem 2020. Dario Amodei odlučio je napustiti svoju ulogu inženjera u OpenAI-ju. Želio je osnovati vlastitu tvrtku s ciljem izgradnje A.I. sustavi koji nisu samo snažni i inteligentni, već su i usklađeni s ljudskim vrijednostima. Amodei, koji je vodio razvoj GPT-2 i GPT-3, prethodnika velikog jezičnog modela koji danas pokreće ChatGPT, smatrao je da nedavna otkrića u računalnoj snazi i tehnikama obuke ne čine AI. sustavi sigurniji. Da bi to postigao, mislio je da je potrebna drugačija metoda.
U samo dvije godine, Amodeijeva tvrtka, Anthropic, prikupila je 1,5 milijardi dolara sredstava i nedavno je procijenjen na 4 milijarde dolara , čineći ga među najviše cijenjen A.I. startupi u svijetu. Njegov glavni proizvod je Claude, A.I. sličan ChatGPT-u. chatbot objavljen u siječnju. Ranije ovog mjeseca, Anthropic je izdao Claude 2, noviju verziju koja se može pohvaliti duljim odgovorima s nijansiranijim obrazloženjem.
Zašto nam je potreban siguran A.I. modeli
Amodei voli analogiju s raketama kada raspravlja o napretku u jezičnim modelima: podaci i računalna snaga su gorivo i motor, a pitanje sigurnosti je poput upravljanja svemirskom letjelicom. Snažan motor i puno goriva mogu lansirati veliki svemirski brod u svemir, ali oni jako malo čine da usmjere brod u pravom smjeru. Ista logika vrijedi i za obuku A.I. sustava.
'Ako uvježbate model iz velikog korpusa teksta, dobit ćete ono što biste mogli opisati kao ovu vrlo pametnu, vrlo obrazovanu stvar koja je bez oblika, koja nema određeni pogled na svijet, nema posebnih razloga zašto bi trebala reći jednu stvar umjesto drugi”, rekao je Amodei tijekom razgovora uz kamin na Atlanticovom Progress Summitu u Chicagu jučer (13. srpnja).
Imati A.I. sustavi koji razumiju ljudske vrijednosti bit će sve važniji kako rizici tehnologije rastu zajedno s njezinim mogućnostima.
Programeri i korisnici ChatGPT-a i sličnih alata već su zabrinuti zbog sposobnosti chatbota da ponekad generiraju činjenično netočne ili opake odgovore. Ali za nekoliko godina, A.I. sustavi mogu postati ne samo dovoljno pametni da proizvode uvjerljivije lažne priče, već i sposobni izmišljati stvari u ozbiljnim područjima, poput znanosti i biologije.
“Dolazimo do točke u kojoj će, za dvije do tri godine, modeli možda moći raditi kreativne stvari u širokim poljima znanosti i inženjerstva. To bi mogla biti zlouporaba biologije ili ograničenog nuklearnog materijala', rekao je Amodei. 'Moramo gledati unaprijed i uhvatiti se u koštac s tim rizicima.'
Anthropicov 'Ustavni A.I.' metoda
A.I. često se opisuje kao tehnologija 'crne kutije' gdje nitko ne zna točno kako funkcionira. Ali Anthropic pokušava izgraditi A.I. sustave koje ljudi mogu razumjeti i kontrolirati. Njegov pristup je ono što Amodei naziva ustavni A.I.
Za razliku od industrijske standardne metode obuke, koja uključuje ljudsku intervenciju kako bi se identificirali i označili štetni rezultati iz chatbota kako bi se oni poboljšali, ustavna U.I. fokusira se na modele obuke kroz samousavršavanje. Međutim, ova metoda zahtijeva ljudski nadzor na početku kako bi se osigurao 'ustav', ili skup propisanih vrijednosti za A.I. modeli koje treba slijediti.
Anthropicov 'ustav' sastoji se od univerzalno prihvaćenih načela iz utvrđenih dokumenata poput Deklaracije Ujedinjenih naroda o ljudskim pravima i uvjeta pružanja usluge raznih tehnoloških tvrtki.
Amodei je opisao Anthropicovu metodu obuke kao takvu: “Mi uzimamo ova načela i tražimo od bota da učini što god želi učiniti kao odgovor na načela. Zatim uzimamo drugu kopiju bota kako bismo provjerili je li ono što je napravio prvi bot usklađeno s načelima. Ako nije, dajmo negativnu povratnu informaciju. Dakle, bot trenira bota u ovoj petlji da bude više nego usklađen s načelima.”
“Mislimo da je ovo i transparentniji i učinkovitiji način oblikovanja vrijednosti A.I. sustav”, rekao je Amodei.
Međutim, temeljni nedostatak A.I. modela je da nikada neće biti savršeni. 'To je pomalo poput samovožnje', rekao je Amodei. “Jednostavno nećete moći jamčiti da se ovaj auto nikada neće sudariti. Ono što se nadam da ćemo moći reći je da se 'Ovaj automobil sudara puno manje nego čovjek koji vozi automobil, i postaje sigurniji svaki put kad vozi'.”
