CEO Google Sundar Pichai żegna się z erą łatwych postępów w AI.
Na szczycie New York Times Dealbook w zeszłym tygodniu, Pichai usiadł, aby omówić jedno z największych pytań wiszących nad branżą technologiczną: czy obecne techniki poprawy modeli AI osiągają swoje granice.
Był nieco niejasny, jeśli chodzi o bezpośrednie odniesienie się do technicznej strony problemu, ale jednoznacznie stwierdził, że bezwysiłkowe zyski, które rozwój AI początkowo cieszył się, są już przeszłością.
„Myślę, że postęp będzie trudniejszy” — powiedział Pichai na szczycie Dealbook. „Kiedy patrzę na ’25, nisko wiszące owoce zniknęły. Wzgórze jest bardziej strome.”
Ściana do ściany
Obawy, że ulepszenia generatywnej AI napotykają na ścianę, osiągnęły szczyt w zeszłym miesiącu, gdy pojawiły się doniesienia, że badacze OpenAI odkryli, że nadchodzący duży model językowy firmy, o nazwie kodowej Orion, wykazał znacznie mniejszy postęp — a w niektórych przypadkach brak wyraźnych postępów — niż poprzednie iteracje w porównaniu do swoich poprzedników.
To potwierdziło podejrzenie, że wzmacnianie modeli AI poprzez dodawanie więcej danych i mocy obliczeniowej, czyli „skalowanie”, w końcu pokazuje malejące zwroty, jak wielu ekspertów przewidywało. W odpowiedzi, CEO OpenAI Sam Altman z lekceważeniem odrzucił te twierdzenia, tweetując „nie ma ściany”, podczas gdy inni w organizacji jeszcze bardziej podkreślali możliwości AI.
Pichai mówi, że sam nie „w pełni zgadza się z koncepcją ściany” — ale zgadza się, że deweloperzy AI będą musieli przestać polegać na skalowaniu.
„Kiedy zaczynasz szybko skalować, możesz wrzucić więcej mocy obliczeniowej i zrobić dużo postępów” — powiedział CEO Google na wydarzeniu NYT. „Zdecydowanie będziemy potrzebować głębszych przełomów, gdy przejdziemy do następnego etapu.”
„Jestem bardzo pewny, że w ’25 będzie dużo postępu” — dodał. „Myślę, że modele zdecydowanie będą lepsze w rozumowaniu, bardziej niezawodnie kończąc sekwencję działań — bardziej agentowe, jeśli można tak powiedzieć”.
Sky is the limit
To powiedziawszy, Pichai nie uważa, że postępy wynikające z mocy obliczeniowej osiągnęły twardy sufit.
„Obecna ilość mocy obliczeniowej, którą używamy, to tylko arbitralna liczba. To nie tak, że używamy dużo mocy obliczeniowej” — powiedział. „Nie ma powodu, dla którego nie możemy po prostu dalej skalować”.
To uderzające stwierdzenie, ponieważ największe modele AI, w tym Google’a, są znane z pochłaniania ogromnej ilości energii — tak dużej, że zarówno Google, jak i Microsoft uruchamiają elektrownie jądrowe, aby sprostać jej zapotrzebowaniu na energię.
Tymczasem wysoce pożądane chipy AI, na których opiera się branża, są tak poszukiwane, że producent Nvidia ledwo nadąża. Wszystko to wydaje się oczywistymi przeszkodami, dlaczego nie można skalować w nieskończoność.
Niemniej jednak Pichai przyznaje, że samo skalowanie nie wystarczy. To, co okaże się różnicą, będą „techniczne” i „algorytmiczne” przełomy, powiedział.
