Robert J. Marks, Ph.D

Pot fi folosite sistemele de inteligență artificială actuale în antrenarea unor sisteme superioare de inteligență artificială? Poate inteligența artificială să conceapă o inteligență artificială mai bună decât ea însăși care, la rândul ei, să creeze una și mai bună, până la apariția unei inteligențe artificiale ”generale”, potențial asemănătoare lui Dumnezeu?

Autori de tipul lui Yuval Harari și Ray Kurzweil își imaginează că da. O lucrare penetrantă apărută recent și semnată de colaboratori ai Oxford, Cambridge și ai altor instituții prestigioase, se concentrează asupra acestei idei în cazul inteligenței artificiale generative de tip ChatGPT.

De fapt, răspunsul este un nu categoric. Inteligența artificială elaborată de o altă inteligență artificială, prin ”consangvinizare” repetitivă nu devine mai inteligentă ci, dimpotrivă, degenerază. Devine din ce în ce mai tâmpită.

Pentru a genera inteligențe artificiale noi, inteligența artificială generativă folosește cantități mari de date de același tip. De exemplu, modelele lingvistice mari precum ChatGPT folosesc pentru antrenament limbajul, generatoarele de imagini oferite de companii precum Midjourney instruiesc prin imagini, site-uri precum DALL-E folosesc text descriptiv pentru a genera imagini, iar pentru programatori, GitHub oferă un copilot care generează coduri de computer.

Interesant este că, deși aceste programe concretizează rezultate remarcabile, utilizarea repetată a unui program AI generativ pentru a antrena altul provoacă, până în cele din urmă, prăbușirea modelului. Adică inteligența artificială rezultată devine din ce în ce mai ”proastă”.

Să luăm, de exemplu, LLM-uri precum ChatGPT. Dacă, pentru a antrena un LLM#1 sunt folosite doar creațiile originalului LLM#0, și pentru a antrena un LLM#2 sunt folosite doar creațiile LLM#1… și așa mai departe… modelul intră până la urmă în colaps și se transformă într-un idiot bâlbâit. Adică, repetarea procesului nu duce niciodată la apariția vreunei ”super inteligențe”. Ci, dimpotrivă. Ceea ce rezultă este ”imbecilitate artificială”.

Autorii cărții The Curse of Recursion (Blestemul recursiunii), care au identificat problema, observă că imbecilitatea artificială poate fi evitată doar prin transfuzia de informații proaspete din mințile creative ale oamenilor, concluzionând că ”pentru a evita colapsul modelului, accesul la conținutul autentic generat de oameni este esențial”.

Prăbușirea modelului este înfățișată prin folosirea unui LLM numit OPT-125m (Open Pre-trained Transformer), disponibil inițial de la META (aka Facebook). În exemplul care urmează, fiecare nouă generație este instruită pe datele produse de generația anterioară. Mesajul de ghidare utilizat pentru fiecare generație este același.

Iată solicitarea comună făcută fiecărei generații:

”Începute încă înainte de 1360, potrivit Poyntz Wright, au fost realizate, de obicei, de un maestru și o mică echipă de zidari itineranți, laolaltă cu muncitori localnici. Alți autori resping această aserțiune, sugerând, în schimb, că turnurile bisericii parohiale au fost proiectate de arhitecți de seamă, pe baza…”

Iată un răspuns precis de la LLM-ul inițial:

„Arhitectură revivalistă, cum ar fi St. John’s Cathedral, din Londra. Cel mai vechi exemplu de Arhitectură gotică perpendiculară revivalistă este Church of Our Lady (Biserica Maicii Domnului), din Guersney, din sec. al XVIII-lea. Există două tipuri de biserici perpendiculare: cele… ”

Rezultatul oferit de acest LLM este folosit pentru a instrui un alt LLM, care este folosit pentru a antrena un alt LLM etc. Iată răspunsul generat după nouă asemenea încercări:

”… arhitectura. Pe lângă faptul că găzduiesc unele dintre cele mai mari populații din lume de iepuri negri cu coadă@@, iepuri cu coad@@ albi, iepuri cu coadă @@ albaștri, iepuri cu coadă @@roșii, galbeni@…”

Cumva, LLM-ul s-a fixat pe iepuri. Răspunsul nu are nicio legătură cu întrebarea.

Colapsul modelului are loc și în alte utilizări ale inteligenței artificiale generative. Iată un exempu de utilizare a imaginilor.

Programul AI GPT 4V poate oferi o descriere scrisă a unei imagini. Dacă îi transmitem lui Dall-E această descriere, va genera o imagine care se potrivește cu descrierea.

Să începem, deci, cu o imagine celebră precum Mona Lisa. GPT4 o descrie pe Mona Lisa, Dall-E generează o imagine pe baza acelei descrieri, GPT4 descrie această nouă imagine și Dall-E generează încă o imagine, de data aceasta pe baza noii descrieri. Și tot așa înainte. Ce se întâmplă?

Până în cele din urmă, modelul intră în colaps.

Repetarea acțiunii ne duce, de la capodopera Mona Lisa, la o imagine alb negru cu o grămadă de linii paralele ondulate. Există, pe Twitter (X) un filmuleț al acestei decăderi, realizat de Conrad Godfrey. Este distractiv și puțin înfricoșător. Iată un link.

Cum ar putea modelele de IA să influențeze rețeaua mondială a viitorului? Sistemele LLM pot obține text proaspăt acesând materiale noi de pe web.

Dar ce s-ar întâmpla, oare dacă, într-o zi, cea mai mare parte a conținutului web ar fi scris de inteligența artificială generativă? Atunci când tot mai multe scraping-uri web ar fi de la LLM și nu de la oameni cu inteligență creativă, materialul generat va deveni tot mai ”cosangvinizat”, neverificat, în continuare, webul va cuprinde tot mai mult conținut fără sens, ceea ce va determina prăbușirea modelului.

LLM-urile precum ChatGPT produc rezultate spectaculoase. De fapt, LLM-urile își fac numerele de magie manipulând impresionant sintaxa relațională. Ele învață alcătuiri de cuvinte și expresii pentru a crea documente bine închegate.

Oamenii, pe de altă parte, sunt motivați de semantică – ei înțeleg sensul cuvintelor și al frazelor. Cu toate că acordăm atenție sintaxei, sensul mesajului rămâne de o importanță primordială.

Intrarea modelelor în colaps dovedește că oamenii creativi, singurii care pot genera sens, sunt indispensabili inteligenței artificiale și progesul acesteia la niveluri mai înalte de performanță.

Robert J. Marks, Ph.D., este un distins profesor al Univerității Baylor, cercetător principal și director al Centrului Bradley pentru inteligență naturală și artificială. Este autorul cărților: Non-computable you: What you do that Artificial Intelligence never will never do și Neural Smithing. Marks este fost redactor șef al IEEE Transactions on Neural Networks.

Traducerea și adaptarea: Nedeea Burcă

Sursa: aici