“Apple” şirkətinin tədqiqatçıları ChatGPT kimi böyük dil modellərinin məntiqi düşünmə qabiliyyətinə malik olmadığını və tapşırığa aidiyyəti olmayan detalların əlavə olunmasının onlarda asanlıqla çaşqınlıq yaratdığını aşkar ediblər.
“TechCrunch” nəşri xəbər verir ki, “Böyük dil modellərində riyazi təfəkkürün məhdudiyyətlərinin dərk edilməsi” adlı məqalədə süni intellektin məntiqi düşünmə qabiliyyəti haqqında sual verilir. Tədqiqat nəticəsində məlum olub ki, böyük dil modelləri (LLM) sadə riyaziyyat problemlərini həll edə bilir, lakin əhəmiyyətsiz məlumatların əlavə edilməsi həmin prosesdə xətalara səbəb olur.
Məsələn, model aşağıdakı problemi yaxşı həll edə bilər: “Oliver cümə günü 44 kivi seçdi. Daha sonra şənbə günü 58 kivi yığdı. Bazar günü o, cümə günündən iki dəfə çox kivi toplayıb. Oliverin neçə kivisi var?” Bununla belə, “Bazar günü bu kivilərdən 5-i orta göstəricidən bir qədər kiçik idi” ifadəsini əlavə etsəniz, model kivinin ölçüsünün onların sayına təsir etməməsinə baxmayaraq, çox güman ki, bu 5 kivini ümumi saydan çıxaracaq.
Tədqiqatın müəlliflərindən biri Mehrdad Fərəctabar izah edir ki, bu cür səhvlər LLM-lərin tapşırığın mahiyyətini anlamadığını, sadəcə olaraq təlim məlumatlarından nümunələri təkrar istehsal etdiyini göstərir. O əlavə edib: “Biz fərz edirik ki, səmərəliliyin bu azalması müasir LLM-lərin həqiqi məntiqi düşünmə qabiliyyətinə malik olmaması ilə bağlıdır. Bunun əvəzinə, onlar təlim məlumatlarında müşahidə olunan əsaslandırma addımlarını təkrarlamağa çalışırlar”.
Başqa bir “OpenAI” mütəxəssisi çevik mühəndislik üsulundan istifadə edərək düzgün nəticələrin əldə oluna biləcəyini iddia edib. Bununla belə, Fərəctabar bildirib ki, mürəkkəb tapşırıqlar, məsələn, uşağın asanlıqla görməməzlikdən gələ biləcəyi diqqəti yayındıran amilləri zərərsizləşdirmək üçün eksponent olaraq verilən suallar daha çox kontekstual məlumat tələb edə bilər.
“Bu, LLM-lərin onları əsaslandıra bilməyəcəyi anlamına gəlirmi? Bəlkə də həmin funksiya mümkündür. Nə baş verdiyini dəqiq başa düşmədiyi üçün hələ heç kim bu suala dəqiq cavab verməyib. LLM-lər əsaslandırma apara bilər, lakin bizim hələ anlamadığımız və ya idarə edə bilmədiyimiz şəkildə. Hər halda, bu mövzu gələcək tədqiqatlar üçün maraqlı perspektivlər açır”, -deyə məqalədə qeyd olunur.