BÖYÜK DİL MODELLƏRİ ÜÇÜN ÇƏTİN MƏSƏLƏLƏRİ HƏLL ETMƏK ÜÇÜN DAHA AĞILLI ÜSUL: HESABLAMA SƏMƏRƏLİLİYİNİN DİNAMİK İDARƏ EDİLMƏSİ

Böyük Dil Modellərinin (BDM) mürəkkəb suallara cavab verərkən dəqiqliyini yüksəltmək üçün elm adamları modelə potensial həll yolları haqqında daha çox düşünmək üçün əlavə vaxt verirlər. Lakin BDM-lərə bu imkanı verən əksər yanaşmalar, məsələnin çətinlik dərəcəsindən asılı olmayaraq, hər bir problem üçün sabit bir hesablama büdcəsi təyin edir. Bu, iki əsas problem yaradır: BDM-lər sadə suallara lazımsız resurslar sərf edir və ya əlavə məntiq tələb edən həqiqətən mürəkkəb problemlərin öhdəsindən gələ bilmir.

Bu səmərəsizliyi aradan qaldırmaq üçün MIT tədqiqatçıları hesablama səyini BDM problemi həll edərkən paylamağın daha ağıllı bir yolunu hazırladılar. Onların "fərdi uyğunlaşan miqyaslandırma" adlanan metodu modelə sualın çətinliyindən və hər bir qismən həllin doğru cavaba aparma ehtimalından asılı olaraq öz hesablama büdcəsini dinamik şəkildə tənzimləməyə imkan verir. Tədqiqat komandası müəyyən etdi ki, bu yeni yanaşma BDM-lərə müxtəlif çətinlikdə olan suallarda eyni dəqiqliyi qoruyaraq, mövcud metodlara nisbətən hesablama gücünün cəmi yarısından istifadə etməyə imkan yaradır. Bu o deməkdir ki, texnika generativ süni intellekt sistemlərinin enerji istehlakını azaltmaqla yanaşı, BDM-lərin yüksək riskli və vaxt məhdudiyyətli tətbiqlərdə istifadəsi üçün şərait yaradır.

Tədqiqatın baş müəlliflərindən Navid Azizan bildirir ki, nəticə çıxarmanın hesablama xərci hazırda sənayedə əsas maneəyə çevrilib. O vurğulayır: "Biz modelləri nəyi bilmədiklərini anlamaq qabiliyyəti ilə təchiz etməklə, onlara ən çətin problemlərə və ən ümidverici həll yollarına daha çox hesablama sərf etməyə, asan suallara isə xeyli az token sərf etməyə imkan veririk. Bu, məntiqi çıxarışı həm daha etibarlı, həm də xeyli səmərəli edir." Bu yanaşma əslində insanların problem həll etmə tərzinə bənzəyir. Tədqiqatçılardan Hao Vanqın dediyinə görə, biz də qismən həll yolları tapırıq və sonra qərar veririk ki, bu yolla davam edək, yoxsa dayanıb əvvəlki addıma qayıdaq.

Ənənəvi nəticə çıxarma zamanı miqyaslandırma üsulları bir neçə potensial həll cəhdi yaradır və hər bir yolu qiymətləndirmək üçün Proses Mükafat Modelindən (PMM) istifadə edir. Lakin MIT tədqiqatçıları PMM-lərin modelin uğur ehtimalını tez-tez həddindən artıq şişirtdiyini aşkar etdilər. Başqa sözlə, modellər tez-tez "həddindən artıq özgüvənli" davranırdı. Əgər sistem mövcud PMM-lərə tam etibar etsəydi, hesablama büdcəsi çox aqressiv azaldılacaq və dəqiqlik itiriləcəkdi. Bu səbəbdən, tədqiqatçılar PMM-ləri tənzimləyən bir metod tətbiq etdilər ki, model artıq tək bir ehtimal dəyəri əvəzinə, daha etibarlı qeyri-müəyyənlik qiymətləndirmələrini təmin edən ehtimal diapazonları yarada bilsin.

Bu tənzimlənmiş PMM ilə birlikdə işləyən fərdi uyğunlaşan miqyaslandırma çətinliklərlə mübarizə apararkən modelin dəqiqliyini qoruyaraq hesablama xərclərini effektiv şəkildə azaltmağı bacarır. Tədqiqatçılar bu adaptasiyanın prosesin əvvəlində deyil, məhz problem həll olunarkən, anında baş verdiyini qeyd edirlər. Gələcəkdə bu texnikanı kod yaratma və süni intellekt agentləri daxil olmaqla, digər sahələrdə tətbiq etmək planlaşdırılır. Bu araşdırma maşınların öz bilik səviyyələrini qiymətləndirməsinə və daimi özünü təkmilləşdirmə qabiliyyətinə sahib olmasına doğru vacib bir addımdır.