Tədqiqatçılar Böyük Dil Modellərini (BDM) Qeyri-Dəqiq Edən Əsas Qüsuru Tapdılar

Massaçusets Texnologiya İnstitutunun (MIT) apardığı araşdırmaya görə, Böyük Dil Modelləri (BDM) bəzən düzgün məlumatları deyil, yanlış qəlibləri öyrənir. Modellər müraciətlərə sahə biliklərinə əsaslanaraq cavab vermək əvəzinə, təlim prosesində əldə etdikləri qrammatik qəliblərdən istifadə edirlər. Tədqiqatçılar aşkar etdilər ki, BDM-lər müəyyən cümlə strukturlarını səhvən xüsusi mövzularla əlaqələndirir, nəticədə sualın mənasını tam dərk etmədən, yalnız tanış ifadə tərzini tanımaqla inandırıcı cavablar verə bilərlər. Bu problem modellər yeni tapşırıqlara tətbiq edilərkən gözlənilməz səhvlərə səbəb olur. Aparılan sınaqlar göstərdi ki, ən güclü BDM-lər belə bu cür səhvlərə yol verə bilər.

BDM-lər internetdən götürülmüş nəhəng həcmli mətnlər üzərində öyrədilir və bu zaman sözlər arasındakı əlaqələri - "sintaktik qəlibləri" mənimsəyirlər. Əvvəlki işlərdə tədqiqatçılar müəyyən etmişdilər ki, modellər təlim məlumatlarında tez-tez birlikdə görünən nitq hissələri arasındakı əlaqələri öyrənir. Bu, BDM-lərin semantik biliklərlə yanaşı, sintaksis haqqında da anlayışa sahib olmasını tələb edir. Məsələn, xəbər sahəsində müəyyən bir yazı tərzi mövcuddur; model nəinki məzmunu (semantik), həm də cümlələrin həmin domenə uyğun şəkildə necə qurulmalı olduğunu (sintaksis) öyrənir. Lakin bu yeni araşdırma göstərdi ki, modellər bu sintaktik qəlibləri xüsusi domenlərlə əlaqələndirməyi öyrənir və bəzən sualın əsl məzmununu başa düşmədən, yalnız bu öyrənilmiş əlaqəyə güvənir.

Təsəvvür edin ki, BDM "Paris harada yerləşir?" kimi sualın quruluşunu öyrənir və bu qəlibi ölkələr haqqında suallarla bağlayır. Əgər modelə eyni qrammatik quruluşa malik, lakin mənasız sözlərdən ibarət bir sual verilsə belə, o, yenə də "Fransa" cavabını qaytara bilər. Bu, modellərin mənanı deyil, sadəcə formanı tanımasına işarədir. Tədqiqatın həmmüəllifi Chantal Shaib qeyd edir ki, bu, modellərin suallara düzgün cavab vermək üçün öyrəndiyi gözardı edilmiş bir əlaqə növüdür və biz təlim üçün istifadə etdiyimiz məlumatların nəinki semantikasına, həm də sintaksisinə daha çox diqqət yetirməliyik. Mütəxəssislər süni eksperimentlər vasitəsilə sözləri sinonimlər və ya təsadüfi sözlərlə əvəz etdilər, lakin əsas qrammatik quruluşu saxladılar. Nəticədə, sualın tamamilə mənasız olmasına baxmayaraq, BDM-lər hələ də "düzgün" domen cavabını verdi.

Bu qüsur BDM-lərin müştəri sorğuları, klinik qeydlərin xülasəsi və maliyyə hesabatlarının hazırlanması kimi tapşırıqları yerinə yetirməsində etibarlılığını azalda bilər. Həmçinin, bu vəziyyət ciddi təhlükəsizlik riskləri yaradır. Zərərli niyyəti olan şəxslər bu sintaktik qəlibləri istismar edərək, modelin zərərli məzmun yaratmasının qarşısını alan qoruyucu siyasətləri aşmasına nail ola bilərlər. Məsələn, onlar modelin "təhlükəsiz" bir məlumat dəsti ilə əlaqələndirdiyi qəlibi istifadə edərək, modeli qadağan olunmuş cavablar verməyə məcbur edə bilərlər. Bu problemi müəyyən etdikdən sonra, tədqiqatçılar BDM-in bu səhv sintaksis-domen əlaqəsinə nə qədər güvəndiyini ölçmək üçün avtomatik qiymətləndirmə proseduru hazırladılar. Bu yeni test, proqram təminatçılarına BDM-ləri tətbiq etməzdən əvvəl bu qüsuru vaxtında aşkar etməyə və aradan qaldırmağa kömək edəcək. Gələcəkdə mütəxəssislər daha geniş sintaktik qəlibləri təmin etmək üçün təlim məlumatlarının artırılması kimi potensial düzəliş strategiyalarını araşdırmağı planlaşdırırlar.