Çin Mühəndisləri Yeni Süni Zəka Modellini Təqdim Etdi

Qlobal texnologiya yarışında Çinin süni zəka sahəsindəki təsiri günbəgün artır. Alibaba şirkətinin dəstəklədiyi Moonshot AI tərəfindən hazırlanmış yeni Kimi K2 adlı açıq mənbəli böyük dil modeli təqdim edilib. Modellin həm memarlıq quruluşu, həm də ilkin performans nəticələri diqqət çəkib.

Kimi K2, 1 trilyon parametrə malik "Mütəxəssislərin Qarışığı" (MoE) arxitekturası ilə hazırlanıb. Lakin, hər token əməliyyatı zamanı təxminən 32 milyon parametr aktiv olur. Bu quruluş modelin səmərəlilik və əməliyyat xərcləri arasında güclü tarazlıq yaratmağa imkan verir. Hər əməliyyat zamanı modelin 384 mütəxəssis modulundan 8-i və bir əməkdaşlıqçı mütəxəssis eyni zamanda aktiv olur.

61 təbəqədən ibarət olan Kimi K2, 15.5 trilyon tokenlik nəhəng məlumat dəsti ilə təlim keçib. Təlim prosesi zamanı diqqət mexanizmindəki tarazısızlığı qarşısını almaq üçün MuonClip adlı xüsusi optimallaşdırma metodundan istifadə olunub. Bu texnika modelin diqqət çəkilərini daha bərabər paylayaraq, performans sabitliyini təmin edir. Kimi K2, həmçinin 128.000 tokendən ibarət kontekst pəncərəsini dəstəkləyir. Bu, eyni zamanda təxminən 192 səhifəlik mətnin emalına imkan verir. Bu xüsusiyyət uzun sənədlərlə işləyərkən modeli fərqləndirir.

Model istifadəçilər üçün pulsuz Kimi tətbiqi vasitəsilə əlçatandır. Açıq mənbəli olması sayəsində proqramçılar onu müxtəlif layihələrə inteqrasiya edə bilərlər. Mövcud böyük dil modelləri ilə müqayisədə istifadə xərcləri xeyli aşağıdır. Qiymət 1 milyon giriş tokeni üçün cəmi 15 sent, çıxış tokeni üçün isə 2.50 dollardır. Məsələn, Claude modelinin çıxış tokeni üçün 75 dollarlıq qiyməti ilə müqayisədə bu qiymətlər əhəmiyyətli fərqi göstərir. Modellin buraxılışından sonrakı dörd gün ərzində istifadəçilərin ilkin rəyləri olduqca müsbət olub. Xüsusilə sosial mediadakı rəylər modelin kodlaşdırma tapşırıqlarında yüksək dəqiqlik təmin etdiyini göstərir.