Slovenčina získava otvorené AI modely bežiace lokálne, kvalitou porovnateľné s komerčnými API
Slovenskí výskumníci vytvorili SkMTEB, prvý komplexný benchmark na meranie toho, ako dobre dokážu modely umelej inteligencie spracovať slovenský text. Jeho súčasťou sú aj dva nové, voľne dostupné modely pre slovenčinu, ktoré dosahujú kvalitu porovnateľnú s komerčnými embeddingovými API, no sú niekoľkonásobne menšie a úspornejšie. Možno ich prevádzkovať lokálne aj na relatívne dostupnom hardvéri bez potreby posielať údaje tretím stranám.
Práca bude predstavená na konferencii ACL 2026, ktorá patrí k najvýznamnejším svetovým konferenciám v oblasti spracovania prirodzeného jazyka. Stojí za ňou tím z Kempelenovho inštitútu inteligentných technológií (KInIT), Technickej univerzity v Košiciach (TUKE) a Univerzity Komenského v Bratislave (UK) spolu s ďalšími partnermi slovenského AI ekosystému.
Systémy umelej inteligencie sa doteraz navrhovali a hodnotili najmä pre angličtinu a ďalšie veľké svetové jazyky. Pri slovenčine však dlhodobo chýbal spoľahlivý spôsob, ako porovnať, ktoré technológie jej skutočne rozumejú. SkMTEB to mení a umožňuje spoľahlivo posúdiť, ktoré modely si so slovenčinou poradia najlepšie.
Jadrom práce sú takzvané embeddingy. Ide o technológiu, ktorá premieňa text na číselné reprezentácie, aby počítač dokázal rozpoznať význam textu aj vtedy, keď sú použité odlišné slová. Práve na embeddingoch stoja vyhľadávače, chatboty pracujúce s dokumentmi, či nástroje na automatické triedenie textov. Vďaka nim dokáže systém nájsť relevantný dokument aj pri odlišne formulovanej otázke, alebo odporučiť správny produkt, aj keď používateľ nepozná jeho presný názov. Ak tieto nástroje slovenčine nerozumejú dostatočne dobre, prejaví sa to na kvalite služieb pre používateľov aj organizácie.
SkMTEB preveruje modely na 31 dátových súboroch a siedmich typoch úloh. Patrí medzi ne vyhľadávanie dokumentov, zoraďovanie výsledkov podľa relevantnosti, posudzovanie podobnosti významu textov, kategorizácia, zhlukovanie či vyhľadávanie zodpovedajúcich si viet v rôznych jazykoch. Výskumný tím pomocou neho otestoval 31 existujúcich modelov a predstavil dva nové modely prispôsobené slovenčine: e5-sk-small s 45 miliónmi parametrov a e5-sk-large s 365 miliónmi parametrov. Menší z nich je natoľko nenáročný, že dokáže fungovať aj priamo vo webovom prehliadači. „Jeho výhodou je, že ho možno použiť lokálne. Ktokoľvek si ho môže bezplatne stiahnuť, spustiť na vlastnom počítači a postaviť na ňom slovenskú aplikáciu bez toho, aby svoje údaje posielal niekomu inému,“ vysvetľuje Daniel Hládek, docent z Katedry počítačových sietí na Technickej univerzite v Košiciach. Najvyššie skóre na benchmarku síce dosiahli podstatne väčšie inštrukčne ladené modely, slovenské modely však pri zlomku veľkosti dosahujú výsledky porovnateľné s komerčnými API.
„Ukázalo sa, že na kvalitné spracovanie slovenčiny nutne nepotrebujeme najväčšie komerčné modely. Náš menší slovenský model dosiahol na benchmarku SkMTEB výsledok porovnateľný s komerčnými API,“ konštatuje Andrej Ridzik, výskumný inžinier z Kempelenovho inštitútu inteligentných technológií.
Možnosť prevádzkovať modely lokálne môže byť prínosom všade tam, kde sa pracuje s citlivými údajmi, napríklad vo verejnej správe, zdravotníctve, či vo finančnom sektore. Modely sú zároveň dostupné pod otvorenou licenciou. Spolu s nimi výskumníci zverejnili aj dátové súbory a zdrojový kód, aby na ich prácu mohli nadväzovať ďalší záujemcovia. Používanie jednotlivých dátových súborov sa riadi ich vlastnými licenciami.
„Veríme, že práve to otvorí novú vlnu aplikácií všade tam, kde záleží na tom, aby technológia naozaj rozumela písanej slovenčine,“ uzatvára Marek Šuppa, odborník na umelú inteligenciu z Katedry aplikovanej informatiky Univerzity Komenského v Bratislave.
Viac informácií:
- Vedecká štúdia: https://arxiv.org/abs/2606.13647
- Kód a modely (open-source): https://github.com/slovak-nlp/skmteb
- Prehľad benchmarku: https://slaih.sk/sk/benchmarks/skmteb
Podobné články
Ako sa dostať do letnej formy pomocou technológií?
Prvé ihriská Lidl Dvorcheck už žijú športom