ប្រកាសលក្ខណៈវិនិច្ឆ័យវាយតម្លៃសម្រាប់ហេតុផល និងអន្តរកម្មរបស់ LLM វៀតណាម

Zalo AI និងវិទ្យាស្ថានវិទ្យាសាស្ត្រ និងបច្ចេកវិទ្យាទំនើបជប៉ុន (JAIST) ណែនាំកំណែថ្មីនៃ VMLU ដោយផ្សព្វផ្សាយសហគមន៍ AI វៀតណាមឱ្យល្អឥតខ្ចោះនូវគំរូ LLM កម្រិតខ្ពស់។

ត្រូវបានណែនាំជាលើកដំបូងក្នុងឆ្នាំ 2023 VMLU (ការយល់ដឹងភាសាពហុមុខងារវៀតណាម) បានក្លាយជាស្តង់ដារ "Make in Vietnam" ត្រួសត្រាយផ្លូវ ដែលជំរុញឱ្យក្រុមស្រាវជ្រាវក្នុងស្រុកជាច្រើនកែលម្អគុណភាពនៃគំរូភាសាវៀតណាមធំ (LLM)។

យោងតាមស្ថិតិក្នុងឆ្នាំ 2024 VMLU បានប្រកាស 45 LLMs នៅលើចំណាត់ថ្នាក់ បានទទួលសំណើវាយតម្លៃពីអង្គការ និងបុគ្គលច្រើនជាង 155 សង្ខេបការទាញយក 691 នៃលក្ខណៈវិនិច្ឆ័យវាយតម្លៃដែលបានកំណត់ និងការវាយតម្លៃ LLM 3,729 ពីវេទិកា។ ស្តង់ដារដែលបានកំណត់ត្រូវបានប្រើប្រាស់ដោយអង្គការក្នុងស្រុក និងបរទេសជាច្រើនដូចជា VinBigData, VNPT AI, Viettel Solutions, University of Science and Technology - VNU-HCM, UONLP x Ontocord - University of Oregon (USA), DAMO Academy - Alibaba Group, SDSRV teams - Samsung...

Zalo AI និងវិទ្យាស្ថាន JAIST ណែនាំកំណែថ្មីរបស់ VMLU ។

ដោយសារម៉ូដែល AI កាន់តែឆ្លាតវៃ VMLU ត្រូវបានធ្វើឱ្យប្រសើរឡើង ដើម្បីវាយតម្លៃសមត្ថភាពស្មុគស្មាញបន្ថែមទៀត។ ជាពិសេស សំណុំស្តង់ដារដែលបានពង្រីកវាយតម្លៃជំនាញស្នូលចំនួនបីនៃ LLM ទំនើប រួមមាន:

Reading Comprehension (ViSQuAD)៖ សំណួរចំនួន 3,310 វាយតម្លៃសមត្ថភាពក្នុងការយល់អត្ថបទយ៉ាងស៊ីជម្រៅ និងដោះស្រាយសំណួរស្មុគស្មាញដោយផ្អែកលើលក្ខណៈជាក់លាក់នៃភាសា និងបរិបទវៀតណាម។

ការវែកញែក (ViDrop)៖ សំណួរចំនួន 3,090 ប្រឈមនឹងសមត្ថភាពហេតុផលឡូជីខលរបស់ LLM តាមរយៈកិច្ចការដូចជាការប្រៀបធៀប ការរាប់ និងការគណនានព្វន្ធ។

អន្តរកម្ម (ViDialog)៖ ការសន្ទនាចំនួន 210 វាយតម្លៃភាពស៊ីសង្វាក់គ្នា ការយល់ដឹងតាមបរិបទ និងការអនុវត្តចំណេះដឹងពហុជំនាញ (ប្រវត្តិសាស្ត្រ ភូមិសាស្ត្រ តក្កវិជ្ជា) ក្នុងការសន្ទនា។

ការបន្លិចនៃសំណុំស្តង់ដារថ្មីគឺវិធីសាស្ត្រវាយតម្លៃកម្រិតខ្ពស់ ដោយរួមបញ្ចូលគ្នានូវទម្រង់ផ្សេងៗគ្នាពីជម្រើសច្រើន សំណួរបើកចំហរ រហូតដល់តម្រូវការហេតុផលជាជំហានៗ។ ជាពិសេស VMLU អនុវត្តវិធីសាស្រ្ត "LLM ជាចៅក្រម" (ដោយប្រើ LLM ដើម្បីវាយតម្លៃ LLM) - និន្នាការត្រូវបានអនុវត្តដោយសហគមន៍ AI សកលដើម្បីសម្រេចបាននូវលទ្ធផលគោលដៅកាន់តែច្រើន និងទ្រង់ទ្រាយធំ។

ជាមួយនឹងសំណួរពហុជ្រើសរើសចំនួន 10,880 ដែលគ្របដណ្តប់លើប្រធានបទចំនួន 58 ចែកចេញជាច្រើនកម្រិត កំណែឆ្នាំ 2023 ផ្តោតលើការវាយតម្លៃចំណេះដឹងជាមូលដ្ឋាននៃ LLM ។ ទន្ទឹមនឹងនេះ សំណុំស្តង់ដារថ្មីបានឈានមួយជំហានបន្ថែមទៀត ដោយវាស់ស្ទង់សមត្ថភាពហេតុផល និងអន្តរកម្មរបស់ LLM នៅក្នុងបរិបទជីវិតពិត ។ ការអាប់ដេតនេះមិនត្រឹមតែជួយអ្នកអភិវឌ្ឍន៍វាយតម្លៃម៉ូដែលកាន់តែទូលំទូលាយប៉ុណ្ណោះទេ ប៉ុន្តែថែមទាំងផ្សព្វផ្សាយ LLM ដើម្បីបង្កើតតម្លៃមានប្រយោជន៍សម្រាប់អ្នកប្រើប្រាស់ចុងក្រោយ។

សំណុំលក្ខណៈវិនិច្ឆ័យដែលបានពង្រីកវាយតម្លៃជំនាញស្នូលទាំងបីនៃ LLM ទំនើប។

"បច្ចុប្បន្នមានស្តង់ដារផ្សេងៗគ្នារាប់រយ នៅលើពិភពលោក ដើម្បីវាយតម្លៃសមត្ថភាពនៃគំរូភាសាធំៗ។ ទោះជាយ៉ាងណាក៏ដោយ ចំនួនស្តង់ដារជាពិសេសសម្រាប់ភាសាវៀតណាមមានកម្រិតខ្លាំងណាស់។ ជាមួយនឹងការដាក់ឱ្យដំណើរការស្តង់ដារនៅឆ្នាំ 2023 និង 2025 យើងសង្ឃឹមថានឹងធ្វើពិពិធកម្មទិដ្ឋភាពនៃការវាយតម្លៃ" ។

សំណុំស្តង់ដារថ្មីត្រូវបានដាក់ឱ្យដំណើរការនៅលើគេហទំព័រ VMLU https://vmlu.ai/ សម្រាប់បុគ្គល និងក្រុមស្រាវជ្រាវដើម្បីវាយតម្លៃគំរូរបស់ពួកគេ។

សំណុំស្តង់ដារថ្មីត្រូវបានដាក់ឱ្យដំណើរការនៅលើគេហទំព័រ VMLU ។

ជាមួយនឹងកិច្ចសហប្រតិបត្តិការរបស់អ្នកជំនាញឈានមុខគេនៅវិទ្យាស្ថាន Zalo AI និង JAIST នោះ VMLU នឹងបន្តស្រាវជ្រាវ និងបង្កើតស្តង់ដារវាយតម្លៃចម្រុះបន្ថែមទៀតទាក់ទងនឹងវិស័យ និងការលំបាក។ នៅពេលអនាគត VMLU ក៏មានបំណងបង្កើតស្តង់ដារវាយតម្លៃសុវត្ថិភាព និងសុចរិតភាពផងដែរ ដោយធានាថាគំរូ LLM ត្រូវបានបង្កើតឡើងប្រកបដោយទំនួលខុសត្រូវ។

ប្រភព៖ https://znews.vn/bo-tieu-chuan-make-in-vietnam-danh-gia-suy-luan-tuong-tac-cua-llm-post1589609.html