AIモデルには、複雑な機能を深く評価する一連の標準が必要である

VMLU（ベトナム語LLMのための学習・評価・ランキングプラットフォーム）の2024年開発状況報告書（LLM）によると、ベトナム語に特化したLLMの数が急増しています。具体的には、VMLUプラットフォームは45のLLMをランキングに掲載し、155以上の組織や個人から評価依頼を受け、2024年には評価基準のダウンロード数が691件、LLM評価が3,729件に達しました。

VinBigData、VNPT AI、 Viettel Solutions、工科大学（VNU-HCM）、UONLP x Ontocord（オレゴン大学（米国）、DAMOアカデミー（アリババグループ）、SDSRVチーム（サムスン）など、国内外の多くの組織がVMLUを使用しています...

VMLU英語1

VMLU は 2023 年に LLM 評価基準の最初のセットを発表する予定です。

LLMモデルの量的増加に伴い、その質も向上し続けています。かつてはLLMは基礎知識を中心に学習されていましたが、現在では開発者は読解力、会話のやり取り、人間のような推論といったスキルの拡張に重点を置いています。

高度なベトナムの LLM モデルの開発がますます強力になっていることに対応して、VMLU はモデルの複雑な機能をさらに評価するための新しい一連の標準を公開しました。

LLMの卓越性を促進する基準

かつて市場に品質基準がなかったため、多くの国内研究グループは独自の基準に基づいた社内評価ツールを構築する必要がありました。そのため、適切な学習戦略を策定するためのモデル品質の評価や、既存のLLMとの比較が制限されていました。

この問題を解決するために、2023年11月に、ベトナムの代表的な専門家チームによって「Make in Vietnam」共通規格の最初のセットであるVMLUが研究され、コミュニティに無料で提供されました。

58のトピックを網羅し、複数のレベルに分かれた10,880問の多肢選択式問題からなる標準セットにより、開発者は一般的な評価データセットに容易にアクセスできます。同時に、VMLUのランキングを活用して、自社のモデルを既存のLLMと直接比較することも可能です。

VMLUのゼロからトレーニングされたLLMモデル（ゼロからトレーニングされたLLM）のランキングにViGPT-1.6B-v1モデルがランクインしている、VinBigData仮想アシスタント技術ブロックの自然言語処理部門長であるDang Tran Thai博士は、次のように述べています。「VMLUには、ベトナム語のLLMの知識容量を評価するための比較的完全で包括的なデータがあります。VMLUは、各開発段階でのLLMの品質を評価するのに役立つだけでなく、トレーニングプロセス中の実験の有効性を測る指標でもあります。」

「これは、AI全般、特にLLMの発展を促進するための『踏み台』となるでしょう。なぜなら、高品質のモデルを訓練するための基盤となる優れた基準が必要だからです」とダン・トラン・タイ博士は付け加えた。

マイクロソフトの主席エンジニアであるBach Hung Nguyen博士も、VMLUがベトナム語におけるLLMモデルのパフォーマンス評価に有用であり、開発部門がモデルの機能をより深く理解するのに役立つと確信していると述べました。さらに、Bach Hung Nguyen博士は、VMLUが推論、コード生成、テキスト要約といった有用なスキルセットを追加することを期待しています。

VMLUの新バージョンは高階LLMモデルの完成を目指している

VMLUは最近、法学修士（LLM）の推論能力とインタラクション能力を評価する新たな基準を発表しました。この拡張された基準セットでは、現代の法学修士（LLM）に求められる以下の3つのコアスキルが評価されます。

読解力（ViSQuAD） ：3,310 問で、ベトナム語の言語特性と文脈に基づいて、テキストを深く理解し、複雑な質問に対処する能力を評価します。

推論 (ViDrop) : 3,090 問で、比較、計数、算術計算などのタスクを通じて LLM の論理的推論能力が試されます。

インタラクション (ViDialog) : 210 のダイアログで、一貫性、文脈を理解する能力、および対話における多分野の知識 (歴史、地理、論理) を適用する能力を評価します。

このアップグレードは、開発者がモデルをより包括的に評価するのに役立つだけでなく、LLM がエンドユーザーにとって有用な価値を生み出すことも促進します。

VMLU兄弟2

新しい VMLU 標準は 2025 年にリリースされる予定です。

VMLUの開発元であるZalo AIの人工知能研究開発ディレクター、チャウ・タン・ドゥック博士は次のように述べています。「現在、大規模言語モデルの能力を評価するための基準は世界に数百種類存在します。しかし、ベトナム語に特化した評価基準の数は非常に限られています。2023年と2025年に基準が発表されることにより、評価の側面を多様化していきたいと考えています。」

個人や研究グループがモデルを評価できるように、新しい標準セットが VMLU ウェブサイト https://vmlu.ai/ で公開されました。

VMLU兄弟3

新しい標準セットが VMLU ウェブサイトで更新されました。

VMLUは、Zalo AIが北陸先端科学技術大学院大学（JAIST）と共同で構築したベトナム語のLLMモデルを評価・ランク付けするためのプラットフォームであり、2023年11月からコミュニティに無償で提供されます。ベトナムのAIコミュニティを支援するVMLUは、ベトナム国民が新しい技術を習得する能力の向上に貢献しています。これにより、科学技術、イノベーション、そして国家のデジタル変革における画期的な方向性をもって、ベトナムの技術発展時代に貢献します。

出典: https://znews.vn/mo-hinh-ai-dang-can-bo-tieu-chuan-danh-gia-sau-cac-nang-luc-phuc-tap-post1589901.html