Zalo AIがベトナム語能力評価基準を無料で発表

[広告1]

VMLU（ベトナム語マルチタスク言語理解）は、ベトナムのAI研究開発コミュニティがベトナム語生成AIモデルの出力品質を評価するためのツールをさらに利用できるようにするために、Zalo AIが北陸先端科学技術大学院大学（JAIST）と共同で開発しました。

したがって、これは多面的かつ多段階のベトナムの評価基準のセットであり、58 の異なるトピックを中心とした 10,880 の多肢選択式質問によって、今日の市場で最も多様なニーズを満たします。

ザロ ai.jpg — ベトナム語能力評価基準セットは、AI モデル、特に Generative AI のベトナム語の理解と適用能力を評価するために、Zalo AI エンジニアが JAIST 研究所と共同で研究開発しました。

AI ベトナムにベトナム語能力評価基準の完全なセットが必要なのはなぜですか?

ChatGPTの爆発的な成長は、生成AIという新たな競争を生み出しました。統計によると、ChatGPTの導入以来、現在、世界中にChatGPTに類似したモデルが約16,000存在しています。

ベトナムもこの流れから外れておらず、規模や可能性の異なる多くの研究グループがベトナム語を用いた生成AIの実験を希望しています。そのため、これらのAIモデルにおけるベトナム語の知識と思考レベルを測定するための、ベトナム語能力評価セットの必要性が高まっています。

現在の市場では、ベトナムのLLM研究グループのほとんどは、独自の基準に基づいたモデル評価ツールキットを独自に構築する必要があります。これらは内部評価ツールであり、公開されていません。Zalo AIの評価ツールキットは一般的なニーズを対象としており、LLMモデルの共通基準となり得るため、AIコミュニティに提供されています。これにより、小規模な研究グループが包括的な評価データセットにアクセスし、関係者間で結果を比較することが可能になります。そこから、モデルの改善へのモチベーションが生まれます。

ベトナムのAIが世界の生成AIの波に乗るよう促す

2023年11月、Zalo AIはVMLUベトナム語能力評価基準を正式に発表しました。これは、Zalo AIのエンジニアがJAISTと共同で研究開発した基準であり、AIモデル、特にGenerative AIのベトナム語理解能力と応用能力を評価することを目的としています。

VMLUの誕生は、個人、スタートアップ、あるいは小規模な研究グループによるベトナム語AIモデルの開発意欲を高めました。これにより、新たな研究のための環境が整えられ、精度測定と基本モデルの成果向上のための基盤が築かれ、ベトナム人によってベトナム人のために開発されたベトナム語AIアプリケーションの開発プロセスが完成する助けとなります。

これは、ベトナムでの生成AIの開発を加速させ、世界のAI開発の波に追いつくための重要な要因の1つでもあります。

ベトナム語の語学力評価基準は何ですか？

したがって、これは、ベトナム語を適用する AI モデルをテストするための基礎として、データ (テストデータセット) と一連の評価基準という 2 つの主要部分に焦点を当て、多面的かつ多レベルで、ベトナム語の生成 AI 研究開発市場における最も多様なニーズを満たすベトナム語の評価基準のセットです。

具体的には、このデータセットには58の異なるトピックを網羅する10,880件の多肢選択式問題が含まれています。各トピックには約200問の問題があり、STEM、社会科学、人文科学、そして「拡張」という広義のカテゴリを含む4つの分野に分散されています。このデータセットを用いて、VMLUは小学校、中学校、高校、そして大学および大学院向けの職業教育の4つのレベルに難易度を階層化しています。このツールキットは、AIモデルのベトナム語能力を基礎知識と複雑な問題の解決の両面で効果的に評価するのに役立ちます。

さらに、研究グループがベトナム語の AI モデルの能力を簡単に評価できるように、Zalo AI エンジニアリングチームは、グループが迅速かつ簡単に使用できるように付属の説明書を設計しました。

ベトナムのAIコミュニティに貢献する

VMLU 標準セットは、ユーザー、研究グループ、企業に料金を請求することなく、特にベトナムの AI 研究コミュニティ、そして一般的には情報技術コミュニティに貢献し、発展させることを目的とした研究製品として誕生しました。

これまで、Zalo AI は、ベトナムの AI コミュニティ向けに、Zalo AI チャレンジ、Zalo AI ハッカソン、Zalo AI サミットなど、一連のコンテストやプログラムを実施、展開、組織してきました。これらの活動は、ベトナムの AI コミュニティの遊び場を作るだけでなく、生活への AI の応用を奨励し、緊急の社会問題を解決し、何百万人ものベトナム人のニーズに応えています。

Zalo AI研究部門長であり、ホーチミン市国家大学自然科学科講師でもあるチャウ・タン・ドゥック博士は、次のように述べています。「Zalo AIは常にベトナムのAIコミュニティに貢献し、ベトナムのAIの発展を促すことを目指しています。今後、ベトナム人による、ベトナム人のためのAI製品がますます増えていくことを期待しています。」

[広告2]
ソース