VMLU (ベトナム語マルチタスク言語理解) は、ベトナムの AI 研究開発コミュニティがベトナム語生成 AI モデルの出力品質を評価するためのツールをさらに利用できるようにするために、Zalo AI が北陸先端科学技術大学院大学(JAIST) と共同で開発しました。
したがって、これは、58 の異なるトピックを中心とした 10,880 の多肢選択式質問を備え、今日の市場で最も多様なニーズを満たす、多面的かつ多段階のベトナム語評価標準セットです。
AI ベトナムにベトナム語能力評価基準の完全なセットが必要なのはなぜですか?
ChatGPTの爆発的な成長は、生成AIという新たな競争を生み出しました。統計によると、ChatGPTの導入以来、現在、ChatGPTに類似したモデルは世界中に約16,000個存在しています。
ベトナムもこの流れから外れているわけではなく、規模や可能性の異なる多くの研究グループが、ベトナム語を用いた生成AIの実験を希望しています。そのため、これらのAIモデルにベトナム語の知識と思考レベルを測定するためのベトナム語能力評価セットが必要となっています。
現在の市場では、ベトナムのLLM研究グループのほとんどは、独自のモデル評価基準に基づいた評価ツールキットを独自に構築する必要があります。これらは内部評価ツールであり、公開されていません。Zalo AIの評価ツールキットは一般的なニーズを対象としており、LLMモデルの共通基準となり得るため、AIコミュニティに提供されています。これにより、小規模な研究グループが包括的な評価データセットにアクセスし、関係者間で結果を比較することが可能になります。そして、そこからモデルの改善へのモチベーションが生まれます。
ベトナムのAIが世界の生成AIの波に乗るよう促す
2023年11月、Zalo AIはVMLUベトナム語能力評価基準を正式に発表しました。これは、Zalo AIのエンジニアがJAISTと共同で研究開発した基準であり、AIモデル、特にGenerative AIにおけるベトナム語の理解と応用能力を評価することを目的としています。
VMLUの誕生は、個人、スタートアップ、あるいは小規模な研究グループによるベトナム語AIモデルの開発意欲を高めました。これにより、新たな研究のための環境が整い、精度測定と基本モデルの成果向上のための基盤が築かれ、ベトナム人によってベトナム人のために開発されたベトナム語AIアプリケーションの開発プロセスが完成する助けとなります。
これは、ベトナムでの生成AIの開発を加速させ、世界のAI開発の波に追いつくための重要な要素の1つでもあります。
ベトナム語の語学力評価基準は何ですか？
したがって、これは、ベトナム語を適用した AI モデルをテストするための基礎として、データ (テスト データセット) と一連の評価基準という 2 つの主要部分に焦点を当てた、ベトナム語の生成 AI 研究開発市場の最も多様なニーズを満たす、多面的で多レベルのベトナム語評価基準のセットです。
具体的には、このデータセットには58の異なるトピックを網羅した10,880件の多肢選択式問題が含まれています。各トピックには約200問の問題があり、STEM、社会科学、人文科学、そして「拡張」という広義のカテゴリを含む4つの分野に分散されています。このデータセットを用いて、VMLUは初等教育、中等教育、高等教育、そして大学および大学院向けの職業教育の4つのレベルに難易度を階層化しています。このツールキットは、AIモデルのベトナム語能力を、基礎知識と複雑な問題の解決能力の両面で効果的に評価するのに役立ちます。
さらに、研究グループがベトナムの AI モデルの機能を簡単に評価できるように、Zalo AI エンジニアリング チームは、グループがモデルを迅速かつ簡単に使用できるように手順を設計しました。
ベトナムのAIコミュニティに貢献する
VMLU 標準セットは、ユーザー、研究グループ、企業に料金を請求することなく、特にベトナムの AI 研究コミュニティ、そして一般的には情報技術コミュニティに貢献し、発展させることを目的とした研究成果として誕生しました。
これまで、Zalo AI は、Zalo AI チャレンジ、Zalo AI ハッカソン、Zalo AI サミットなど、ベトナムの AI コミュニティ向けに一連のコンテストやプログラムを実施、展開、組織してきました。これらの活動は、ベトナムの AI コミュニティの遊び場を作るだけでなく、生活への AI の応用を奨励し、緊急の社会問題を解決し、何百万人ものベトナム人のニーズに応えています。
Zalo AI研究部門長であり、 ホーチミン市国家大学自然科学科講師でもあるチャウ・タン・ドゥック博士は、次のように述べています。「Zalo AIは常にベトナムのAIコミュニティに貢献し、ベトナムのAIの発展を促すことを目指しています。今後、ベトナム人による、ベトナム人のためのAI製品がますます増えていくことを期待しています。」
[広告2]
ソース
コメント (0)