Zalo、ベトナム人が所有するAIモデルを開発

AIへの世界的な関心は高まっており、その注目は米国や中国など、世界をリードするAIモデルを数多く擁する国々に集中しています。世界的に重要な経済地域の一つである東南アジアは、AIの新たなホットスポットとなりつつあり、世界の政策立案者、投資家、そして技術専門家の関心を引くような大きな進歩を遂げています。

Zalo phát triển mô hình AI do người Việt làm chủ - 1 — ベトナムにはすでに国産の AI モデルが存在し、これは現在東南アジア地域でゼロから開発された数少ない AI モデルの 1 つです (写真: Zalo)。

ベトナムにおいても、党と政府は、科学技術開発、イノベーション、国家のデジタル変革における飛躍的進歩に関する決議57-NQ/TWを通じて、国の技術発展時代を形作り、推進する決意を固めています。この方針は、国内のテクノロジー企業が投資を行い、世界の先進技術の潜在力を活用するための強力な原動力となっています。

現在、ベトナムは東南アジアで数少ない国産大規模言語モデル（LLM）を保有する国の一つとなっています。具体的には、2023年からZaloがベトナム人エンジニアチームによって研究開発されたベトナム語に特化したLLMモデルの学習とリリースに成功しています。

最初からトレーニングを選択して予想外の結果を得る

現在、AI モデルには 2 つのトレーニング手法があります。微調整モデル手法は、以前にトレーニングした LLM を最適化して、特殊な目的のための新しい LLM を作成する方法です。ゼロからのモデルトレーニング手法は、パラメーターの初期化、モデルアーキテクチャの決定から特定のデータセットでのアルゴリズムのトレーニングまで、完全に新しいモデルを構築するプロセスです。

中でも、ファインチューニング手法は、導入の容易さ、リソースの節約、効率性の向上といった利点から、多くの企業に選ばれています。特に、トレーニング機器やデータが限られているベトナムにおいては、ファインチューニング手法は優れたソリューションです。

しかし、Zaloは当初からこの学習手法を選択しました。この手法では、学習プロセスとモデル全体がベトナム人によって完全に所有・管理されています。そのおかげで、ベトナムは東南アジアで自国で開発された大規模言語モデル（LLM）を保有する数少ない国の一つとなっています。

2023年のローンチ時点で、Zalo初のベトナム語に特化した70億パラメータの大規模言語モデルは、VMLUベトナム語LLM能力評価ベンチマークにおいて、OpenAIのGPT3.5と比較して150%の性能を達成しました。学習期間はわずか6か月で、当初の計画18か月を大幅に短縮しました。この迅速な学習プロセスは、Zaloの開発チーム全体を驚かせました。

Zalo phát triển mô hình AI do người Việt làm chủ - 2 — Zalo の LLM モデルは、2023 年の最初のリリースで Kahoot チャレンジで 3 位にランクされました (写真: Zalo)。

2024 年には、Zalo の 130 億パラメータモデルが世界の有名企業を追い越し、VMLU のベトナム LLM 能力ランキングでゼロからトレーニングされたベトナム LLM モデルのトップ 2 としての地位を確立するでしょう。

結果は、特に初期の開発の困難さの状況において、大規模言語モデルのトレーニングレベルがベトナム独自の AI モデルの開発において世界に劣っていないことを示しています。

AIモデル開発に向けたベトナムの取り組み

Zaloの代表者は、LLM研修には研修機器、データ、技術レベルという3つの中核要素が必要であると述べました。これまでベトナムでは、これら3つの側面すべてにおいて依然として多くの制約がありました。具体的には、世界の大企業がNVIDIAの最新の高性能GPUを数千台も所有している一方で、ベトナムのエンジニアは必要なサーバーインフラをまだ十分に整備できていません。また、ベトナム人は英語や中国語に比べてデータリソースが乏しいグループに属しています。ベトナムの人材とLLM研修の経験も、先進国と比較して限られています。

当時の Zalo チームは、大規模なコンピューティングインフラストラクチャが利用可能になったらすぐに対応できるように、知識と LLM トレーニング機能を備えるために、小型の民生用 GPU を研究および実験する必要がありました。

AIトレーニング用チップは不足しているため、Zaloは8台のNvidia DGX H100サーバーを発注したものの、一度にすべてのデバイスを保有することはできず、メーカーからの各バッチの納品を待たなければなりません。そのため、不完全なコンピューティングインフラストラクチャを最適化してトレーニング時間を短縮することも、Zaloチームが解決しなければならない課題です。

同時に、ベトナムのデータソースの不足を補うために、質の高いトレーニングデータにも投資されています。

Zalo phát triển mô hình AI do người Việt làm chủ - 3

世界の大企業と比較するとスタートは困難でしたが、Zaloはベトナム独自のAIモデル開発を成功させるという目標を掲げ、競争に参入することを決意しました。世界有数の多くの研究機関の研究者やエンジニアと協議し、適切な開発戦略を策定しました。

Zaloのエンジニアにとって、現在の成功のマイルストーンは、モデルの最適化を継続し、量と質を向上させるためのモチベーションとなっています。同時に、その応用性を活かして、ベトナムのユーザー向けに世界クラスのAI製品を数多く開発していく所存です」と、Zalo AIのサイエンスディレクターであるNguyen Truong Son博士は述べています。

Zalo phát triển mô hình AI do người Việt làm chủ - 4 — Zalo が Nvidia に注文した DGX H100 サーバー (写真: Zalo)。

開発の初期段階の困難さに柔軟に対応できたおかげで、Zalo は徐々に成功を収め、今日のグローバル AI テクノロジーの習得に向けて前進しています。

現在、Zalo の AI モデルはトレーニング研究の面で成功しているだけでなく、応用面でも成功しており、ベトナムの人々にとって高度な新技術から得られる価値の活用を促進しています。

Zaloは今年初め、Kiki Info Q&Aアシスタントをリリースしました。これはZaloメッセージングプラットフォーム上のOA（公式アカウント）として運営されています。このアシスタントは、生活、コンテンツ制作、エンターテイメントなど、様々なトピックに関するQ&Aをサポートします。Zaloの統計によると、Kiki Infoアシスタントは2ヶ月足らずでZaloのOAアカウントに最大100万人のユーザーアクセスを獲得しました。