Das weltweite Interesse an KI wächst. Dabei konzentriert sich die Aufmerksamkeit vor allem auf Länder mit führenden KI-Modellen, wie die USA und China. Südostasien – eine der wichtigsten Wirtschaftsregionen der Welt – entwickelt sich allmählich zu einem neuen KI-Hotspot. Hier gibt es bedeutende Fortschritte, die für globale Politiker, Investoren und Technologieexperten interessant sein könnten.
Auch in Vietnam sind Partei und Regierung entschlossen, die technologische Entwicklung des Landes zu gestalten und voranzutreiben. Dies zeigt sich in der Resolution 57-NQ/TW über Durchbrüche in Wissenschaft und Technologie, Innovation und nationaler digitaler Transformation. Diese Ausrichtung hat eine starke Triebkraft für einheimische Technologieunternehmen geschaffen, in fortschrittliche globale Technologien zu investieren und deren Potenzial auszuschöpfen.
Vietnam ist mittlerweile eines der wenigen Länder Südostasiens mit einem eigenen LLM-Modell (Large Language Model). Seit 2023 hat Zalo erfolgreich ein LLM-Modell mit Schwerpunkt Vietnamesisch entwickelt und auf den Markt gebracht, das vollständig von einem Team vietnamesischer Ingenieure erforscht und entwickelt wurde.
Wählen Sie von Anfang an das Training und erzielen Sie unerwartete Ergebnisse
Derzeit verfügen KI-Modelle über zwei Trainingstechniken: Die Technik der fein abgestimmten Modelle ist die Methode zur Optimierung zuvor trainierter LLMs, um neue LLMs für spezielle Zwecke zu erstellen. Die Technik des Modelltrainings von Grund auf ist der Prozess des Aufbaus eines völlig neuen Modells, von der Parameterinitialisierung über die Entscheidung über die Modellarchitektur bis hin zum Trainingsalgorithmus anhand eines bestimmten Datensatzes.
Viele Unternehmen entscheiden sich für Feinabstimmungstechniken, da sie Vorteile wie einfache Implementierung, Ressourceneinsparung und höhere Effizienz bieten. Insbesondere in Vietnam, wo Schulungsgeräte und Daten begrenzt sind, sind Feinabstimmungstechniken eine hervorragende Lösung.
Zalo hat sich jedoch von Anfang an für diese Trainingsmethode entschieden. Bei dieser Methode liegt der gesamte Trainingsprozess und das Modell vollständig in der Hand der Vietnamesen und wird von ihnen kontrolliert. Dadurch ist Vietnam eines der wenigen Länder in Südostasien, das über ein im Inland entwickeltes großes Sprachmodell (LLM) verfügt.
Zum Zeitpunkt der Markteinführung im Jahr 2023 erreichte Zalos erstes groß angelegtes Sprachmodell mit 7 Milliarden Parametern, das sich auf Vietnamesisch konzentrierte, im Vergleich zu OpenAIs GPT3.5 beim VMLU Vietnamese LLM Competency Assessment Benchmark eine Leistung von 150 %. Die Trainingszeit betrug nur 6 Monate und war damit deutlich kürzer als die ursprünglich geplanten 18 Monate. Dieser schnelle Trainingsprozess überraschte das gesamte Entwicklungsteam bei Zalo.
Das LLM-Modell von Zalo erreichte bei seiner ersten Markteinführung im Jahr 2023 den 3. Platz bei der Kahoot-Challenge (Foto: Zalo).
Im Jahr 2024 wird Zalos 13-Milliarden-Parameter-Modell die großen Namen der Welt übertreffen und seine Position als eines der beiden besten vietnamesischen LLM-Modelle, die von Grund auf im vietnamesischen LLM-Kompetenzranking der VMLU trainiert wurden, bestätigen.
Die Ergebnisse zeigen, dass das Trainingsniveau großer Sprachmodelle dem weltweiten nicht nachsteht, um ein eigenes KI-Modell für Vietnam zu entwickeln, insbesondere im Kontext anfänglicher Entwicklungsschwierigkeiten.
Vietnamesische Bemühungen zur Entwicklung von KI-Modellen
Ein Vertreter von Zalo erklärte, dass die LLM-Ausbildung drei Kernelemente erfordert: Trainingsausrüstung, Daten und technisches Niveau. Bisher gab es in Vietnam in allen drei Bereichen noch viele Einschränkungen. Während große Unternehmen weltweit Tausende der neuesten Hochleistungs-GPUs von Nvidia besitzen, verfügen Ingenieure in Vietnam noch nicht über die erforderliche Serverinfrastruktur. Gleichzeitig gehören Vietnamesen zu den Ländern mit den schlechteren Datenressourcen als Engländer oder Chinesen. Auch die Humanressourcen und die Erfahrung in der LLM-Ausbildung sind im Vergleich zu Industrieländern begrenzt.
Das Zalo-Team musste damals an kleinen zivilen GPUs forschen und experimentieren, um sich mit Wissen und LLM-Trainingsfähigkeiten auszustatten, die bereit waren, sobald eine große Computerinfrastruktur verfügbar war.
KI-Trainingschips sind rar. Obwohl Zalo acht Nvidia DGX H100-Server bestellt hat, kann es nicht alle Geräte gleichzeitig besitzen und muss auf jede Lieferung des Herstellers warten. Daher ist die Optimierung der unvollständigen Computerinfrastruktur zur Einsparung von Trainingszeit ein weiteres Problem, das das Zalo-Team lösen muss.
Gleichzeitig wird auch in hochwertige Trainingsdaten investiert, um den Mangel an vietnamesischen Datenquellen auszugleichen.
„Obwohl die Ausgangslage im Vergleich zu großen Unternehmen weltweit schwierig war, beschloss Zalo dennoch, ins Rennen einzusteigen, mit dem Ziel, erfolgreich Vietnams eigenes KI-Modell zu entwickeln. Wir haben uns mit Forschern und Ingenieuren vieler führender Forschungsinstitute weltweit beraten, um eine geeignete Entwicklungsstrategie zu entwickeln.
„Die aktuellen Meilensteine des Erfolgs sind für die Ingenieure von Zalo die Motivation, das Modell weiter zu optimieren, um es in größerer Menge und in besserer Qualität zu erhalten. Gleichzeitig nutzen wir die Anwendbarkeit, um viele erstklassige KI-Produkte für vietnamesische Benutzer zu entwickeln“, erklärte Dr. Nguyen Truong Son, wissenschaftlicher Leiter bei Zalo AI.
DGX H100-Server, den Zalo bei Nvidia bestellt hat (Foto: Zalo).
Dank flexibler Anpassung in den schwierigen frühen Entwicklungsphasen hat Zalo schrittweise erfolgreiche Meilensteine erreicht und bewegt sich auf dem Weg zur Beherrschung der globalen KI-Technologie, wie sie heute ist.
Derzeit ist das KI-Modell von Zalo nicht nur in der Trainingsforschung erfolgreich, sondern wird auch in der Praxis eingesetzt, indem es den Vietnamesen den Zugang zu und die Nutzung des Werts fortschrittlicher neuer Technologien erleichtert.
Anfang des Jahres startete Zalo den Kiki Info Q&A Assistant, der als OA (Offizieller Account) auf der Zalo-Messaging-Plattform betrieben wird. Der Assistent unterstützt Fragen und Antworten zu verschiedenen Themen aus den Bereichen Leben, Content-Erstellung und Unterhaltung. Laut Zalo-Statistiken hatten in weniger als zwei Monaten bis zu eine Million Nutzer Zugriff auf den OA-Account des Kiki Info Assistant auf Zalo.
Das LLM-Modell von Zalo wird zur Entwicklung des Kiki Info Assistant angewendet (Foto: Zalo).
Eine weitere Anwendung des LLM-Modells von Zalo sind KI-Karten. Auch hier wurde der Meilenstein von 15 Millionen erstellten und versendeten Karten in nur zwei Monaten erreicht. Viele Zalo-Nutzer nutzen diese Anwendung, um Verwandten und Freunden zu wichtigen Feiertagen Glückwünsche zu senden.
Derzeit werden von Zalo weiterhin Anwendungen aus großen Sprachmodellen erweitert und weiterentwickelt, die versprechen, den Privatanwendern viele nützliche Werte zu bieten.
Quelle: https://dantri.com.vn/cong-nghe/zalo-phat-trien-mo-hinh-ai-do-nguoi-viet-lam-chu-20250616161352610.htm
Kommentar (0)