Zalo AI kündigt kostenlose Standards zur Bewertung der Vietnamesischkenntnisse an

[Anzeige_1]

VMLU (Vietnamese Multitask Language Understanding) wurde von Zalo AI in Zusammenarbeit mit dem Japan Advanced Institute of Science and Technology (JAIST) entwickelt, um der KI-Forschungs- und Entwicklungsgemeinschaft in Vietnam mehr Tools zur Bewertung der Ausgabequalität vietnamesischer generativer KI-Modelle zur Verfügung zu stellen.

Es handelt sich somit um einen vielseitigen, mehrstufigen vietnamesischen Prüfungsstandardsatz, der mit 10.880 Multiple-Choice-Fragen zu 58 verschiedenen Themen die unterschiedlichsten Anforderungen auf dem heutigen Markt erfüllt.

zalo ai.jpg — Der Standardsatz zur Bewertung der vietnamesischen Sprachkompetenz wurde von den Ingenieuren von Zalo AI in Zusammenarbeit mit JAIST erforscht und entwickelt, um die Fähigkeit zu bewerten, die vietnamesische Sprache von KI-Modellen, insbesondere generativer KI, zu verstehen und anzuwenden.

Warum benötigt AI Vietnam einen vollständigen Satz von Standards zur Bewertung der vietnamesischen Sprachkenntnisse?

Das explosive Wachstum von ChatGPT hat ein neues Rennen ausgelöst: Generative KI. Statistiken zufolge gibt es seit der Einführung von ChatGPT derzeit weltweit etwa 16.000 ChatGPT-ähnliche Modelle.

Auch Vietnam ist von diesem Trend nicht ausgeschlossen. Zahlreiche Forschungsgruppen unterschiedlicher Größenordnung und mit unterschiedlichem Potenzial wollen mit generativer KI auf Vietnamesisch experimentieren. Daher ist ein Vietnamesisch-Kompetenztest für diese KI-Modelle erforderlich, um den Wissensstand und das Denkvermögen auf Vietnamesisch zu messen.

Auf dem aktuellen Markt müssen die meisten LLM-Forschungsgruppen in Vietnam eigene Bewertungs-Toolkits mit eigenen Standards für ihre Modelle entwickeln. Dabei handelt es sich um interne Bewertungstools, die nicht öffentlich zugänglich sind. Das Bewertungs-Toolkit von Zalo AI ist auf allgemeine Bedürfnisse ausgerichtet, kann als gemeinsamer Standard für LLM-Modelle dienen und der KI-Community zur Verfügung gestellt werden. Dies erleichtert kleinen Forschungsgruppen den Zugriff auf umfassende Bewertungsdatensätze und ermöglicht den Parteien, Ergebnisse miteinander zu vergleichen. Dies schafft Motivation zur Verbesserung des Modells.

Vietnamesische KI dazu motivieren, sich der weltweiten Welle der generativen KI anzuschließen

Im November 2023 gab Zalo AI offiziell die VMLU-Standards zur Bewertung der vietnamesischen Sprachkenntnisse bekannt. Dabei handelt es sich um eine Reihe von Standards, die von den Ingenieuren von Zalo AI in Zusammenarbeit mit dem JAIST-Institut erforscht und entwickelt wurden, um die Fähigkeit von KI-Modellen, insbesondere generativer KI, zu bewerten, die vietnamesische Sprache zu verstehen und anzuwenden.

Die Gründung von VMLU hat Einzelpersonen, Startups und kleine Forschungsgruppen dazu motiviert, neue vietnamesische KI-Modelle zu entwickeln. Dies schafft die Voraussetzungen für neue Forschung, legt den Grundstein für die Messung der Genauigkeit und die Verbesserung der Ergebnisse grundlegender Modelle und trägt dazu bei, den Entwicklungsprozess vietnamesischer KI-Anwendungen abzuschließen, die von Vietnamesen für Vietnamesen entwickelt wurden.

Dies ist auch einer der wichtigen Faktoren, die die Entwicklung der generativen KI in Vietnam beschleunigen und dazu beitragen, mit der Welle der KI-Entwicklung in der Welt Schritt zu halten.

Welche Standards gelten für die Beurteilung der vietnamesischen Sprachkenntnisse?

Dementsprechend handelt es sich hierbei um einen Satz vielschichtiger, mehrstufiger Bewertungsstandards für die vietnamesische Sprache, der die unterschiedlichsten Anforderungen auf dem vietnamesischen Markt für Forschung und Entwicklung im Bereich der generativen KI erfüllt und sich auf zwei Hauptteile konzentriert: Daten (Testdatensatz) und einen Satz Bewertungsstandards als Grundlage für das Testen von KI-Modellen unter Verwendung der vietnamesischen Sprache.

Der Datensatz umfasst 10.880 Multiple-Choice-Fragen zu 58 verschiedenen Themen. Jedes Thema umfasst rund 200 Fragen und verteilt sich auf vier Bereiche: MINT, Sozialwissenschaften, Geisteswissenschaften und die breite Kategorie „Erweitert“. Mit diesem Datensatz erstellt VMLU eine Schwierigkeitsstratifizierung mit vier Stufen: Grundschule, Sekundarstufe, Gymnasium und Berufsausbildung – für Universität und Aufbaustudium. Auf dieser Grundlage hilft das Toolkit, die Vietnamesischkenntnisse von KI-Modellen sowohl in Bezug auf Grundkenntnisse als auch auf die Lösung komplexer Probleme effektiv zu bewerten.

Um Forschungsgruppen die Bewertung der Fähigkeiten ihrer vietnamesischen KI-Modelle zu erleichtern, hat das Zalo AI-Entwicklungsteam außerdem Anweisungen entwickelt, mit denen Gruppen sie schnell und einfach verwenden können.

Tragen Sie zur vietnamesischen KI-Community bei

Der VMLU-Standardsatz wurde als Forschungsprodukt entwickelt, das insbesondere zur vietnamesischen KI-Forschungsgemeinschaft und allgemein zur Informationstechnologie-Community beitragen und diese weiterentwickeln soll, ohne dass dafür Benutzer, Forschungsgruppen oder Unternehmen dafür Gebühren zahlen müssen.

Zuvor hat Zalo AI eine Reihe von Wettbewerben und Programmen für die vietnamesische KI-Community implementiert, bereitgestellt und organisiert, wie z. B.: Zalo AI Challenge, Zalo AI Hackathon, Zalo AI Summit ... Diese Aktivitäten schaffen nicht nur einen Spielplatz für die vietnamesische KI-Community, sondern fördern auch die Anwendung von KI im Leben, lösen dringende soziale Probleme und erfüllen die Bedürfnisse von Millionen Vietnamesen.

Dr. Chau Thanh Duc, Leiter der Zalo AI-Forschungsabteilung und Dozent an der Universität für Naturwissenschaften der Ho-Chi-Minh -Stadt-Nationaluniversität, bekräftigte: „Zalo AI möchte stets einen Beitrag zur vietnamesischen KI-Community leisten und die Entwicklung vietnamesischer KI motivieren. Von daher erwarten wir immer mehr KI-Produkte von Vietnamesen für Vietnamesen.“

[Anzeige_2]
Quelle