Zalo AI kündigt kostenlose Standards zur Bewertung der Vietnamesischkenntnisse an

[Anzeige_1]

VMLU (Vietnamese Multitask Language Understanding) wurde von Zalo AI in Zusammenarbeit mit dem Japan Advanced Institute of Science and Technology (JAIST) entwickelt, um der KI-Forschungs- und Entwicklungsgemeinschaft in Vietnam mehr Tools zur Bewertung der Ausgabequalität vietnamesischer generativer KI-Modelle zur Verfügung zu stellen.

Es handelt sich hierbei also um einen Satz vietnamesischer Bewertungsstandards, der vielschichtig und mehrstufig ist und mit 10.880 Multiple-Choice-Fragen zu 58 verschiedenen Themen die unterschiedlichsten Anforderungen auf dem heutigen Markt erfüllt.

zalo ai.jpg — Der Standardsatz zur Bewertung der vietnamesischen Sprachkompetenz wurde von den Ingenieuren von Zalo AI in Zusammenarbeit mit dem JAIST Institute erforscht und entwickelt, um die Fähigkeit zu bewerten, die vietnamesische Sprache von KI-Modellen, insbesondere generativer KI, zu verstehen und anzuwenden.

Warum benötigt AI Vietnam einen vollständigen Satz von Standards zur Bewertung der vietnamesischen Sprachkenntnisse?

Das explosive Wachstum von ChatGPT hat ein neues Rennen ausgelöst: Generative KI. Statistiken zufolge gibt es seit der Einführung von ChatGPT derzeit weltweit etwa 16.000 ChatGPT-ähnliche Modelle.

Auch Vietnam ist von diesem Trend nicht ausgeschlossen. Zahlreiche Forschungsgruppen unterschiedlicher Größenordnung und mit unterschiedlichem Potenzial experimentieren mit generativer KI auf Vietnamesisch. Dies hat dazu geführt, dass für diese KI-Modelle ein vietnamesisches Kompetenzbewertungssystem erforderlich ist, um den Wissensstand und das Denkvermögen auf Vietnamesisch zu messen.

Auf dem aktuellen Markt müssen die meisten LLM-Forschungsgruppen in Vietnam eigene Bewertungs-Toolkits mit eigenen Standards für ihre Modelle entwickeln. Dabei handelt es sich um interne Bewertungstools, die nicht öffentlich zugänglich sind. Das Bewertungs-Toolkit von Zalo AI ist auf allgemeine Bedürfnisse ausgerichtet, kann als gemeinsamer Standard für LLM-Modelle dienen und der KI-Community zur Verfügung gestellt werden. Dies erleichtert kleinen Forschungsgruppen den Zugriff auf umfassende Bewertungsdatensätze und ermöglicht den Parteien, Ergebnisse miteinander zu vergleichen. Dies schafft Motivation zur Verbesserung des Modells.

Vietnamesische KI dazu motivieren, sich der weltweiten Welle der generativen KI anzuschließen

Im November 2023 gab Zalo AI offiziell die VMLU-Standards zur Bewertung der vietnamesischen Sprachkenntnisse bekannt. Dabei handelt es sich um eine Reihe von Standards, die von den Ingenieuren von Zalo AI in Zusammenarbeit mit dem JAIST Institute erforscht und entwickelt wurden, um die Fähigkeit von KI-Modellen, insbesondere generativer KI, zum Verständnis und zur Anwendung der vietnamesischen Sprache zu bewerten.

Die Gründung von VMLU hat Einzelpersonen, Startups und kleine Forschungsgruppen dazu motiviert, neue vietnamesische KI-Modelle zu entwickeln. Dies schafft die Voraussetzungen für neue Forschung, legt den Grundstein für die Messung der Genauigkeit und die Verbesserung der Ergebnisse grundlegender Modelle und trägt dazu bei, den Entwicklungsprozess vietnamesischer KI-Anwendungen abzuschließen, die von Vietnamesen für Vietnamesen entwickelt wurden.

Dies ist auch einer der wichtigen Faktoren, die die Entwicklung der generativen KI in Vietnam beschleunigen und dazu beitragen, mit der Welle der KI-Entwicklung in der Welt Schritt zu halten.

Welche Standards gelten für die Beurteilung der vietnamesischen Sprachkenntnisse?

Dementsprechend handelt es sich um einen Satz von Bewertungsstandards für die vietnamesische Sprache, der vielschichtig und mehrstufig ist und die unterschiedlichsten Anforderungen auf dem vietnamesischen Markt für Forschung und Entwicklung im Bereich generative KI erfüllt. Der Schwerpunkt liegt auf zwei Hauptteilen: Daten (Testdatensatz) und einem Satz von Bewertungsstandards als Grundlage für das Testen von KI-Modellen in vietnamesischer Sprache.

Der Datensatz umfasst 10.880 Multiple-Choice-Fragen zu 58 verschiedenen Themen. Jedes Thema umfasst rund 200 Fragen und verteilt sich auf vier Bereiche: MINT, Sozialwissenschaften, Geisteswissenschaften und die breite Kategorie „Erweitert“. Mit diesem Datensatz erstellt VMLU eine Schwierigkeitsstratifizierung mit vier Stufen: Grundschule, Sekundarstufe, Gymnasium und Berufsausbildung – für Universität und Aufbaustudium. Auf dieser Grundlage hilft das Toolkit, die Vietnamesischkenntnisse von KI-Modellen sowohl im Grundwissen als auch bei der Lösung komplexer Probleme effektiv zu bewerten.

Um Forschungsgruppen die Bewertung der Leistungsfähigkeit ihrer vietnamesischen KI-Modelle zu erleichtern, hat das KI-Entwicklungsteam von Zalo außerdem begleitende Anweisungen entwickelt, damit die Gruppen sie schnell und einfach verwenden können.

Tragen Sie zur vietnamesischen KI-Community bei

Der VMLU-Standardsatz wurde als Forschungsprodukt mit dem Ziel entwickelt, einen Beitrag zur vietnamesischen KI-Forschungsgemeinschaft im Besonderen und zur Informationstechnologie-Community im Allgemeinen zu leisten und diese weiterzuentwickeln, ohne Benutzern, Forschungsgruppen oder Unternehmen hierfür Gebühren zu berechnen.

Zuvor hat Zalo AI eine Reihe von Wettbewerben und Programmen für die vietnamesische KI-Community implementiert, bereitgestellt und organisiert, wie z. B.: Zalo AI Challenge, Zalo AI Hackathon, Zalo AI Summit ... Diese Aktivitäten schaffen nicht nur einen Spielplatz für die vietnamesische KI-Community, sondern fördern auch die Anwendung von KI im Leben, lösen dringende soziale Probleme und erfüllen die Bedürfnisse von Millionen Vietnamesen.

Dr. Chau Thanh Duc, Leiter der Zalo AI-Forschungsabteilung und Dozent an der Universität für Naturwissenschaften der Ho-Chi-Minh -Stadt-Nationaluniversität, bekräftigte: „Zalo AI möchte stets einen Beitrag zur vietnamesischen KI-Community leisten und die Entwicklung vietnamesischer KI motivieren. Wir erwarten, dass es in Zukunft immer mehr KI-Produkte von Vietnamesen für Vietnamesen geben wird.“

Kommentar (0)