GPT Pho bringt Vietnam auf die Welttechnologiekarte

[Anzeige_1]

Pho GPT steht für Pho – Generative Pre-trained Transformer und ist ein großes Sprachmodellprojekt speziell für Vietnamesisch, das vom VinAI-Ingenieurteam – einem Mitglied der Vingroup Corporation – implementiert wird.

„Aufholen“ mit der Welttechnologie

Pho GPT verwendet Open-Source-Code anstelle von proprietärer Software wie ChatGPT von OpenAI. Das bedeutet, dass der Quellcode von Pho GPT öffentlich verfügbar ist und Benutzer durch benutzerdefinierte Anwendungen zur Entwicklung von Pho GPT beitragen können.

Laut VinAI verfügt Pho GPT über 7,5 Milliarden Parameter, die auf der Transformer-Dekodierungsplattform basieren. Dieses Modell wird von Grund auf mit den modernsten verfügbaren Techniken wie dem Flash-Attention-Mechanismus und der AliBi-Kontextlängenextrapolation trainiert.

Diese Techniken helfen Pho GPT nicht nur, den Kontext besser zu verstehen, sondern verbessern auch die Dialog- und Interaktionsfähigkeit der Anwendung während der Nutzung. Dies macht das Modell zu einem vielseitigen Multitasking-Tool, das den unterschiedlichen Sprachanforderungen der Benutzer gerecht wird.

Herr Bui Hai Hung, Generaldirektor von VinAI.

Herr Bui Hai Hung, Generaldirektor von VinAI, erläuterte die Bedeutung der Entstehung von Pho GPT und erklärte, das Ziel des Projekts sei die Entwicklung von ChatGPT-ähnlichen Modellen für die vietnamesische Sprache und Kultur. Pho GPT versteht und schreibt vietnamesischen Schreibstil auf eine Weise, die früheren Sprachtechnologien überlegen ist. Das Modell wird außerdem von Grund auf mit vietnamesischen Datensätzen trainiert und ist unabhängig von anderen Modellen weltweit. Dies gewährleistet die Beherrschung fortschrittlicher Kerntechnologie für Vietnam.

Es ist erwähnenswert, dass Pho GPT ein Jahr später, als die Welt über die Geburt von Chat GPT sprach, in Vietnam erschien. Laut Herrn Bui Hai Hung ist VinAI der Pionier in Südostasien, der ein großes Sprachmodell mit Open-Source-Code auf den Markt bringt. Einige Wochen später wurde ein ähnliches Produkt in Singapur eingeführt.

Verbesserung der vietnamesischen KI

Die Vergleichsergebnisse der Pho GPT-7B5-Instruct-Version mit Closed Source ChatGPT (GPT-3.5-Turbo) und anderen Open Source-Modellen zeigen, dass Pho GPT in den meisten Bewertungskategorien an zweiter Stelle steht, gleich nach ChatGPT.

Pho GPT unterscheidet sich in vielerlei Hinsicht von anderen Sprachmodellen, insbesondere von ChatGPT. Es ist darauf ausgelegt, den vietnamesischen Schreibstil natürlich zu verstehen und zu schreiben und spiegelt Kontext, Grammatik, Wortschatz und Ausdrucksformen der Vietnamesen wider. Es ermöglicht die Interaktion mit Benutzern zu Themen der vietnamesischen Kultur, Geschichte, Geographie, Gesellschaft, Unterhaltung, Sport usw.

Darüber hinaus ist Pho GPT Open Source und flexibel. Benutzer können maßgeschneiderte und einzigartige Anwendungen entwickeln, insbesondere Anwendungen, die hohe Sicherheit erfordern, ohne auf Quellen proprietärer Software angewiesen zu sein.

Gleichzeitig liegt der Schwerpunkt von Pho GPT auf hoher Leistung und Kosteneinsparungen durch Training mit neuesten Optimierungstechniken, die dazu beitragen, die Größe der Anwendung zu reduzieren und ihre Geschwindigkeit zu erhöhen. Pho GPT kann auch auf einer kleineren Computerplattform ausgeführt werden, was zur Kostensenkung und Ressourceneinsparung beiträgt.

Pho GPT wurde mit einem vietnamesischen Data Warehouse von bis zu 41 GB trainiert, darunter 1 GB Wikipedia-Text und eine 40 GB große Variante, die Duplikate aus dem Nachrichtendatensatz entfernt hat, und wurde mit der llm-foundry-Bibliothek von Mosaicml llm trainiert. Pho GPT kann Textfragmente gemäß Benutzeranforderungen generieren, beispielsweise Artikel, Gedichte, Lieder, Essays, Reden, Einleitungen usw. Pho GPT kann auch kreative, humorvolle Inhalte erstellen, beispielsweise Kurzgeschichten, Kommentare, Sprichwörter, Nachrichten, Tweets, Memes usw. Gleichzeitig führt es auch Dialoge mit Benutzern zu verschiedenen Themen wie aktuellen Ereignissen, Bildung, Gesundheit, Reisen, Küche, Sport, Unterhaltung usw. Darüber hinaus kann Pho GPT auch Benutzerfragen beantworten, Informationen, Ratschläge und Unterstützung bereitstellen und Fragen beantworten usw.

Darüber hinaus kann Pho GPT Texte oder Textarten unterschiedlicher Art, wie etwa offizielle, kommerzielle, akademische, literarische Dokumente usw., vom Vietnamesischen in andere Sprachen und umgekehrt übersetzen.

Ein weiteres herausragendes Merkmal ist, dass Pho GPT Textpassagen analysiert und verarbeitet, z. B. zusammenfasst, klassifiziert, beschriftet, Informationen extrahiert, Emotionen erkennt, Fehler erkennt, den Schreibstil verbessert usw.

Das Pho GPT-Entwicklungsteam erklärte, dass es das Modell in Zukunft weiter verbessern und das Projekt auf andere Sprachen ausweiten werde, insbesondere in der Region Südostasien.

„Mit der Einführung von Pho GPT hat Vietnam erstmals die Möglichkeit, in diesem Bereich der Hochtechnologie mit der Welt gleichzuziehen und ein umfassendes Sprachmodell mit Open-Source-Code speziell für Vietnamesen zu entwickeln, das für die vietnamesische Sprache optimiert und weltweit unabhängig ist. Darauf sind Vin AI und die Vietnamesen im Allgemeinen stolz“, fügte ein Vertreter von VinAI hinzu.

Tran Duy Dong, stellvertretender Minister für Planung und Investitionen, kommentierte das Potenzial und die Entwicklungsmöglichkeiten von Pho GPT in der kommenden Zeit wie folgt: „KI wird einer der Bereiche sein, in denen Vietnam großes Potenzial hat, sich stark zu entwickeln und bald zum Weltniveau aufzuschließen. Das Ministerium wird die KI-Community im Besonderen und die Wissenschafts- und Technologie-Community im Allgemeinen stets unterstützen und begleiten, um ein umfassendes und dynamisches Innovationsökosystem zu entwickeln, das zur Gesamtentwicklung des Landes beiträgt.“

[Anzeige_2]
Quelle