Neue Forschung enthüllt das Erfolgsgeheimnis von DeepSeek

Das R1-Modell für künstliche Intelligenz des chinesischen Startups DeepSeek, das bei seiner Einführung im Januar den US-Aktienmarkt schockierte, wurde in der ersten von Experten begutachteten Studie veröffentlicht. Darin wird gezeigt, wie das Unternehmen für nur rund 300.000 US-Dollar ein leistungsstarkes LLM entwickelte.

Der R1 ist für die Bewältigung logischer Aufgaben wie Mathematik und Programmierung konzipiert und stellt damit einen kostengünstigen Konkurrenten für die von US-amerikanischen Technologiegiganten entwickelten Tools dar.

Dies ist ein „Open Weight“-Modell, das kostenlos heruntergeladen werden kann und mit über 10,9 Millionen Downloads derzeit das beliebteste Modell auf der Hugging Face-Plattform ist.

Die Nature-Studie, eine Aktualisierung eines Manuskripts vom Januar, ergab zunächst, dass das Training von R1 lediglich 294.000 US-Dollar kostete, zusätzlich zu den etwa 6 Millionen US-Dollar, die für den Aufbau des Basismodells ausgegeben wurden.

Diese Zahl liegt weit unter den zig Millionen Dollar, die die Konkurrenz angeblich ausgegeben hat.

DeepSeek sagte, R1 sei hauptsächlich mit Nvidia H800-Chips trainiert worden, deren Export nach China seit 2023 von den USA verboten ist.

Der Durchbruch von R1 war der Einsatz von „reinem Verstärkungslernen“. Dabei wird das Modell durch Versuch und Irrtum trainiert und für richtige Antworten belohnt, anstatt anhand von von Menschen ausgewählten Beispielen zu lernen. Es bewertet seine eigenen Leistungen auch anhand interner Schätzungen, einer Technik namens „Relative Group Policy Optimization“, die zur Leistungssteigerung beiträgt.

„Das strenge Peer-Review-Verfahren trägt dazu bei, den Wert und die Zuverlässigkeit des Modells zu bestätigen“, sagt Forscher Huan Sun (Ohio State University). „Andere Unternehmen sollten das auch tun.“

Lewis Tunstall, ein Ingenieur für maschinelles Lernen bei Hugging Face, sagte, dies sei ein wichtiger Präzedenzfall, da Transparenz bei der KI-Entwicklung dazu beitrage, Risiken genauer einzuschätzen.

DeepSeek behauptet, R1 sei nicht mit Daten aus OpenAI-Modellen trainiert worden, gibt jedoch zu, dass das zugrunde liegende Modell mit Webdaten trainiert wurde – die KI-generierte Inhalte enthalten könnten.

Experten sagen, dass es zwar schwierig sei, dies absolut zu bestätigen, aktuelle Erkenntnisse jedoch darauf hindeuten, dass eine reine Leistungssteigerung ausreicht, um eine hohe Leistung zu erzielen.

Im ScienceAgentBench-Test erreichte R1 zwar nicht die höchste Genauigkeitsstufe, bot aber ein gutes Gleichgewicht zwischen Effizienz und Kosten. Die Forscher wollen nun die DeepSeek-Methode anwenden, um die Denkfähigkeiten bestehender LLMs zu verbessern und sie auf Bereiche jenseits von Mathematik und Programmierung auszuweiten.

Laut Herrn Tunstall hat R1 eine „Revolution“ in der Entwicklung künstlicher Intelligenz ausgelöst./.

(TTXVN/Vietnam+)

Quelle: https://www.vietnamplus.vn/nghien-cuu-moi-tiet-lo-bi-quyet-thanh-cong-cua-deepseek-post1062474.vnp