Zalo AI와 JAIST 연구소가 커뮤니티와 협력하여 고급 LLM을 개발합니다.

인공지능(AI)은 폭발적으로 발전하고 있으며, AI 모델 연구의 중요한 진전 덕분에 전례 없는 기회를 열어가고 있습니다. 이를 통해 응용 프로그램을 홍보하고 실질적인 요구를 충족하는 제품을 개발할 수 있는 기반이 마련되었습니다. 베트남에서는 ChatGPT의 강력한 개발로 전 세계적으로 유사한 AI 모델들이 잇따라 등장한 직후, 다양한 규모와 잠재력을 가진 국내 연구 그룹들이 베트남어 대규모 언어 모델(LLM)을 구축하며 경쟁에 뛰어들었습니다.

베트남 LLM 모델의 확산으로 인해 개발자가 적절한 교육 전략을 수립하기 위해 모델 품질을 측정하는 데 도움이 되는 일반적인 평가 기준 세트가 필요합니다.

Zalo AI 플랫폼 개발사의 과학 책임자인 응우옌 트룽 손 박사는 VMLU 베트남 LLM을 다음과 같이 평가했습니다. "베트남 시장은 전 세계에 비해 품질 평가 기준이 부족합니다."

VMLU LLM 평가 플랫폼은 Zalo AI와 일본과학기술고등연구소(JAIST)가 공동으로 개발했습니다.

응웬 트룽 손 박사에 따르면, 이러한 현실을 극복하기 위해서는 베트남 AI 커뮤니티가 힘을 합쳐 베트남 AI 모델을 적절하고 충분하게 평가하고, 점점 더 우수한 품질의 모델을 개발할 수 있는 기반을 마련하는 데 도움이 되는 공통 표준을 만들어야 합니다.

새로운 품질 표준 개발을 촉진합니다

2023년 11월, Zalo AI와 일본 과학기술고등연구소(JAIST)는 VMLU(Vietnamese Multitask Language Understanding Benchmark Suite for Large Language Models)라는 베트남어 LLM 모델의 품질 평가를 위한 표준 세트를 개발하여 커뮤니티에 무료로 제공하기 위해 협력할 예정입니다. 이는 베트남의 주요 전문가들로 구성된 팀이 연구하여 커뮤니티에 공개한 최초의 "Make in Vietnam" 표준 세트입니다.

베트남 LLM 연구 그룹은 자체적인 표준을 갖춘 자체 평가 도구를 구축하는 대신, 포괄적이고 일반적인 평가 데이터 세트에 접근할 수 있었습니다.

VMLU 표준은 STEM, 사회과학, 인문학, 그리고 난이도가 점차 높아지는 심화 영역(초등, 중등, 고등, 전문 분야(학부 및 대학원))의 4개 분야에 중점을 둡니다. 2023년 버전은 58개 주제를 다루는 10,880개의 객관식 문제를 다양한 수준으로 나누어 LLM의 기본 지식을 효과적으로 평가하는 데 도움이 되었습니다.

2024년 말까지 VMLU는 순위에 45개의 LLM을 발표하고, 155개 이상의 기관 및 개인으로부터 평가 요청을 받았으며, 플랫폼에서 평가 기준 다운로드 691건과 LLM 평가 3,729건을 요약했습니다. VinBigData, VNPT AI, Viettel Solutions, 호치민시공과대학교(VNU), UONLP x Ontocord(미국 오리건 대학교), DAMO Academy(알리바바 그룹), SDSRV 팀(삼성) 등 많은 국내외 기관이 VMLU 표준을 활용하고 있습니다.

새로운 단계에서는 LLM 모델이 대폭 업그레이드되어 복잡한 역량을 보다 심층적으로 평가하기 위한 벤치마크가 필요합니다.

"LLM 모델은 점점 더 똑똑해지고 있으며, 질문을 이해하고 정확하게 답할 수 있는 능력을 거의 완벽하게 갖추고 있습니다. 따라서 개발자들은 LLM에 인간과 유사한 독해, 계획, 대화, 추론 등 다양한 역량을 부여하는 데 더욱 집중하고 있습니다." Zalo AI의 VMLU 평가 세트 개발 파트너인 일본과학기술고등연구소(JAIST)의 응우옌 르 민 교수의 말입니다.

개발자들의 점점 더 다양해지는 요구에 부응하여 VMLU는 최근 (1) 독해 능력(ViSQuAD), (2) 추론 능력(ViDrop), (3) 상호작용 능력(ViDialog)을 포함한 3가지 기술을 평가하는 새로운 표준 세트를 출시했습니다.

VMLU 2025 표준.

새로운 표준 세트는 개인과 연구 그룹이 모델을 평가할 수 있도록 VMLU 웹사이트(https://vmlu.ai/)에 출시되었습니다.

AI 마스터리 커뮤니티에 동참하기 위한 노력

VMLU 전문가들은 다양한 도메인에서 다양한 난이도의 평가 세트를 계속 연구하고 구축하여 대규모 언어 모델을 보다 포괄적으로 평가하고 사용자 사용 패턴을 정확하게 반영할 것이라고 밝혔습니다.

또한 VMLU는 베트남 LLM이 책임감 있게 개발되도록 LLM 모델의 안전성과 무결성에 대한 일련의 평가 기준을 개발하는 것을 목표로 합니다.

베트남 국민의 신기술 습득 능력과 정신을 고취하기 위해 VMLU의 평가 기준은 베트남 LLM 연구 커뮤니티에 계속해서 무료로 제공될 예정입니다.

VMLU 2025 표준이 VMLU 웹사이트에 업데이트되었습니다.

베트남 인공지능 분야의 선구자인 Zalo AI는 베트남 사용자를 위한 AI 솔루션 연구 및 개발에 있어 커뮤니티와 항상 함께합니다.

Zalo AI는 주요 베트남어 언어 모델의 성능을 평가하고 순위를 매기는 플랫폼 외에도 2017년부터 Zalo AI 챌린지와 연례 Zalo AI 서밋 포럼을 개최해 왔습니다. 이러한 행사는 베트남 AI 커뮤니티를 연결할 뿐만 아니라, 베트남 국민들이 베트남 국민을 위해 AI 기술 제품을 개발하도록 장려하고 장려하는 데 기여합니다.

출처: https://znews.vn/zalo-ai-vien-jaist-dong-hanh-cung-cong-dong-phat-trien-llm-bac-cao-post1589913.html