Trung tâm Nghiên cứu AI, Trường ĐH VinUni đã chính thức công bố ra mắt V-Bench, bộ công cụ phi lợi nhuận dùng để đo lường và đánh giá năng lực tiếng Việt của các mô hình ngôn ngữ lớn (LLM). Giới chuyên gia công nghệ đánh giá đây là một dự án nghiêm túc, có tính xác thực chuyên môn cao (đạt 9,5/10 điểm) và đang thiết lập một tiêu chuẩn mới cho hệ sinh thái AI nội địa.
Quy mô dữ liệu đồ sộ và toàn diện
V-Bench là bộ dữ liệu chuyên sâu bao gồm hơn 40.000 câu hỏi và tác vụ. Theo đánh giá từ giới chuyên môn, đây là quy mô hoàn toàn phù hợp với một bộ dữ liệu kiểm thử (Evaluation Dataset) cấp quốc gia, đủ lớn để tạo ra độ nhiễu thấp và tính khách quan cao cho điểm số của các mô hình AI.
5 nhóm đánh giá chuyên biệt
Thay vì chỉ tập trung vào các câu hỏi trắc nghiệm kiến thức tổng hợp như các bộ tiêu chuẩn trước đây, V-Bench chia hệ thống đánh giá thành 2 hạng mục lớn với 5 nhóm chuyên biệt:
- Văn hóa ngầm định: đánh giá độ thấu hiểu các phong tục, tín ngưỡng, lịch sử Việt Nam
- Đa dạng vùng miền: kiểm tra khả năng hiểu phương ngữ và văn phong Bắc – Trung – Nam
- An toàn và chủ quyền số: đảm bảo AI tuân thủ an toàn thông tin và bảo vệ chủ quyền số quốc gia
- Ứng dụng thực tiễn: đo lường hiệu quả trong các ngành y tế, giáo dục tại Việt Nam
- Năng lực Agentic AI: đánh giá khả năng lập kế hoạch, sử dụng công cụ và hành động tự chủ
Việc đưa khái niệm nâng cao "Agentic AI" vào kiểm thử được xem là bước tiến vượt bậc, giúp V-Bench trở thành bộ công cụ có độ phủ khía cạnh rộng và toàn diện nhất hiện nay.
Tính độc lập và khách quan tuyệt đối
Dù được khởi xướng bởi VinUni – đơn vị thuộc hệ sinh thái Vingroup, nơi cũng sở hữu các mô hình AI riêng – dự án đã khéo léo loại bỏ định kiến thiên vị (bias) bằng cách hoạt động hoàn toàn phi lợi nhuận. Toàn bộ dữ liệu được thẩm định bởi một hội đồng khoa học gồm 18 chuyên gia AI đầu ngành độc lập ở trong và ngoài nước.
Tương thích chuẩn quốc tế
Dự án chứng minh được sự tương thích chuẩn mực với hệ sinh thái quốc tế khi được định dạng theo các chuẩn dữ liệu phổ biến toàn cầu (như định dạng JSON/Hugging Face). Điều này giúp các nhà phát triển AI quốc tế có thể nạp mô hình vào hệ thống và chạy thử ngay mà không gặp bất kỳ rào cản nào về quy ước kỹ thuật.
Kết quả đánh giá và kế hoạch mở rộng
Hiện tại, nền tảng này đã công bố kết quả đánh giá của 15 mô hình LLM tiêu biểu và đang được cung cấp miễn phí cho cộng đồng. Trong tương lai, V-Bench dự kiến sẽ mở rộng sang các bài kiểm tra phức tạp hơn về hình ảnh và âm thanh như: nhận diện chữ Nôm, hiểu ngữ cảnh văn hóa qua video ngắn, hay xử lý tài liệu tiếng Việt siêu dài trên 100.000 token.
Vị thế so với các bộ công cụ hiện có
Tại Việt Nam, các nhà nghiên cứu và doanh nghiệp sử dụng nhiều hệ thống thước đo chuyên biệt để xếp hạng AI. Trước khi V-Bench AI của VinUni ra mắt, bộ VMLU (Vietnamese Multitask Language Understanding) do Viện Khoa học và Công nghệ tiên tiến Nhật Bản (JAIST) cùng Zalo AI xây dựng được đánh giá khá cao, được xem là thước đo học thuật phổ biến nhất. Nhưng V-Bench AI được đánh giá là bộ tiêu chuẩn thế hệ mới toàn diện nhất. Lý do là ngoài tri thức học thuật, V-Bench mở rộng quy mô lên hơn 40.000 câu hỏi và bổ sung các danh mục cực kỳ quan trọng hiện nay mà các bộ công cụ cũ thiếu sót.
