VinUni ra mắt công cụ đánh giá năng lực tiếng Việt của mô hình AI V-Bench
Khi AI tham gia vào hành trình du lịch: Hướng dẫn viên đứng ở đâu? / Robot AI 'Make in Vietnam' thử sức trong môi trường du lịch thực tế
Được khởi xướng bởi Trung tâm Nghiên cứu AI - Trường Đại học VinUni, V-Bench là một dự án hoàn toàn phi lợi nhuận, quy tụ hội đồng khoa học gồm 18 chuyên gia AI hàng đầu người Việt trên toàn thế giới.
Thay vì chỉ tập trung vào các kiến thức học thuật, V-Bench sở hữu một bộ dữ liệu chuyên sâu với hơn 40.000 câu hỏi và tác vụ được xây dựng kỹ lưỡng, bao gồm nhiều lĩnh vực,phản ánh đầy đủ các yếu tố về văn hóa, ngôn ngữ, chủ quyền, an toàn thông tin và đặc thù địa phương.
Khác với các công cụ đo lường khác trên thế giới, V-Bench đi sâu vào bối cảnh thực tiễn của Việt Nam bằng cách chia hệ thống đo lường thành 2 hạng mục lớn với 5 nhóm đánh giá chuyên biệt.
Thứ nhất là đánh giá về văn hóa ngầm định, trong đó kiểm tra khả năng hiểu các tầng nghĩa sâu xa trong phong tục, tín ngưỡng và lịch sử Việt Nam.
Thứ hai là về đa dạng vùng miền, trong đó đánh giá độ am hiểu về phương ngữ, văn phong và cách xưng hô đặc trưng của 3 miền Bắc - Trung - Nam.
Thứ ba là về an toàn và chủ quyền số, trong đó đảm bảo mô hình tuân thủ nguyên tắc an toàn thông tin, chống tin giả và bảo vệ chủ quyền số quốc gia.
Thứ tư là về ứng dụng thực tiễn. Công cụ đo lường hiệu quả hoạt động trong các lĩnh vực cụ thể như giáo dục, y tế cộng đồng và lĩnh vực ứng dụng cụ thể của Việt Nam.
Cuối cùng là kiểm tra về năng lực agentic AI. Công cụ sẽ khảo sát khả năng lập kế hoạch, sử dụng công cụ, RAG và hành động tự chủ của AI trong môi trường Việt Nam.
Chia sẻ về tầm nhìn của dự án, GS.TS. Dương Nguyên Vũ - Phó Hiệu trưởng, Giám đốc Khoa học Trung tâm Nghiên cứu AI Trường Đại học VinUni cho biết: "V-Bench mong muốn góp phần định nghĩa lại tiêu chuẩn AI tại Việt Nam và xây dựng một hệ tham chiếu AI cho quốc gia. Kết quả đánh giá của V-Bench sẽ mang tới góc nhìn toàn cảnh, giúp các tổ chức, doanh nghiệp khám phá chiều sâu năng lực của từng mô hình AI, từ đó lựa chọn mô hình tối ưu cho từng bối cảnh sử dụng và nhu cầu thực tế".
Hiện tại, V-Bench đã tiến hành đánh giá và công bố kết quả của 15 mô hình LLM tiêu biểu và đang được cung cấp hoàn toàn miễn phí tại địa chỉ https://vbench.ai/.
Trong thời gian tới, đội ngũ phát triển dự kiến sẽ tiếp tục nâng cấp công cụ này với khả năng đánh giá đa phương tiện như: nhận diện hình ảnh (chữ Nôm, biển hiệu, di sản văn hóa), hiểu giọng nói ba miền, hiểu ngữ cảnh video ngắn và đặc biệt là năng lực xử lý các tài liệu tiếng Việt dài trên 100.000 token như văn bản luật, sách giáo khoa hay hợp đồng…
Dự án V-Bench không chỉ là bước tiến lớn của Trung tâm Nghiên cứu AI - VinUni mà còn là minh chứng mạnh mẽ cho khát vọng bứt phá, nâng tầm vị thế trí tuệ Việt trên bản đồ học thuật thế giới, đồng thời tiếp tục khẳng định sứ mệnh phụng sự khoa học và cộng đồng của Tập đoàn Vingroup.
End of content
Không có tin nào tiếp theo
