Muốn làm chủ AI, trước hết phải làm chủ cách đo lường AI

Phỏng vấn GS.TS. Dương Nguyên Vũ
Phó Hiệu trưởng, Giám đốc Khoa học Trung tâm Nghiên cứu AI, Trường Đại học VinUni

Thưa Giáo sư, khi nhắc đến AI, người ta thường nói về các mô hình ngày càng mạnh hơn. Vì sao ông lại cho rằng benchmark cũng quan trọng không kém?

Trong bất kỳ lĩnh vực khoa học nào, muốn phát triển thì trước hết phải có cách đo lường đáng tin cậy.

AI cũng vậy. Chúng ta thường quan tâm mô hình nào mạnh hơn, nhanh hơn hay có nhiều tham số hơn. Nhưng nếu không có một hệ thống đánh giá phù hợp thì rất khó biết mô hình đó thực sự làm tốt điều gì, còn hạn chế ở đâu và có phù hợp với nhu cầu sử dụng hay không.

Theo tôi, benchmark không chỉ là công cụ để xếp hạng các mô hình AI. Quan trọng hơn, benchmark góp phần định nghĩa những năng lực mà AI cần hướng tới. Những gì được đưa vào benchmark sẽ trở thành mục tiêu để cộng đồng nghiên cứu và các nhà phát triển tiếp tục cải thiện mô hình của mình.

Đó là lý do tôi cho rằng muốn làm chủ AI thì trước hết phải làm chủ cách đo lường AI.

Điều đó có ý nghĩa như thế nào đối với Việt Nam?

Phần lớn các benchmark phổ biến hiện nay được xây dựng trong bối cảnh quốc tế và chủ yếu đánh giá các năng lực mang tính phổ quát.

Trong khi đó, mỗi quốc gia lại có những đặc thù riêng về ngôn ngữ, văn hóa và bối cảnh ứng dụng.

Một mô hình AI có thể sử dụng tiếng Việt khá tốt nhưng chưa chắc đã hiểu đầy đủ những tầng nghĩa văn hóa, cách xưng hô, phương ngữ hay các yêu cầu đặc thù trong những lĩnh vực như giáo dục hoặc y tế cộng đồng.

Bên cạnh đó còn có những vấn đề liên quan đến an toàn thông tin và chủ quyền số cần được xem xét trong quá trình đánh giá AI.

Vì vậy, câu hỏi không chỉ là AI mạnh đến đâu, mà còn là AI hiểu Việt Nam đến đâu.

Đó có phải là lý do VinUni phát triển V-Bench?

Đúng vậy.

Từ góc nhìn của một trường đại học nghiên cứu, chúng tôi mong muốn đóng góp một hệ tham chiếu phục vụ cộng đồng nghiên cứu và phát triển AI tại Việt Nam.

V-Bench được khởi xướng bởi Trung tâm Nghiên cứu AI, Trường Đại học VinUni, với sự tham gia cộng tác hoàn toàn phi lợi nhuận của hội đồng khoa học gồm 18 chuyên gia người Việt đầu ngành AI trong và ngoài nước.

Bộ benchmark hiện được xây dựng trên hơn 40.000 câu hỏi và tác vụ, nhằm đánh giá năng lực tiếng Việt của các mô hình ngôn ngữ lớn một cách toàn diện hơn.

Điểm khác biệt là V-Bench không chỉ đánh giá kiến thức, mà còn bao gồm năm nhóm năng lực: văn hóa ngầm định, đa dạng vùng miền, an toàn và chủ quyền số, ứng dụng thực tiễn và năng lực Agentic AI, bao gồm khả năng lập kế hoạch, sử dụng công cụ, RAG và hành động tự chủ trong môi trường Việt Nam.

Chúng tôi mong muốn việc đánh giá AI tiến gần hơn với những tình huống sử dụng thực tế của người Việt.

V-Bench khác gì so với nhiều benchmark quốc tế hiện nay?

Chúng tôi không đặt mục tiêu thay thế các benchmark quốc tế.

Ngược lại, V-Bench được xây dựng theo các kỹ thuật tương đồng và phổ biến trong nghiên cứu LLM quốc tế, giúp các nhà phát triển có thể đánh giá mô hình trên một hệ tham chiếu phản ánh bối cảnh tiếng Việt nhưng vẫn có khả năng kết nối với hệ sinh thái benchmark toàn cầu.

Điểm mà chúng tôi muốn bổ sung là những khía cạnh đặc thù của Việt Nam – những yếu tố vốn khó được phản ánh đầy đủ trong các benchmark mang tính toàn cầu.

Đó cũng là lý do V-Bench không chỉ hướng tới việc đo khả năng trả lời câu hỏi, mà còn đánh giá mức độ hiểu ngôn ngữ, văn hóa và khả năng hành động của AI trong bối cảnh Việt Nam.

Theo ông, benchmark sẽ có vai trò như thế nào khi AI ngày càng được ứng dụng rộng rãi?

AI đang dần trở thành hạ tầng của nhiều lĩnh vực.

Trong bối cảnh đó, điều quan trọng không chỉ là mô hình nào có năng lực cao nhất, mà là mô hình nào phù hợp nhất với từng mục đích sử dụng.

Một hệ tham chiếu đáng tin cậy sẽ giúp các nhà nghiên cứu, doanh nghiệp và những tổ chức ứng dụng AI có thêm cơ sở để hiểu rõ hơn điểm mạnh và giới hạn của từng mô hình trong những bối cảnh cụ thể.

Đó cũng là điều kiện để AI được ứng dụng một cách hiệu quả và có trách nhiệm hơn.

V-Bench sẽ tiếp tục phát triển theo hướng nào?

AI đang phát triển rất nhanh, vì vậy benchmark cũng phải liên tục được cập nhật.

Trong thời gian tới, V-Bench sẽ tiếp tục mở rộng các tiêu chí đánh giá sang hình ảnh và âm thanh, bao gồm nhận diện chữ Nôm, biển hiệu vùng miền, biểu đồ, di sản văn hóa, hiểu giọng nói ba miền, hiểu ngữ cảnh văn hóa qua video ngắn, cũng như khả năng xử lý các tài liệu tiếng Việt rất dài như luật, hợp đồng, sách giáo khoa hay văn bản pháp quy.

Mục tiêu của chúng tôi là tiếp tục hoàn thiện một hệ tham chiếu có giá trị đối với cộng đồng nghiên cứu và phát triển AI tiếng Việt.

Nếu gửi gắm một thông điệp về tương lai AI Việt Nam, ông sẽ nói điều gì?

Trong AI, dữ liệu rất quan trọng. Nhưng dữ liệu chỉ là một phần của câu chuyện.

Một hệ thống AI chỉ thực sự tạo ra giá trị khi chúng ta biết cách đánh giá năng lực của nó một cách khách quan và phù hợp với bối cảnh sử dụng.

Nếu dữ liệu là nền móng để xây dựng AI, thì benchmark là thước đo giúp chúng ta hiểu AI đang ở đâu và cần phát triển theo hướng nào.

Theo tôi, đó cũng là một phần quan trọng trong năng lực làm chủ AI của mỗi quốc gia.