Xiaomi Ra Mắt MiMo-7B: Mô Hình Ngôn Ngữ Lớn Mã Nguồn Mở Đầu Tiên Cho Các Tác Vụ Suy Luận và Lập Trình

Trong một bước tiến đáng kể vào lĩnh vực trí tuệ nhân tạo (AI), Xiaomi đã chính thức giới thiệu MiMo-7B - mô hình ngôn ngữ lớn mã nguồn mở đầu tiên của hãng, tập trung đặc biệt vào các tác vụ suy luận và lập trình. Được phát triển bởi nhóm Big Model Core Team mới thành lập, MiMo-7B là một bước ngoặt trong việc tạo ra sự cạnh tranh với các đối thủ như OpenAI và Alibaba.

MiMo-7B có 7 tỷ tham số, mặc dù quy mô nhỏ hơn so với nhiều hệ thống LLM hàng đầu hiện nay. Tuy nhiên, Xiaomi khẳng định hiệu năng của MiMo-7B không kém cạnh các mô hình lớn hơn như o1-mini của OpenAI và Qwen-32B-Preview của Alibaba - cả hai đều có khả năng suy luận mạnh mẽ.

Cốt lõi của MiMo-7B nằm ở quy trình huấn luyện chặt chẽ. Xiaomi đã xây dựng một tập dữ liệu đặc biệt với 200 tỷ token thiên về suy luận và cung cấp tổng cộng 25 nghìn tỷ token qua ba giai đoạn huấn luyện. Công ty cũng áp dụng mục tiêu dự đoán nhiều token cùng lúc thay vì chỉ dự đoán token kế tiếp, giúp rút ngắn thời gian suy diễn mà không làm giảm chất lượng đầu ra.

Trong giai đoạn hậu huấn luyện, Xiaomi sử dụng các kỹ thuật học tăng cường (reinforcement learning) kết hợp với cải tiến về hạ tầng. Công ty đã phát triển một thuật toán tùy chỉnh mang tên "Test Difficulty Driven Reward" để giải quyết vấn đề tín hiệu phần thưởng khan hiếm - vốn là rào cản trong các tác vụ RL phức tạp. Đồng thời, hãng triển khai phương pháp "Easy Data Re-Sampling" để ổn định quá trình huấn luyện.

Xiaomi cũng công bố kết quả benchmark để chứng minh năng lực của MiMo-7B. Trong lĩnh vực toán học, phiên bản MiMo-7B-RL đạt 95,8% trên bộ dữ liệu MATH-500 và hơn 68% trên AIME 2024. Trong lập trình, mô hình đạt 57,8% trên LiveCodeBench v5 và gần 50% trên phiên bản 6. Với các tác vụ kiến thức tổng quát như DROP, MMLU-Pro và GPQA, điểm số đạt mức trung bình đến cao 50 - rất đáng kể với một mô hình 7B.

Đây là bước tiến quan trọng của Xiaomi vào lĩnh vực AI, mở ra cơ hội mới cho các ứng dụng suy luận và lập trình. Với hiệu năng mạnh mẽ và khả năng cạnh tranh, MiMo-7B hứa hẹn sẽ tạo nên sự thay đổi trong ngành công nghiệp mô hình ngôn ngữ lớn.

Theo bài viết của XU HƯỚNG 24 (PHẠM VĂN QUỲNH)