“Hiện nay, việc huấn luyện các mô hình ngôn ngữ lớn (LLM) bằng chip Nvidia vẫn là tiêu chuẩn chung của các nhà phát triển AI Trung Quốc” , một nguồn tin trong ngành chia sẻ với SCMP .
Các mô hình AI tiên tiến nhất của Trung Quốc vẫn chủ yếu được huấn luyện bằng chip Nvidia. (Ảnh: Bloomberg)
Gia tăng chi phí và thời gian
Trở ngại lớn không chỉ nằm ở sức mạnh của chip mà còn ở hệ sinh thái phần mềm.
CUDA, nền tảng điện toán của Nvidia, đã được sử dụng rộng rãi trong phát triển AI suốt nhiều năm.
Trong khi đó, giải pháp thay thế của Huawei là CANN, đòi hỏi các nhà phát triển phải viết lại và tối ưu một lượng lớn mã nguồn.
“Quy trình huấn luyện hiện tại của chúng tôi phụ thuộc vào CUDA. Mã CUDA không thể chạy trực tiếp trên Ascend nên nếu chuyển đổi cần được viết lại đáng kể” , James Wang, người phát triển các mô hình AI tại một viện nghiên cứu ở Thượng Hải, cho biết.
Ông Wang ước tính việc chuyển các quy trình hiện có sang chip Ascend của Huawei có thể khiến nhóm của ông tốn thêm ít nhất 50% thời gian và chi phí.
Mức độ khó khăn còn phụ thuộc vào từng mô hình.
Một kỹ sư tại Bắc Kinh, đang tham gia chuyển các tác vụ LLM sang Ascend, cho biết với những mô hình nguồn mở như DeepSeek và các phiên bản chưng cất, việc huấn luyện trên chip Ascend có thể khiến một nhóm 2-3 kỹ sư mất thêm khoảng một tháng so với hệ thống sử dụng Nvidia.
Lý do là các nhà phát triển có thể tận dụng những công cụ và nguồn lực hỗ trợ đã có sẵn trong hệ sinh thái.
Ngược lại, huấn luyện một mô hình mới như Kimi K3 của Moonshot AI có thể phức tạp hơn nhiều.
Kimi K3 của Moonshot AI mới công bố trọng số (weights), tức các tham số hình thành năng lực của mô hình, thay vì mã nguồn. Vị kỹ sư cho rằng việc chuyển quá trình huấn luyện mô hình này sang Ascend có thể cần khoảng 10 kỹ sư làm việc thêm hơn 6 tháng.
Việc các công ty AI Trung Quốc tiếp tục phụ thuộc vào Nvidia cho thấy những thách thức mà nước này phải đối mặt trong nỗ lực giảm sự phụ thuộc vào nguồn cung nước ngoài, giữa lúc các phòng thí nghiệm trong nước chạy đua nâng cao năng lực AI.
Việc chuyển sang sử dụng chip Huawei khiến các nhà phát triển AI Trung Quốc tốn thêm nhiều thời gian và chi phí. (Ảnh: IE)
Thách thức ở khâu huấn luyện
Quá trình vận hành một mô hình AI thường gồm hai khâu chính là huấn luyện (training) và suy luận (inference).
Huấn luyện là giai đoạn mô hình học từ lượng dữ liệu lớn, đòi hỏi năng lực tính toán và tài nguyên đáng kể. Trong khi đó, suy luận là quá trình mô hình đã được huấn luyện tiếp nhận dữ liệu mới để tạo câu trả lời hoặc dự đoán và thường dễ triển khai trên các nền tảng phần cứng khác hơn.
Điều này lý giải vì sao các mô hình AI Trung Quốc có thể chạy trên chip nội địa, nhưng chưa đồng nghĩa chúng được huấn luyện bằng những con chip này.
Các hệ thống như DeepSeek-V4 và Kimi K3 đã được điều chỉnh để hoạt động trên nền tảng Trung Quốc, trong đó có Huawei và Alibaba.
Tuy nhiên, cả DeepSeek lẫn Moonshot AI đều chưa công bố loại chip được sử dụng trong quá trình huấn luyện.
Theo The Information , Moonshot AI được cho là huấn luyện Kimi K3 bằng chip Nvidia, gồm cả bộ xử lý Blackwell tiên tiến. Các công ty AI Trung Quốc cũng được cho là vẫn phụ thuộc vào phần cứng Nvidia khi phát triển những mô hình tiên tiến.
Tuy nhiên, chip Trung Quốc đã bắt đầu xuất hiện trong quá trình huấn luyện một số mô hình AI.
Tháng 6, Meituan công bố LongCat-2.0 với 1.600 tỷ tham số. Công ty cho biết mô hình được huấn luyện và vận hành hoàn toàn trên cụm điện toán gồm 50.000 card tăng tốc nội địa, song không tiết lộ nhà cung cấp.