66B là một mô hình ngôn ngữ lớn (LLM) với quy mô khoảng 66 tỷ tham số, được thiết kế để xử lý ngôn ngữ tự nhiên, trả lời câu hỏi, viết văn bản, và thực hiện nhiều tác vụ liên quan đến hiểu ngôn ngữ.
66B sử dụng kiến trúc Transformer tương tự các mô hình ngôn ngữ tiên tiến. Nó có nhiều lớp tự chú ý, cơ chế feed-forward mạnh mẽ, và có các biện pháp tối ưu để xử lý ngôn ngữ ở nhiều ngôn ngữ.
Lộ trình huấn luyện của 66B dựa trên dữ liệu văn bản từ web, sách, và tài liệu ngôn ngữ khác. Việc thu thập dữ liệu đồng thời cố gắng lọc bỏ nội dung nhạy cảm và giảm thiểu rủi ro.
So với các mô hình ngôn ngữ phổ biến có tham số lớn, 66B cân bằng giữa hiệu suất và chi phí tính toán. Nó nhắm tới khả năng hiểu và sinh ngôn ngữ ở nhiều ngữ cảnh.
66B có thể được dùng để viết văn bản, tạo nội dung sáng tạo, tóm tắt tài liệu, phân tích ngôn ngữ và hỗ trợ khách hàng trong nhiều lĩnh vực.
66B cho thấy tiềm năng của các mô hình ngôn ngữ có quy mô vừa phải, kết hợp hiệu suất tốt với chi phí tính toán hợp lý, mở đường cho các ứng dụng thương mại và nghiên cứu.