66b là một mô hình ngôn ngữ lớn được thiết kế để xử lý ngôn ngữ tự nhiên ở quy mô vừa phải, xấp xỉ 66 tỷ tham số. Nó được tối ưu hóa cho khả năng sinh văn bản, trả lời câu hỏi, tóm tắt và hỗ trợ sáng tạo nội dung. Mô hình này thuộc dòng các mô hình ngôn ngữ dựa trên kiến trúc transformer, với lớp attention đa đầu và cơ chế tối ưu hóa tính đồng nhất giữa hiệu suất và chi phí tính toán.
Kiến trúc của 66b dựa trên transformer với nhiều lớp encoder-decoder hoặc decoder-only tùy biến. Số tham số xấp xỉ 66 tỷ, được phân bổ giữa các tầng ẩn, đầu tự attention và các thành phần dự phòng. Mô hình có các kỹ thuật như rotary position embedding, chuẩn hóa layer và regularization nhằm cải thiện khả năng tổng quát trên nhiều loại nhiệm vụ.
66b được huấn luyện trên một tập dữ liệu đa dạng, gồm văn bản từ sách, bài báo, nội dung web và nguồn công khai, được làm sạch và làm giàu chất lượng. Quá trình huấn luyện kết hợp tối ưu hóa ngược bằng trình tối ưu thích hợp như Adam hoặc các biến thể, với lịch học và điều chỉnh tỉ lệ học phù hợp để giảm quá trình overfitting và tăng khả năng tổng quát.
Với khả năng sinh văn bản tự nhiên, 66b có thể được tích hợp vào hệ thống hỗ trợ viết, chatbot, trợ lý ảo và công cụ sáng tạo nội dung. Tuy nhiên, nó đặt ra thách thức về đạo đức, bảo mật và kiểm soát chất lượng, như việc chống lại thông tin sai lệch, định kiến và kiểm soát chi phí vận hành ở quy mô lớn.
Trong tương lai, các biến thể của 66b có thể được mở rộng về kích thước và tối ưu hóa hiệu suất thông qua kỹ thuật tinh chỉnh đặc thù ngành, system prompts, và huấn luyện hiệu quả hơn. Mô hình ngôn ngữ lớn sẽ tiếp tục đóng vai trò quan trọng trong nhiều lĩnh vực, từ giáo dục đến chăm sóc khách hàng và nghiên cứu khoa học.