66B là tên gọi của một mô hình ngôn ngữ lớn có khoảng 66 tỷ tham số. Các mô hình ở quy mô này được huấn luyện trên lượng dữ liệu văn bản khổng lồ và có khả năng sinh văn bản tự nhiên, trả lời câu hỏi và tham gia vào nhiều tác vụ ngôn ngữ khác nhau.
Kiến trúc phổ biến cho 66B là transformer ở dạng decoder, tối ưu cho sinh văn bản và dự đoán tiếp theo. Với hàng tỷ tham số, mô hình có khả năng nắm bắt ngữ cảnh dài và rút ra quy tắc ngữ pháp ngôn ngữ, nhưng đồng thời đòi hỏi hạ tầng tính toán và bộ nhớ đáng kể.
Quá trình huấn luyện kết hợp dữ liệu từ web, sách, mã nguồn và nhiều nguồn hợp pháp khác. Việc làm sạch, sàng lọc và cân nhắc bản quyền là cần thiết để tăng chất lượng và giảm rủi ro nội dung không phù hợp.
66B có thể thực hiện nhiều tác vụ như trả lời câu hỏi, viết văn, tóm tắt văn bản, dịch ngôn ngữ và hỗ trợ viết mã. Nó hữu ích cho trợ lý ảo, hỗ trợ sáng tạo và tự động hoá công việc ngôn ngữ.
Dù quy mô lớn mang lại hiệu suất ấn tượng, 66B vẫn có thể sinh thông tin sai lệch, phản ánh định kiến và gặp rủi ro lạm dụng. Mức tiêu thụ năng lượng cao, cần hạ tầng mạnh và quản trị nội dung, bảo mật và tuân thủ bản quyền là các thách thức quan trọng.
So với các mô hình nhỏ như 13B, 66B cung cấp ngữ cảnh sâu và kết quả sinh văn bản mượt mà, nhưng chi phí huấn luyện và vận hành cao hơn. So với các mô hình rất lớn như 175B, 66B nằm ở mức giữa, mang lại sự cân bằng giữa hiệu suất và chi phí cho nhiều ứng dụng.