66B là một mô hình ngôn ngữ quy mô lớn được thiết kế để xử lý ngôn ngữ tự nhiên ở mức độ cao, với khoảng 66 tỷ tham số, nhằm mang lại khả năng suy luận và sinh văn bản tự nhiên.
Nguyên lý hoạt động dựa trên kiến trúc transformer, với nhiều lớp self attention và feedforward. Quá trình huấn luyện sử dụng dữ liệu văn bản đa dạng từ web và các nguồn ngữ liệu công khai để tối ưu hóa khả năng dự đoán từ tiếp theo.
66B có thể được áp dụng cho dịch thuật, tóm tắt, trả lời câu hỏi, và hỗ trợ viết sáng tạo; tuy nhiên còn có giới hạn về đạo đức, bảo vệ dữ liệu và kiểm soát đầu ra không mong muốn.
66B đại diện cho một bước tiến lớn trong lĩnh vực mô hình ngôn ngữ, mang lại tiềm năng lớn song song với thách thức về an toàn và trách nhiệm của công nghệ AI.