66B hay 66 tỷ tham số là một mô hình ngôn ngữ dựa trên kiến trúc transformer, được thiết kế để hiểu và sinh ngôn ngữ ở quy mô lớn.
Được xây dựng trên kiến trúc transformer, 66B có khoảng 66 tỷ tham số, cho phép nắm bắt ngữ cảnh dài và các mối quan hệ phi tuyến giữa từ vựng và ý nghĩa.
Quá trình huấn luyện diễn ra trên tập dữ liệu khổng lồ từ web, sách và nguồn kỹ thuật, với tối ưu hoá nhằm cải thiện khả năng tổng quát và giảm thiểu thiên lệch.
Ứng dụng có thể là sinh văn bản, trả lời câu hỏi, tóm tắt và hỗ trợ sáng tạo. Cần cân nhắc an toàn, đạo đức và sự lệch thông tin.