66B hay 66 tỷ tham số là một mô hình ngôn ngữ lớn được thiết kế để sinh văn bản, trả lời câu hỏi, tóm lược nội dung và hỗ trợ các tác vụ ngôn ngữ tự nhiên dựa vào dữ liệu đào tạo khổng lồ.
66B được xây dựng trên kiến trúc transformer quen thuộc, với số lượng tham số lớn cho phép nó nắm bắt ngữ cảnh ở nhiều mức độ và xử lý mối quan hệ giữa từ ở mức sâu. Mô hình thường dùng các tầng attention và feed-forward, cùng kỹ thuật tối ưu hóa để đạt hiệu suất cao trên nhiều tác vụ.
Việc đào tạo kéo dài trên hạ tầng tính toán mạnh mẽ và dữ liệu đa dạng từ văn bản trên web, sách và các nguồn chuyên ngành giúp nó học được cú pháp, ngữ nghĩa và phong cách viết. Tuy nhiên, lượng dữ liệu lớn cũng đặt ra thách thức về ràng buộc đạo đức, sự đại diện và kiểm soát chất lượng dữ liệu.
66B có thể được tích hợp vào chatbot, trợ lý ảo, hệ thống tóm tắt tự động và phân tích ngôn ngữ. Nhờ tham số lớn, nó có khả năng tạo văn bản có chất lượng cao, duy trì ngữ cảnh và điều chỉnh phong cách. Bên cạnh đó, cần có biện pháp kiểm soát đầu ra và đánh giá nguy cơ sai lệch dựa trên dữ liệu đào tạo.