66B là một mô hình ngôn ngữ lớn có khoảng 66 tỷ tham số, được thiết kế để xử lý ngôn ngữ tự nhiên, sinh văn bản và trả lời câu hỏi. Nó nằm trong phân khúc LLM (Large Language Model) và thường được huấn luyện trên dữ liệu đa dạng.
66B sử dụng một kiến trúc transformer phổ biến, với nhiều lớp tự Attention và các mạng feed-forward. Quá trình huấn luyện dựa trên dữ liệu văn bản lớn từ web, sách và nhiều nguồn ngôn ngữ khác nhằm rèn luyện khả năng hiểu và sinh ngôn ngữ ở nhiều ngữ cảnh.
So với các mô hình có lượng tham số lớn khác, 66B cân bằng giữa hiệu suất và chi phí tính toán. Nó có thể phục vụ nhiều nhiệm vụ từ sinh văn bản cho tới tóm tắt, dịch và trả lời câu hỏi.
66B được ứng dụng trong viết nội dung, hỗ trợ khách hàng, phân tích dữ liệu ngôn ngữ và công cụ trợ lý ảo. Nó có thể được tuỳ chỉnh cho ngôn ngữ và miền cụ thể, đồng thời cần quản lý rủi ro và kiểm định chất lượng đầu ra.