66B là một khái niệm phổ biến trong giới trí tuệ nhân tạo, ám chỉ mô hình ngôn ngữ lớn có quy mô tham số khoảng 66 tỷ. Nó thường được sử dụng cho các tác vụ ngôn ngữ tự nhiên ở quy mô vừa đến lớn.
66B đề cập tới kích thước tham số xấp xỉ 66 tỷ, dựa trên kiến trúc transformer và cơ chế attention để nắm bắt ngữ cảnh dài. Mô hình cần tài nguyên tính toán đáng kể và dữ liệu huấn luyện đa dạng để thể hiện hiệu suất tốt trên nhiều ngôn ngữ.
Trong công nghiệp, 66B có thể được dùng để tự động hóa chăm sóc khách hàng, hỗ trợ viết nội dung, tóm tắt văn bản và trả lời câu hỏi. Trong nghiên cứu, nó giúp tổng hợp tài liệu và đề xuất ý tưởng sáng tạo.
66B: Khám phá mô hinh ngôn ngữ 66 tỉ tham số
66B: Mô hình ngôn ngữ 66 tỷ tham số và những điều bạn nên biết
66B: Mô hình ngôn ngữ lớn và hành trình khám phá