66B là một khái niệm phổ biến trong giới trí tuệ nhân tạo, ám chỉ mô hình ngôn ngữ lớn có quy mô tham số khoảng 66 tỷ. Nó thường được sử dụng cho các tác vụ ngôn ngữ tự nhiên ở quy mô vừa đến lớn.
66B đề cập tới kích thước tham số xấp xỉ 66 tỷ, dựa trên kiến trúc transformer và cơ chế attention để nắm bắt ngữ cảnh dài. Mô hình cần tài nguyên tính toán đáng kể và dữ liệu huấn luyện đa dạng để thể hiện hiệu suất tốt trên nhiều ngôn ngữ.
Trong công nghiệp, 66B có thể được dùng để tự động hóa chăm sóc khách hàng, hỗ trợ viết nội dung, tóm tắt văn bản và trả lời câu hỏi. Trong nghiên cứu, nó giúp tổng hợp tài liệu và đề xuất ý tưởng sáng tạo.
66b – một mã, một câu chuyện
66B: khái niệm và ứng dụng
66B: Hành trình của một mô hình ngôn ngữ quy mô lớn