📌 ĐỊNH NGHĨA 1 CÂU
Giới hạn dung lượng bộ nhớ ngắn hạn của AI trong một phiên trò chuyện, tính bằng số lượng Token.
Ví von trực quan
Giống như chiếc bảng trí nhớ tạm thời của một người: Bảng chỉ viết được tối đa 100 dòng chữ, khi viết thêm dòng 101 thì các dòng đầu tiên ở trên đỉnh bảng sẽ tự động bị xóa đi.
Anh em coder à, hiểu về Context Window sẽ giúp anh em quản lý cuộc trò chuyện với AI cực kỳ thông minh:
Cơ chế quản lý bộ nhớ của Cửa sổ ngữ cảnh diễn ra như sau:
1. Tính tổng Token: Mỗi khi bạn nhắn tin mới, AI phải quét lại toàn bộ lịch sử câu hỏi + câu trả lời phía trước.
2. Giới hạn dung lượng: Mô hình có mức trần cố định (Claude Sonnet 200k token, Gemini Pro 2M token).
3. Cắt gọt tự động (Truncation): Khi vượt quá giới hạn, phần dữ liệu cũ nhất ở đầu cuộc trò chuyện sẽ bị bỏ qua.
4. Suy giảm độ tập trung (Attention Decay): Dữ liệu nằm ở giữa đoạn hội thoại quá dài dễ bị AI bỏ sót (hiện tượng Lost in the Middle).