Lượng tử hóa (Quantization)

Tại sao quan trọng

Lượng tử hóa là một kỹ thuật cực kỳ quan trọng trong việc triển khai AI trên các thiết bị biên và di động. Lý do chính là nó giúp giảm đáng kể kích thước mô hình AI, làm cho chúng dễ dàng lưu trữ và tải lên các thiết bị có bộ nhớ hạn chế. Đồng thời, việc chuyển đổi các tham số từ số thực (thường là 32-bit) sang số nguyên (thường là 8-bit) giúp tăng tốc độ suy luận vì các phép toán với số nguyên thường nhanh hơn và ít tốn tài nguyên tính toán hơn. Điều này cũng dẫn đến giảm tiêu thụ năng lượng, kéo dài thời lượng pin cho thiết bị. Nhờ lượng tử hóa, các mô hình AI phức tạp có thể chạy hiệu quả trên phần cứng không hỗ trợ số thực hoặc có khả năng tính toán hạn chế, mở rộng phạm vi ứng dụng của AI.

Cách hoạt động

Trong quá trình huấn luyện hoặc sau huấn luyện, các trọng số (weights) và kích hoạt (activations) của mạng nơ-ron, vốn thường được biểu diễn bằng số thực dấu phẩy động 32-bit (FP32), được chuyển đổi thành các biểu diễn có độ chính xác thấp hơn, phổ biến nhất là số nguyên 8-bit (INT8). Quá trình này bao gồm việc ánh xạ một dải giá trị số thực sang một dải giá trị số nguyên, thường đi kèm với các hệ số tỷ lệ (scale) và điểm 0 (zero-point) để giữ được độ chính xác tương đối. Có hai phương pháp chính: Lượng tử hóa sau huấn luyện (Post-Training Quantization - PTQ), nơi mô hình được lượng tử hóa sau khi đã huấn luyện xong; và Lượng tử hóa trong quá trình huấn luyện (Quantization-Aware Training - QAT), nơi quá trình lượng tử hóa được mô phỏng trong khi huấn luyện, thường cho kết quả tốt hơn về độ chính xác do mô hình 'học' cách hoạt động với các giá trị lượng tử hóa.