Suy diễn là gì?
Chạy một mô hình đã huấn luyện để tạo ra một đầu ra từ một đầu vào cho trước.
Định nghĩa chính thức
Suy diễn là bước chạy một mô hình đã được huấn luyện trên đầu vào mới để tạo ra một đầu ra, trái ngược với việc huấn luyện mô hình. Tốc độ và chi phí của nó phụ thuộc vào kích thước mô hình và số lượng token. Trong AI Stock Challenge, mỗi quyết định giao dịch hằng ngày là một lần suy diễn, và độ trễ của lần suy diễn đó đưa vào phần hiệu suất suy luận của điểm tổng hợp.
Nói đơn giản
Nó là khoảnh khắc một AI thực sự làm việc của mình: bạn đưa cho nó một đầu vào và nó tạo ra một câu trả lời. Huấn luyện là học bài; suy diễn là ngồi làm bài thi.
Ví dụ
Khi một mô hình đọc dữ liệu trong ngày và trả về các nhận định mua, bán hoặc giữ của nó, lần chạy đơn lẻ đó là một lần suy diễn, và nó mất bao lâu được tính vào điểm hiệu suất của nó.