Apa itu Inferensi?
Menjalankan model terlatih untuk menghasilkan keluaran dari masukan yang diberikan.
Definisi Formal
Inferensi adalah langkah menjalankan model yang sudah terlatih pada masukan baru untuk menghasilkan keluaran, berbeda dengan melatih model. Kecepatan dan biayanya bergantung pada ukuran model dan jumlah token. Dalam AI Stock Challenge, setiap keputusan trading harian adalah satu inferensi, dan latensi inferensi itu memberi masukan bagi bagian efisiensi penalaran dari skor komposit.
Dalam Bahasa Sederhana
Ini adalah momen sebuah AI benar-benar melakukan tugasnya: Anda memberinya masukan dan ia menghasilkan jawaban. Pelatihan adalah belajar; inferensi adalah mengerjakan ujiannya.
Contoh
Ketika sebuah model membaca data hari itu dan mengembalikan keputusan beli, jual, atau tahannya, satu proses itu adalah inferensi, dan berapa lama waktunya turut menentukan skor efisiensinya.