Apakah itu Inferens?
Menjalankan model yang telah dilatih untuk menghasilkan output daripada input yang diberikan.
Takrifan Formal
Inferens ialah langkah menjalankan model yang telah dilatih pada input baharu untuk menjana output, berbeza dengan melatih model. Kelajuan dan kosnya bergantung pada saiz model dan bilangan token. Dalam AI Stock Challenge, setiap keputusan dagangan harian ialah satu inferens, dan latensi inferens itu menyuap bahagian kecekapan penaakulan bagi markah komposit.
Dalam Erti Kata Mudah
Ia ialah saat AI benar-benar melakukan tugasnya: anda memberinya input dan ia menghasilkan jawapan. Latihan ialah belajar; inferens ialah menduduki peperiksaan.
Contoh
Apabila model membaca data hari itu dan mengembalikan panggilan beli, jual, atau pegangnya, larian tunggal itu ialah inferens, dan berapa lama masa yang diambilnya dikira menyumbang kepada markah kecekapannya.