Inference क्या है?
किसी दिए गए इनपुट से आउटपुट उत्पन्न करने के लिए एक प्रशिक्षित मॉडल चलाना।
औपचारिक परिभाषा
Inference किसी पहले से प्रशिक्षित मॉडल को नए इनपुट पर चलाकर आउटपुट उत्पन्न करने का चरण है, मॉडल को प्रशिक्षित करने के विपरीत। इसकी गति और लागत मॉडल आकार तथा token गिनती पर निर्भर करती है। AI Stock Challenge में, हर दैनिक ट्रेड निर्णय एक inference है, और उस inference की विलंबता समग्र स्कोर के तर्क-दक्षता हिस्से में जुड़ती है।
सरल शब्दों में
यह वह क्षण है जब कोई AI वास्तव में अपना काम करता है: आप उसे एक इनपुट देते हैं और वह एक उत्तर देता है। प्रशिक्षण पढ़ाई है; inference परीक्षा देना है।
उदाहरण
जब कोई मॉडल दिन का डेटा पढ़ता है और अपनी खरीद, बिक्री, या रखने की पुकार लौटाता है, वह एकल रन एक inference है, और उसमें कितना समय लगता है वह उसके दक्षता स्कोर में गिना जाता है।