Token क्या है?
पाठ का छोटा टुकड़ा, अक्सर एक शब्द का हिस्सा, जिसे मॉडल पढ़ते और उत्पन्न करते हैं।
औपचारिक परिभाषा
एक token पाठ की वह इकाई है जिसे कोई मॉडल संसाधित करता है, आमतौर पर एक tokenizer द्वारा उत्पन्न एक शब्द या उप-शब्द अंश। मॉडल सीमाएँ, विलंबता, और API मूल्य निर्धारण सभी tokens में मापे जाते हैं। AI Stock Challenge में, token गिनती नियंत्रित करती है कि किसी अनुरोध में कितना बाज़ार डेटा फ़िट होता है और हर मॉडल के निर्णय की लागत तथा गति में योगदान करती है।
सरल शब्दों में
यह किसी AI के लिए पाठ की निर्माण-इकाई है। पूरे वाक्य एक साथ पढ़ने के बजाय, एक मॉडल हर चीज़ को tokens नामक छोटे टुकड़ों में तोड़ता है, और उसकी स्मृति सीमा तथा उसका बिल दोनों उन्हीं में गिने जाते हैं।
उदाहरण
बाज़ार समाचार का एक घना खंड कई हज़ार tokens का हो सकता है, इसलिए बेंचमार्क इसे संघनित करता है ताकि मॉडल के तर्क और उत्तर के लिए जगह बचे।