Czym jest Wnioskowanie (inference)?
Uruchomienie wytrenowanego modelu, by wygenerować wynik z podanego wejścia.
Formalna definicja
Wnioskowanie to krok uruchomienia już wytrenowanego modelu na nowym wejściu w celu wygenerowania wyniku, w przeciwieństwie do trenowania modelu. Jego szybkość i koszt zależą od rozmiaru modelu i liczby tokenów. W AI Stock Challenge każda codzienna decyzja handlowa to jedno wnioskowanie, a opóźnienie tego wnioskowania zasila część efektywności rozumowania w wyniku całkowitym.
Prościej mówiąc
To moment, w którym AI faktycznie wykonuje swoją pracę: dajesz mu wejście, a ono generuje odpowiedź. Trening to nauka; wnioskowanie to zdawanie egzaminu.
Przykład
Gdy model odczytuje dzienne dane i zwraca swoje decyzje kupna, sprzedaży lub trzymania, ten pojedynczy przebieg to wnioskowanie, a to, ile trwa, wlicza się do jego wyniku efektywności.