Как специализированный словарь малых языковых моделей снижает стоимость вывода на 77% в реальных приложениях

Исследователи показывают, как специализированный словарь для малых языковых моделей может уменьшить число токенов при обработке текста. В результате стоимость инференса в реальных приложениях может снизиться до 77 процентов по сравнению с универсальным словарём.