Ученые Университета Иннополис разработали метод, позволяющий в 1,5–2 раза ускорить обучение больших языковых моделей (LLM). В основе подхода — использование данных о том, как человек читает и визуально воспринимает текст. Об этом сообщили в пресс-службе вуза.
Исследователи применили эту технологию для улучшения метода обучения с подкреплением на основе обратной связи от людей (RLHF). Этот подход сегодня считается ключевым для настройки ИИ-моделей под предпочтения пользователей. Вместо общей оценки сгенерированного текста модель получает «плотную» обратную связь: данные о взгляде позволяют понять, какие именно фрагменты текста привлекли наибольшее внимание человека.
«Это аналогично указанию учителя на конкретные ошибки вместо общей оценки за работу. Модель быстрее корректирует поведение, не тратя время на бесполезные правки всего текста», — пояснил руководитель лаборатории искусственного интеллекта в медицине Университета Иннополис Илья Першин.
По мнению разработчиков, новый подход в перспективе позволит снизить стоимость и время разработки более «умных» и понятных человеку ИИ-ассистентов.