Google опубликовал методику самосовершенствования языковой модели ИИ

Исследователи из Google и Университета Иллинойса в Урбана-Шампейн (UIUC) опубликовали методику под названием « Самоулучшаемая языковая модель » (LMSI), которая настраивает большую языковую модель (LLM) на наборе данных, сгенерированном той же моделью. Используя LMSI, исследователи улучшили производительность LLM в шести контрольных тестах и ​​установили новые рекорды точности в четырех из них.

Команда начала с предварительно обученной модели PaLM с параметрами 540B . Модель была предоставлена ​​в виде входных вопросов из немаркированного обучающего набора данных вместе с подсказками. Модель генерировала ответы на вопросы, которые затем использовались вместе с входными данными в качестве точной настройки обучающего набора данных. Затем отлаженная модель была оценена на наборе эталонных наборов данных для трех различных задач обработки естественного языка (NLP): арифметических рассуждений, рассуждений на основе здравого смысла и вывода на естественном языке. В четырех тестах — ARC-c , OpenBookQA , ANLI-A2 и ANLI-A3 — модель превзошла предыдущие рекорды. По словам команды Google:

Помимо доработанной модели PaLM 540B, команда также исследовала дистилляцию знаний, используя сгенерированный набор данных для тонкой настройки меньших версий PaLM. Команда обнаружила, что точно настроенная модель параметров 62B превзошла предварительно обученную модель параметров 540B, а точно настроенная модель параметров 8B превзошла предварительно обученную модель параметров 62B.

Будьте в курсе в удобном формате, присоединяйтесь: TG-канал и ВК

Бесплатная служба распространения новостей для научных организаций и стартапов

hello@technovery.com