В России разработали универсальный метод быстрой донастройки нейросетей

Российские математики предложили новый подход для быстрой дополнительной настройки систем искусственного интеллекта, в чьих рамках данные обрабатываются по группам, которые затем перемешиваются оптимальным образом.

Новый подход требует меньше памяти и времени на обучение, чем существующие разработки, сообщила пресс-служба НИУ ВШЭ.

Разработка математиков позволяет с минимальными расходами времени и вычислительных ресурсов подстраивать "большие" нейросети для решения новых задач, на работу с которыми они изначально не были рассчитаны. Это дает возможность избежать длительного и затратного переобучения ИИ с нуля, но сохранить общее качество исходной версии.

Как правило, для этого сейчас используется методика донастройки нейросетей при помощи так называемых ортогональных матриц, специальных математических инструментов, позволяющих сохранить многие важные признаки исходной модели. В прошлом для получения ортогональных матриц нужно было пять-шесть матриц другого типа, что повышало расходы времени и ресурсов на донастройку системы ИИ.

Российские ученые разработали новую методику построения матриц, которая позволяет экономить время на их формировании за счет того, что алгоритм делит параметры матрицы на небольшие группы, обрабатывает каждую отдельно и перемешивает их между собой. Такая структура оказалась одновременно гибкой и компактной: она помогает модели точнее подстраиваться под задачу, но при этом требует меньше вычислений и памяти.

На базе этого метода построения матриц российские ученые создали новую методику донастройки нейросетей, после чего проверили ее работу на языковых моделях, а также системах генерации изображения и сверточных нейросетях. Во всех трех случаях разработка Аланова и его коллег превзошла популярные в этих областях решения, а также для ее работы потребовалось меньше времени и памяти. Все это, как надеются ученые, ускорит практическое внедрение созданного ими подхода.