Выпускная квалификационная работа «Применение фрактального анализа для оптимизации нейронных сетей»

Оптимизация в информатике позволяет улучшить производительность программ, сокращая время выполнения и потребление ресурсов, что, в свою очередь, положительно сказывается на функциональности программного обеспечения и эффективности работы компьютерных систем. Разработка оптимизированных программных модулей является актуальной задачей как для индустрии, так и для исследовательских проектов, поскольку позволяет повысить конкурентоспособность продуктов и улучшить пользовательский опыт. Тема оптимизации также актуальна в области наук о данных. По состоянию на 2022 год общий объем собранных и сохраненных данных составил около 97 зеттабайт. Это свидетельствует о значительном объеме информации, который необходимо эффективно обрабатывать. В этом контексте большие данные играют ключевую роль, и их обработка требует оптимальных методов, включая применение нейронных сетей.

Нейронная сеть ― математическая модель, имитирующая сеть нервных клеток мозга. С точки зрения математики, это сложная дифференцируемая функция (можно представить в виде суперпозиции простых функций), задающая отображение из экзогенного признакового пространства в эндогенное. Все параметры при этом настраиваются одновременно и взаимосвязанно.

У нейронной сети есть следующие образующие блоки:

• Линейный слой — линейное преобразование входных данных: x↦xW+b,W∈R^(d×k),x∈R^d,b∈R^k.
• Функция активации — нелинейное преобразование, поэлементно применяющееся к входным данным предыдущего слоя. Благодаря функциям активации порождаются более информативные признаковые описания.

В машинном обучении существует гипотеза лотерейного билета, формулировка которой звучит так: случайно инициализированная плотная нейронная сеть содержит в себе подсеть, способную достичь того же качества на тестовых данных, что и исходная сеть за то же или меньшее число итераций, что и исходная плотная сеть. Для исследования данной проблемы предлагается использовать метод фрактального анализа. Фрактальный анализ (фрактальный прунинг) предполагает создание модели на основе исходной с последующим сравнением результатов с «материнской» моделью. Критерием оптимальности в данном случае будет отставание не более, чем на 5% от исходной модели по заданной метрике.

Актуальность выбранной темы подтверждается работой в области фрактального анализа структуры обучения нейронных сетей, в которой существует аналогия между процессом генерации фракталов и обучением нейронных сетей. Оба явления связаны с многократным применением функции к ее собственным результатам. Из наблюдений исследователей ясно, что тепловая карта поиска гиперпараметров для нейронной сети имеет фрактальную структуру. Синие области соответствуют гиперпараметрам, при которых обучение сходится; на красных же сходимости не наблюдается. Данное открытие может привести к глубокому пониманию взаимосвязи между асимметричной геометрической структурой фракталов и динамикой в нейронных сетях. Это может способствовать улучшению методов оптимизации гиперпараметров.

Фрактальный анализ представляет собой метод оценки фрактальных характеристик данных. Нейронную сеть можно представить в виде графа, где каждый нейрон соответствует вершине. Применение фрактального сжатия позволяет выявить «лотерейные билеты» в нейронной сети. Выбор этого инструмента обусловлен постановкой задачи и идеей самоподобия между исходной и найденной нейросетью.

Фрактальная математика, формализованная Бенуа Мандельбротом, является относительно новым разделом математики. Несмотря на свою молодость она уже привнесла значительные открытия. Например, фрактальный анализ помог открыть тайну возникновения турбулентности, явления, которое характеризуется образованием многочисленных нелинейных фрактальных волн и линейных волн различных размеров при движении жидкости или газа. Кроме того, фракталы применяются для анализа временных рядов.

Объект исследования: методы и алгоритмы фрактального сжатия для прунинга нейронных сетей.

Предмет исследования: программный код для нахождения «лотерейных билетов» методом фрактального анализа.

Цель выпускной квалификационной работы — разработка алгоритма для нахождения «лотерейных билетов» методом фрактального анализа, который будет предоставлять возможность оптимального использования ресурсов как по памяти, так и по времени, при этом погрешность ответов допустима не более 5% относительно исходной модели.

Для достижения поставленной цели необходимо решить следующие задачи:

1. Собрать теоретическую базу для разрешения гипотезы лотерейного билета.
2. Проанализировать эти методы.
3. Реализовать алгоритм фрактального сжатия.
4. Имплементировать данный алгоритм в прунер.
5. Провести бенчмаркинг.

Методы исследования: анализ математической базы; анализ предпосылок и проблем нахождения «лотерейных билетов»; реализация соответствующих алгоритмов фрактального прореживания и бенчмаркинг.

Практическая значимость полученных результатов состоит в том, что они могут быть использованы для оптимизации нейронных сетей.