IMT journal
IMT journal articlePublicationAcademic article
Быстрые преобразования и самоподобные нейронные сети глубокого обучения Часть 0 Стратифицированные модели самоподобных нейронных сетей и быстрых преобразований
http://libmeta.ru/object/imt_pub_171
Abstract
В работе показано, что в основе построения быстрых преобразований (подобных БПФ) лежат самоподобные структуры, которые в равной степени можно использовать и для построения быстрых нейронных сетей (БНС). Показано, что класс быстрых преобразований определяется системными инвариантами морфологического уровня и может быть описан , как морфогенез терминальных проекций нейронных модулей. Предложены лингвистические модели для описания морфологии, структуры и топологии регулярных самодобных нейронных сетей. Модели легко обобщаются на многомерные варианты нейронных сетей данного типа . Благодаря своей структуре БНС обладают особыми алгоритмами обучения , которые принципиально отличаю тся от классического ErrorBackPropagation отсутствием механизм а обратного распространения ошибки. Алгоритмы обучения основаны на предложенных в работе методах мультипликативной факторизации образов и быстрых преобразований. Разработанные алгоритмы завершаются за конечное число шагов с гарантируемой сходимостью (будет показано в ч асти 2 статьи) . Последовательное развитие концепции самоподобия приводит к разработке методов создания быстрых нейронных сетей с глубок о й степенью обучения . Самоподобные нейронные сети обладают уникальной возможностью дообучения к новым данным без потери ранее приобретённых знаний. Показано, что БНС могут быть использованы для создания быстродействующей памяти образов с произвольным доступом и сложных устройств комбинационной логики. В работе представлены результаты исследований автора по следующим вопросам: биологические предпосылки самоподобия нейронных сетей ; самоподобные многослойные структуры, морфогенез, стратификация модельных представлений; алгоритмы быстрых преобразований , быстрые нейронные сети (Б НС), методы настройки; обучение БНС к эталонным функциям; пластичность БНС; пирамидальные нейронные сети глубокого обучения; многоканальные корреляторы; реализация памяти и комбинационной логики на пирамидальных структурах . Результаты исследований будут пр едставлены статьями в трёх частях.
Данные
| pages | 5-19 |
| year | 2023 |
| pageEnd | 19 |
| pageStart | 5 |
author
topic
cites
An algorithm for the machine calculation of complex Fourier series
Microcolumns in the cerebral cortex [Free PMC Article (full text)]
Sensory hand: neural mechanisms of somatic sensation
The Interaction algorithm and practical fourier analysis
Быстрые дискретные ортогональные преобразования
Быстрые нейронные сети
Быстрые нейронные сети: Проектирование, настройка, приложения
Butterfly-Net: Optimal function representation based on convolutional neural ne…
butterfly transform: an efficient FFT based neural architecture design
Butterfy Flow: building invertible layers with butterfy matrices
Основы теории и методы спектральной обработки информации
Основы теории систем и системного анализа: Учеб. для студентов вузов
+9
references
An algorithm for the machine calculation of complex Fourier series
Microcolumns in the cerebral cortex [Free PMC Article (full text)]
Sensory hand: neural mechanisms of somatic sensation
The Interaction algorithm and practical fourier analysis
Быстрые дискретные ортогональные преобразования
Быстрые нейронные сети
Быстрые нейронные сети: Проектирование, настройка, приложения
Butterfly-Net: Optimal function representation based on convolutional neural ne…
butterfly transform: an efficient FFT based neural architecture design
Butterfy Flow: building invertible layers with butterfy matrices
Основы теории и методы спектральной обработки информации
Основы теории систем и системного анализа: Учеб. для студентов вузов
+9
keyword
UDC
published in
Входящие связи
← contains article · 1
← fragment of · 32
Внешние ссылки
- https://www.imt-journal.ru/archive/public/article?id=335 (fullTextUrl)