Построение нейронных сетей прямого распространения с использованием адаптивных элементов
Abstract
This article deals with feedforward artificial neural networks learned by supervised methods based on the error backpropagation. The artificial neural networks of mentioned type can be defined as the systems of interconnected adaptive elements transforming signals in two concurrent directions: either backward or forward. The key advantage of approach proposed is that the single adaptive element is no longer necessary to be a classical neuron or a layer of neurons, but it can be an arbitrary subsystem with any desirable transfer function. The presented method of neural network design is implemented in the developed software prototype along with the library of common adaptive elements. This paper also demonstrates the comparison of the results obtained by numerical simulation of the ultra-short-pulse radar response and by the classification of two random processes.
- neural network
- adaptive element
- signals and systems
- gradient descent
Аннотация (на русском)
Построение нейронных сетей прямого распространения с использованием адаптивных элементов
В данной работе рассматриваются сети прямого распространения сигнала, обучение которых проводится с использованием методов, основанных на процессе обратного распространения ошибки. Нейронная сеть описывается в виде системы связанных двунаправленными сигнальными связями адаптивных элементов, обеспечивающих преобразования сигналов при прямом и обратном распространении. Ключевым преимуществом такого подхода является то, что элементы, входящие в состав сети, могут представлять собой не только классические нейроны или их слои, но могут быть сложными подсистемами, реализующими требуемые передаточные функции. Разработанная методика построения нейронной сети реализована в виде прототипа программного обеспечения, включающего библиотеку классов адаптивных элементов. В работе приведены результаты численного моделирования для решения задачи аппроксимации сверхкороткоимпульсного радиолокационного сигнала и классификации случайного процесса.
For citation
Efimov E.N., Shevgunov T.I. Построение нейронных сетей прямого распространения с использованием адаптивных элементов // Journal of Radio Electronics. – 2012. – No. 8.
References
- M. H. Hassoun, Fundamentals of Artificial Neural Networks, The MIT Press, 1995, 511 p.
- С. Хайкин, Нейронные сети: полный курс, 2-е изд., испр.: Пер. с англ. - М.: ООО «И.Д. Вильямс», 2006, 1104 стр.
- K. S. Narendra, K. Parthasarathy, Identification and Control of Dynamical Systems Using Neural Networks // IEEE Transactions on Neural Networks, Vol. 1, No. 1, March 1990, pp. 4-27.
- M.T. Hagan, H.B. Demuth, M.H. Beale, Neural Network Design, Martin Hagan, 2002, 736 p.
- R. Battiti, First- and Second-Order Methods for Learning: Between Steepest Descent and Newton's Method // Neural Computation, MIT, Vol. 4, No. 2, March 1992, pp. 141-166
- S. Samarasinghe, Neural Networks for Applied Sciences and Engineering: From Fundamentals to Complex Pattern Recognition, Auerbach Publications; 1 ed., 2006, 570 p.
- Г. Буч, Дж. Рамбо, А. Джекобсон, Язык UML. Руководство пользователя, Изд-во: «ДМК Пресс», 2007, 496 стр.
- Коновалюк М.А., Горбунова А.А., Кузнецов Ю.В., Баев А.Б., Алгоритм извлечения информации из комплексного радиолокационного изображения сложной цели, 4-я всероссийская конференция «Радиолокация и радиосвязь», Москва, ИРЭ РАН, дек. 2010 г.