Згорткова подвійна радіально-базисна нейронна мережа на основі активаційних ядерних функцій спеціального типу
DOI:
https://doi.org/10.30837/0135-1710.2021.177.075Анотація
У статті запропонована згорткова подвійна нейронна мережа, що має ядерні функції активації та призначена для вирішення задач розпізнавання та класифікації зображень в режимі онлайн. Ця мережа містить дві блоки, де перший це нейрокомпесор, що за суттю є модифікованою ймовірнісною нейронною мережею і отримує на вхідний шар зображення, представлені у первинній матричній формі. На виходах автоенкодера, кількість яких визначається кількістю класів у наборі даних, з'являється вектор сигналів попередньої класифікації. Отриманий вектор-сигнал надходить на вхід другого блоку - радіально-базисної нейронної мережі, яка утворює розділяючі гіперповерхні між класами довільної складної форми.
Відмінною рисою розробленої системи є комбіноване навчання наведених двох блоків, де налаштування першого відбувається за допомогою лінивого навчання, базуючись на концепції «Нейрони в точках даних», а система розпізнавання - за парадигмою навчання з учителем та у результаті налаштовуються синаптичні ваги й центри та рецепторні поля функцій активації. Завдяки такому підходу до навчання, система характеризується не тільки високою точністю класифікації, а також високою швидкістю навчання, що дозволяє обробляти потоки даних, які послідовно подаються в режимі онлайн.
Посилання
Mumford C. Computational Intelligence//Springer Berlin Heidelberg. 2009. P. 732. DOI: 10.1007/978-3-642-01799-5.
Kacprzyk J., Pedrycz W. Springer Handbook of Computational Intelligence// Berlin Heidelberg: Springer, Verlag. 2015. P. 1634. DOI: 10.1007/978-3-662-43505-2.
Kruse R., Borgelt C., Klawonn F., Moewes C., Steinbrecher M., Held P. Computational Intelligence: A Methodological Introduction// Berlin: Springer-Verlag. 2013. P.492. DOI: 10.1007/978-1-4471-5013-8.
Bengio Y., Le Cun Y., Hinton G. Deep learning// Nature. № 521(7553). 2015. P.436-444.
Schmidhuber J. Deep learning. Neural networks: An overview//Neural Networks. № 61. 2015. P.85-117.
Goodfellow I., Bengio Y., Courville A. Deep Learning//MIT Press. 2016. P. 800. 7. Specht D.F. Probabilistic neural networks// Neural Network. № 3. 1990. pp. 109-118.
Specht D. F. Probabilistic neural networks and polynomial ADALINE as complementary techniques to classification// IEEE Trans. on Neural Networks. №1. 1990. P. 111-121.
Kung S.Y. Kernel Methods and Machine Learning// Cambridge: University. 2014. P. 591. DOI: 10.1017/CBO9781139176224.
Zahirniak D.R., Chapman R., Rogers S.K., Suter B.W., Kabriski M., Pyatti V. Pattern recognition using radial basis function network//Aerospace Application of Artificial Intelligence, Proceedings, Dayton, Ohio. 1990. Р. 249-260.
Nelles O. Nonlinear Systems Identification// Berlin: Springer. 2001. P.786. DOI: 10.1007/978-3-662-04323-3.
Moody J., Darken C.J. Fast learning in networks of locally tuned processing units// Neural Computation. №1. 1989. Р. 281-294.
Poggio T., Girosi F. Networks for approximation and learning// Proceedings of the IEEE. № 78(9). 1990. Р. 1481-1497.
Park J., Sandberg I. W. Universal Approximation Using Radial-Basis-Function Networks// Neural Computation. №3(2). 1991. Р. 246-257.
Leonard J. A., Kramer M. A., Ungar L. H. Using radial basis functions to approximate a function and its error bounds// IEEE Transactions on Neural Networks. №3(4). 1992. Р. 624-627.
Amirian M., Schwenker F. Radial Basis Function Networks for Convolutional Neural Networks to Learn Similarity Distance Metric and Improve Interpretability// IEEE Access. № 8. 2020. Р. 123087-123097.
Bodyanskiy Ye., Deineko A., Pliss I., Chala O., Nortsova A. Matrix Fuzzy-Probabilistic Neural Network in Image Recognition Task// 2020 IEEE Third International Conference on Data Stream Mining and Processing (DSMP). 2020. Р. 33-36.
Bodyanskiy Ye., Tyshchenko A., Deineko A. An evolving radial basis neural network with adaptive learning of its parameters and architecture// Aut. Control Comp. Sci. №49. 2015. Р. 255-260.
Bodyanskiy Ye., Kolodyazhniy V., Stephan A. An Adaptive Learning Algorithm for a Neuro-fuzzy Network. Computational Intelligence.
Theory and Applications. Fuzzy Days // Lecture Notes in Computer Science, Springer, Berlin, Heidelberg. № 2206. 2001. Р. 68-75.
Epanechnikov V.A. Non-Parametric Estimation of a Multivariate Probability Density// Theory Probab. №14(1). 1967. Р. 153-158. DOI: 10.1137/1114019.
