Мікросервісна архітектура системи потокової обробки великих даних

Автор(и)

  • Даніїл Андрійович Нефьодов Харківський національний університет радіоелектроніки, кафедра ШІ, Україна https://orcid.org/0009-0008-3171-1397
  • Сергій Григорович Удовенко Харківський національний економічний університет ім. С. Кузнеця, кафедра ІКТ, Україна https://orcid.org/0000-0001-5945-8647
  • Лариса Ернестівна Чала Харківський національний університет радіоелектроніки, кафедра ШІ, Україна https://orcid.org/0000-0002-9890-4790

DOI:

https://doi.org/10.30837/0135-1710.2022.178.050

Анотація

Розглянуто питання використання мікросервісної архітектури у системах потокової обробки великих даних. Досліджено переваги і недоліки існуючих архітектур аналізу великих даних. Запропоновано варіант системи мікросервісної обробки великих даних з використанням розподіленої потокової платформи подій Kafka, платформи розробки та запуску програм Docker, об'єктно-реляційної системи управління базами даних Postgres, а також веб-платформи для створення додатків FastAPI. Розроблено архітектурні шаблони, які можуть спростити розробку застосунків для обробки великих даних з використанням мікросервісів, та концепти програм з використанням отриманих шаблонів. Наведено результати моделювання, які свідчать про те, що мікросервісна архітектура з розподіленим навантаженням на декілька реплік може забезпечити кращу масштабованість і швидкодію в порівнянні з монолітною архітектурою.

Біографії авторів

Даніїл Андрійович Нефьодов, Харківський національний університет радіоелектроніки, кафедра ШІ

аспірант кафедри штучного інтелекту ХНУРЕ. Наукові інтереси: розробка архітектури розподілених систем, методи стримінгової класифікації. Адреса: Україна, 61000, Харків, проспект Науки, 14.

Сергій Григорович Удовенко, Харківський національний економічний університет ім. С. Кузнеця, кафедра ІКТ

доктор технічних наук, професор, завідувач кафедри інформатики та комп'ютерної техніки ХНЕУ ім. С. Кузнеця. Наукові інтереси: інтелектуальні системи керування та обробки інформації. Адреса: Україна, 61000, Харків, проспект Науки, 9-A.

Лариса Ернестівна Чала, Харківський національний університет радіоелектроніки, кафедра ШІ

кандидат технічних наук, доцент, доцент кафедри штучного інтелекту ХНУРЕ. Наукові інтереси: проєктування інформаційних систем, обробка природномовної інформації. Адреса: Україна, 61099, Харків, проспект Науки, 14.

Посилання

Efremov A. Application of microservice architecture in Big Data streaming https://prog.world/application-of-microservice-architecture-in-big-data-streaming (Last accessed: 26.11.2022).

Newman S. Monolith to Microservices: Evolutionary Patterns to Transform Your Monolith. O'Reilly Media, Incorporated, 2019. 272 p.

Zikopoulos P. Harness the power of big data, the IBM Big data platform. US: McGraw-Hill. 2013. Р.

Demchenko Y. Defining architecture components of the big data ecosystem. In: IEEE Collaboration Technologies and System (CTS). 2014.

p.

Стиль архитектуры для обработки больших данных. 2022. URL: https://learn.microsoft.com/ru-ru/azure/architecture/guide/architecture-styles/big-data (Last accessed: 26.11.2022).

Miliauskas E. A guide to data warehousing clickstream data [Електронний ресурс] / Evaldas Miliauskas. Stacktome. 2019. Режим доступу до ресурсу: https://stacktome.com/blog/aguide-to-data-warehousing-clickstream-data.

Miao K., Li J., Hong W.,Chen M. A. Microservice Based Big Data Analysis Platform for Online Educational Applications. 2020. URL: https://www.hindawi.com/journals/sp/2020/6929750 (Last accessed: 26.11.2022).

Levy E. Streaming Data Architecture in 2022: Components and Examples. 2022. URL: https://www.upsolver.com/blog/streamingdata-

architecture-key-components (Last accessed: 26.11.2022).

Tejada Z. Online analytical processing (OLAP). 2022. URL: https://learn.microsoft.com/en-us/azure/architecture/data-guide/relational-data/online-analytical-processing (Last accessed: 26.11.2022).

Dean Z. How to Overcome Data Order Issues in Apache Kafka [Електронний ресурс] / Zeke Dean. 2020. Режим доступу до ресурсу:

https://www.dataversity.net/how-to-overcome-data-order-issues-in-apache-kafka/.

Soylemez M., Tekinerdogan B., Tarhan A. Challenges and Solution Directions of Microservice Architectures: A Systematic Literature Review. URL: https://doi.org/10.3390/app12115507. (Last accessed: 26.11.2022).

Richards M., Ford N. Fundamentals of Software Architecture: An Engineering Approach. O'Reilly Media. 2020. 432 p.

##submission.downloads##

Опубліковано

2022-12-23

Номер

№ 178 (2022): "АСУ та прилади автоматики"

Розділ

Статті