РОЗРОБЛЕННЯ ДЕСКРИПТОРА ЗОБРАЖЕНЬ ДЛЯ ЕФЕКТИВНОГО ПОШУКУ НА ОСНОВІ ВМІСТУ У ВЕЛИКИХ СХОВИЩАХ ДАНИХ

Олександр Прокопенко; Сергій Смеляков

doi:10.30837/0135-1710.2026.188.129

Автор(и)

Олександр Прокопенко Харківський національний університет радіоелектроніки, Україна http://orcid.org/0000-0003-0489-6820
Сергій Смеляков Харківський національний університет радіоелектроніки, Україна http://orcid.org/0000-0002-5791-2479

DOI:

https://doi.org/10.30837/0135-1710.2026.188.129

Ключові слова:

машинне навчання, дескриптори зображень, оброблення зображень, оптимізація пошуку зображень

Анотація

Об’єктом дослідження є пошук зображень на основі вмісту. Предметом є моделі та методи пошуку зображень на основі вмісту (CBIR). Мета дослідження – розроблення дескриптора зображень, що використовує передові моделі комп’ютерного зору для виявлення об’єктів. Запропонований дескриптор підвищує ефективність і точність процесів пошуку зображень і управління ними. Завдання передбачає: аналіз сучасних підходів і рішень для створення дескрипторів зображень та їх використання в пошуку зображень на основі вмісту; виявлення обмежень наявних дескрипторів зображень і визначення вимог до дескриптора; розроблення нового дескриптора зображень, що ефективно застосовує інформацію про виявлені об’єкти; проведення експериментів для оцінювання запропонованого дескриптора й порівняння його ефективності з наявними рішеннями. Методологія дослідження: усебічний огляд передових методів створення дескрипторів зображень; аналіз використання наявних дескрипторів у системах CBIR; розроблення дескриптора, що застосовує сучасні моделі виявлення об’єктів; валідація ефективності запропонованого дескриптора порівняно з наявними дескрипторами на задачах пошуку. Досягнуто таких результатів: розроблено дескриптор зображення, оснований на об’єктах, виявлених за допомогою сучасних моделей машинного навчання; проведено серію експериментів для оцінювання ефективності та якості пошуку в великих системах зберігання зображень за допомогою запропонованого дескриптора. Експерименти виявили певні переваги, зокрема: швидше створення й порівняння дескрипторів, якщо порівнювати з гешованими, створеними вручну та дескрипторами, що ґрунтуються на глибокому навчанні; ефективне фільтрування зображень у сховищі на основі вмісту об’єктів, але ефективність дескриптора залежить від якості моделі й даних, оскільки зображення без виявлених об’єктів не з’являються в результатах пошуку, що може обмежувати його повноту. Висновки: розроблений дескриптор зображень є ефективним інструментом для розв’язання низки завдань пошуку зображень на основі вмісту завдяки швидкості побудови й пошуку. Перспективним напрямом дослідження є побудова системи пошуку зображень на основі вмісту з використанням розробленого дескриптора, посилене використання паралельних і розподілених обчислень.

Біографії авторів

Олександр Прокопенко, Харківський національний університет радіоелектроніки

аспірант кафедри програмної інженерії

Сергій Смеляков, Харківський національний університет радіоелектроніки

доктор фізико-математичних наук, професор, Харківський національний університет радіоелектроніки, професор кафедри програмної інженерії; Харківський національний університет Повітряних Сил імені Івана Кожедуба, професор кафедри математичного та програмного забезпечення АСУ

Посилання

Gonzalez, R. C., Woods, R. E. (2018), "Digital Image Processing", 4th. ed. Pearson/Prentice Hall. 1168 p. DOI/ISBN: 9780133356724

Liu, X. et al. (2018), "Prior-Based Quantization Bin Matching for Cloud Storage of JPEG Images", IEEE Transactions on Image Processing, Vol. 27, No. 7, P. 3222–3235. DOI: https://doi.org/10.1109/TIP.2018.2799704

Zheng, Y. et al. (2018), "Size-Scalable Content-Based Histopathological Image Retrieval From Database That Consists of WSIs", IEEE Journal of Biomedical and Health Informatics, Vol. 22, No. 4, P. 1278–1287. DOI: https://doi.org/10.1109/JBHI.2017.2723014

Padma, Y. (2024), "Advancements in Non-Linear Content-Based Image Retrieval (CBIR) Systems for Image Analysis", Communications on Applied Nonlinear Analysis, Vol. 31, No. 2s, P. 253–265. DOI: https://doi.org/10.52783/cana.v31.639

Wang, X. et al. (2020), "A Storage Method for Remote Sensing Images Based on Google S2", IEEE Access. Vol. 8, P. 74943–74956. DOI: https://doi.org/10.1109/ACCESS.2020.2988631

Yang, W. et al. (2020), "Design of Intelligent Search Engine Service Performance Evaluation System", 5th Asia-Pacific Conference on Intelligent Robot Systems (ACIRS), P. 86–91. DOI: https://doi.org/10.1109/ACIRS49895.2020.9162611

Žižakić, N., Pižurica, A. (2022), "Efficient Local Image Descriptors Learned With Autoencoders", IEEE Access, Vol. 10, P. 221–235. DOI: https://doi.org/10.1109/ACCESS.2021.3138168

Amorós, F. et al. (2020), "Holistic Descriptors of Omnidirectional Color Images and Their Performance in Estimation of Position and Orientation", IEEE Access, Vol. 8, P. 81822–81848. DOI: https://doi.org/10.1109/ACCESS.2020.2990996

Staszewski, P. et al. (2022), "A New Approach to Descriptors Generation for Image Retrieval by Analyzing Activations of Deep Neural Network Layers", IEEE Transactions on Neural Networks and Learning Systems, Vol. 33, No. 12, P. 7913–7920. DOI: https://doi.org/10.1109/TNNLS.2021.3084633

Suárez, I., Buenaposada, J. M., Baumela, L. (2021) "Revisiting Binary Local Image Description for Resource Limited Devices", IEEE Robotics and Automation Letters, Vol. 6, No. 4, P. 8317–8324. DOI: https://doi.org/10.1109/LRA.2021.3107024

Wang, B. et al. (2023), "Multi-level adversarial attention cross-modal hashing", Signal Processing: Image Communication, Vol. 117, 117017, ISSN 0923-5965. DOI: https://doi.org/10.1016/j.image.2023.117017

Reato, T., Demir, B., Bruzzone L. (2019), "An Unsupervised Multicode Hashing Method for Accurate and Scalable Remote Sensing Image Retrieval", IEEE Geoscience and Remote Sensing Letters, Vol. 16, No. 2, P. 276–280. DOI: https://doi.org/10.1109/LGRS.2018.2870686

Zhu, Y., Li, Y., Wang, S. (2019), "Unsupervised Deep Hashing With Adaptive Feature Learning for Image Retrieval", IEEE Signal Processing Letters, Vol. 26, No. 3, P. 395–399. DOI: https://doi.org/10.1109/LSP.2019.2892233

Bai, J. et al. (2019), "Deep Progressive Hashing for Image Retrieval", IEEE Transactions on Multimedia, Vol. 21, No. 12, P. 3178–3193. DOI: https://doi.org/10.1109/TMM.2019.2920601

Zhou, Z. et al. (2020), "Integrating SIFT and CNN Feature Matching for Partial-Duplicate Image Detection", IEEE Transactions on Emerging Topics in Computational Intelligence, Vol. 4, No. 5, P. 593–604. DOI: https://doi.org/10.1109/TETCI.2019.2909936

Akita, K., Ukita, N. (2023) "Context-Aware Region-Dependent Scale Proposals for Scale-Optimized Object Detection Using Super-Resolution", IEEE Access, Vol. 11, P. 122141–122153. DOI: https://doi.org/10.1109/ACCESS.2023.3329302

Rao, Y. et al. (2023), "Learning Enriched Feature Descriptor for Image Matching and Visual Measurement", IEEE Transactions on Instrumentation and Measurement, Vol. 72, P. 1–12. DOI: https://doi.org/10.1109/TIM.2023.3249237

Migliorati, A. et al. (2021), "Learnable Descriptors for Visual Search", IEEE Transactions on Image Processing, Vol. 30, P. 80–91. DOI: https://doi.org/10.1109/TIP.2020.3031216

Zhang, Y. (2024), "Graph Convolution Based Efficient Re-Ranking for Visual Retrieval", IEEE Transactions on Multimedia, Vol. 26, P. 1089–1101. DOI: https://doi.org/10.1109/TMM.2023.3276167

Iida, K., Kiya, H. (2020), "Privacy-Preserving Content-Based Image Retrieval Using Compressible Encrypted Images", IEEE Access, Vol. 8, P. 200038–200050. DOI: https://doi.org/10.1109/ACCESS.2020.3035563

Brogan, J. et al. (2021), "Fast Local Spatial Verification for Feature-Agnostic Large-Scale Image Retrieval", IEEE Transactions on Image Processing, Vol. 30, P. 6892–6905. DOI: https://doi.org/10.1109/TIP.2021.3097175

Imbriaco, R. et al. (2022), "Toward Multilabel Image Retrieval for Remote Sensing", IEEE Transactions on Geoscience and Remote Sensing, Vol. 60, P. 1–14. DOI: https://doi.org/10.1109/TGRS.2021.3095957

Zhao, Z. -Q. et al. (2019), "Object Detection With Deep Learning: A Review", IEEE Transactions on Neural Networks and Learning Systems, Vol. 30, No. 11, P. 3212–3232. DOI: https://doi.org/10.1109/TNNLS.2018.2876865

Xu, Y., Zhao, X., Gong, J. (2019), "A Large-Scale Secure Image Retrieval Method in Cloud Environment", IEEE Access, Vol. 7, P. 160082–160090. DOI: https://doi.org/10.1109/ACCESS.2019.2951175

Cheng, M. -L., Matsuoka, M. (2020), "An Enhanced Image Matching Strategy Using Binary-Stream Feature Descriptors", IEEE Geoscience and Remote Sensing Letters, Vol. 17, No. 7, P. 1253–1257. DOI: https://doi.org/10.1109/LGRS.2019.2943237

Clark, C. N. et al. (2023), "Investigating the Resolution-Performance Trade-off of Object Detection Models in Support of the Sustainable Development Goals", IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, Vol. 16, P. 5695–5713. DOI: https://doi.org/10.1109/JSTARS.2023.3284309

Sun, C. et al. (2023), "Multi-label adversarial fine-grained cross-modal retrieval", Signal Processing: Image Communication, Vol. 117, 117018, ISSN 0923-5965, DOI: https://doi.org/10.1016/j.image.2023.117018

Radenović, F., Tolias, G., Chum, O. (2019), "Fine-Tuning CNN Image Retrieval with No Human Annotation", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 41, No. 7, P. 1655–1668. DOI: https://doi.org/10.1109/TPAMI.2018.2846566

Vynokurova O., Peleshko D., Peleshko M. (2020), "Hybrid Deep Convolutional Neural Network with Multimodal Fusion", Data Stream Mining & Processing. DSMP 2020. Communications in Computer and Information Science, Vol. 1158, P. 62–78. DOI: https://doi.org/10.1007/978-3-030-61656-4_4

Galvez, R. L. et al. (2018), "Object Detection Using Convolutional Neural Networks", TENCON 2018 – 2018 IEEE Region 10 Conference, P. 2023–2027. DOI: https://doi.org/10.1109/TENCON.2018.8650517

Fang, F. et al. (2020), "Combining Faster R-CNN and Model-Driven Clustering for Elongated Object Detection", IEEE Transactions on Image Processing, Vol. 29, P. 2052–2065. DOI: https://10.1109/TIP.2019.2947792

Sun, C.-Y. et al. (2021), "Cascade Faster R-CNN Detection for Vulnerable Plaques in OCT Images", IEEE Access, Vol. 9, P. 24697–24704. DOI: https://doi.org/10.1109/ACCESS.2021.3056448

Dhayne, H. et al. (2021), "In Search of Big Medical Data Integration Solutions – A Comprehensive Survey", IEEE Access, Vol. 7, P. 91265–91290. DOI: https://doi.org/10.1109/ACCESS.2019.2927491

Kathiravelu, P., Sharma, A., Sharma, P. (2021), "Understanding Scanner Utilization With Real-Time DICOM Metadata Extraction", IEEE Access, Vol. 9, P. 10621–10633. DOI: https://10.1109/ACCESS.2021.3050467

Ebrahimian, A. et al. (2020), "Class-Aware Image Search for Interpretable Cancer Identification", IEEE Access, Vol. 8, P. 197352–197362. DOI: https://doi.org/10.1109/ACCESS.2020.3033492

Wolf, T. et al. (2020), "Transformers: State-of-the-Art Natural Language Processing", Natural Language Processing: System Demonstrations, P. 38–45. DOI: https://doi.org/10.18653/v1/2020.emnlp-demos.6

Dosovitskiy, A. et al. (2021), "An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale", International Conference on Learning Representations, DOI: https://doi.org/10.48550/arXiv.2010.11929