Вибір методики оцінювання точності для завдань аналізу статичних сцен на основі згорткових нейронних мереж

Анотація

Об’єктом вивчення є методики кількісного оцінювання точності й надійності прогнозів згорткових нейронних мереж у завданнях аналізу статичних сцен, зокрема семантична сегментація та монокулярне метричне оцінювання глибини. Використані теоретичні, аналітичні та емпіричні наукові методи дослідження: порівняльний аналіз, синтез, систематизація, експериментальне моделювання тощо. Актуальність роботи зумовлена тим, що традиційні метрики оцінювання точності не завжди беруть до уваги особливості завдань аналізу статичних сцен – дисбаланс класів, локалізацію та малі об’єкти, шум чи змінне освітлення. Це знижує точність результатів і потребує впровадження гібридних метрик, гранично-орієнтованих і метрик кількісного оцінювання невизначеності (UQ) для забезпечення надійності й безпеки систем. Метою дослідження є обґрунтування й вибір найбільш ефективної та доцільної методики оцінювання точності для завдань аналізу статичних сцен на основі згорткових нейронних мереж способом порівняння й систематизації наявних метрик, аналізу їх переваг і обмежень у різних класах завдань і розроблення інтегрованого фреймворку для підвищення якості оцінювання. Для досягнення окресленої мети необхідно виконати такі завдання: провести порівняльний аналіз традиційних метрик; дослідити сучасні підходи й вибір релевантних метрик і протоколів для конкретних класів завдань; розробити концептуальний гібридний фреймворк, що забезпечує повну валідацію моделі, зважаючи на перекриття, геометричну точність і калібрування впевненості. Унаслідок дослідження сформульовано висновки. Для аналізу статичних сцен оптимально комбінувати такі метрики: accuracy й F1 – з метою класифікації, IoU і mAP – для детекції. Найбільш ефективні – mAP для складних сцен і для детекції малих об’єктів. Запропоновано гібридний фреймворк, що забезпечує повну валідацію моделі, покриваючи загальний об’єм, геометричну якість і надійність. Цей фреймворк поєднує гранично-орієнтовані метрики для забезпечення геометричної точності та методологію кількісного оцінювання невизначеності для калібрування впевненості та локалізації помилок. Це розв’язує проблему невідповідності між високою точністю моделей та обмеженістю стандартних метрик валідації. Перехід до Boundary IoU та метрик відстані, зокрема Hausdorff Distance, забезпечить масштабно-збалансовану та значно вищу чутливість до помилок на контурах, слугуватиме інструментом для виявлення катастрофічних локальних геометричних відхилень. Концептуальний фреймворк стимулює розроблення більш надійних і точних архітектур ЗНМ.