Метод оцінки негативних аспектів рішення інтелектуальної системи в задачах побудови пояснень
DOI:
https://doi.org/10.30837/0135-1710.2025.186.095Ключові слова:
негативні аспекти рішення, ментальна модель, інтелектуальна система, пояснювальний штучний інтелект, SHAP-аналіз, контекстний аналіз, гібридний підхідАнотація
Предметом дослідження є процес оцінки негативних аспектів рішень інтелектуальних систем при формуванні користувацьких ментальних моделей для створення збалансованих пояснень. Метою є розробка методу до оцінки негативних аспектів рішень інтелектуальних систем з тим, щоб забезпечити формування збалансованих пояснень на основі інтеграції суттєвих негативних характеристик у ментальні моделі користувачів. Задачі: розробити гібридний підхід до побудови ментальної моделі, який поєднує аналіз важливості та контекстуальний аналіз релевантності рішень з метою комплексної оцінки негативних властивостей вибраного користувачем рішення; розробити метод оцінки негативних аспектів користувацького рішення при побудові ментальної моделі користувача для автоматизованого виявлення та упорядкування негативних характеристик цього рішення. Використано принципи побудови ментальних моделей користувачів інтелектуальної системи, метод SHAP-аналізу, методи сентимент-аналізу, методи контекстного аналізу. Отримано такі результати. Запропоновано гібридний підхід до побудови ментальної моделі на основі комбінованої оцінки негативних властивостей рішення інтелектуальної системи. Розроблено метод оцінки негативних аспектів рішення інтелектуальної системи. Висновки. Наукова новизна отриманих результатів полягає в такому. Запропоновано метод оцінки негативних аспектів рішення інтелектуальної системи, який містить етапи попередньої обробки вхідних неструктурованих даних, SHAP-аналізу важливості негативних властивостей, контекстного аналізу негативних властивостей та формування комбінованої оцінки рішення. Метод забезпечує можливість обґрунтованого вибору рішення користувачем з урахуванням його ключових негативних властивостей та створює умови для побудови зрозумілих пояснень і підвищення довіри користувачів.
Посилання
Miller T. Explanation in artificial intelligence: Insights from the social sciences. Artificial Intelligence. 2019. Vol. 267. P. 1-38.
Salih A.M., Amin R., Shanta S.S. A Perspective on Explainable Artificial Intelligence Methods: SHAP and LIME. arXiv preprint arXiv:2305.02012. 2023.
Gunning D., Aha D.W. DARPA's explainable artificial intelligence (XAI) program. AI Magazine. 2019. Vol. 40. № 2. P. 44-58.
Sun Q., Liu Y., Chen H. et al. Explainable Artificial Intelligence for Medical Applications: A Review. arXiv preprint arXiv:2412.01829. 2024.
Cheung J.C., Wong A., Liu H. The effectiveness of explainable AI on human factors in trust and decision making. Nature Scientific Reports. 2025. Vol. 15. Art. 4189.
Sheridan H., Clarke D., Murphy C. Exploring Mental Models for Explainable Artificial Intelligence. HCII 2023 Conference Proceedings. 2023.
Johnson-Laird P.N. Mental models and human reasoning. Proceedings of the National Academy of Sciences. 2013. Vol. 110. № 45. P. 18243-18250.
Чалий С.Ф., Лещинська І.О. Концептуальна ментальна модель пояснення в системі штучного інтелекту. Бюлетень Національного технічного університету "ХПІ". Серія: Системний аналіз, управління та інформаційні технології. 2023. № 1. С. 41-46.
Doshi-Velez F., Kim B. Towards a rigorous science of interpretable machine learning. arXiv preprint arXiv:1702.08608. 2017.
Salih A.M., Amin R., Shanta S.S. A Perspective on Explainable Artificial Intelligence Methods: SHAP and LIME. arXiv preprint arXiv:2305.02012. 2023.
Lundberg S.M., Lee S.I. A unified approach to interpreting model predictions. Proceedings of the 31st International Conference on Neural Information Processing Systems. 2017. P. 4768-4777.
Ribeiro M.T., Singh S., Guestrin C. "Why Should I Trust You?": Explaining the Predictions of Any Classifier. Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. 2016. P. 1135-1144.
Чалий С.Ф., Лещинська І.О. Уточнення ментальної моделі рішення користувача інтелектуальної системи шляхом доповнення вхідних даних. Автоматизовані системи управління та прилади автоматики. 2024. № 188. С. 4-12.
Чалий С.Ф., Лещинський В.О., Лещинська І.О. Каузальна ментальна модель для пояснення в інтелектуальних системах. Автоматизовані системи управління та прилади автоматики. 2024. № 189. С. 12-20.
Sun Q., Liu Y., Chen H. et al. Explainable Artificial Intelligence for Medical Applications: A Review. arXiv preprint arXiv:2412.01829. 2024.
Jeong S., Miller T., Park J. AI Mental Models & Trust: The Promises and Perils of User Mental Models. EPIC Conference Proceedings. 2024. P. 234-251.
Dangol A., Peters C., Sharma K. Children's Mental Models of AI Reasoning. arXiv preprint arXiv:2505.16031. 2025.
Norman D.A. Some observations on mental models. In D. Gentner & A. L. Stevens (Eds.), Mental models (pp. 7–14). Lawrence Erlbaum Associates. 1983.
Чалий С.Ф., Лещинська І.О. Функціонально-темпоральне представлення ментальної моделі користувача для генерації пояснень. Автоматизовані системи управління та прилади автоматики. 2025. № 190. С. 15-24.
Чалий С.Ф., Лещинська І.О. Принципи побудови ментальних моделей зовнішніх користувачів інтелектуальних систем. Вісник Національного технічного університету "ХПІ". 2024. № 7. С. 89-95.
Liu B. Sentiment analysis and opinion mining. Synthesis lectures on human language technologies. 2012. Vol. 5. № 1. P. 1-167.
Ahmed M.T., Rhaman S., Kader A. A systematic review of explainable artificial intelligence for spectroscopic models. Computers and Electronics in Agriculture. 2025. Vol. 228. Art. 109462.
Ullah N., Khan J.A., El-Sappagh S. A novel explainable AI framework for medical image analysis. Medical Image Analysis. 2025. Vol. 97. Art. 103241.
