МЕТОД АВТОМАТИЧНОЇ РОЗМІТКИ ОЗНАК СТРУКТУРНОЇ СКЛАДНОСТІ ДОКУМЕНТІВ ІЗ ВИКОРИСТАННЯМ ВЕЛИКИХ МОВНИХ МОДЕЛЕЙ

Анотація

Предметом дослідження є методи автоматизованого аналізу й визначення ознак структурної складності слабкоструктурованих ділових документів із застосуванням сучасних мультимодальних великих мовних моделей. Мета – розробити й експериментально перевірити працездатність методу автоматичної розмітки ознак структурної складності документів, який забезпечує можливість прогнозування якості подальшої екстракції даних, а також побудувати математичну модель для оптимізації вибору конфігурації мовних моделей у просторі критеріїв "якість – вартість". Завдання передбачають формалізацію таксономії ознак, формування експериментального корпусу, розроблення уніфікованої схеми промптингу й розв’язання задачі багатокритеріальної оптимізації вибору моделей. Методологічну основу дослідження становлять методи системного аналізу, емпіричне профілювання великих мовних моделей, методи інженерії підказок (prompt engineering), методи математичної статистики (кореляційний аналіз, розрахунок метрик Precision, Recall, F1) для оцінювання якості класифікації, а також методи дискретної оптимізації для знаходження компромісних рішень. Результати. Основним результатом досліджень є розроблений оригінальний метод автоматичної розмітки ознак структурної складності документів, що дає змогу автоматично генерувати структурований профіль складності документа й обробляти його оригінальне візуальне PDF-подання. Також запропоновано зважену функцію якості, яка бере до уваги ступінь впливу кожної ознаки на помилки екстракції, та виділено Парето-оптимальні конфігурації, що уможливлюють мінімізацію витрат з огляду на задані вимоги до надійності. На підставі досягнутих результатів можна зробити певні висновки. Експериментально доведено, що економічно ефективні моделі в режимі з використанням прикладів забезпечують високу точність розмітки, яка конкурує з результатами значно вартісних моделей. Установлено, що застосування режимів із розширеним міркуванням для задачі бінарної класифікації є економічно недоцільним через диспропорційне зростання вартості без суттєвого приросту якості. Запропонований метод розв’язує проблему відсутності інструментів попереднього оцінювання складності в системах інтелектуального опрацювання документів. Він забезпечує прогнозованість і керованість процесів екстракції, даючи змогу реалізувати адаптивну маршрутизацію документів залежно від їх складності. Це створює підґрунтя для побудови ефективних промислових систем із збалансованими показниками точності та вартості експлуатації, усуваючи необхідність у трудомісткій ручній розмітці.