Синтез моделі класифікації діалогових актів на основі використання рекурентних нейронних мереж
DOI:
https://doi.org/10.30837/0135-1710.2022.178.004Анотація
Проаналізовано основні етапи та технології побудови інтелектуальних діалогових систем. Розглянуто проблему генерування діалогів у системах обробки природної мови. Запропоновано математичну модель класифікації діалогових актів, яка базується на використанні рекурентної нейронної мережі та механізму уваги. Детально описана архітектура нейронної мережі, процес її навчання і тестування. Наведено результати комп'ютерного моделювання, які демонструють практичну реалізовність та ефективність запропонованої моделі.
Посилання
Cho K., Merrienboer B., Gulcehre C., Bougares F., Schwenk H., Bengio Y. Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation. Proceedings of the conference on empirical methods in natural language processing (EMNLP). 2014. https://doi.org/10.3115/v1/ d14-1179.
Воробйов Є. К., Петров К. Е. Дослідження методів класифікації діалогових актів . Сучасні напрями розвитку інформаційно-комунікаційних технологій та засобів управління: тези доп. дванадцатої міжнар. науково-техн. конф. 2022. С. 14.
Core M., Allen J. Coding dialogs with the DAMSL annotation scheme. AAAI fall symposium on communicative action in humans and machines. 1997. P. 28-35.
Jurafsky D., Shriberg E., Biasca D. Switchboard SWBD-DAMSL shallow-discourse-function annotation coders manual. 1997.
Shriberg E., Dhillon R., Bhagat S., Ang J., Carvey H. The ICSI meeting recorder dialog act (MRDA) corpus. Proceedings of the Human Language Technology Conference at the North American Chapter of the Association for Computational Linguistics. 2004. https://doi.org/10.21236/ada460980.
Bunt H., Petukhova V., Traum D., Alexandersson J. Dialogue Act Annotation with the ISO 24617-2 Standard. Multimodal interaction with W3C standards. Cham: Springer International Publishing. 2016. P. 109-135. https://doi.org/10.1007/978-3-319-42816-1_.
Ang J., Liu Yang, Shriberg E. Automatic dialog act segmentation and classification in multiparty meetings // IEEE international conference on acoustics, speech, and signal processing (ICASSP '05). 2005. https://doi.org/10.1109/icassp.2005.1415300.
Stolcke A., Ries K., Coccaro N., Shriberg E., Bates R., Jurafsky D., Meteer M. Dialogue act modeling for automatic tagging and recognition
of conversational speech // Computational linguistics. 2000. № 26(3). P. 339-373. https://doi.org/10.1162/089120100561737.
Chen Z., Yang R., Zhao Z., Cai D., He X. Dialogue Act Recognition via CRF-Attentive Structured Network. The 41st International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR '18). 2018. P. 225-234. https://doi.org/10.1145/3209978.3209997.
Berger J. O. Statistical decision theory and Bayesian analysis. 2nd ed. New York: Springer-Verlag. 1985. 617 p.
Grau S., Sanchis E., Castro J., Vilar D. Dialogue act classification using a bayesian approach / 9th Conference speech and computer. 2004. P. 495-499.
Mast M., Niemann H., Noth E., Schukat-Talamazzini E.G. Automatic classification of dialog acts with Semantic Classification Trees and Polygrams. Connectionist, Statistical and Symbolic Approaches to Learning for Natural Language Processing. Springer, Berlin, Heidelberg. 1996. P. 217-229. https://doi.org/10.1007/3-540-60925-3_49.
Wright H. Automatic utterance type detection using suprasegmental features // ICSPL'98. 1998. Vol. 4. P. 1403.
Bard E. G., Sotillo C., Anderson A. H., Thompson H. S., Taylor M. M. The DCIEM Map Task Corpus: spontaneous dialogue under sleep deprivation and drug treatment. Speech Commun. 1996. Vol. 20. № 1-2. P. 71-84. https://doi.org/10.1016/S0167-6393(96)00045-3.
Ries K. HMM and neural network based speech act detection // IEEE international conference on acoustics, speech, and signal processing. Proceedings (ICASSP'99). 1999. Vol. 1. P. 497-500. https://doi.org/10.1109/icassp.1999.758171.
Gang Ji, Bilmes J. Dialog act tagging using graphical models. IEEE international conference on acoustics, speech, and signal processing (ICASSP'05). 2005. Vol. 1. P. 33-36. https://doi.org/10.1109/icassp.2005.1415043.
Rotaru M. Dialog act tagging using memory-based learning. 2002. P. 255-276. https://doi.org/10.1.1.116.7922.
Samuel K., Carberry S., Vijay-Shanker K. Dialogue act tagging with Transformation-Based Learning. Proceedings of the 17th International Conference on Computational Linguistics (COLING-ACL'98).1998. P. 1050-1056. https://doi.org/10.3115/980432.980757.
Levin L., Langley C., Lavie A., Gates, D., Wallace D., Peterson K. Domain Specific Speech Acts for Spoken Language Translation // Proceedings of the Fourth SIGdial Workshop of Discourse and Dialogue. 2003. P. 208-217.
Andernach T., Poel M., Salomons E. Finding classes of dialogue utterances with kohonen networks // ECML/MLnet workshop on empirical learning of natural language processing tasks. 1997. P. 85-94.
Cho K., Merrienboer B., Bahdanau D., Bengio Y. On the properties of neural machine translation: encoder-decoder approaches // Proceedings of SSST-8: Eighth workshop on syntax, semantics and structure in statistical translation. 2014. https://doi.org/10.3115/v1/w14-4012.
Graves A., Wayne G., Reynolds, M. et al. Hybrid computing using a neural network with dynamic external memory // Nature. 2016. Vol. 538. № 7626. P. 471-476. https://doi.org/10.1038/nature20101.
Devlin J., Chang M., Lee K., Toutanova K. BERT: Pretraining of Deep Bidirectional Transformers for Language Understanding // Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language
Technologies. 2019. Vol. 1 P. 4171-4186. https://doi.org/10.18653/v1/N19-1423.
Liu Y., Ott M., Goyal N., Du J.,Joshi M., Chen D., Levy O., Lewis M., Zettlemoyer L, Stoyanov V. RoBERTa: A Robustly Optimized BERT
Pretraining Approach. 2019. https://doi.org/10.48550/arXiv.1907.11692. 25. Lee J. Y., Dernoncourt F. Sequential short-text classification with recurrent and convolutional neural networks // Proceedings of the 2016 conference of the north american chapter of the association for computational linguistics: human language technologies. 2016. https://doi.org/10.18653/v1/n16-1062.
Bothe C., Weber C., Magg S., Wermter S. A Context-based Approach for Dialogue Act Recognition using Simple Recurrent Neural Networks. Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC'2018). 2018. https://
doi.org/10.48550/arXiv.1805.06280.
Hochreiter S., Schmidhuber J. Long Short-Term Memory. Neural computation. 1997. Vol. 9. № 8. P. 1735-1780. https://doi.org/10.1162/neco.1997.9.8.1735.
