بکارگیری مدل تحلیل احساسات در سطح حروف مبتنی بر شبکه عصبی روی نظرات فارسی ثبت شده در شبکه‌های اجتماعی و فروشگاه‌های اینترنتی

خلف بیگی, امید; بشیری موسوی, سید علیرضا; قارلقی, سینا

doi:10.22052/scj.2023.248311.1094

بکارگیری مدل تحلیل احساسات در سطح حروف مبتنی بر شبکه عصبی روی نظرات فارسی ثبت شده در شبکه‌های اجتماعی و فروشگاه‌های اینترنتی

نوع مقاله : مقاله پژوهشی

نویسندگان

¹ گروه مهندسی برق و کامپیوتر، دانشگاه خوارزمی ، تهران، ایران

² گروه مهندسی برق و کامپیوتر، مرکز آموزش عالی فنی و مهندسی بوئین زهرا، قزوین، ایران

10.22052/scj.2023.248311.1094

چکیده

امروزه با توجه به تمایل روزافزون مردم برای خرید اجناس از طریق فروشگاه‌های اینترنتی و شبکه‌های مجازی، شاهد افزایش داده‌های بدون ساختار مانند متن در سطح اینترنت هستیم. لذا پردازش متون و توسعه الگوریتم‌های کارآمد جهت استخراج دانش، توجه پژوهشگران حوزه علوم داده را در بسترهای مذکور به خود جلب کرده است. از رویکردهای پردازش متن می‌توان به دسته‌بندی جملات به گروه‌های احساسی متفاوت با استفاده از الگوریتم‌ها و روش‌های گوناگون اشاره کرد. در پژوهش حاضر، چارچوبی برای دسته‌بندی نظرات، مبتنی بر احساسات کاربران توسعه داده شده است که از پردازش در سطح حروف بهره می‌برد. از این‌رو در چارچوب پیشنهادی، از معماری تعبیه شده در مدل‌های زبانی استفاده شده است که لایه‌های چهارگانه تعبیه (جهت انتقال حروف به فضای برداری)، پیچش یک بُعدی (جهت استخراج بردار ویژگی برای هر واژه)، نگاشت و شبکه عصبی بازگشتی را شامل می‌شود. در چارچوب پیشنهادی، ابتدا با بکارگیری لایه تعبیه در سطح حروف، برداری ثابت برای آنها تعیین می‌شود. سپس، مبتنی بر عملگرهای پیچش یک بعدی که به صورت موازی بکارگیری شده‌اند، ارتباط معنایی و منطقی بین حروف تشکیل‌دهنده هر واژه به دست آمده و بردار 128 بعدی برای هر لغت، حاصل می‌شود. پس از دستیابی به بردارهای واژگان، با استفاده از دو معماری شبکه‌های عصبی بازگشتی، ارتباط بین واژگان کشف شده و احساس مرتبط با دیدگاه، تعیین می‌شود. نتایج حاصل از بکارگیری مدل پیشنهادی بر روی مجموعه نظرات مبتنی بر سنجه‌های Accuracy و F-score، به‌ترتیب 79.87% و 79.90% می‌باشد.

کلیدواژه‌ها

عنوان مقاله [English]

Applying Character-Level Neural Network-Based Sentiment Analysis Model on Persian Comments of the Social Media-Online Store Platforms

نویسندگان [English]

Omid Khalaf Beigi ¹
Seyed Alireza Bashiri Mosavi ²
Sina Gharloghi ²

¹ Department of Electrical and Computer Engineering, Kharazmi University, Tehran, Iran

² Department of Electrical and Computer Engineering, Buein Zahra Technical University, Qazvin, Iran

چکیده [English]

Nowadays, due to people being more willing to shop online through online stores and social media, we are facing the growth of unstructured data like texts on the internet. Hence, text processing and the development of optimal algorithms for extracting knowledge have drawn scholar’s attention to this field. One of the aspects of the text processing field is classifying texts in the form of classes of various sentiments using different algorithms. In this paper, we propose a novel framework to classify the comments based on the user’s sentiment performed in the character-level scenario. Hence, the proposed framework is mounted on the architecture of embedding from the language model triggered by the quad-layer, namely embedding, one-dimensional convolution, the map, and the recurrent neural network. In the proposed framework, first, by using the embedding layer at the level of the character, a constant vector is assigned to them. Next, the semantic and logical relation between the characters per word for surviving word-specific 128-dimensional vectors is extracted by exerting the parallel-oriented one-dimensional convolution operators. After obtaining vectors, based on two recurrent neural network architectures, the relationship between the discovered words and the comment-specific sentiment is determined. The obtained results show that the proposed framework has an Accuracy of 79.87% and a F-score of 79.90% for comments class labeling.

کلیدواژه‌ها [English]

Natural Language Processing
Sentiment Analysis
Context Based Model
Deep Neural Network
Internet Platforms

مراجع

[1] B. Pang, L. Lee, and S. Vaithyanathan, “Thumbs Up? Sentiment Classification Using Machine Learning Techniques,” in Proc. Conf. Empir. Methods Nat. Lang. Process., (EMNLP), Philadelphia, PA, USA, 2002, pp. 79-86, doi: 10.3115/1118693.1118704.
[2] A. Rao and N. Spasojevic, “Actionable and Political Text Classification Using Word Embeddings and Lstm,” arXiv, 2016, doi: 10.48550/arXiv.1607.02501.
[3] M.E. Peters, M. Neumann, M. Iyyer, M. Gardner, C. Clark, K. Lee, and L. Zettlemoyer, “Deep Contextualized Word Representations,” in Proc. Conf. North American Chapter Assoc. Comput. Linguistics: Hum. Lang. Technol., (NAACL-HLT), New Orleans, Louisiana, USA, 2018, vol. 1, pp. 2227-2237, doi: 10.18653/v1/N18-1202.
[4] T. Mikolov, K. Chen, G. Corrado, and J. Dean, “Efficient estimation of word representations in vector space,” in 1st Int. Conf. Learn. Represent. (ICLR), Scottsdale, Arizona, USA, 2013.
[5] J. Devlin, M.W. Chang, K. Lee, and K. Toutanova, “Bert: Pre-training of deep bidirectional transformers for language understanding,” in Proc. Conf. North American Chapter Assoc. Comput. Linguistics: Hum. Lang. Technol., (NAACL-HLT), Minneapolis, MN, USA, 2019, vol. 1, pp. 4171-4186, doi: 10.18653/v1/N19-1423.
[6] K. Dashtipour, M. Gogate, A. Adeel, A. Hussain, A. Alqarafi, and T. Durrani, “A comparative study of persian sentiment analysis based on different feature combinations,” in Int. Conf. Commun. Signal Process. Syst. (CSPS), Harbin, China, 2017, pp. 2288-2294, doi: 10.1007/978-981-10-6571-2_279.
[7] S. Ghasemi and A.H. Jadidinejad, “Persian text classification via character-level convolutional neural networks,” in 8th Conf. AI Robot. 10th RoboCup Iranopen Int. Symp. (IRANOPEN), Qazvin, Iran, 2018, pp. 1-6, doi: 10.1109/RIOS.2018.8406623.
[8] S. Zobeidi, M. Naderan, and S.E. Alavi, “Opinion mining in Persian language using a hybrid feature extraction approach based on convolutional neural network”, Multim. Tools Appl., vol. 78, no. 22, pp. 32357-32378, 2019, doi: 10.1007/s11042-019-07993-4.
[9] S. Shumaly, M. Yazdinejad, and Y. Guo, “Persian sentiment analysis of an online store independent of pre-processing using convolutional neural network with fastText embeddings,” PeerJ Comput. Sci., vol. 7, p. e422, 2021, doi: 10.7717/peerj-cs.422.
[10] K. Dashtipour, M. Gogate, A. Adeel, H. Larijani, and A. Hussain, “Sentiment Analysis of Persian Movie Reviews Using Deep Learning,” Entropy, vol. 23, no. 5, p. 596, 2021, doi: 10.3390/e23050596.
[11] W.F. Satrya, R. Aprilliyani, and E.H. Yossy, “Sentiment analysis of Indonesian police chief using multi-level ensemble model,” Proc. Comput. Sci., vol. 216, pp. 620-629, 2023, doi: 10.1016/j.procs.2022.12.177.
[12] M. Alruily, A.M. Fazal, A.M. Mostafa, and M. Ezz, “Automated Arabic Long-Tweet Classification Using Transfer Learning with BERT,” Appl. Sci., vol. 13, no. 6, p. 3482, 2023, doi: 10.3390/app13063482.
[13] Z.B. Nezhad and M.A. Deihimi, “Twitter sentiment analysis from Iran about COVID 19 vaccine,” Diabetes Metab. Syndr. Clin. Res. Rev., vol. 16, no. 1, p. 102367, 2022, doi: 10.1016/j.dsx.2021.102367.
[14] M. Ahangari and A. Sebti, “A Hybrid Approach to Sentiment Analysis of Iranian Stock Market User’s Opinions,” Int. J. Eng., vol. 36, no. 3, pp. 573-584, 2023, doi: 10.5829/ije.2023.36.03c.18.
[15] [15] Ashrafi Asli, S. A., Sabeti, B., Majdabadi, Z., Golazizian, P., Fahmi, R., Momenzadeh, O., “Optimizing Annotation Effort Using Active Learning Strategies: A Sentiment Analysis Case Study in Persian”, in Proc. Twelfth Lang. Resour. Eval. Conf., Marseille, France, 2020, pp. 2855-2861.
[16] M. Farahani, M. Gharachorloo, M. Farahani, and M. Manthouri, “ParsBERT: Transformer-based Model for Persian Language Understanding,” Neural Process Lett., vol. 53, no. 6, pp. 3831-3847, 2021, doi: 10.1007/s11063-021-10528-4.
[17] P. Hosseini, A.A. Ramaki, H. Maleki, M. Anvari, and S.A. Mirroshandel, “SentiPers: a sentiment analysis corpus for Persian,” arXiv, 2018, doi: 10.48550/arXiv.1801.07737.
[18] J.P.R. Sharami, P.A. Sarabestani., and S.A. Mirroshandel, “Deepsentipers: Novel deep learning models trained over proposed augmented Persian sentiment corpus,” arXiv, 2020, doi: 10.48550/arXiv.2004.05328.
[19] M. Samizadeh, (15 Sep. 2022), Sentiment-Analysis-with-LSTM-in-Persian: v 1.0.0, [Online]. Available: https://zenodo.org/records/6862064.
[20] S. Takase and S. Kobayashi, “All word embeddings from one embedding,” Ann. Conf. Neural Inf. Process. Syst., NeurIPS, virtual, 2020, vol. 33, pp. 3775-3785.
[21] Y. Kim, Y. Jernite, D.A. Sontag, and A.M. Rush, “Character-aware neural language models,” in Proc. 30th AAAI Conf. Artif. Intell., Phoenix, Arizona, USA, 2016, pp. 2741-2749, doi: 10.1609/aaai.v30i1.10362.
[22] S. Hochreiter and J. Schmidhuber, “Long short-term memory,” Neural Comput., vol. 9, no. 8, pp. 1735-1780, 1997, doi: 10.1162/neco.1997.9.8.1735.
[23] R. Pascanu, T. Mikolov, and Y. Bengio, “On the difficulty of training recurrent neural networks,” in 30th Int. Conf. Mach. Learn. (ICML), Atlanta, GA, USA, 2013, pp. 1310-1318.
[24] J.P.C. Chiu and E. Nichols, “Named entity recognition with bidirectional LSTM-CNNs,” Trans. Assoc. Comput. Linguistics, vol. 4, pp. 357-370, 2016, doi: 10.1162/tacl_a_00104.
[25] A. Graves, A.R. Mohamed, and G. Hinton, “Speech recognition with deep recurrent neural networks,” in IEEE Int. Conf. Acoustics Speech Signal Process. (ICASSP), Vancouver, BC, Canada, 2013, pp. 6645-6649, doi: 10.1109/ICASSP.2013.6638947.
[26] K. Cho, B. van Merrienboer, D. Bahdanau, and Y. Bengio, “On the properties of neural machine translation: Encoder-decoder approaches,” in Proc. 8th Worksh. Syntax Semant. Struct. Stat. Transl., Doha, Qatar, 2014, pp. 103-111, doi: 10.3115/v1/W14-4012.
[27] J. Chung, C. Gulcehre, K. Cho, and Y. Bengio, “Empirical evaluation of gated recurrent neural networks on sequence modeling,” in NIPS Worksh. Deep Learn., 2014.
[28] D.P. Kingma and J. Ba, “Adam: A method for stochastic optimization,” in 3rd Int. Conf. Learn. Represent. (ICLR), San Diego, CA, USA, 2015.
[29] M. Feizi-Derakhshi, Z. Mottaghinia, and M. Asgari-Chenaghlu, “Persian Text Classification Based on Deep Neural Networks,” Soft Comput. J., vol. 11, no. 1, pp. 120-139, 2022, doi: 10.22052/scj.2023.243182.1010 [In Persian].
[30] F. Zare Mehrjardi, M. Yazdian-Dehkordi, and A. Latif, “Evaluating classical machine learning and deep-learning methods in sentiment analysis of Persian telegram message,” Soft Comput. J., vol. 11, no. 1, pp. 88-105, 2022, doi: 10.22052/scj.2023.246553.1077 [In Persian].
[31] A. Khosravi and H. Abdolhosseini, “Personality in social networks using thematic modelling of user feedback,” Soft Comput. J., vol. 11, no. 2, pp. 50-61, 2023, doi: 10.22052/scj.2023.243197.1006 [In Persian].