دانشگاه کاشان محاسبات نرم 2322-3707 12 2 2024 02 20 Designing a model for data stream classification using reinforcement learning and stochastic gradient descent طراحی مدلی برای طبقه‌بندی داده‌های جریانی با استفاده از یادگیری تقویتی و گرادیان کاهشی تصادفی 2 15 113852 10.22052/scj.2023.248781.1124 FA سمیرا فرزانه دانشکده مهندسی برق و کامپیوتر، دانشگاه کاشان، کاشان، ایران جواد سلیمی سرتختی دانشکده مهندسی برق و کامپیوتر، دانشگاه کاشان، کاشان، ایران Journal Article 2023 01 04 A large amount of research in the field of online learning has focused on the problem of overcoming catastrophic forgetting, and few research studies have focused on classifying the data stream with appropriate accuracy and running time. On the other hand, due to the volume and type of data stream, many traditional machine learning algorithms do not have the necessary efficiency when faced with it. Thus, in this paper, a novel model using reinforcement learning and the stochastic gradient descent algorithm is presented for the classification stream data with appropriate accuracy and running time. One of the important features of reinforcement learning is that the agent can adapt its behaviour gradually to the changes that occur and gradually add to its previous knowledge. In this research, because of the use of reinforcement learning and the definition of reward, the agent has a better performance in the environment. The proposed algorithm has been tested on various data, including the dataset of human activity recognition, and compared with several incremental algorithms in terms of accuracy and running time. According to the experimental results, the proposed algorithm has the best performance in terms of both accuracy and running time compared to other incremental algorithms. حجم وسیعی از تحقیقات در زمینه یادگیری برخط به مساله غلبه بر فراموشی فاجعه‌بار تمرکز کرده‌اند و تحقیقات اندکی در زمینه طبقه‌بندی داده‌های جریانی با صحت و زمان اجرای مناسب تمرکز کرده‌اند. از سوی دیگر، به دلیل حجم و نوع داده‌های جریانی بسیاری از الگوریتم‌های سنتی یادگیری ماشین به خودی خود کارایی لازم هنگام مواجه با آنها را ندارند. بنابراین، در این مقاله برای طبقه‌بندی داده‌های جریانی با صحت و زمان یادگیری مناسب یک مدل جدید با استفاده از یادگیری تقویتی و الگوریتم گرادیان کاهشی تصادفی ارائه شده است. یکی از قابلیت‌های مهم یادگیری تقویتی این است که عامل می‌تواند رفتار خود را به تدریج با تغییراتی که رخ می‌دهد سازگار کند و به صورت تدریجی بر دانش قبلی خود بیافزاید. در این پژوهش به دلیل استفاده از یادگیری تقویتی و تعریف پاداش، عامل عملکرد بهتری در محیط دارد. الگوریتم پیشنهادی بر روی داده‌های مختلف از جمله مجموعه داده جریانی تشخیص فعالیت‌های انسانی آزمایش شده و از لحاظ صحت و زمان اجرا با چندین الگوریتم افزایشی مقایسه شده است. طبق نتایج آزمایشگاهی الگوریتم پیشنهادی بهترین کارایی را هم از نظر صحت و هم از نظر زمان اجرا در مقایسه با سایر الگوریتم‌های افزایشی دارد. https://scj.kashanu.ac.ir/article_113852_f6c305bd4a91bd64378343e99ac00652.pdf