طراحی مدلی برای طبقه‌بندی داده‌های جریانی با استفاده از ‏یادگیری تقویتی و گرادیان کاهشی تصادفی

نوع مقاله : مقاله پژوهشی

نویسندگان

دانشکده مهندسی برق و کامپیوتر، دانشگاه کاشان، کاشان، ایران

چکیده

حجم وسیعی از تحقیقات در زمینه‌ی یادگیری برخط به مسئله غلبه بر فراموشی فاجعه‌بار تمرکز کرده‌اند و تحقیقات اندکی در ‏زمینه‌ی طبقه‌بندی داده‌های جریانی با صحت و زمان اجرای مناسب تمرکز کرده‌اند. از سوی دیگر، به دلیل حجم و نوع داده‌های ‏جریانی بسیاری از الگوریتم‌های سنتی یادگیری ماشین به خودی خود کارایی لازم هنگام مواجه با آنها را ندارند. بنابراین، در این مقاله برای طبقه‌بندی داده‌های جریانی با صحت و زمان یادگیری مناسب یک مدل جدید با استفاده از یادگیری ‏تقویتی و الگوریتم گرادیان کاهشی تصادفی ارائه شده است. یکی از قابلیت‌های مهم یادگیری تقویتی این است که عامل ‏می‌تواند رفتار خود را به تدریج با تغییراتی که رخ می‌دهد سازگار کند و به صورت تدریجی بر دانش قبلی خود بیافزاید. در این ‏پژوهش به دلیل استفاده از یادگیری تقویتی و تعریف پاداش، عامل عملکرد بهتری در محیط دارد. الگوریتم پیشنهادی بر روی ‏داده‌های مختلف از جمله مجموعه داده جریانی تشخیص فعالیت‌های انسانی آزمایش شده و از لحاظ صحت و زمان اجرا با ‏چندین الگوریتم افزایشی مقایسه‌شده است. طبق نتایج آزمایشگاهی الگوریتم پیشنهادی بهترین کارایی را هم از نظر صحت و هم ‏از نظر زمان اجرا در مقایسه با سایر الگوریتم‌های افزایشی دارد.‏

کلیدواژه‌ها

موضوعات


عنوان مقاله [English]

Designing a Model for Data Stream ‎Classification Using RL and SGD

نویسندگان [English]

  • Samira Farzaneh
  • Javad Salimisartaghti
Department of Electrical and Computer Engineering, University of Kashan, Kashan, Iran
چکیده [English]

A large amount of research in the field of online learning have focused on the problem of overcoming catastrophic ‎forgetting, and few researches have focused on the classification of data stream with appropriate accuracy and ‎running time. On the other hand, due to the volume and type of data stream, many traditional machine learning ‎algorithms do not have the necessary efficiency when faced with it. Thus, in this paper, a novel model using ‎reinforcement learning and stochastic gradient descent algorithm is presented for classification stream data with ‎appropriate accuracy and running time.‎‏ ‏One of the important features of reinforcement learning is that the agent ‎can adapt its behaviour gradually to the changes that occur and gradually add to its previous knowledge. In this ‎research, because of the using of reinforcement learning and definition of reward, the agent has a better ‎performance in the environment. The proposed algorithm has been tested on various data, including the dataset of ‎human activity recognition, and compared with several incremental algorithms in terms of accuracy and running ‎time. According to the experimental results, the proposed algorithm has the best performance both in terms of ‎accuracy and running time compared to other incremental algorithms.‎

کلیدواژه‌ها [English]

  • Accuracy and Running Time
  • Data Stream
  • Incremental Learning
  • Reinforcement Learning
  • Stochastic Gradient Descent