تنظیم بهینه و همزمان ساختار و پارامترهای شبکه عصبی با استفاده از الگوریتم آمیختار مبتنی بر جستجوی گرانشی برای کاربردهای دسته‌بندی و تقریب توابع

نویسندگان

دانشگاه آزاد اسلامی

چکیده

  چکیده: کارایی بهتر شبکه عصبی به پارامتر‏هایی همچون تعداد گره­ های ورودی،
تعداد لایه‌ های میانی، تعداد نرون‏ ها، و وزن اختصاص ‏یافته به نرون ‏ها بستگی دارد.
روش‏ های متفاوتی جهت به‏ روزرسانی پارامترها و ساختار شبکه عصبی مصنوعی ارائه
گردیده است. یکی از روش‏ های متداول و مورد استفاده در شبکه‌های عصبی، روش پس­ انتشار
خطا (EBP) است که در آن
تنها وزن‏ های شبکه عصبی به ‏روزرسانی می‌شوند. در این مقاله، از الگوریتم جستجوی
گرانشی (GSA) بدین ­منظور استفاده شده است، که یکی از روش ‌های نوین جستجو و بهینه ­سازی
مبتنی بر هوش جمعی می‌باشد. در روش پیشنهادی، از GSA به همراه نسخه باینری الگوریتم جستجوی گرانشی (BGSA) به ­صورت همزمان،
جهت آموزش شبکه عصبی و نیز تعیین ساختار بهینه شبکه عصبی استفاده شده است. نتایج عملکرد
روش پیشنهادی با روش ‌هایی چون الگوریتم تجمع ذرات (PSO)، الگوریتم آمیختار PSO و نسخه باینری PSO (PSO-BPSO) و نیز روش EBP در کاربردهای دسته­بندی و تقریب توابع مقایسه شده است. عملکرد
برای کاربرد دسته­بندی بر روی سه دادگان استاندارد گل زنبق، سرطان سینه و انواع
شیشه و برای کاربرد تقریب توابع، درخصوص یک سیستم تخمین نوا برای سنتز گفتار فارسی
مورد ارزیابی قرار گرفته است. از آنجا که تعداد ورودی­ ها به شبکه عصبی در کاربرد
سیستم تخمین نوا زیاد است، از یک الگوریتم آمیختار تکاملی و هوش جمعی نیز برای
انتخاب ویژگی­های مناسب بهره گرفته شده است. نتایج شبیه ­سازی نشان می­دهد که روش
پیشنهادی با به­کارگیری تعداد نرون­ های کمتر در لایه مخفی (به­میزان 25 تا 68 درصد
کاهش در تعداد این نرون ­ها در مقایسه با بسیاری از الگوریتم­ های مورد بررسی)، دقت
دسته­بندی و تقریب را به­صورت قابل رقابتی (به­ ویژه هنگام کار با داده­ های آزمون)
از خود ارائه می ‌نماید. 

کلیدواژه‌ها


عنوان مقاله [English]

Joint Optimization of Structure and Parameters of Neural Networks Using Hybrid Gravitational Search Algorithms in Classification and Function Approximation Tasks

نویسندگان [English]

  • Mansour Sheikhan
  • Mahdi Abbasnejad Arabi
چکیده [English]

Determining the
optimum number of nodes, number of hidden layers, and synaptic connection
weights in an artificial neural network (ANN) plays an important role in the
performance of this soft computing model. Several methods have been proposed
for weights update (training) and structure selection of the ANNs. For example,
the error back-propagation (EBP) is a traditional method for weights update of
multi-layer networks. In this study, gravitational search algorithm (GSA), as a
modern swarm intelligence optimization method, is used for this purpose. In
this way, GSA and its binary version (BGSA) are used concurrently, as a hybrid
method, to optimize the weights and number of hidden-layer nodes of an ANN,
respectively. The performance of proposed method is compared with other
intelligent and traditional methods such as particle swarm optimization (PSO),
PSO-BPSO hybrid, and EBP in classification and function approximation tasks.
The performance is evaluated over Iris, Breast Cancer, and Glass datasets for
classification. For function approximation task, the performance is evaluated
for a prosody predictor that is used for natural speech synthesis. To reduce
the number of inputs to prosody predictor, a hybrid of an genetic algorithm and
ant colony optimization algorithm is used for feature selection.  Simulation results show that the proposed
method can offer competitive classification and prediction accuracies while
using a reduced number of hidden neurons (25-68 percent reduction) as compared to
other investigated algorithms.    

کلیدواژه‌ها [English]

  • gravitational search algorithm
  • data classification
  • Artificial Neural Network
  • hybrid feature selection algorithm
  • Farsi speech synthesis