دانلود پایان نامه ارشد درمورد پرسپترون چند لایه و ساختار شبکه

یک نرون دارای M ورودی xi و یک خروجی است که ما آن را Y می‌نامیم (شکل2-3). هر ورودی با یک وزن wi همراه است. معمولا پارامتر دیگر W0 نیز وجود دارد که بایاس نامیده می‌شود و می‌تواند به عنوان وزنی در نظر گرفته شود که به ورودیX0 متصل است به صورتی که مقدار X0 همواره 1 در نظر گرفته می‌شود. یک تک نرون همواره به صورت پیشخور درنظر گرفته می‌شود به این معنی که اتصالات همواره از سمت ورودی‌ها به خروجی جهت‌دهی شده‌اند و به عبارت دیگر جهت جریان اطلاعات در تک نرون همواره از ورودی به خروجی است.
شکل 2-3) شمایی کلی از یک نرون
در حقیقت می‌توان گفت که یک تک نرون یک تابع f(x,y) را پیاده‌ سازی می‌نماید؛ از دیدگاه ورودی-خروجی، خروجی تک نرون، y، تابعی غیر خطی از ورودی‌های x است. پارامترهای این تابع را وزن‌ها و بایاس، w تشکیل می‌دهند. برای فعال شدن هر نرون توابع محرک مختلفی وجود دارد که بعضی از پرکاربردترین آنها شامل؛ توابع خطی، سیگمویید (لگاریتمی)، سیگمویید (تانژانت هیپربولیک)، تابع آستانه و تابع متقارن آستانه می‌باشند[31] . معمولا تابع محرک به وسیله طراح انتخاب می‌شود و سپس وزن‌ها و بایاس به وسیله یک الگوریتم آموزش، به گونه‌ای تنظیم می‌شوند که رابطه ورودی-خروجی نرون یک هدف مشخص را ارضا کند. ساده‌ترین شکل استفاده از پرسپترون‌ها استفاده از آنها در یک لایه است. شکل 2-4، ساختار شبکه عصبی تک لایه را نشان می‌دهد. همانگونه که مشاهده می‌شود ساختار شبکه عصبی تک لایه، شامل تعدادی گره ورودی است که به ورودی تعدادی پرسپترون که در یک لایه (لایه خروجی) قرارگرفته‌اند متصل شده‌اند.
شکل 2-4) ساختار کلی پرسپترون تک لایه
2-5-2-2) پرسپترون چند لایه
باید در نظر داشت که پرسپترون تک‌لایه تنها قادر به حل مسائل خطی است و این یکی از نواقص آن به شمار می‌رود. برای حل مسائل غیر خطی و همچنین زمانی که متغیرها دارای همپوشانی یا همبستگی باشند به تعداد لایه‌های بیشتری نیاز داریم. شکل 2-5، یک شبکه دولایه (یک لایه خروجی و یک لایه میانی) را نشان می‌دهد. لایه میانی به طور مستقیم از محیط خارج ورودی دریافت نکرده و به دنیای خارج نیز مستقیما خروجی نمی‌دهند، به همین دلیل به این لایه‌ی از دیدگاه خارج، لایه‌ی پنهان نیز می‌گویند.[32]
شکل 2-5) ساختار شبکه پیشرو دولایه با توابع سیگموید در لایه پنهان و لایه خروجی
در این نوع شبکه‌ها معمولا هر گره به تمامی گره‌های لایه بعدی متصل است که به این حالت اتصال کامل گفته می‌شود. همچنین همه مسیرها در جهت ورودی به خروجی است و مسیر برگشتی وجود ندارد به همین دلیل به این نوع شبکه‌ها پیشخور گفته می‌شود.
2-5-2-3) آموزش شبکه‌های عصبی MLP
به فرآیند تغییر w و b طوری که منجر به کاهش مقادیر خطاهای شبکه شود، مرحله آموزش گویند. از شبکه آموزش دیده میتوان به عنوان ابزاری برای پیشبینی فعالیت (خاصیت) سری جدید ورودیها استفاده کرد. هدف نهایی آموزش تصحیح خطا، کم کردن تابع هزینه‌ای است که بر اساس خطای شبکه تعریف می‌شود[32] . از یک دیدگاه، وقتی تابع هزینه تعریف می‌شود، (ti )، اختلاف خروجی شبکه و مقدار آموزش شبکه در واقع حل یک مساله بهینه‌سازی است. یک تابع هزینه‌ای که به صورت معمول مورد استفاده قرار می‌گیرد مجموع مربعات خطا است:
(2-12)
e= خطا
W= بایاس
اندیس r نشان‌دهنده‌ی مجموع بر روی همه‌ی r خروجی شبکه می‌باشد. در این حالت، آموزش شبکه، تنظیم وزن‌ها برای کمینه کردن یک تابع هزینه درجه دوم می‌باشد. نمودار تابع هزینه بر حسب وزن‌ها یک اَبَررویه است که رویه‌ی خطا نامیده می‌شود. بسته به نوع تابع محرک در شبکه دو حالت ممکن است به وجود آید: اگر در شبکه فقط از نرون‌های خطی استفاده شده باشد: رویه خطا، یک تابع کاسه‌ای شکل و دارای یک کمینه است. اگر شبکه از نرون‌های غیر خطی هم استفاده کند: رویه خطا یک (یا چند) کمینه کلی دارد که کمینه‌ی (های) محلی است. نمونه‌ای از این حالت در شکل 2-6 آورده شده است.
شکل 2-6) کمینه کلی و کمینه محلی
به دست آوردن کمینه تابع هزینه برای آموزش بسیاری از شبکه‌ها کار ساده‌ای نیست و معمولا از روش‌های بر پایه تکرار بر پایه گرادیان یا الگوریتم‌های جستجوی هوشمند استفاده می‌شود. ویژگی‌های یک الگوریتم مناسب، همگرایی، سرعت همگرایی، ترفند برای گیر نکردن در بهینه‌های محلی و حجم محاسبات کم می‌باشد.
روش‌های آموزش از یک دیدگاه به دو دسته عمده تقسیم می‌شوند:
آموزش با ناظر: در این روش نمونه‌های آموزشی به شبکه اعمال شده و خروجی حاصل توسط سیستم یادگیری با خروجی مطلوب مقایسه می‌شود. از سیگنال خطای حاصل جهت تصحیح پارامترهای شبکه استفاده می‌شود. شکل 2-6، نمونه‌ای از ساختار کلی آموزش با ناظر را نشان میدهد.
آموزش بدون ناظر: در این حالت خروجی مطلوب در دست نمی‌باشد. پارامترهای سیستم با توجه به پاسخ سیستم و شاخص‌های اجرایی تعیین شده مانند شباهت در پاسخ، اصلاح و تنظیم می‌گردد.
شکل 2-7) ساختار کلی آموزش با ناظر
در این پایان‌نامه از روش لونبرگ- مارکوارت برای آموزش وزن‌های شبکه استفاده شده‌است. در ادامه به معرفی مختصر این روش می‌پردازیم. الگوریتم لونبری-مارکوات طوری طراحی شدهاست که نیاز به محاسبه ماتریس هسیان ندارد، بنابراین باعث افزایش سرعت آموزش میشود. وقتی تابع اجرایی به فرم مجموع مربعات خطا باشد (که به طور نوعی در شبکههای پسانتشار استفاده میشود) ماتریس هسیان میتواند به شکل زیر تقریب زده شود:
این نوشته در علمی ارسال شده است. افزودن پیوند یکتا به علاقه‌مندی‌ها.