Багатошаровий перцептрон

Обмеження моделі нейрона

1. Обчислення виходу нейрона передбачаються миттєвими, що не вносять затримки. Безпосередньо моделювати динамічні системи, що мають "внутрішній стан", з допомогою таких нейронів не можна.

2. У моделі відсутні нервові імпульси. Ні модуляції рівня сигналу щільністю імпульсів, як у нервовій системі. Не з'являються ефекти синхронізації, коли скупчення нейронів обробляють інформацію синхронно, під керуванням періодичних хвиль збудження-гальмування.

3. Немає чітких алгоритмів для вибору функції активації.

4. Немає механізмів, що регулюють роботу мережі в цілому (приклад гормональна регуляція активності в біологічних нервових мережах).

5. Надмірна формалізація понять: "поріг", "вагові коефіцієнти". У реальних нейронах немає числового порога, він динамічно міняється в залежності від активності нейрона й загального стану мережі. Вагові коефіцієнти синапсів теж не постійні. "Живі" синапси мають пластичність і стабільність: вагарні коефіцієнти набудовуються в залежності від сигналів, що проходять через синапс.

6. Існує велика розмаїтість біологічних синапсів. Вони зустрічаються в різних

частинах клітки і виконують різні функції. Тормозні і збудливі синапси реалізуются в даній моделі у виді вагових коефіцієнтів протилежного знака, але різноманіття синапсів цим не обмежується. Дендро*дендритні, аксо*аксональні синапси не реалізуються в моделі ФН.

7. У моделі не просліджується розходження між градуальними потенціалами і нервовими імпульсами. Любий сигнал представляється у виді одного числа.

Отже, модель формального нейрона не є біоподібною і скоріше схожа на математичну абстракцію, чим на живий нейрон. Тим нереальніше виявляється різноманіття задач, розв'язуваних за допомогою таких нейронів і універсальність одержуваних алгоритмів.

Формальні нейрони можуть поєднуватися в мережі різним чином. Найпоширенішим видом мережі став багатошаровий перцептрон (мал.

Мал.. Багатошаровий перцептрон.

Мережа складається з довільної кількості шарів нейронів. Нейрони кожного шару з'єднуються з нейронами попереднього і наступного шарів за принципом "кожний з кожним". Перший шар (ліворуч) називається сенсорним чи вхідним, внутрішні шари називаються схованими чи асоціативними, останній (самий правий, на малюнку складається з одного нейрона) — вихідним чи результативним. Кількість нейронів у шарах може бути довільною. Звичайно у всіх схованих шарах однакова кількість нейронів.

Позначимо кількість шарів і нейронів у шарі. Вхідний шар: NI нейронів; NH нейронів у кожному схованому шарі; NO вихідних нейронів. x — вектор вхідні сигнали мережі, y -вектор вихідних

сигналів.

Існує плутанина з підрахунком кількості шарів у мережі. Вхідний шар не виконує ніяких обчислень, а лише розподіляє вхідні сигнали, тому іноді його вважають, іноді — немає. Позначимо через NL повна кількість шарів у мережі, вважаючи вхідний.

Робота багатошарового перцептрона (МСП) описується формулами:

(1)

(2)

(3)

де індексом i завжди будемо позначати номер входу, j — номер нейрона в шарі, l — номер шаруючи.

— i- й вхідний сигнал j- го нейрона в шарі l;

— вагарні коефіцієнт i- го входу нейрона номер j у шарі l;

— сигнал NET j- го нейрона в шарі l;

— вихідний сигнал нейрона;

— граничний рівень нейрона j у шарі l;

Уведемо позначення: — вектор-стовпець ваг для усіх входів нейрона j у шарі l; — матриця

ваг усіх нейронів у шару l. У стовпцях матриці розташовані вектора . Аналогічно — вхідний вектор-стовпець шаруючи l.

Кожен шар розраховує нелінійне перетворення від лінійної комбінації сигналів попереднього шаруючи. Звідси видно, що лінійна функція активації може застосовується тільки для тих моделей мереж, де не потрібно послідовне з'єднання шарів нейронів один за одним. Для багатошарових мереж функція активації повинна бути нелінійною, інакше можна побудувати еквівалентну одношарову мережу, і багатошаровість виявляється непотрібною. Якщо застосована лінійна

функція активації, де кожен шар буде давати на виході лінійну комбінацію входів. Слідуючий шар дасть лінійну комбінацію виходів попереднього, а це еквівалентно однієї лінійної комбінації з іншими коефіцієнтами, і може бути реалізоване у виді одного шару нейронів.

Багатошарова мережа може формувати на виході довільну багатомірну функцію при відповідному виборі кількості шарів, діапазону зміни сигналів і параметрів нейронів.

Як і ряди, багатошарові мережі виявляються універсальним інструментом апроксимації функцій. Видна відмінність роботи нейронної мережі від розкладання функції в ряд:

Ряд:

Нейронна мережа:

слой 1

слой 2

слой 3

За рахунок почергового розрахунку лінійних комбінацій і нелінійних перетворень досягається апроксимація довільної багатомірної функції при відповідному виборі параметрів мережі.

У багатошаровому перцептроні немає зворотніх зв'язків. Такі моделі називаються мережами прямого розповсюдження. Вони не мають внутрішнього стану і не дозволяють без додаткових прийомів моделювати розвиток динамічних систем.

Дата добавления: 2014-01-04