www.wikidata.uk-ua.nina.az

Штучний нейрон Математичний нейрон Маккалоха Піттса en Формальний нейрон 1 вузол штучної нейронної мережі що є спрощеною

Штучний нейрон

Штучний нейрон (Математичний нейрон Маккалоха — Піттса[en], Формальний нейрон) — вузол штучної нейронної мережі, що є спрощеною моделлю природного нейрона. Математично, штучний нейрон зазвичай представляють як деяку нелінійну функцію від єдиного аргументу — лінійної комбінації всіх вхідних сигналів. Цю функцію називають функцією активації або функцією спрацьовування, передавальною функцією. Отриманий результат посилається на єдиний вихід. Такі штучні нейрони об'єднують в мережі — з'єднують виходи одних нейронів з входами інших. Штучні нейрони та мережі є основними елементами ідеального нейрокомп'ютера.

Схема штучного нейрону
1. Нейрони, вихідні сигнали яких надходять на вхід даного нейрону
2. Суматор вхідних сигналів
3. Обчислювач передавальної функції
4. Нейрони, на входи яких подається сигнал даного нейрону
5.  — ваги вхідних сигналів

Біологічний прототип Редагувати

Біологічний нейрон складається з тіла, діаметром від 3 до 100 мкм, що містить ядро (з великою кількістю ядерних пор) та інші органели (у тому числі сильно розвинений шорсткий ЕПР з активними рибосомами, апарат Гольджі) і відростків. Виділяють два види відростків. Аксон — зазвичай довгий відросток, пристосований для проведення збудження від тіла нейрона. Дендрити — як правило, короткі і сильно розгалужені відростки, які служать головним місцем утворення збуджуючих і гальмівних синапсів (різні нейрони мають різне співвідношення довжини аксона і дендритів). Нейрон може мати кілька дендритів і зазвичай тільки один аксон. Один нейрон може мати зв'язки з десятками тисяч інших нейронів. Кора головного мозку людини містить десятки мільярдів нейронів.

Історія розвитку Редагувати

Математична модель штучного нейрону була запропонована В. Маккалохом та В. Піттсом разом з моделлю мережі, що складається з цих нейронів. Автори показали, що мережа на таких елементах може виконувати числові і логічні операції. Практично мережа була реалізована Френком Розенблатом в 1958 році як комп'ютерна програма, а згодом як електронний пристрій — перцептрон. Спочатку нейрон міг оперувати тільки з сигналами логічного нуля і логічної одиниці, оскільки був побудований на основі біологічного прототипу, який може перебувати тільки в двох станах — збудженому або не збудженому. Розвиток нейронних мереж показав, що для розширення області їхнього застосування необхідно, щоб нейрон міг працювати не тільки з бінарними, але і з безперервними (аналоговими) сигналами. Таке узагальнення моделі нейрона було зроблено Уїдроу і Хоффом, які запропонували використовувати логістичну криву як функцію спрацьовування нейрона.

Зв'язки між штучними нейронами Редагувати

Зв'язки, якими вихідні сигнали одних нейронів надходять на входи інших, часто називають синапсами за аналогією зі зв'язками між біологічними нейронами. Кожен зв'язок характеризується своєю вагою. Зв'язки з позитивною вагою називаються збудливими, а з негативною — гальмівними. Нейрон має один вихід, який часто називають аксоном за аналогією з біологічним прототипом. З єдиного виходу нейрона сигнал може надходити на довільне число входів інших нейронів.

Математична модель Редагувати

Математично нейрон являє собою ваговий суматор, єдиний вихід якого визначається через його входи і матрицю ваг таким чином:

, де

Тут і  — відповідно сигнали на входах нейрона і ваги входів, функція u називається індукованим локальним полем, а f(u) — передавальною функцією. Можливі значення сигналів на входах нейрона вважають заданими в інтервалі . Вони можуть бути або дискретними (0 або 1), або аналоговими. Додатковий вхід і відповідна йому вага використовується для ініціалізації нейрона. Під ініціалізацією мається на увазі зсув активаційної функції нейрона по горизонтальній осі, тобто формування порогу чутливості нейрона. Крім того, іноді до виходу нейрона спеціально додають якусь випадкову величину, яка називається зсувом. Зсув можна розглядати як сигнал на додатковому, завжди навантаженому, синапсі.

Передавальна функція нейрона Редагувати

Передавальна функція f (u) визначає залежність сигналу на виході нейрона від зваженої суми сигналів на його входах. У більшості випадків вона є монотонно зростаючою і має область значень або , проте існують винятки. Також для деяких алгоритмів навчання мережі необхідно, щоб вона була безперервно диференційовною на всій числової осі. Штучний нейрон повністю характеризується своєю передавальною функцією. Використання різних передавальних функцій дозволяє вносити нелінійність в роботу нейрона і в цілому нейронної мережі.

Класифікація нейронів Редагувати

В основному, нейрони класифікують на основі їх положення в топології мережі. Розділяють:

  • Вхідні нейрони — отримують вектор, що кодує вхідний сигнал. Як правило, ці нейрони не виконують обчислювальних операцій, а просто передають отриманий вхідний сигнал на вихід, можливо, посиливши або послабивши його;
  • Вихідні нейрони — являють собою виходи мережі. У вихідних нейронах можуть проводитися будь-які обчислювальні операції;
  • Проміжні нейрони — виконують основні обчислювальні операції.

Основні типи передавальних функцій Редагувати

Лінійна функція активації з насиченням

Лінійна передавальна функція Редагувати

Порогова функція активації

Сигнал на виході нейрона лінійно пов'язаний із ваговою сумою сигналів на його вході.

де t — параметр функції. В штучних нейронних мережах із шаруватою структурою, нейрони з передавальними функціями такого типу, як правило, складають вхідний шар. Крім простої лінійної функції можуть бути використовуватись також її модифікації. Наприклад напівлінійна функція (якщо її аргумент менше нуля, то вона дорівнює нулю, а в інших випадках, поводить себе як лінійна) або крокова (лінійна функція з насиченням), яку можна виразити формулою:

При цьому можливий зсув функції по обох осях (як зображено на малюнку).

Недоліками крокової і напівлінійних активаційних функцій щодо лінійної можна назвати те, що вони не є диференційовними на всій числової осі, а отже не можуть бути використані при навчанні за деякими алгоритмам.

Порогова передавальна функція Редагувати

Інша назва — Функція Гевісайда. Являє собою перепад. До тих пір поки зважений сигнал на вході нейрона не досягає певного рівня - сигнал на виході дорівнює нулю. Як тільки сигнал на вході нейрона перевищує зазначений рівень — вихідний сигнал стрибкоподібно змінюється на одиницю. Найперший представник шаруватих штучних нейронних мереж — перцептрон складався виключно з нейронів такого типу. Математична запис цієї функції виглядає так:

Тут  — зсув функції активації щодо горизонтальної осі, відповідно під слід розуміти зважену суму сигналів на входах нейрона без урахування цього доданку. З огляду на те, що ця функція не є диференційовною на всій осі абсцис, її не можна використовувати в мережах, що навчаються за алгоритмом зворотного поширення помилки та іншим алгоритмам, що вимагають диференційованої передавальної функції.

Сигмоїдна функція активації

Сигмоїдальна передавальна функція Редагувати

Один із найчастіше використовуваних, в цей час, типів передавальних функцій. Введення функцій сигмоїдального типу було обумовлене обмеженістю нейронних мереж із пороговою функцією активації нейронів — за такої функції активації будь-який із виходів мережі дорівнює або нулю, або одиниці, що обмежує використання мереж не в задачах класифікації. Використання сигмоїдальних функцій дозволило перейти від бінарних виходів нейрона до аналогових. Функції передачі такого типу, як правило, властиві нейронам, що знаходяться у внутрішніх шарах нейронної мережі.

Логістична функція Редагувати

Математично цю функцію можна виразити так:

Тут t — це параметр функції, що визначає її крутизну. Коли t прямує до нескінченності, функція вироджується в порогову. При сигмоїда вироджується в постійну функцію із значенням 0,5. Область значень даної функції знаходиться в інтервалі (0,1). Важливою перевагою цієї функції є простота її похідної:

Те, що похідна цієї функції може бути виражена через її значення, полегшує використання цієї функції при навчанні мережі за алгоритмом зворотного поширення. Особливістю нейронів з такою передавальною характеристикою є те, що вони посилюють сильні сигнали істотно менше, ніж слабкі, оскільки області сильних сигналів відповідають пологим ділянках характеристики. Це дозволяє запобігти насиченню від великих сигналів.

Гіперболічний тангенс Редагувати

Використання функції гіперболічного тангенса

відрізняється від розглянутої вище логістичної кривої тим, що його область значень лежить в інтервалі (-1; 1). Оскільки є вірним наступне співвідношення

то обидва графіки відрізняються лише масштабом осей. Похідна гіперболічного тангенса, зрозуміло, теж виражається квадратичною функцією значення; властивість протистояти насиченню також має місце.

Радіально-базисна функція передачі Редагувати

Цей тип функцій приймає як аргумент відстань між вхідним вектором і деяким наперед заданими центром активаційний функції. Значення цієї функції тим вище, чим ближче до центру вхідний вектор. Як радіальну базисну функцію можна, наприклад, використовувати функцію Гауса:

Тут  — відстань між центром і вектором вхідних сигналів. Скалярний параметр визначає швидкість спадання функції при віддалені вектора від центру і називається шириною вікна, параметр визначає зсув активаційний функції по осі абсцис. Мережі, з нейронами, що використовують такі функції, називаються RBF-мережами (англ. Radial basis function network). Як відстані між векторами можуть бути використані різні метрики, зазвичай використовується евклідова відстань:

Тут  — j-та компонента вектора, поданого на вхід нейрона, а  — j-та компонента вектора, що визначає положення центру передавальної функції. Відповідно, мережі з такими нейронами називаються ймовірносними та регресійними.

У реальних мережах активаційна функція цих нейронів може відображати розподіл ймовірністі будь-якої випадкової величини, або позначати будь-які евристичні залежності між величинами.

Інші функції передачі Редагувати

Перераховані вище функції становлять лише частину від безлічі передавальних функцій, що використовуються в цей час. До числа інших передавальних функцій входять такі як:

  • Експонента ;
  • Тригонометричний синус;
  • Модульна: ;
  • Квадратична.

Стохастичний нейрон Редагувати

Вище описана модель детерміністичного штучного нейрона, тобто стан на виході нейрона однозначно визначено результатом роботи суматора вхідних сигналів. Розглядають також стохастичні нейрони, де перемикання нейрона відбувається з ймовірністю, що залежить від індукованого локального поля, тобто передавальна функція визначена як

де розподіл ймовірності зазвичай має вигляд сигмоїди

a нормувальна константа вводиться для умови нормалізації розподілу ймовірності . Таким чином, нейрон активується з ймовірністю P(u). Параметр T — аналог температури (але не температури нейрона!) І визначає безлад в нейронної мережі. Якщо Т спрямувати до 0, стохастичний нейрон перейде в звичайний нейрон з передавальної функцією Хевісайда (пороговою функцією).

Моделювання формальних логічних функцій Редагувати

Нейрон з пороговою передавальною функцією може моделювати різні логічні функції. Зображення ілюструють, яким чином можна, задавши ваги вхідних сигналів і поріг чутливості, змусити нейрон виконувати кон'юнкцію (логічне «І») і диз'юнкцію (логічне «АБО») над вхідними сигналами, а також Логічне заперечення вхідного сигналу (логічне «НЕ»). Цих трьох операцій достатньо, щоб змоделювати абсолютно будь-яку логічну функцію будь-якого числа аргументів.

Відмінності між біологічним і штучним нейроном Редагувати

Нейронні мережі, побудовані на штучних нейронах, виявляють деякі ознаки, які дозволяють зробити припущення про подібність їх структури до структури мозку живих організмів. Тим не менше, навіть на нижчому рівні штучних нейронів існують суттєві відмінності. Наприклад, штучний нейрон є безінерційною системою, тобто сигнал на виході з'являється одночасно з появою сигналів на вході, що зовсім не характерно для біологічного нейрона.

Див. також Редагувати

Примітки Редагувати

  1. Л. Г. Комарцова, А. В. Максимов «Нейрокомпьютеры», МГТУ им. Н. Э. Баумана, 2004 г., ISBN 5-7038-2554-7
  2. Миркес Е. М., Нейрокомпьютер. Проект стандарта. — Новосибирск: Наука, 1999. — 337 с. ISBN 5-02-031409-9
  3. У статті McCulloch W.S., Pitts W. A logical Clculus of Ideas Immanent in Nervous Activity — Bull. Mathematical Biophysics, 1943 online[недоступне посилання з грудня 2019]
  4. ↑ Л. Н. Ясницкий, «Введение в искусственный интеллект», Изд. Академия, 2005 г., ISBN 5-7695-1958-4; стр.29
  5. У роботіWidrow B., Hoff M.E. Adaptive switching circuits. 1960 IRE WESTCON Conferencion Record. — New York, 1960
  6. В. В. Круглов, В. В. Борисов — Искусственные нейронные сети. Теория и практика — с.11
  7. ↑ В. А. Терехов — Нейросетевые системы управления — с.12-13
  8. В. В. Круглов, В. В. Борисов — Искусственные нейронные сети. Теория и практика — с.14
  9. ↑ В. В. Круглов, В. В. Борисов — Искусственные нейронные сети. Теория и практика — с.12
  10. Дуже часто в літературі можна зустріти назвуперсептрон
  11. Л. Н. Ясницкий — Введение в искусственный интеллект — с.34
  12. CIT forum — Нейрокомп'ютери — архітектура і реалізація
  13. В. В. Круглов, В. В. Борисов — Искусственные нейронные сети. Теория и практика — с.13
  14. Л. Н. Ясницкий — Введение в искусственный интеллект — с.77
  15. В. В. Круглов, В. В. Борисов — Искусственные нейронные сети. Теория и практика — с.349
  16. В. В. Круглов, В. В. Борисов — Искусственные нейронные сети. Теория и практика — с.348
  17. Л. Н. Ясницкий — Введение в искусственный интеллект — c.30

Література Редагувати

  • Каллан Р. Основные концепции нейронных сетей = The Essence of Neural Networks First Edition. — «Вильямс», 2001. — 288 с. — ISBN 5-8459-0210-X. (рос.)
  • Ясницкий Л.Н. Введение в искусственный интеллект. — Издательский центр "Академия", 2005. — 176 с. — ISBN 5-7695-1958-4. (рос.)
  • Комарцова Л. Г., Максимов А. В. Нейрокомпьютеры. — Изд-во МГТУ им. Н.Э. Баумана, 2002. — 320 с. — ISBN 5-7038-1908-3. (рос.)
Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри
Дата публікації:
Shtuchnij nejron Matematichnij nejron Makkaloha Pittsa en Formalnij nejron 1 vuzol shtuchnoyi nejronnoyi merezhi sho ye sproshenoyu modellyu prirodnogo nejrona Matematichno shtuchnij nejron zazvichaj predstavlyayut yak deyaku nelinijnu funkciyu vid yedinogo argumentu linijnoyi kombinaciyi vsih vhidnih signaliv Cyu funkciyu nazivayut funkciyeyu aktivaciyi abo funkciyeyu spracovuvannya peredavalnoyu funkciyeyu Otrimanij rezultat posilayetsya na yedinij vihid Taki shtuchni nejroni ob yednuyut v merezhi z yednuyut vihodi odnih nejroniv z vhodami inshih Shtuchni nejroni ta merezhi ye osnovnimi elementami idealnogo nejrokomp yutera 2 Shema shtuchnogo nejronu 1 Nejroni vihidni signali yakih nadhodyat na vhid danogo nejronu 2 Sumator vhidnih signaliv 3 Obchislyuvach peredavalnoyi funkciyi 4 Nejroni na vhodi yakih podayetsya signal danogo nejronu 5 w i displaystyle w i vagi vhidnih signaliv Zmist 1 Biologichnij prototip 2 Istoriya rozvitku 3 Zv yazki mizh shtuchnimi nejronami 4 Matematichna model 5 Peredavalna funkciya nejrona 6 Klasifikaciya nejroniv 7 Osnovni tipi peredavalnih funkcij 7 1 Linijna peredavalna funkciya 7 2 Porogova peredavalna funkciya 7 3 Sigmoyidalna peredavalna funkciya 7 3 1 Logistichna funkciya 7 3 2 Giperbolichnij tangens 7 4 Radialno bazisna funkciya peredachi 7 5 Inshi funkciyi peredachi 8 Stohastichnij nejron 9 Modelyuvannya formalnih logichnih funkcij 10 Vidminnosti mizh biologichnim i shtuchnim nejronom 11 Div takozh 12 Primitki 13 LiteraturaBiologichnij prototip RedaguvatiDokladnishe NejronBiologichnij nejron skladayetsya z tila diametrom vid 3 do 100 mkm sho mistit yadro z velikoyu kilkistyu yadernih por ta inshi organeli u tomu chisli silno rozvinenij shorstkij EPR z aktivnimi ribosomami aparat Goldzhi i vidrostkiv Vidilyayut dva vidi vidrostkiv Akson zazvichaj dovgij vidrostok pristosovanij dlya provedennya zbudzhennya vid tila nejrona Dendriti yak pravilo korotki i silno rozgaluzheni vidrostki yaki sluzhat golovnim miscem utvorennya zbudzhuyuchih i galmivnih sinapsiv rizni nejroni mayut rizne spivvidnoshennya dovzhini aksona i dendritiv Nejron mozhe mati kilka dendritiv i zazvichaj tilki odin akson Odin nejron mozhe mati zv yazki z desyatkami tisyach inshih nejroniv Kora golovnogo mozku lyudini mistit desyatki milyardiv nejroniv Istoriya rozvitku RedaguvatiMatematichna model shtuchnogo nejronu bula zaproponovana V Makkalohom ta V Pittsom razom z modellyu merezhi sho skladayetsya z cih nejroniv Avtori pokazali sho merezha na takih elementah mozhe vikonuvati chislovi i logichni operaciyi 3 Praktichno merezha bula realizovana Frenkom Rozenblatom v 1958 roci yak komp yuterna programa a zgodom yak elektronnij pristrij perceptron Spochatku nejron mig operuvati tilki z signalami logichnogo nulya i logichnoyi odinici 4 oskilki buv pobudovanij na osnovi biologichnogo prototipu yakij mozhe perebuvati tilki v dvoh stanah zbudzhenomu abo ne zbudzhenomu Rozvitok nejronnih merezh pokazav sho dlya rozshirennya oblasti yihnogo zastosuvannya neobhidno shob nejron mig pracyuvati ne tilki z binarnimi ale i z bezperervnimi analogovimi signalami Take uzagalnennya modeli nejrona bulo zrobleno Uyidrou i Hoffom 5 yaki zaproponuvali vikoristovuvati logistichnu krivu yak funkciyu spracovuvannya nejrona Zv yazki mizh shtuchnimi nejronami RedaguvatiZv yazki yakimi vihidni signali odnih nejroniv nadhodyat na vhodi inshih chasto nazivayut sinapsami za analogiyeyu zi zv yazkami mizh biologichnimi nejronami Kozhen zv yazok harakterizuyetsya svoyeyu vagoyu Zv yazki z pozitivnoyu vagoyu nazivayutsya zbudlivimi a z negativnoyu galmivnimi 6 Nejron maye odin vihid yakij chasto nazivayut aksonom za analogiyeyu z biologichnim prototipom Z yedinogo vihodu nejrona signal mozhe nadhoditi na dovilne chislo vhodiv inshih nejroniv Matematichna model RedaguvatiMatematichno nejron yavlyaye soboyu vagovij sumator yedinij vihid yakogo viznachayetsya cherez jogo vhodi i matricyu vag takim chinom y f u displaystyle y f u nbsp de u i 1 n w i x i w 0 x 0 textstyle u sum i 1 n w i x i w 0 x 0 nbsp Tut x i displaystyle x i nbsp i w i displaystyle w i nbsp vidpovidno signali na vhodah nejrona i vagi vhodiv funkciya u nazivayetsya indukovanim lokalnim polem a f u peredavalnoyu funkciyeyu Mozhlivi znachennya signaliv na vhodah nejrona vvazhayut zadanimi v intervali 0 1 displaystyle 0 1 nbsp Voni mozhut buti abo diskretnimi 0 abo 1 abo analogovimi Dodatkovij vhid x 0 displaystyle x 0 nbsp i vidpovidna jomu vaga vikoristovuyetsya dlya inicializaciyi nejrona 7 Pid inicializaciyeyu mayetsya na uvazi zsuv aktivacijnoyi funkciyi nejrona po gorizontalnij osi tobto formuvannya porogu chutlivosti nejrona 4 Krim togo inodi do vihodu nejrona specialno dodayut yakus vipadkovu velichinu yaka nazivayetsya zsuvom Zsuv mozhna rozglyadati yak signal na dodatkovomu zavzhdi navantazhenomu sinapsi Peredavalna funkciya nejrona RedaguvatiPeredavalna funkciya f u viznachaye zalezhnist signalu na vihodi nejrona vid zvazhenoyi sumi signaliv na jogo vhodah U bilshosti vipadkiv vona ye monotonno zrostayuchoyu i maye oblast znachen 1 1 displaystyle 1 1 nbsp abo 0 1 displaystyle 0 1 nbsp prote isnuyut vinyatki Takozh dlya deyakih algoritmiv navchannya merezhi neobhidno shob vona bula bezperervno diferencijovnoyu na vsij chislovoyi osi 7 Shtuchnij nejron povnistyu harakterizuyetsya svoyeyu peredavalnoyu funkciyeyu Vikoristannya riznih peredavalnih funkcij dozvolyaye vnositi nelinijnist v robotu nejrona i v cilomu nejronnoyi merezhi Klasifikaciya nejroniv RedaguvatiV osnovnomu nejroni klasifikuyut na osnovi yih polozhennya v topologiyi merezhi Rozdilyayut Vhidni nejroni otrimuyut vektor sho koduye vhidnij signal Yak pravilo ci nejroni ne vikonuyut obchislyuvalnih operacij a prosto peredayut otrimanij vhidnij signal na vihid mozhlivo posilivshi abo poslabivshi jogo Vihidni nejroni yavlyayut soboyu vihodi merezhi U vihidnih nejronah mozhut provoditisya bud yaki obchislyuvalni operaciyi Promizhni nejroni vikonuyut osnovni obchislyuvalni operaciyi 8 Osnovni tipi peredavalnih funkcij Redaguvati nbsp Linijna funkciya aktivaciyi z nasichennyamLinijna peredavalna funkciya Redaguvati nbsp Porogova funkciya aktivaciyiSignal na vihodi nejrona linijno pov yazanij iz vagovoyu sumoyu signaliv na jogo vhodi f x t x displaystyle f x tx nbsp de t parametr funkciyi V shtuchnih nejronnih merezhah iz sharuvatoyu strukturoyu nejroni z peredavalnimi funkciyami takogo tipu yak pravilo skladayut vhidnij shar Krim prostoyi linijnoyi funkciyi mozhut buti vikoristovuvatis takozh yiyi modifikaciyi Napriklad napivlinijna funkciya yaksho yiyi argument menshe nulya to vona dorivnyuye nulyu a v inshih vipadkah povodit sebe yak linijna abo krokova linijna funkciya z nasichennyam yaku mozhna viraziti formuloyu 9 f x 0 if x 0 1 if x 1 x else displaystyle f x begin cases 0 amp text if x leq 0 1 amp text if x geq 1 x amp text else end cases nbsp Pri comu mozhlivij zsuv funkciyi po oboh osyah yak zobrazheno na malyunku Nedolikami krokovoyi i napivlinijnih aktivacijnih funkcij shodo linijnoyi mozhna nazvati te sho voni ne ye diferencijovnimi na vsij chislovoyi osi a otzhe ne mozhut buti vikoristani pri navchanni za deyakimi algoritmam Porogova peredavalna funkciya Redaguvati Insha nazva Funkciya Gevisajda Yavlyaye soboyu perepad Do tih pir poki zvazhenij signal na vhodi nejrona ne dosyagaye pevnogo rivnya T displaystyle T nbsp signal na vihodi dorivnyuye nulyu Yak tilki signal na vhodi nejrona perevishuye zaznachenij riven vihidnij signal stribkopodibno zminyuyetsya na odinicyu Najpershij predstavnik sharuvatih shtuchnih nejronnih merezh perceptron 10 skladavsya viklyuchno z nejroniv takogo tipu 4 Matematichna zapis ciyeyi funkciyi viglyadaye tak f x 1 if x T 0 else displaystyle f x begin cases 1 amp text if x geq T 0 amp text else end cases nbsp Tut T w 0 x 0 displaystyle T w 0 x 0 nbsp zsuv funkciyi aktivaciyi shodo gorizontalnoyi osi vidpovidno pid x displaystyle x nbsp slid rozumiti zvazhenu sumu signaliv na vhodah nejrona bez urahuvannya cogo dodanku Z oglyadu na te sho cya funkciya ne ye diferencijovnoyu na vsij osi abscis yiyi ne mozhna vikoristovuvati v merezhah sho navchayutsya za algoritmom zvorotnogo poshirennya pomilki ta inshim algoritmam sho vimagayut diferencijovanoyi peredavalnoyi funkciyi nbsp Sigmoyidna funkciya aktivaciyiSigmoyidalna peredavalna funkciya Redaguvati Dokladnishe SigmoyidaOdin iz najchastishe vikoristovuvanih v cej chas tipiv peredavalnih funkcij Vvedennya funkcij sigmoyidalnogo tipu bulo obumovlene obmezhenistyu nejronnih merezh iz porogovoyu funkciyeyu aktivaciyi nejroniv za takoyi funkciyi aktivaciyi bud yakij iz vihodiv merezhi dorivnyuye abo nulyu abo odinici sho obmezhuye vikoristannya merezh ne v zadachah klasifikaciyi Vikoristannya sigmoyidalnih funkcij dozvolilo perejti vid binarnih vihodiv nejrona do analogovih 11 Funkciyi peredachi takogo tipu yak pravilo vlastivi nejronam sho znahodyatsya u vnutrishnih sharah nejronnoyi merezhi Logistichna funkciya Redaguvati Matematichno cyu funkciyu mozhna viraziti tak s x 1 1 exp t x displaystyle sigma x frac 1 1 exp tx nbsp Tut t ce parametr funkciyi sho viznachaye yiyi krutiznu Koli t pryamuye do neskinchennosti funkciya virodzhuyetsya v porogovu Pri t 0 displaystyle t 0 nbsp sigmoyida virodzhuyetsya v postijnu funkciyu iz znachennyam 0 5 Oblast znachen danoyi funkciyi znahoditsya v intervali 0 1 Vazhlivoyu perevagoyu ciyeyi funkciyi ye prostota yiyi pohidnoyi d s x d x t f x 1 f x displaystyle cfrac d sigma x dx tf x 1 f x nbsp Te sho pohidna ciyeyi funkciyi mozhe buti virazhena cherez yiyi znachennya polegshuye vikoristannya ciyeyi funkciyi pri navchanni merezhi za algoritmom zvorotnogo poshirennya 12 Osoblivistyu nejroniv z takoyu peredavalnoyu harakteristikoyu ye te sho voni posilyuyut silni signali istotno menshe nizh slabki oskilki oblasti silnih signaliv vidpovidayut pologim dilyankah harakteristiki Ce dozvolyaye zapobigti nasichennyu vid velikih signaliv 13 Giperbolichnij tangens Redaguvati Vikoristannya funkciyi giperbolichnogo tangensa t h A x exp A x exp A x exp A x exp A x displaystyle th Ax frac exp Ax exp Ax exp Ax exp Ax nbsp vidriznyayetsya vid rozglyanutoyi vishe logistichnoyi krivoyi tim sho jogo oblast znachen lezhit v intervali 1 1 Oskilki ye virnim nastupne spivvidnoshennya t h A 2 x 2 s x 1 displaystyle th frac A 2 x 2 sigma x 1 nbsp to obidva grafiki vidriznyayutsya lishe masshtabom osej Pohidna giperbolichnogo tangensa zrozumilo tezh virazhayetsya kvadratichnoyu funkciyeyu znachennya vlastivist protistoyati nasichennyu takozh maye misce Radialno bazisna funkciya peredachi Redaguvati Dokladnishe Radialna bazisna funkciyaCej tip funkcij prijmaye yak argument vidstan mizh vhidnim vektorom i deyakim napered zadanimi centrom aktivacijnij funkciyi Znachennya ciyeyi funkciyi tim vishe chim blizhche do centru vhidnij vektor 14 Yak radialnu bazisnu funkciyu mozhna napriklad vikoristovuvati funkciyu Gausa y exp S R 2 2 s 2 displaystyle y exp left frac S R 2 2 sigma 2 right nbsp Tut S X C displaystyle S mathbf X mathbf C nbsp vidstan mizh centrom C displaystyle mathbf C nbsp i vektorom vhidnih signalivX displaystyle mathbf X nbsp Skalyarnij parametr s displaystyle sigma nbsp viznachaye shvidkist spadannya funkciyi pri viddaleni vektora vid centru i nazivayetsya shirinoyu vikna parametr R displaystyle R nbsp viznachaye zsuv aktivacijnij funkciyi po osi abscis Merezhi z nejronami sho vikoristovuyut taki funkciyi nazivayutsya RBF merezhami angl Radial basis function network Yak vidstani mizh vektorami mozhut buti vikoristani rizni metriki 15 zazvichaj vikoristovuyetsya evklidova vidstan S j 1 N x j c j 2 displaystyle S sqrt sum j 1 N x j c j 2 nbsp Tut x j displaystyle x j nbsp j ta komponenta vektora podanogo na vhid nejrona a c j displaystyle c j nbsp j ta komponenta vektora sho viznachaye polozhennya centru peredavalnoyi funkciyi Vidpovidno merezhi z takimi nejronami nazivayutsya jmovirnosnimi ta regresijnimi 16 U realnih merezhah aktivacijna funkciya cih nejroniv mozhe vidobrazhati rozpodil jmovirnisti bud yakoyi vipadkovoyi velichini abo poznachati bud yaki evristichni zalezhnosti mizh velichinami Inshi funkciyi peredachi Redaguvati Pererahovani vishe funkciyi stanovlyat lishe chastinu vid bezlichi peredavalnih funkcij sho vikoristovuyutsya v cej chas Do chisla inshih peredavalnih funkcij vhodyat taki yak 9 Eksponenta f x exp A x displaystyle f x exp Ax nbsp Trigonometrichnij sinus Modulna f x x displaystyle f x left x right nbsp Kvadratichna Stohastichnij nejron RedaguvatiVishe opisana model deterministichnogo shtuchnogo nejrona tobto stan na vihodi nejrona odnoznachno viznacheno rezultatom roboti sumatora vhidnih signaliv Rozglyadayut takozh stohastichni nejroni de peremikannya nejrona vidbuvayetsya z jmovirnistyu sho zalezhit vid indukovanogo lokalnogo polya tobto peredavalna funkciya viznachena yak f u 1 z jmovirnistyu P u 0 z jmovirnistyu 1 P u displaystyle f u begin cases 1 amp text z jmovirnistyu P u 0 amp text z jmovirnistyu 1 P u end cases nbsp de rozpodil jmovirnosti P u displaystyle P u nbsp zazvichaj maye viglyad sigmoyidi s u A T 1 exp u T displaystyle sigma u frac A T 1 exp u T nbsp a normuvalna konstanta A T displaystyle A T nbsp vvoditsya dlya umovi normalizaciyi rozpodilu jmovirnosti 0 1 s u d u 1 displaystyle int 0 1 sigma u du 1 nbsp Takim chinom nejron aktivuyetsya z jmovirnistyu P u Parametr T analog temperaturi ale ne temperaturi nejrona I viznachaye bezlad v nejronnoyi merezhi Yaksho T spryamuvati do 0 stohastichnij nejron perejde v zvichajnij nejron z peredavalnoyi funkciyeyu Hevisajda porogovoyu funkciyeyu Modelyuvannya formalnih logichnih funkcij RedaguvatiNejron z porogovoyu peredavalnoyu funkciyeyu mozhe modelyuvati rizni logichni funkciyi Zobrazhennya ilyustruyut yakim chinom mozhna zadavshi vagi vhidnih signaliv i porig chutlivosti zmusiti nejron vikonuvati kon yunkciyu logichne I i diz yunkciyu logichne ABO nad vhidnimi signalami a takozh Logichne zaperechennya vhidnogo signalu logichne NE 17 Cih troh operacij dostatno shob zmodelyuvati absolyutno bud yaku logichnu funkciyu bud yakogo chisla argumentiv nbsp Shema nejrona nalashtovanogo na modelyuvannya logichnogo I nbsp Shema nejrona nalashtovanogo na modelyuvannya logichnogo ABO nbsp Shema nejrona nalashtovanogo na modelyuvannya logichnogo NE Vidminnosti mizh biologichnim i shtuchnim nejronom RedaguvatiNejronni merezhi pobudovani na shtuchnih nejronah viyavlyayut deyaki oznaki yaki dozvolyayut zrobiti pripushennya pro podibnist yih strukturi do strukturi mozku zhivih organizmiv Tim ne menshe navit na nizhchomu rivni shtuchnih nejroniv isnuyut suttyevi vidminnosti Napriklad shtuchnij nejron ye bezinercijnoyu sistemoyu tobto signal na vihodi z yavlyayetsya odnochasno z poyavoyu signaliv na vhodi sho zovsim ne harakterno dlya biologichnogo nejrona Div takozh RedaguvatiPerceptron ADALINE Nejron Zv yazuyuchij nejron MemistorPrimitki Redaguvati L G Komarcova A V Maksimov Nejrokompyutery MGTU im N E Baumana 2004 g ISBN 5 7038 2554 7 Mirkes E M Nejrokompyuter Proekt standarta Novosibirsk Nauka 1999 337 s ISBN 5 02 031409 9 U statti McCulloch W S Pitts W A logical Clculus of Ideas Immanent in Nervous Activity Bull Mathematical Biophysics 1943 online nedostupne posilannya z grudnya 2019 a b v L N Yasnickij Vvedenie v iskusstvennyj intellekt Izd Akademiya 2005 g ISBN 5 7695 1958 4 str 29 U robotiWidrow B Hoff M E Adaptive switching circuits 1960 IRE WESTCON Conferencion Record New York 1960 V V Kruglov V V Borisov Iskusstvennye nejronnye seti Teoriya i praktika s 11 a b V A Terehov Nejrosetevye sistemy upravleniya s 12 13 V V Kruglov V V Borisov Iskusstvennye nejronnye seti Teoriya i praktika s 14 a b V V Kruglov V V Borisov Iskusstvennye nejronnye seti Teoriya i praktika s 12 Duzhe chasto v literaturi mozhna zustriti nazvuperseptron L N Yasnickij Vvedenie v iskusstvennyj intellekt s 34 CIT forum Nejrokomp yuteri arhitektura i realizaciya V V Kruglov V V Borisov Iskusstvennye nejronnye seti Teoriya i praktika s 13 L N Yasnickij Vvedenie v iskusstvennyj intellekt s 77 V V Kruglov V V Borisov Iskusstvennye nejronnye seti Teoriya i praktika s 349 V V Kruglov V V Borisov Iskusstvennye nejronnye seti Teoriya i praktika s 348 L N Yasnickij Vvedenie v iskusstvennyj intellekt c 30Literatura RedaguvatiKallan R Osnovnye koncepcii nejronnyh setej The Essence of Neural Networks First Edition Vilyams 2001 288 s ISBN 5 8459 0210 X ros Yasnickij L N Vvedenie v iskusstvennyj intellekt Izdatelskij centr Akademiya 2005 176 s ISBN 5 7695 1958 4 ros Komarcova L G Maksimov A V Nejrokompyutery Izd vo MGTU im N E Baumana 2002 320 s ISBN 5 7038 1908 3 ros Otrimano z https uk wikipedia org w index php title Shtuchnij nejron amp oldid 34421358