Некеро́ване навча́ння,неконтрольо́ване навча́ння,навча́ння без на́гляду,навча́ння без учи́теля (англ. unsupervised learning) — це парадигма машинного навчання, в якій, на відміну від керованого та напівкерованого навчання, алгоритми навчаються образів виключно з немічених даних.
Нейронні мережі
Завдання й методи
Завдання нейронних мереж часто класифікують як розрізнювальні (англ. discriminative, розпізнавання) та породжувальні (англ. generative, уявляння). Часто, але не завжди, розрізнювальні завдання використовують керовані методи, а породжувальні — некеровані (див. діаграму Венна); проте цей поділ дуже розмитий. Наприклад, розпізнавання об'єктів надає перевагу керованому навчанню, але некероване навчання також може кластерувати об'єкти в групи. Крім того, в міру прогресу деякі завдання застосовують обидва методи, а деякі переходять від одного до іншого. Наприклад, розпізнавання зображень розпочалося як сильно кероване, але стало гібридним, застосувавши некероване попереднє навчання, а потім знову перейшло до керованості з появою виключення, випрямляча та адаптивних темпів навчання.
Тренування
Під час фази тренування некерована мережа намагається імітувати дані, які їй дають, і використовує похибку у своєму імітованому виході, щоб виправляти себе (себто виправляти свої ваги та зміщення). Іноді похибку виражають як низьку ймовірність видавання помилкового виходу, або це може бути виражено як нестабільний високоенергетичний стан у мережі.
На відміну до переважного використання в керованих методах зворотного поширення, некероване навчання також використовує й інші методи, зокрема: гопфілдове правило навчання, больцманове правило навчання, контрастове розходження, [en], [en], максимальну правдоподібність, максимальне апостеріорне, [en] та зворотне поширення похибок відтворення або перепараметрування прихованого стану. Докладніше див. таблицю нижче.
Енергія
Функція енергії (англ. energy function) — це макроскопічна міра стану збудження мережі. У машинах Больцмана вона виконує роль функції витрат (англ. cost function). Ця аналогія з фізикою натхнена аналізом макроскопічної енергії газу Людвіга Больцмана на основі мікроскопічних імовірностей руху частинок. , де k — стала Больцмана, а T — температура. У мережі ОМБ цим відношенням є , де та пробігають всі можливі схеми (англ. pattern) збудження, а . Якщо точніше, , де — схема збудження всіх нейронів (видимих і прихованих). Тому ранні нейронні мережі носять назву «машина Больцмана» (англ. Boltzmann machine). Пол Смоленський називає гармонією (англ. Harmony). Мережа шукає низьку енергію, що є високою гармонією.
Мережі
У цій таблиці наведено схеми зв'язності різних некерованих мереж, деталі яких буде наведено в розділі Порівняння мереж. Кола — це нейрони, а ребра між ними — це ваги з'єднань. Зі зміною конструкції мереж функції додаються, щоби відкрити нові можливості, або усуваються, щоби пришвидшити навчання. Наприклад, нейрони змінюються між детермінованими (Гопфілда) та стохастичними (Больцмана), щоби забезпечити робастний вихід, ваги усуваються в межах шару (ОМБ), щоби прискорити навчання, або з'єднанням дозволяється стати асиметричними (Гельмгольца).
Гопфілда | Больцмана | ОМБ | Складена Больцмана |
---|---|---|---|
[en] | Автокодувальник | ВАК |
---|---|---|
З-поміж людей, чиїми іменами названо ці мережі, безпосередньо з нейронними мережами працював лише Гопфілд. Больцман та Гельмгольц були раніше за створення штучних нейронних мереж, але їхні роботи в галузі фізики та фізіології надихнули використані аналітичні методи.
Історія
1969 рік | Книга [en]» Мінського та Пейперта показує, що перцептрон без прихованих шарів неспроможний на виключне «або» |
1970-ті роки | (дати приблизні) Перша зима ШІ |
1974 рік | Магнітна модель Ізінга запропонована [de] для пізнавання |
1980 рік | Фукусіма представляє неокогнітрон, який пізніше назвали згортковою нейронною мережею. Його переважно використовують у керованім навчанні, але він заслуговує на згадку й тут. |
1982 рік | Видозміну Ізінга, мережу Гопфілда, описано Джоном Гопфілдом як асоціативну пам'ять і класифікатори. |
1983 рік | Видозміну Ізінга, машину Больцмана з імовірнісними нейронами, описано Гінтоном і [en] по слідах праці Шерінгтона та Кіркпатріка 1975 року. |
1986 рік | [en] публікує «Теорію гармонії», яка є ОМБ з практично тією ж больцмановою функцією енергії. Смоленський не надав практичної схеми тренування. Гінтон зробив це в середині 2000-х. |
1995 рік | Шмідхубер представляє нейрон ДКЧП для мов. |
1995 рік | Даян та Гінтон представляють машину Гельмгольца |
1995-2005 роки | (дати приблизні) Дуга зима ШІ |
2013 рік | Кінгма, Резенде й інші представили варіаційні автокодувальники як баєсову графову ймовірнісну мережу з нейронними мережами як складовими. |
Конкретні мережі
Тут ми висвітлюємо деякі характеристики обраних мереж. Подробиці щодо кожної наведено в порівняльній таблиці нижче.
- Мережа Гопфілда
- Мережі Гопфілда надихнув феромагнетизм. Нейрон відповідає домену заліза з бінарними магнітними моментами Вгору та Донизу, а з'єднання нейронів відповідають впливам доменів один на одного. Симетричні з’єднання уможливлюють формулювання глобальної енергії. Під час висновування мережа уточнює кожен стан використовуючи стандартну функцію кроку збудження. Симетричні ваги та правильні функції енергії гарантують збіжність до стабільного візерунку збудження. Асиметричні ваги аналізувати складно. Мережі Гопфілда використовують як асоціативну пам’ять.
- Машина Больцмана
- Це стохастичні мережі Гопфілда. Значення їхнього стану вибирається з цієї функції густини ймовірності таким чином: припустімо, що бінарний нейрон спрацьовує з імовірністю Бернуллі p(1) = 1/3 і зупиняється з p(0) = 2/3. З цього роблять вибірку, беручи рівномірно розподілене випадкове число y та підставляючи його до оберненої функції розподілу ймовірності, що в даному випадку є відтинково сталою функцією з порогом 2/3. Обернена функція = { 0 якщо x <= 2/3, 1 якщо x > 2/3 }.
- Сигмоїдна мережа переконань
- Представлена Редфордом Нілом 1992 року, ця мережа застосовує ідеї ймовірнісних графових моделей до нейронних мереж. Ключова відмінність полягає в тому, що вузли в графових моделях мають заздалегідь призначені значення, тоді як ознаки нейронів мережі переконань визначаються після тренування. Мережа являє собою розріджено зв’язаний орієнтований ациклічний граф, що складається з бінарних стохастичних нейронів. Правило навчання походить від максимальної правдоподібності на p(X): Δwij sj * (si - pi), де pi = 1 / ( 1 + eзважені входи до нейрону i). sj це збудження з незміщеної вибірки апостеріорного розподілу, і це проблематично через проблему редукції причини (англ. Explaining Away), порушену Джудою Перлом. [en] використовують сурогатне апостеріорне й відверто ігнорують цю складність.
- Глибока мережа переконань
- Ця мережа, представлена Гінтоном, є гібридом ОМБ та сигмоїдної мережі переконань. Верхні 2 шари — це ОМБ, а другий шар униз утворює сигмоїдну мережу переконань. Її тренують методом складеної ОМБ, а потім відкидають ваги розпізнавання під верхньою ОМБ. Станом на 2009 рік оптимальною глибиною видавалися 3—4 шари.
- Це перші джерела натхнення варіаційних автокодувальників. Це 2 мережі, об’єднані в одну: прямі ваги забезпечують розпізнавання, а зворотні втілюють уявляння. Можливо, це перша мережа, яка робила і те, й інше. Гельмгольц не працював у сфері машинного навчання, але він надихнув думку про «механізм статистичного висновування, функцією якого є висновувати ймовірні причини сенсо́рного входу». Стохастичний бінарний нейрон видає ймовірність того, що його стан дорівнює 0 або 1. Вхідні дані зазвичай не вважають шаром, але в породжувальному режимі машини Гельмгольца шар даних отримує вхідні дані від середнього шару й має для цієї мети окремі ваги, тож його вважають шаром. Отже, ця мережа має 3 шари.
- Варіаційний автокодувальник
- Вони натхнені машинами Гельмгольца та поєднують імовірнісну мережу з нейронними мережами. Автокодувальник — це 3-шарова мережа асоціативної пам'яті, де середній шар має бути деяким внутрішнім поданням образів входу. Нейронна мережа кодувальника — це розподіл імовірностей qφ(z коли x), а мережа декодувальника — pθ(x коли z). Ваги називають фі та тета, а не W та V, як у Гельмгольца, — косметична відмінність. Ці 2 мережі тут можуть бути повністю з’єднаними, або використовувати іншу нейромережну схему.
Порівняння мереж
Гопфілда | Больцмана | ОМБ | Складена ОМБ | Гельмгольца | Автокодувальник | ВАК | |
---|---|---|---|---|---|---|---|
Використання й видатні застосування | Асоціативна пам'ять, задача комівояжера | Асоціативна пам'ять. Свобода з'єднань ускладнює аналіз цієї мережі. | розпізнавання образів. використовували в цифрах MNIST та мовленні. | розпізнавання та уявляння. тренується некерованим попереднім тренуванням та/або керованим тонким настроюванням. | уявляння, імітування | мова: творче написання, переклад. бачення: покращування розмитих зображень | породжування реалістичних даних |
Нейрон | детермінований бінарний стан. Збудження = { 0 (або -1), якщо x від'ємне, 1 в іншому випадку } | стохастичний бінарний нейрон Гопфілда | ← те саме. (розширено до дійснозначних у середині 2000-х) | ← те саме | ← те саме | мова: ДКЧП. зір: локальні рецептивні поля. зазвичай дійснозначне випрямлячеве збудження. | нейрони середнього шару кодують середні значення та дисперсії для гауссіанів. У режимі виконання (висновування) вихід середнього шару є вибірковими значеннями з цих гауссіанів. |
З'єднання | 1 шар із симетричними вагами. Без самоз'єднань. | 2 шари. 1 прихований та 1 видимий. симетричні ваги. | ← те саме. бічних зв'язків усередині шару немає. | верхній шар неорієнтований, симетричний. інші шари двобічні, асиметричні. | 3 шари: асиметричні ваги. 2 мережі об'єднано в 1. | 3 шари. Вхід вважають шаром, навіть попри відсутність вхідних ваг. рекурентні шари для ОПМ. згортки прямого поширення для бачення. вхід і вихід мають однакову кількість нейронів. | 3 шари: вхід, кодувальник, декодувальник вибірки з розподілів. вибірку не вважають шаром |
Висновування й енергія | Енергію задано ґіббзовою ймовірнісною мірою: | ← те саме | ← те саме | мінімізувати КЛ-розходження | висновування лише пряме. попередні мережі некерованого навчання працювали в обох напрямках | мінімізація похибки = похибка відбудови - РКЛ | |
Тренування | Δwij = si*sj для нейрона +1/-1 | Δwij = e*(pij − p'ij). Це виведено з мінімізування РКЛ. e = темп навчання, p' = передбачений, а p = фактичний розподіл. | Δwij = e*(< vi hj > даних − < vi hj > рівноваги). Це вигляд контрастового розходження з вибіркою за Ґіббзом. «<>» — математичні сподівання. | ← подібне. тренувати 1 шар за раз. наближений стан рівноваги з 3-сегментним проходом. зворотного поширення немає. | 2-фазове навчання неспання-сон | зворотне поширення похибки відбудови | перепараметрувати прихований стан для зворотного поширення |
Сила | нагадує фізичні системи, бо успадковує їхні рівняння | ← те саме. приховані нейрони діють як внутрішнє подання зовнішнього світу | швидша й практичніша схема тренування, ніж у машин Больцмана | тренується швидко. дає ієрархічний шар ознак | помірно анатомічна. піддається аналізу за допомогою теорії інформації та статистичної механіки | ||
Слабкість | важко тренувати через бічні з'єднання | рівновага вимагає забагато ітерацій | цілочислові й дійснозначні нейрони складніші. |
Геббове навчання, ТАР, СОК
Класичним прикладом некерованого навчання у дослідженні нейронних мереж є принцип Дональда Гебба, а саме, що нейрони, які спрацьовують разом, з'єднуються докупи. У геббовім навчанні з'єднання зміцнюється незалежно від помилки, і є виключно функцією збігу потенціалів дії двох нейронів. Подібна версія, яка змінює синаптичні ваги, враховує час між потенціалами дії ([en], або англ. STDP). За припущеннями, геббове навчання лежить в основі низки когнітивних функцій, таких як розпізнавання образів та експериментальне навчання.
Серед нейромережних моделей, в алгоритмах некерованого навчання широко використовують самоорганізаційну карту (СОК, англ. SOM) та [en] (ТАР, англ. ART). СОК — це топографічне впорядкування, в якому сусідні місця на карті подають входи з подібними властивостями. Модель ТАР дозволяє кількості кластерів змінюватися з розміром задачі та дозволяє користувачеві контролювати ступінь подібності між членами одних і тих же кластерів за допомогою визначаної користувачем сталої, званої параметром пильності (англ. vigilance parameter). Мережі ТАР використовують для багатьох завдань розпізнавання образів, таких як автоматичне розпізнавання цілей та обробка сейсмічних сигналів.
Імовірнісні методи
Двома основними методами, які використовують у некерованім навчанні, є метод головних компонент і кластерний аналіз. Кластерний аналіз використовують у некерованім навчанні для групування, або сегментування, наборів даних зі спільними атрибутами з метою екстраполювання алгоритмічних зв'язків. Кластерний аналіз — це розділ машинного навчання, який групує дані, які не було [en], класифіковано чи категоризовано. Замість того, щоби реагувати на зворотний зв'язок, кластерний аналіз встановлює спільні риси в даних і реагує залежно від наявності або відсутності таких спільних рис у кожному новому примірнику даних. Цей підхід допомагає виявляти аномальні точки даних, які не допасовуються до жодної з груп.
Основним застосуванням некерованого навчання є оцінювання густини у статистиці, хоча некероване навчання охоплює багато інших областей, включно з узагальнюванням та пояснюванням ознак даних. Його можливо порівняти з керованим навчанням, сказавши, що тоді як кероване навчання має на меті виснувати умовний розподіл імовірності, обумовлений міткою вхідних даних; некероване навчання має на меті виснувати апріорний розподіл імовірності.
Підходи
До деяких із найпоширеніших алгоритмів, які використовують у некерованім навчанні, належать: (1) кластерування, (2) виявляння аномалій, (3) підходи до навчання моделей з латентними змінними. Кожен підхід використовує декілька методів, а саме:
- До методів кластерування належать: ієрархічне кластерування,k-середні,[en], алгоритми DBSCAN та OPTICS
- До методів виявляння аномалій належать коефіцієнт локального відхилення та [en]
- Підходи до навчання [en] такі як алгоритм очікування-максимізації (англ. EM), метод моментів і методи [en] (метод головних компонент, [en], розклад невід'ємних матриць, сингулярний розклад матриць)
Метод моментів
Одним зі статистичних підходів до некерованого навчання є метод моментів. У ньому невідомі (цільові) параметри в моделі пов'язані з моментами однієї або кількох випадкових величин, і відтак, ці невідомі параметри можливо оцінювати, виходячи з цих моментів. Моменти зазвичай оцінюють з вибірок емпірично. Основними моментами є моменти першого та другого порядків. Для випадкового вектора моментом першого порядку є вектор середнього значення, а моментом другого порядку є коваріаційна матриця (коли середнє нульове). Моменти вищих порядків зазвичай подають за допомогою тензорів, які є узагальненням матриць до вищих порядків як багатовимірних масивів.
Зокрема, показано ефективність методу моментів у навчанні параметрів [en]. Це статистичні моделі, де на додачу до спостережуваних змінних також існує набір латентних змінних, що не спостерігаються. Дуже практичним прикладом моделей з латентними змінними у машинному навчанні є тематичне моделювання, яке є статистичною моделлю для породжування слів (спостережуваних змінних) у документі на основі теми (латентної змінної) документа. У тематичному моделюванні слова в документі породжуються відповідно до відмінних статистичних параметрів, коли змінюється тема документа. Показано, що метод моментів (методики тензорного розкладу) дозволяє послідовно отримувати параметри великого класу моделей з латентними змінними за деяких припущень.
Алгоритм очікування-максимізації (англ. EM) також є одним із найпрактичніших методів навчання моделей з латентними змінними. Проте він може застрягати в локальних оптимумах, і немає гарантії, що алгоритм збігатиметься до справжніх невідомих параметрів моделі. На відміну від нього, для методу моментів глобальна збіжність за певних умов гарантована.
Див. також
Примітки
- Синєглазов, Віктор; Чумаченко, Олена (2022). Бідюк, П. І.; Шугалей, Л. П. (ред.). Методи та технології напівкерованого навчання: Курс лекцій (PDF) (укр.). Київ: НТУУ «КПІ ім. Ігоря Сікорського».
- Дуда, О. М.; Кунанець, Н. Е.; Мацюк, О. В.; Пасічник, В. В. (21—27 травня 2018). Методи аналітичного опрацювання big data (PDF). Інтелектуальні системи прийняття рішень та проблеми обчислювального інтелекту (укр.). Залізний Порт. с. 159. ISBN .
- В'юненко, О. Б.; Виганяйло, С. М. (12 травня 2021). Сокуренко, В. В.; Швець, Д. В.; Могілевський, Л. В.; Шульга, В. П.; Яковлєв, Р. П.; Шмельов, Ю. М. (ред.). Інновації та загальні проблеми підвищення рівня кібербезпеки (PDF). II Міжнародна науково-практична конференція «Авіація, промисловість, суспільство» (укр.). Т. 1. МВС України, Харківський національний університет внутрішніх справ, Кременчуцький льотний коледж. с. 169. ISBN .
- Кропивницька, В. Б.; Магас, Д. М. (30 квітня 2023). Напівкероване машинне навчання для виявлення несправностей нафтогазопроводів. Modern engineering and innovative technologies (укр.). 1 (18): 33—36. doi:10.30890/2567-5273.2023-26-01-010.
- Мальцев, А. Ю. (2021). Огляд принципів глибокого навчання як динамічної теорії штучного інтелекту (PDF). Вчені записки Таврійського національного університету імені В.І. Вернадського (укр.). ТНУ ім. Вернадського. 32 (71). doi:10.32838/2663-5941/2021.6/16. ISSN 2663-5941.
- Мельник, А.; Берестенко, Д. (2022). Дослідження методів машинного навчання (PDF). Автоматика, комп’ютерно-інтегровані технології та проблеми енергоефективності в промисловості і сільському господарстві (АКІТ-2022) (укр.). Кропивницький: КНТУ. с. 41—42.
- Іваніченко, Є.; Сабліна, М.; Кравчук, К. (2021). Використання машинного навчання в кібербезпеці. Кібербезпека: освіта, наука, техніка» (укр.). 4 (12): 32—142.
- Лавренюк, М. С.; Новіков, О. М. (2018). Огляд методів машинного навчання для класифікації великих обсягів супутникових даних. Системні дослідження та інформаційні технології (укр.) (1): 52—71. doi:10.20535/SRIT.2308-8893.2018.1.04.
- Hinton, G. (2012). A Practical Guide to Training Restricted Boltzmann Machines (PDF). Neural Networks: Tricks of the Trade. Lecture Notes in Computer Science (англ.). Т. 7700. Springer. с. 599—619. doi:10.1007/978-3-642-35289-8_32. ISBN .
- Hinton, Geoffrey (September 2009). Deep Belief Nets (video) (англ.).
- ; Hinton, Geoffrey E.; ; (1995). The Helmholtz machine. Neural Computation (англ.). 7 (5): 889—904. doi:10.1162/neco.1995.7.5.889. :21.11116/0000-0002-D6D3-E. PMID 7584891. S2CID 1890561.
- Buhmann, J.; Kuhnel, H. (1992). Unsupervised and supervised data clustering with competitive neural networks. [Proceedings 1992] IJCNN International Joint Conference on Neural Networks (англ.). Т. 4. IEEE. с. 796—801. doi:10.1109/ijcnn.1992.227220. ISBN . S2CID 62651220.
- Comesaña-Campos, Alberto; Bouza-Rodríguez, José Benito (June 2016). An application of Hebbian learning in the design process decision-making. Journal of Intelligent Manufacturing (англ.). 27 (3): 487—506. doi:10.1007/s10845-014-0881-z. ISSN 0956-5515. S2CID 207171436.
- Чернетченко, Д.; Мілих, М.; Луданов, К. (2019). Апаратна реалізація імпульсної штучної нейронної мережі для детектування параметрів електрокардіографічного сигналу (ЕКГ) (PDF). Вісник Херсонського національного технічного університету (укр.). 4 (275): 126—133. doi:10.31891/2307-5732. ISSN 2307-5732. Процитовано 10 серпня 2023.
- Чернетченко, Д. В. (2019). Метод та апаратно-програмний засіб обробки електрокардіографічних сигналів за допомогою штучних мультистабільних нейронних мереж (автореферат дисертації на здобуття наукового ступеня кандидата технічних наук) (укр.). Вінниця: ВНТУ. Процитовано 10 серпня 2023.
- Carpenter, G.A. & Grossberg, S. (1988). (PDF). Computer (англ.). 21 (3): 77—88. doi:10.1109/2.33. S2CID 14625094. Архів оригіналу (PDF) за 16 травня 2018. Процитовано 11 серпня 2023.
- Roman, Victor (21 квітня 2019). Unsupervised Machine Learning: Clustering Analysis. Medium (англ.). Процитовано 1 жовтня 2019.
- Jordan, Michael I.; Bishop, Christopher M. (2004). 7. Intelligent Systems §Neural Networks. У Tucker, Allen B. (ред.). Computer Science Handbook (англ.) (вид. 2nd). Chapman & Hall/CRC Press. doi:10.1201/9780203494455. ISBN .
- Hastie, Tibshirani та Friedman, 2009, с. 485—586
- Garbade, Dr Michael J. (12 вересня 2018). Understanding K-means Clustering in Machine Learning. Medium (англ.). Процитовано 31 жовтня 2019.
- Anandkumar, Animashree; Ge, Rong; Hsu, Daniel; Kakade, Sham; Telgarsky, Matus (2014). Tensor Decompositions for Learning Latent Variable Models (PDF). Journal of Machine Learning Research (англ.). 15: 2773—2832. arXiv:1210.7559. Bibcode:2012arXiv1210.7559A.
Література
- Bousquet, O.; von Luxburg, U.; Raetsch, G., ред. (2004). Advanced Lectures on Machine Learning (англ.). Springer. ISBN .
- ; ; Stork, David G. (2001). Unsupervised Learning and Clustering. Pattern classification (англ.) (вид. 2nd). Wiley. ISBN .
- ; ; Friedman, Jerome (2009). Unsupervised Learning. The Elements of Statistical Learning: Data mining, Inference, and Prediction (англ.). Springer. с. 485—586. doi:10.1007/978-0-387-84858-7_14. ISBN .
- Hinton, Geoffrey; , ред. (1999). Unsupervised Learning: Foundations of Neural Computation (англ.). MIT Press. ISBN .
Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет
Nekero vane navcha nnya nekontrolo vane navcha nnya navcha nnya bez na glyadu navcha nnya bez uchi telya angl unsupervised learning ce paradigma mashinnogo navchannya v yakij na vidminu vid kerovanogo ta napivkerovanogo navchannya algoritmi navchayutsya obraziv viklyuchno z nemichenih danih Nejronni merezhiZavdannya j metodi Shilnist zavdan vikoristovuvati kerovani ta nekerovani metodi Peretin kil nazvami zavdan navmisnij Vin pokazuye sho klasichne vidokremlennya tvorchih zavdan livoruch iz zastosuvannyam nekerovanih metodiv u suchasnih shemah navchannya rozmite Zavdannya nejronnih merezh chasto klasifikuyut yak rozriznyuvalni angl discriminative rozpiznavannya ta porodzhuvalni angl generative uyavlyannya Chasto ale ne zavzhdi rozriznyuvalni zavdannya vikoristovuyut kerovani metodi a porodzhuvalni nekerovani div diagramu Venna prote cej podil duzhe rozmitij Napriklad rozpiznavannya ob yektiv nadaye perevagu kerovanomu navchannyu ale nekerovane navchannya takozh mozhe klasteruvati ob yekti v grupi Krim togo v miru progresu deyaki zavdannya zastosovuyut obidva metodi a deyaki perehodyat vid odnogo do inshogo Napriklad rozpiznavannya zobrazhen rozpochalosya yak silno kerovane ale stalo gibridnim zastosuvavshi nekerovane poperednye navchannya a potim znovu perejshlo do kerovanosti z poyavoyu viklyuchennya vipryamlyacha ta adaptivnih tempiv navchannya Trenuvannya Pid chas fazi trenuvannya nekerovana merezha namagayetsya imituvati dani yaki yij dayut i vikoristovuye pohibku u svoyemu imitovanomu vihodi shob vipravlyati sebe sebto vipravlyati svoyi vagi ta zmishennya Inodi pohibku virazhayut yak nizku jmovirnist vidavannya pomilkovogo vihodu abo ce mozhe buti virazheno yak nestabilnij visokoenergetichnij stan u merezhi Na vidminu do perevazhnogo vikoristannya v kerovanih metodah zvorotnogo poshirennya nekerovane navchannya takozh vikoristovuye j inshi metodi zokrema gopfildove pravilo navchannya bolcmanove pravilo navchannya kontrastove rozhodzhennya en en maksimalnu pravdopodibnist maksimalne aposteriorne en ta zvorotne poshirennya pohibok vidtvorennya abo pereparametruvannya prihovanogo stanu Dokladnishe div tablicyu nizhche Energiya Funkciya energiyi angl energy function ce makroskopichna mira stanu zbudzhennya merezhi U mashinah Bolcmana vona vikonuye rol funkciyi vitrat angl cost function Cya analogiya z fizikoyu nathnena analizom makroskopichnoyi energiyi gazu Lyudviga Bolcmana na osnovi mikroskopichnih imovirnostej ruhu chastinok p e E kT displaystyle p propto e E kT de k stala Bolcmana a T temperatura U merezhi OMB cim vidnoshennyam ye p e E Z displaystyle p e E Z de p displaystyle p ta E displaystyle E probigayut vsi mozhlivi shemi angl pattern zbudzhennya a Z All Patternse E pattern displaystyle textstyle Z sum scriptscriptstyle text All Patterns e E text pattern Yaksho tochnishe p a e E a Z displaystyle p a e E a Z de a displaystyle a shema zbudzhennya vsih nejroniv vidimih i prihovanih Tomu ranni nejronni merezhi nosyat nazvu mashina Bolcmana angl Boltzmann machine Pol Smolenskij nazivaye E displaystyle E garmoniyeyu angl Harmony Merezha shukaye nizku energiyu sho ye visokoyu garmoniyeyu Merezhi U cij tablici navedeno shemi zv yaznosti riznih nekerovanih merezh detali yakih bude navedeno v rozdili Porivnyannya merezh Kola ce nejroni a rebra mizh nimi ce vagi z yednan Zi zminoyu konstrukciyi merezh funkciyi dodayutsya shobi vidkriti novi mozhlivosti abo usuvayutsya shobi prishvidshiti navchannya Napriklad nejroni zminyuyutsya mizh determinovanimi Gopfilda ta stohastichnimi Bolcmana shobi zabezpechiti robastnij vihid vagi usuvayutsya v mezhah sharu OMB shobi priskoriti navchannya abo z yednannyam dozvolyayetsya stati asimetrichnimi Gelmgolca Gopfilda Bolcmana OMB Skladena BolcmanaMerezha na osnovi magnitnih domeniv u zalizi z odnim samoz yednanim sharom Yiyi mozhlivo vikoristovuvati yak asociativnu pam yat Merezhu rozdileno na 2 shari prihovanij i vidimij ale vse she vikoristovuyut simetrichni dvobichni vagi Vidpovidno do bolcmanovoyi termodinamiki okremi jmovirnosti porodzhuyut makroskopichni energiyi Obmezhena mashina Bolcmana Ce mashina Bolcmana de bichni z yednannya vseredini shariv zaboroneno shobi zrobiti analiz piddatlivim Cya merezha maye kilka OMB dlya koduvannya iyerarhiyi prihovanih oznak Pislya trenuvannya odniyeyi OMB dodayut she odin blakitnij prihovanij shar div OMB livoruch i 2 verhni shari trenuyut yak chervono blakitnu OMB Vidtak seredni shari OMB diyut yak prihovani abo vidimi zalezhno vid togo u yakij fazi trenuvannya voni perebuvayut en Avtokoduvalnik VAKZamist dvospryamovanogo simetrichnogo z yednannya skladenih mashin Bolcmana mayemo okremi odnospryamovani z yednannya sho utvoryuyut cikl Vona vikonuye yak porodzhuvannya tak i rozriznyuvannya Merezha pryamogo poshirennya yaka pragne znajti dobre serednosharove podannya svitu svogo vhodu Cya merezha determinovana tomu vona ne taka robastna yak yiyi nastupnik VAK Zastosovuye do avtokoduvalnika variacijne visnovuvannya Serednij shar ce nabir serednih znachen i dispersij dlya gaussovih rozpodiliv Cya stohastichna priroda umozhlivlyuye robastnishe uyavlyannya nizh u determinovanogo avtokoduvalnika Z pomizh lyudej chiyimi imenami nazvano ci merezhi bezposeredno z nejronnimi merezhami pracyuvav lishe Gopfild Bolcman ta Gelmgolc buli ranishe za stvorennya shtuchnih nejronnih merezh ale yihni roboti v galuzi fiziki ta fiziologiyi nadihnuli vikoristani analitichni metodi Istoriya 1969 rik Kniga en Minskogo ta Pejperta pokazuye sho perceptron bez prihovanih shariv nespromozhnij na viklyuchne abo 1970 ti roki dati priblizni Persha zima ShI1974 rik Magnitna model Izinga zaproponovana de dlya piznavannya1980 rik Fukusima predstavlyaye neokognitron yakij piznishe nazvali zgortkovoyu nejronnoyu merezheyu Jogo perevazhno vikoristovuyut u kerovanim navchanni ale vin zaslugovuye na zgadku j tut 1982 rik Vidozminu Izinga merezhu Gopfilda opisano Dzhonom Gopfildom yak asociativnu pam yat i klasifikatori 1983 rik Vidozminu Izinga mashinu Bolcmana z imovirnisnimi nejronami opisano Gintonom i en po slidah praci Sheringtona ta Kirkpatrika 1975 roku 1986 rik en publikuye Teoriyu garmoniyi yaka ye OMB z praktichno tiyeyu zh bolcmanovoyu funkciyeyu energiyi Smolenskij ne nadav praktichnoyi shemi trenuvannya Ginton zrobiv ce v seredini 2000 h 1995 rik Shmidhuber predstavlyaye nejron DKChP dlya mov 1995 rik Dayan ta Ginton predstavlyayut mashinu Gelmgolca1995 2005 roki dati priblizni Duga zima ShI2013 rik Kingma Rezende j inshi predstavili variacijni avtokoduvalniki yak bayesovu grafovu jmovirnisnu merezhu z nejronnimi merezhami yak skladovimi Konkretni merezhi Tut mi visvitlyuyemo deyaki harakteristiki obranih merezh Podrobici shodo kozhnoyi navedeno v porivnyalnij tablici nizhche Merezha Gopfilda Merezhi Gopfilda nadihnuv feromagnetizm Nejron vidpovidaye domenu zaliza z binarnimi magnitnimi momentami Vgoru ta Donizu a z yednannya nejroniv vidpovidayut vplivam domeniv odin na odnogo Simetrichni z yednannya umozhlivlyuyut formulyuvannya globalnoyi energiyi Pid chas visnovuvannya merezha utochnyuye kozhen stan vikoristovuyuchi standartnu funkciyu kroku zbudzhennya Simetrichni vagi ta pravilni funkciyi energiyi garantuyut zbizhnist do stabilnogo vizerunku zbudzhennya Asimetrichni vagi analizuvati skladno Merezhi Gopfilda vikoristovuyut yak asociativnu pam yat Mashina Bolcmana Ce stohastichni merezhi Gopfilda Znachennya yihnogo stanu vibirayetsya z ciyeyi funkciyi gustini jmovirnosti takim chinom pripustimo sho binarnij nejron spracovuye z imovirnistyu Bernulli p 1 1 3 i zupinyayetsya z p 0 2 3 Z cogo roblyat vibirku beruchi rivnomirno rozpodilene vipadkove chislo y ta pidstavlyayuchi jogo do obernenoyi funkciyi rozpodilu jmovirnosti sho v danomu vipadku ye vidtinkovo staloyu funkciyeyu z porogom 2 3 Obernena funkciya 0 yaksho x lt 2 3 1 yaksho x gt 2 3 Sigmoyidna merezha perekonan Predstavlena Redfordom Nilom 1992 roku cya merezha zastosovuye ideyi jmovirnisnih grafovih modelej do nejronnih merezh Klyuchova vidminnist polyagaye v tomu sho vuzli v grafovih modelyah mayut zazdalegid priznacheni znachennya todi yak oznaki nejroniv merezhi perekonan viznachayutsya pislya trenuvannya Merezha yavlyaye soboyu rozridzheno zv yazanij oriyentovanij aciklichnij graf sho skladayetsya z binarnih stohastichnih nejroniv Pravilo navchannya pohodit vid maksimalnoyi pravdopodibnosti na p X Dwij displaystyle propto sj si pi de pi 1 1 ezvazheni vhodi do nejronu i sj ce zbudzhennya z nezmishenoyi vibirki aposteriornogo rozpodilu i ce problematichno cherez problemu redukciyi prichini angl Explaining Away porushenu Dzhudoyu Perlom en vikoristovuyut surogatne aposteriorne j vidverto ignoruyut cyu skladnist Gliboka merezha perekonan Cya merezha predstavlena Gintonom ye gibridom OMB ta sigmoyidnoyi merezhi perekonan Verhni 2 shari ce OMB a drugij shar uniz utvoryuye sigmoyidnu merezhu perekonan Yiyi trenuyut metodom skladenoyi OMB a potim vidkidayut vagi rozpiznavannya pid verhnoyu OMB Stanom na 2009 rik optimalnoyu glibinoyu vidavalisya 3 4 shari Ce pershi dzherela nathnennya variacijnih avtokoduvalnikiv Ce 2 merezhi ob yednani v odnu pryami vagi zabezpechuyut rozpiznavannya a zvorotni vtilyuyut uyavlyannya Mozhlivo ce persha merezha yaka robila i te j inshe Gelmgolc ne pracyuvav u sferi mashinnogo navchannya ale vin nadihnuv dumku pro mehanizm statistichnogo visnovuvannya funkciyeyu yakogo ye visnovuvati jmovirni prichini senso rnogo vhodu Stohastichnij binarnij nejron vidaye jmovirnist togo sho jogo stan dorivnyuye 0 abo 1 Vhidni dani zazvichaj ne vvazhayut sharom ale v porodzhuvalnomu rezhimi mashini Gelmgolca shar danih otrimuye vhidni dani vid serednogo sharu j maye dlya ciyeyi meti okremi vagi tozh jogo vvazhayut sharom Otzhe cya merezha maye 3 shari Variacijnij avtokoduvalnik Voni nathneni mashinami Gelmgolca ta poyednuyut imovirnisnu merezhu z nejronnimi merezhami Avtokoduvalnik ce 3 sharova merezha asociativnoyi pam yati de serednij shar maye buti deyakim vnutrishnim podannyam obraziv vhodu Nejronna merezha koduvalnika ce rozpodil imovirnostej qf z koli x a merezha dekoduvalnika p8 x koli z Vagi nazivayut fi ta teta a ne W ta V yak u Gelmgolca kosmetichna vidminnist Ci 2 merezhi tut mozhut buti povnistyu z yednanimi abo vikoristovuvati inshu nejromerezhnu shemu Porivnyannya merezh Gopfilda Bolcmana OMB Skladena OMB Gelmgolca Avtokoduvalnik VAKVikoristannya j vidatni zastosuvannya Asociativna pam yat zadacha komivoyazhera Asociativna pam yat Svoboda z yednan uskladnyuye analiz ciyeyi merezhi rozpiznavannya obraziv vikoristovuvali v cifrah MNIST ta movlenni rozpiznavannya ta uyavlyannya trenuyetsya nekerovanim poperednim trenuvannyam ta abo kerovanim tonkim nastroyuvannyam uyavlyannya imituvannya mova tvorche napisannya pereklad bachennya pokrashuvannya rozmitih zobrazhen porodzhuvannya realistichnih danihNejron determinovanij binarnij stan Zbudzhennya 0 abo 1 yaksho x vid yemne 1 v inshomu vipadku stohastichnij binarnij nejron Gopfilda te same rozshireno do dijsnoznachnih u seredini 2000 h te same te same mova DKChP zir lokalni receptivni polya zazvichaj dijsnoznachne vipryamlyacheve zbudzhennya nejroni serednogo sharu koduyut seredni znachennya ta dispersiyi dlya gaussianiv U rezhimi vikonannya visnovuvannya vihid serednogo sharu ye vibirkovimi znachennyami z cih gaussianiv Z yednannya 1 shar iz simetrichnimi vagami Bez samoz yednan 2 shari 1 prihovanij ta 1 vidimij simetrichni vagi te same bichnih zv yazkiv useredini sharu nemaye verhnij shar neoriyentovanij simetrichnij inshi shari dvobichni asimetrichni 3 shari asimetrichni vagi 2 merezhi ob yednano v 1 3 shari Vhid vvazhayut sharom navit popri vidsutnist vhidnih vag rekurentni shari dlya OPM zgortki pryamogo poshirennya dlya bachennya vhid i vihid mayut odnakovu kilkist nejroniv 3 shari vhid koduvalnik dekoduvalnik vibirki z rozpodiliv vibirku ne vvazhayut sharomVisnovuvannya j energiya Energiyu zadano gibbzovoyu jmovirnisnoyu miroyu E 12 i jwijsisj i8isi displaystyle E frac 1 2 sum i j w ij s i s j sum i theta i s i te same te same minimizuvati KL rozhodzhennya visnovuvannya lishe pryame poperedni merezhi nekerovanogo navchannya pracyuvali v oboh napryamkah minimizaciya pohibki pohibka vidbudovi RKLTrenuvannya Dwij si sj dlya nejrona 1 1 Dwij e pij p ij Ce vivedeno z minimizuvannya RKL e temp navchannya p peredbachenij a p faktichnij rozpodil Dwij e lt vi hj gt danih lt vi hj gt rivnovagi Ce viglyad kontrastovogo rozhodzhennya z vibirkoyu za Gibbzom lt gt matematichni spodivannya podibne trenuvati 1 shar za raz nablizhenij stan rivnovagi z 3 segmentnim prohodom zvorotnogo poshirennya nemaye 2 fazove navchannya nespannya son zvorotne poshirennya pohibki vidbudovi pereparametruvati prihovanij stan dlya zvorotnogo poshirennyaSila nagaduye fizichni sistemi bo uspadkovuye yihni rivnyannya te same prihovani nejroni diyut yak vnutrishnye podannya zovnishnogo svitu shvidsha j praktichnisha shema trenuvannya nizh u mashin Bolcmana trenuyetsya shvidko daye iyerarhichnij shar oznak pomirno anatomichna piddayetsya analizu za dopomogoyu teoriyi informaciyi ta statistichnoyi mehanikiSlabkist vazhko trenuvati cherez bichni z yednannya rivnovaga vimagaye zabagato iteracij cilochislovi j dijsnoznachni nejroni skladnishi Gebbove navchannya TAR SOK Klasichnim prikladom nekerovanogo navchannya u doslidzhenni nejronnih merezh ye princip Donalda Gebba a same sho nejroni yaki spracovuyut razom z yednuyutsya dokupi U gebbovim navchanni z yednannya zmicnyuyetsya nezalezhno vid pomilki i ye viklyuchno funkciyeyu zbigu potencialiv diyi dvoh nejroniv Podibna versiya yaka zminyuye sinaptichni vagi vrahovuye chas mizh potencialami diyi en abo angl STDP Za pripushennyami gebbove navchannya lezhit v osnovi nizki kognitivnih funkcij takih yak rozpiznavannya obraziv ta eksperimentalne navchannya Sered nejromerezhnih modelej v algoritmah nekerovanogo navchannya shiroko vikoristovuyut samoorganizacijnu kartu SOK angl SOM ta en TAR angl ART SOK ce topografichne vporyadkuvannya v yakomu susidni miscya na karti podayut vhodi z podibnimi vlastivostyami Model TAR dozvolyaye kilkosti klasteriv zminyuvatisya z rozmirom zadachi ta dozvolyaye koristuvachevi kontrolyuvati stupin podibnosti mizh chlenami odnih i tih zhe klasteriv za dopomogoyu viznachanoyi koristuvachem staloyi zvanoyi parametrom pilnosti angl vigilance parameter Merezhi TAR vikoristovuyut dlya bagatoh zavdan rozpiznavannya obraziv takih yak avtomatichne rozpiznavannya cilej ta obrobka sejsmichnih signaliv Imovirnisni metodiDvoma osnovnimi metodami yaki vikoristovuyut u nekerovanim navchanni ye metod golovnih komponent i klasternij analiz Klasternij analiz vikoristovuyut u nekerovanim navchanni dlya grupuvannya abo segmentuvannya naboriv danih zi spilnimi atributami z metoyu ekstrapolyuvannya algoritmichnih zv yazkiv Klasternij analiz ce rozdil mashinnogo navchannya yakij grupuye dani yaki ne bulo en klasifikovano chi kategorizovano Zamist togo shobi reaguvati na zvorotnij zv yazok klasternij analiz vstanovlyuye spilni risi v danih i reaguye zalezhno vid nayavnosti abo vidsutnosti takih spilnih ris u kozhnomu novomu primirniku danih Cej pidhid dopomagaye viyavlyati anomalni tochki danih yaki ne dopasovuyutsya do zhodnoyi z grup Osnovnim zastosuvannyam nekerovanogo navchannya ye ocinyuvannya gustini u statistici hocha nekerovane navchannya ohoplyuye bagato inshih oblastej vklyuchno z uzagalnyuvannyam ta poyasnyuvannyam oznak danih Jogo mozhlivo porivnyati z kerovanim navchannyam skazavshi sho todi yak kerovane navchannya maye na meti visnuvati umovnij rozpodil imovirnosti obumovlenij mitkoyu vhidnih danih nekerovane navchannya maye na meti visnuvati apriornij rozpodil imovirnosti Pidhodi Do deyakih iz najposhirenishih algoritmiv yaki vikoristovuyut u nekerovanim navchanni nalezhat 1 klasteruvannya 2 viyavlyannya anomalij 3 pidhodi do navchannya modelej z latentnimi zminnimi Kozhen pidhid vikoristovuye dekilka metodiv a same Do metodiv klasteruvannya nalezhat iyerarhichne klasteruvannya k seredni en algoritmi DBSCAN ta OPTICS Do metodiv viyavlyannya anomalij nalezhat koeficiyent lokalnogo vidhilennya ta en Pidhodi do navchannya en taki yak algoritm ochikuvannya maksimizaciyi angl EM metod momentiv i metodi en metod golovnih komponent en rozklad nevid yemnih matric singulyarnij rozklad matric Metod momentiv Odnim zi statistichnih pidhodiv do nekerovanogo navchannya ye metod momentiv U nomu nevidomi cilovi parametri v modeli pov yazani z momentami odniyeyi abo kilkoh vipadkovih velichin i vidtak ci nevidomi parametri mozhlivo ocinyuvati vihodyachi z cih momentiv Momenti zazvichaj ocinyuyut z vibirok empirichno Osnovnimi momentami ye momenti pershogo ta drugogo poryadkiv Dlya vipadkovogo vektora momentom pershogo poryadku ye vektor serednogo znachennya a momentom drugogo poryadku ye kovariacijna matricya koli serednye nulove Momenti vishih poryadkiv zazvichaj podayut za dopomogoyu tenzoriv yaki ye uzagalnennyam matric do vishih poryadkiv yak bagatovimirnih masiviv Zokrema pokazano efektivnist metodu momentiv u navchanni parametriv en Ce statistichni modeli de na dodachu do sposterezhuvanih zminnih takozh isnuye nabir latentnih zminnih sho ne sposterigayutsya Duzhe praktichnim prikladom modelej z latentnimi zminnimi u mashinnomu navchanni ye tematichne modelyuvannya yake ye statistichnoyu modellyu dlya porodzhuvannya sliv sposterezhuvanih zminnih u dokumenti na osnovi temi latentnoyi zminnoyi dokumenta U tematichnomu modelyuvanni slova v dokumenti porodzhuyutsya vidpovidno do vidminnih statistichnih parametriv koli zminyuyetsya tema dokumenta Pokazano sho metod momentiv metodiki tenzornogo rozkladu dozvolyaye poslidovno otrimuvati parametri velikogo klasu modelej z latentnimi zminnimi za deyakih pripushen Algoritm ochikuvannya maksimizaciyi angl EM takozh ye odnim iz najpraktichnishih metodiv navchannya modelej z latentnimi zminnimi Prote vin mozhe zastryagati v lokalnih optimumah i nemaye garantiyi sho algoritm zbigatimetsya do spravzhnih nevidomih parametriv modeli Na vidminu vid nogo dlya metodu momentiv globalna zbizhnist za pevnih umov garantovana Div takozhAvtomatizovane mashinne navchannya Klasternij analiz Viyavlyannya anomalij Algoritm ochikuvannya maksimizaciyi en Metanavchannya informatika Bagatovimirnij analiz Merezha radialnih bazisnih funkcij Slabke keruvannyaPrimitkiSinyeglazov Viktor Chumachenko Olena 2022 Bidyuk P I Shugalej L P red Metodi ta tehnologiyi napivkerovanogo navchannya Kurs lekcij PDF ukr Kiyiv NTUU KPI im Igorya Sikorskogo Duda O M Kunanec N E Macyuk O V Pasichnik V V 21 27 travnya 2018 Metodi analitichnogo opracyuvannya big data PDF Intelektualni sistemi prijnyattya rishen ta problemi obchislyuvalnogo intelektu ukr Zaliznij Port s 159 ISBN 978 617 7573 17 2 V yunenko O B Viganyajlo S M 12 travnya 2021 Sokurenko V V Shvec D V Mogilevskij L V Shulga V P Yakovlyev R P Shmelov Yu M red Innovaciyi ta zagalni problemi pidvishennya rivnya kiberbezpeki PDF II Mizhnarodna naukovo praktichna konferenciya Aviaciya promislovist suspilstvo ukr T 1 MVS Ukrayini Harkivskij nacionalnij universitet vnutrishnih sprav Kremenchuckij lotnij koledzh s 169 ISBN 978 966 610 243 3 Kropivnicka V B Magas D M 30 kvitnya 2023 Napivkerovane mashinne navchannya dlya viyavlennya nespravnostej naftogazoprovodiv Modern engineering and innovative technologies ukr 1 18 33 36 doi 10 30890 2567 5273 2023 26 01 010 Malcev A Yu 2021 Oglyad principiv glibokogo navchannya yak dinamichnoyi teoriyi shtuchnogo intelektu PDF Vcheni zapiski Tavrijskogo nacionalnogo universitetu imeni V I Vernadskogo ukr TNU im Vernadskogo 32 71 doi 10 32838 2663 5941 2021 6 16 ISSN 2663 5941 Melnik A Berestenko D 2022 Doslidzhennya metodiv mashinnogo navchannya PDF Avtomatika komp yuterno integrovani tehnologiyi ta problemi energoefektivnosti v promislovosti i silskomu gospodarstvi AKIT 2022 ukr Kropivnickij KNTU s 41 42 Ivanichenko Ye Sablina M Kravchuk K 2021 Vikoristannya mashinnogo navchannya v kiberbezpeci Kiberbezpeka osvita nauka tehnika ukr 4 12 32 142 Lavrenyuk M S Novikov O M 2018 Oglyad metodiv mashinnogo navchannya dlya klasifikaciyi velikih obsyagiv suputnikovih danih Sistemni doslidzhennya ta informacijni tehnologiyi ukr 1 52 71 doi 10 20535 SRIT 2308 8893 2018 1 04 Hinton G 2012 A Practical Guide to Training Restricted Boltzmann Machines PDF Neural Networks Tricks of the Trade Lecture Notes in Computer Science angl T 7700 Springer s 599 619 doi 10 1007 978 3 642 35289 8 32 ISBN 978 3 642 35289 8 Hinton Geoffrey September 2009 Deep Belief Nets video angl Hinton Geoffrey E 1995 The Helmholtz machine Neural Computation angl 7 5 889 904 doi 10 1162 neco 1995 7 5 889 21 11116 0000 0002 D6D3 E PMID 7584891 S2CID 1890561 Buhmann J Kuhnel H 1992 Unsupervised and supervised data clustering with competitive neural networks Proceedings 1992 IJCNN International Joint Conference on Neural Networks angl T 4 IEEE s 796 801 doi 10 1109 ijcnn 1992 227220 ISBN 0780305590 S2CID 62651220 Comesana Campos Alberto Bouza Rodriguez Jose Benito June 2016 An application of Hebbian learning in the design process decision making Journal of Intelligent Manufacturing angl 27 3 487 506 doi 10 1007 s10845 014 0881 z ISSN 0956 5515 S2CID 207171436 Chernetchenko D Milih M Ludanov K 2019 Aparatna realizaciya impulsnoyi shtuchnoyi nejronnoyi merezhi dlya detektuvannya parametriv elektrokardiografichnogo signalu EKG PDF Visnik Hersonskogo nacionalnogo tehnichnogo universitetu ukr 4 275 126 133 doi 10 31891 2307 5732 ISSN 2307 5732 Procitovano 10 serpnya 2023 Chernetchenko D V 2019 Metod ta aparatno programnij zasib obrobki elektrokardiografichnih signaliv za dopomogoyu shtuchnih multistabilnih nejronnih merezh avtoreferat disertaciyi na zdobuttya naukovogo stupenya kandidata tehnichnih nauk ukr Vinnicya VNTU Procitovano 10 serpnya 2023 Carpenter G A amp Grossberg S 1988 PDF Computer angl 21 3 77 88 doi 10 1109 2 33 S2CID 14625094 Arhiv originalu PDF za 16 travnya 2018 Procitovano 11 serpnya 2023 Roman Victor 21 kvitnya 2019 Unsupervised Machine Learning Clustering Analysis Medium angl Procitovano 1 zhovtnya 2019 Jordan Michael I Bishop Christopher M 2004 7 Intelligent Systems Neural Networks U Tucker Allen B red Computer Science Handbook angl vid 2nd Chapman amp Hall CRC Press doi 10 1201 9780203494455 ISBN 1 58488 360 X Hastie Tibshirani ta Friedman 2009 s 485 586 Garbade Dr Michael J 12 veresnya 2018 Understanding K means Clustering in Machine Learning Medium angl Procitovano 31 zhovtnya 2019 Anandkumar Animashree Ge Rong Hsu Daniel Kakade Sham Telgarsky Matus 2014 Tensor Decompositions for Learning Latent Variable Models PDF Journal of Machine Learning Research angl 15 2773 2832 arXiv 1210 7559 Bibcode 2012arXiv1210 7559A LiteraturaBousquet O von Luxburg U Raetsch G red 2004 Advanced Lectures on Machine Learning angl Springer ISBN 978 3540231226 Stork David G 2001 Unsupervised Learning and Clustering Pattern classification angl vid 2nd Wiley ISBN 0 471 05669 3 Friedman Jerome 2009 Unsupervised Learning The Elements of Statistical Learning Data mining Inference and Prediction angl Springer s 485 586 doi 10 1007 978 0 387 84858 7 14 ISBN 978 0 387 84857 0 Hinton Geoffrey red 1999 Unsupervised Learning Foundations of Neural Computation angl MIT Press ISBN 0 262 58168 X