www.wikidata.uk-ua.nina.az

Ієрархічна часова пам ять Ієрархі чна часова па м ять ІЧП англ Hierarchical temporal memory HTM це продиктована біологіє

Ієрархічна часова пам'ять

Ієрархі́чна часова́ па́м'ять (ІЧП, англ. Hierarchical temporal memory, HTM) — це продиктована біологією технологія машинного інтелекту, розроблювана компанією Numenta. Первинно описану Джеффом Гокінсом[en] з Сандрою Блейкслі[en] в книзі 2004 року «Про інтелект», ІЧП натепер переважно використовують для виявляння аномалій у потокових даних. Ця технологія ґрунтується на нейронауці та фізіології та взаємодії пірамідних нейронів[en] у новій корі ссавцевого (зокрема, людського) головного мозку.

В основі ІЧП лежать алгоритми навчання, які можуть зберігати високопорядкові послідовності, навчатися їх, робити висновки стосовно них, та згадувати їх. На відміну від більшості інших алгоритмів машинного навчання, ІЧП безперервно навчається (некерованим чином) часових образів у немічених даних. ІЧП є стійкою до шуму, і має високу ємність (вона може навчатися декількох образів одночасно). При застосуванні до комп'ютерів ІЧП є добре пристосованою для передбачування, виявляння аномалій, класифікування, та, зрештою, сенсо́рно-моторних застосувань.

ІЧП було перевірено та втілено у програмному забезпеченні через приклади застосунків від Numenta, і декілька комерційних застосунків від партнерів Numenta.

Структура та алгоритми ред.

Типова мережа ІЧП є деревною ієрархією рівнів (англ. levels, які не слід плутати з «шарами», англ. layers, нової кори, які описано нижче). Ці рівні складаються з менших елементів, званих областями (англ. regions, або вузлами, англ. nodes). Один рівень в цій ієрархії може містити декілька областей. Вищі рівні ієрархії часто мають менше областей. Вищі рівні ієрархії можуть перевикористовувати образи, навчені на нижчих рівнях, поєднуючи їх для запам'ятовування складніших образів.

Усі області ІЧП мають однакову елементарну функцію. В режимах навчання та висновування сенсо́рні дані (наприклад, дані від очей) надходять до областей найнижчого рівня. У породжувальному режимі області найнижчого рівня виводять породжений образ заданої категорії. Найвищий рівень зазвичай має єдину область, яка зберігає найзагальніші та найсталіші категорії (поняття); вони визначають, або визначаються меншими поняттями на нижчих рівнях — поняттями, які є обмеженішими в часі та просторі[прояснити]. В режимі висновування область (на будь-якому рівні) інтерпретує інформацію, що надходить знизу з її «дочірніх» областей, як імовірності тих категорій, які вона має в пам'яті.

Кожна з областей ІЧП навчається, ідентифікуючи та запам'ятовуючи просторові образи — поєднання бітів входу, що часто трапляються в один і той же час. Потім вона визначає часові послідовності просторових образів, для яких є правдоподібним траплятися один після одного.

Як модель, що розвивається ред.

ІЧП є алгоритмовою складовою Теорії інтелекту тисячі мізків (англ. Thousand Brains Theory of Intelligence) Джеффа Гокінса[en]. Тож нові відкриття про нову кору поступально включають до моделі ІЧП, яка змінюється з часом у відповідь. Нові відкриття не обов'язково роблять нечинними попередні частини цієї моделі, тож ідеї з одного покоління не обов'язково виключають в наступнім. Через еволюційну природу цієї теорії існувало декілька поколінь алгоритмів ІЧП, які стисло описано нижче.

Перше покоління: зета 1 ред.

Перше покоління алгоритмів ІЧП іноді називають зета 1 (англ. zeta 1).

Тренування ред.

Під час тренування вузол (або область) отримує на вході часову послідовність просторових образів. Процес навчання складається з двох етапів:

  1. Просторове агрегування (англ. spatial pooling) ідентифікує (у вході) часто спостережувані образи, та запам'ятовує їх як «збіги» (англ. "coincidences"). Образи, які є значно подібними один до одного, трактуються як один і той же збіг. Велике число входових образів звужується до піддатливого числа відомих збігів.
  2. Часове агрегування (англ. temporal pooling) розбиває збіги, для яких є правдоподібним траплятися в тренувальній послідовності один за одним, на часові групи. Кожна з груп образів представляє «причину» (англ. "cause") входового образу (або «ім'я», англ. "name", в книзі «Про інтелект»).

Поняття просторового агрегування та часового агрегування залишаються вельми важливими і для поточних алгоритмів ІЧП. Часове агрегування є ще не дуже добре зрозумілим, і його зміст змінювався протягом часу (з розвитком алгоритмів ІЧП).

Висновування ред.

Під час висно́вування (англ. inference) вузол обчислює набір імовірностей належності образу до кожного з відомих збігів. Потім він обчислює ймовірності подання входом кожної з часових груп. Набір імовірностей, призначених групам, називають «переконанням» (англ. "belief") вузла про входовий образ. (У спрощеному втіленні переконання вузла складається лише з однієї групи — переможниці). Це переконання є результатом висновування, який передається одному або більше «батьківському» вузлові в наступному рівні ієрархії.

Образи, які для вузла є «несподіваними», не мають домінантної ймовірності належності до жодної з часових груп, але мають майже рівні ймовірності належності до декількох із цих груп. Якщо послідовності образів є подібними до тренувальних послідовностей, то призначувані групам імовірності не змінюватимуться так часто, як отримуються образи. Вихід вузла змінюватиметься не сильно, і часова роздільна здатність[прояснити: ком.] втрачатиметься.

У загальнішій схемі переконання вузла може надсилатися до входів будь-якого вузла (вузлів) на будь-якому рівні (рівнях), але ці з'єднання між вузлами все одно залишаються незмінними. Вузол вищого рівня поєднує цей вихід з виходом з інших дочірніх вузлів, формуючи таким чином свій власний входовий образ.

Оскільки просторова та часова роздільна здатність втрачаються на кожному вузлі, як описано вище, то переконання, що формуються вузлами вищих рівнів, представляють ще більші проміжки простору й часу. Це покликано відображати будову фізичного світу, як її сприймає людський мозок. Більші поняття (наприклад, причини, дії чи об'єкти) сприймаються як такі, що змінюються повільніше, і складаються з менших понять, як змінюються частіше. Джефф Гокінс постулює, що мозок виробив цю ієрархію для співставляння, передбачування та впливу на будову зовнішнього світу.

Більше подробиць про функціювання ІЧП Зета 1 можливо знайти в старій документації Numenta.

Друге покоління: кортикальні алгоритми навчання ред.

Друге покоління алгоритмів навчання ІЧП, які часто називають кортика́льними алгори́тмами навча́ння (КАН, англ. cortical learning algorithms, CLA), разюче відрізнялося від зета 1. Для подання активності мозку воно покладається на структуру даних, звану розрідженими розподіленими поданнями (англ. sparse distributed representations, тобто, на структуру даних, чиї елементи є двійковими, 1 чи 0, і чиє число 1-чних бітів є малим у порівнянні з числом 0-вих бітів), і на реалістичнішу з погляду біології модель нейрону (який в контексті ІЧП часто називають клітиною, англ. cell). У цьому поколінні ІЧП є дві центральні складові: алгоритм просторового агрегування (англ. spatial pooling), який видає розріджені розподілені подання (РРП, англ. sparse distributed representations, SDR), та алгоритм пам'яті послідовностей (англ. sequence memory), який вчиться представляти та передбачувати складні послідовності.

В цьому новому поколінні розглянуто та частково змодельовано шари (англ. layers) та мініколонки (англ. minicolumns) кори головного мозку. Кожен шар ІЧП (не плутати з рівнем ІЧП ієрархії ІЧП, який описано вище) складається з ряду сильно пов'язаних між собою мініколонок. Шар ІЧП створює розріджене розподілене подання свого входу, так що в будь-який момент часу активним є лише фіксований відсоток мініколонок.[прояснити: ком.] Мініколонку розуміють як групу клітин, які мають одне й те ж рецептивне поле. Кожна з мініколонок має ряд клітин, здатних пам'ятати декілька попередніх станів. Клітина може бути в одному з трьох станів: активному (англ. active), неактивному (англ. inactive) та передбачувальному (англ. predictive).

Просторове агрегування ред.

Рецептивне поле кожної з мініколонок є фіксованим числом входів, які випадково обираються з набагато більшого числа входів вузла. Залежно від (конкретних) образів на вході, деякі колонки будуть більш або менш пов'язаними з активними входовими значеннями. Просторове агрегування (англ. spatial pooling) обирає відносно стале число найактивніших мініколонок та деактивує (пригнічує) інші мініколонки по сусідству з активними. Подібні входові образи схильні активувати стійкий набір мініколонок. Кількість пам'яті, що використовується кожним шаром, може бути збільшувано з метою навчання складніших просторових образів, або зменшувано з метою навчання простіших образів.

Активні, неактивні та передбачувальні клітини ред.

Як зазначено вище, клітина (або нейрон) мініколонки в будь-який момент часу може бути в активному, неактивному, або передбачувальному стані. Початково клітини є неактивними.

Як клітини стають активними? ред.

Якщо одна або більше клітин в активній мініколонці перебувають у передбачувальному стані (див. нижче), вони будуть єдиними клітинами, які зможуть стати активними в поточний момент часу. Якщо жодна з клітин в активній мініколонці не перебуває в передбачувальному стані (що відбувається в початковий момент часу, або коли активування мініколонки було неочікуваним), активними стають усі клітини.

Як клітини стають передбачувальними? ред.

Коли клітина стає активною, вона поступово утворює з'єднання з сусідніми клітинами, що є схильними бути активними протягом декількох попередніх кроків часу. Таким чином клітина вчиться розпізнавати відому послідовність, перевіряючи, чи є активними з'єднані клітини. Якщо велике число з'єднаних клітин є активними, ця клітина перемикається до передбачувального стану в очікуванні одного або декількох наступних входів послідовності.

Вихід мініколонки ред.

Вихід шару включає мініколонки як в активному, так і в передбачувальному станах. Таким чином, мініколонки є активними протягом довгих періодів часу, що веде до вищої часової стабільності, яку бачить батьківський шар.

Висновування та інтерактивне навчання ред.

Кортикальні алгоритми навчання є здатними навчатися безперервно з кожного нового входового образу, відтак потреби в окремому режимі висновування немає. Під час висновування ІЧП намагається співставляти потік входів з фрагментами попередньо навчених послідовностей. Це дозволяє кожному шарові ІЧП постійно передбачувати правдоподібне продовження розпізнаних послідовностей. Виходом шару є індекс передбаченої послідовності. Оскільки передбачення є схильними змінюватися не так часто, як входові образи, це веде до підвищення часової стабільності виходу у вищих рівнях ієрархії. Передбачування також дозволяє заповнювати пропущені образи в послідовності, та інтерпретувати неоднозначні дані шляхом схиляння системи до передбачуваного висновку.

Застосування КАН ред.

Numenta наразі пропонує кортикальні алгоритми навчання як комерційне програмне забезпечення як послугу (таке як Grok).

Чинність КАН ред.

У вересні 2011 року Джеффові Гокінсу було поставлено таке питання стосовно кортикальних алгоритмів навчання: «Як ви дізнає́теся, чи є зміни, що ви вносите до моделі, добрими, чи ні?» На що Джеффовою відповіддю було «Є дві категорії для цієї відповіді: однією є дивитися на нейронауку, а іншою є методи для машинного інтелекту. В царині нейронауки існує багато передбачень, які ми можемо робити, і їх можливо перевірити. Якщо наші теорії описують широкий спектр спостережень нейронауки, то це каже нам, що ми перебуваємо на правильному шляху. У світі машинного навчання їх це не хвилює, їх хвилює лише те, наскільки добре воно працює на практичних задачах. В нашому випадку це ще треба побачити. Наскільки ви зможете розв'язувати задачі, які ніхто раніше не був здатним розв'язувати, настільки люди це відмітять.»

Третє покоління: сенсо́рно-моторне висновування ред.

Третє покоління будується на другому поколінні, увінчуючи його теорією сенсорно-моторного висновування в новій корі. Ця теорія передбачає, що кортикальні колонки на кожному з рівнів ієрархії можуть навчатися цілісних моделей об'єктів у часі, й що вони навчаються ознак у певних місцях об'єктів. 2018 року цю теорію було розширено, і названо Теорією тисячі мізків (англ. Thousand Brains Theory).

Порівняння моделей нейронів ред.

Порівняння штучної нейронної мережі (А), біологічного нейрону (Б), та нейрону ІЧП (В).

Порівняння ІЧП та нової кори ред.

ІЧП намагається втілити функціональність, що є характерною для ієрархічно пов'язаної групи областей нової кори. Область (англ. region) нової кори відповідає одному чи більше рівням (англ. levels) в ієрархії ІЧП, тоді як гіпокамп є віддалено подібним до найвищого рівня ІЧП. Один вузол ІЧП може представляти групу кортикальних колонок в межах певної області.

Хоч вона і є головно функціональною моделлю, було здійснено кілька спроб поставити алгоритми ІЧП у відповідність зі структурою нейронних зв'язків у шарах нової кори. Організація нової кори являє собою вертикальні колонки з 6 горизонтальних шарів (англ. layers). Ці 6 шарів клітин у новій корі не слід плутати з рівнями ієрархії ІЧП.

Вузли ІЧП намагаються моделювати частину кортикальних колонок (від 80 до 100 нейронів) із приблизно 20 «клітинами» ІЧП на колонку. ІЧП моделюють лише шари 2 та 3, щоби виявляти просторові та часові ознаки входу, з 1 клітиною на колонку в шарі 2 для просторового «агрегування», й від 1 до 2 дюжин на колонку в шарі 3 для часового агрегування. Ключовою для ІЧП та кори є їхня здатність обходитися з шумом та варіативністю у вході, яка є результатом використання «розрідженого розподіленого подання», в якому в кожен момент часу є активними лише близько 2% колонок.

ІЧП намагається моделювати частину процесу навчання та пластичності кори, як описано вище. До відмінностей між ІЧП та нейронами належать:

  • строго двійкові сигнали та синапси
  • відсутність прямого пригнічування синапсів та дендритів (але імітованого опосередкованого)
  • наразі моделює лише шари 2/3 та 4 (не 5 та 6)
  • відсутність «моторного» керування (шар 5)
  • відсутність зворотного зв'язку між областями (від рівня 6 вищої до рівня 1 нижчої)

Розріджені розподілені подання ред.

Інтегрування компоненти пам'яті з нейронними мережами має довгу історію, що сягає ранніх досліджень у розподілених поданнях та самоорганізаційних картах. Наприклад, у розрідженій розподіленій пам'яті[en] (англ. sparse distributed memory, SDM) образи, кодовані нейронними мережами, використовують як адреси для асоціативної пам'яті, де «нейрони» по суті слугують кодувальниками та декодувальниками адреси.

Комп'ютери зберігають інформацію у щільних (англ. dense) поданнях, таких як 32-бітове слово, в якому є можливими всі комбінації одиниць та нулів. На відміну від цього, мозок використовує розріджені розподілені подання (РРП, англ. sparse distributed representations, SDR). Людська нова кора має приблизно 16 мільярдів нейронів, але в кожен момент часу активним є лише невеликий відсоток. Активності нейронів подібні до бітів у комп'ютері, тож це подання є розрідженим. Подібно до розрідженої розподіленої пам'яті[en], розробленої НАСА у 80-х роках, та векторно-просторових моделей, що використовують у латентно-семантичному аналізі, ІЧП використовує розріджені розподілені подання.

РРП, що використовують в ІЧП, є двійковими поданнями даних, що складаються з багатьох бітів, серед яких активним (одиниці) є лише невеликий відсоток. Типове втілення може мати 2048 колонок та 64 000 штучних нейронів, де лише 40 можуть бути активними одночасно. І хоча залишатися «невикористаними» для більшості бітів у будь-якому взятому поданні може видаватися менш ефективним, РРП мають дві важливі переваги над традиційними щільними поданнями. По-перше, РРП є стійкими до спотворення та неоднозначності через те, що сенс подання розподіляється (розподіленість) на невеликий відсоток (розрідженість) активних бітів. У щільному поданні перекидання єдиного біту повністю змінює сенс, тоді як в РРП один біт може не мати значного впливу на загальний сенс. Це веде до другої переваги РРП: оскільки сенс подання розподілено на всі активні біти, подібність між двома поданнями можливо використовувати як міру семантичної подібності об'єктів, що вони подають. Тобто, якщо два вектори в РРП мають одиниці в одній і тій же позиції, то вони є семантично подібними за цією властивістю. Біти в РРП мають семантичний сенс, і цей сенс розподілено між цими бітами.

На цих властивостях РРП ґрунтується теорія семантичного згортання[en], щоби запропонувати нову модель для мовної семантики, де слова кодують їхніми РРП, і подібність між термінами, реченнями та текстами можливо обчислювати за допомогою простих мір відстані.

Подібність до інших моделей ред.

Баєсові мережі ред.

Подібно до баєсової мережі, ІЧП складається з набору вузлів, впорядкованих у деревну ієрархію. Кожен вузол в цій ієрархії виявляє масив причин в отримуваних ним входових шаблонах та часових послідовностях. Для прямого та зворотного поширення переконань від дочірніх до батьківських вузлів і назад використовують баєсів алгоритм перегляду переконань[en]. Проте аналогія з баєсовими мережами є обмеженою, оскільки ІЧП можуть бути самотренованими (таким чином, що кожен з вузлів має однозначні родинні зв'язки), управляються з даними, залежними від часу, та надають механізми для прихованої уваги[en].

Тай Сін Лі (англ. Таі Sing Lee) та Девід Мамфорд раніше були запропонували теорію ієрархічного кортикального обчислення на основі баєсового поширення переконання[en]. І хоча ІЧП здебільшого відповідає цим ідеям, вона додає подробиці стосовно обробки інваріантних подань у зоровій корі.

Нейронні мережі ред.

Як і будь-яку систему, яка моделює деталі нової кори, ІЧП можливо розглядати як штучну нейронну мережу. Деревна ієрархія, зазвичай використовувана в ІЧП, нагадує звичну топологію традиційних нейронних мереж. ІЧП намагаються моделювати кортикальні колонки (від 80 до 100 нейронів) та їхні взаємодії меншою кількістю «нейронів» ІЧП. Метою нинішніх ІЧП є охопити якомога більше функцій нейронів та мережі (як їх наразі розуміють) в межах можливостей типових комп'ютерів та в областях, які можливо легко зробити корисними, таких як обробка зображень. Наприклад, спроб зворотного зв'язку від вищих рівнів та моторного керування не роблять через те, що наразі не зрозуміло, як їх вбудувати, а замість мінливих синапсів використовують двійкові, оскільки було визначено, що в поточних можливостях ІЧП вони є достатніми.

LAMINART та подібні мережі, які досліджує Стівен Гросберг[en], намагаються моделювати як інфраструктуру кори, так і поведінку нейронів у часовій системі, щоби пояснити нейрофізіологічні та психофізичні дані. Проте ці мережі наразі є занадто складними для реалістичного застосування.

ІЧП є також пов'язаною з працею Томасо Поджо[en], включно з підходом до моделювання вентрального потоку[en] зорової кори, відомим як HMAX. Подібності ІЧП до різних ідей ШІ описано в грудневому випуску 2005 року журналу «Artificial Intelligence».

Неокогнітрон ред.

Неокогнітрон, ієрархічна багатошарова нейронна мережа, запропонована професором Куніхіко Фукусімою[en] 1987 року, є однією з перших моделей нейронних мереж глибокого навчання.

Платформа та розробницькі інструменти NuPIC ред.

Numenta Platform for Intelligent Computing (NuPIC) [ 6 травня 2021 у Wayback Machine.] є одним із декількох доступних втілень ІЧП [ 27 листопада 2020 у Wayback Machine.]. Деякі забезпечує компанія Numenta [ 21 травня 2021 у Wayback Machine.], тоді як деякі розробляє та підтримує спільнота ІЧП з відкритим кодом [ 26 квітня 2021 у Wayback Machine.].

NuPIC включає втілення просторового агрегування та часової пам'яті як мовою C++, так і мовою Python. Вона також включає 3 ППІ [ 5 жовтня 2018 у Wayback Machine.]. Користувачі можуть будувати системи ІЧП, використовуючи прямі втілення цих алгоритмів [ 27 січня 2020 у Wayback Machine.], або будуючи мережу із застосуванням мережного ППІ [ 30 січня 2020 у Wayback Machine.], що є гнучкою системою для побудови складних залежностей між різними рівнями кори.

NuPIC 1.0 [ 9 листопада 2020 у Wayback Machine.] було випущено в липні 2017 року, після чого базу коду було переведено до режиму підтримування. Поточні дослідження продовжуються в дослідницьких базах коду [ 15 грудня 2020 у Wayback Machine.] Numenta.

Застосування ред.

Існують наступні комерційні застосунки з використанням NuPIC:

На NuPIC є доступними такі інструменти:

  • HTM Studio — знаходить аномалії в часових рядах з використанням ваших власних даних, див. numenta.com/htm-studio/ [ 25 листопада 2017 у Wayback Machine.]
  • Numenta Anomaly Benchmark — порівнюйте ІЧП-аномалії з іншими методиками виявляння аномалій, див. numenta.com/numenta-anomaly-benchmark/ [ 8 травня 2017 у Wayback Machine.]

На NuPIC є доступними наступні приклади застосунків, див. numenta.com/applications/ [ 2 травня 2017 у Wayback Machine.]:

  • HTM for stocks — приклад відстежування аномалій у ринку цінних паперів (приклад коду)
  • Rogue behavior detection — приклад шукання аномалій в людській поведінці (довідка та приклад коду)
  • Geospatial tracking — приклад шукання аномалій в русі цілей простором та часом (довідка та приклад коду)

Див. також ред.

Пов'язані моделі ред.

Примітки ред.

  1. Cui, Yuwei; Ahmad, Subutai; Hawkins, Jeff (2016). Continuous Online Sequence Learning with an Unsupervised Neural Network Model. Neural Computation 28 (11): 2474–2504. PMID 27626963. arXiv:1512.05463. doi:10.1162/NECO_a_00893.  (англ.)
  2. Ahmad, Subutai; Lavin, Alexander; Purdy, Scott; Agha, Zuha (2017). Unsupervised real-time anomaly detection for streaming data. Neurocomputing 262: 134–147. doi:10.1016/j.neucom.2017.04.070.  (англ.)
  3. . HTM Forum (англ.). 3 червня 2016. Архів оригіналу за 25 грудня 2019. Процитовано 12 квітня 2020.  (англ.)
  4. HTM Retrospective на YouTube (англ.)
  5. . numenta.com. Архів оригіналу за 27 травня 2009.  (англ.)
  6. Jeff Hawkins lecture describing cortical learning algorithms на YouTube (англ.)
  7. Cui, Yuwei; Ahmad, Subutai; Hawkins, Jeff (2017). The HTM Spatial Pooler—A Neocortical Algorithm for Online Sparse Distributed Coding. Frontiers in Computational Neuroscience 11: 111. PMC 5712570. PMID 29238299. doi:10.3389/fncom.2017.00111.  (англ.)
  8. ↑ Hawkins, Jeff; Ahmad, Subutai (30 березня 2016). Why Neurons Have Thousands of Synapses, a Theory of Sequence Memory in Neocortex. Front. Neural Circuits 10: 23. PMC 4811948. PMID 27065813. doi:10.3389/fncir.2016.00023.  (англ.)
  9. . grokstream.com. Архів оригіналу за 26 квітня 2019. Процитовано 12 квітня 2020.  (англ.)
  10. Laserson, Jonathan (September 2011). . XRDS 18 (1). doi:10.1145/2000775.2000787. Архів оригіналу за 27 листопада 2020. Процитовано 12 квітня 2020.  (англ.)
  11. Hawkins, Jeff; Ahmad, Subutai; Cui, Yuwei (2017). A Theory of How Columns in the Neocortex Enable Learning the Structure of the World. Frontiers in Neural Circuits 11: 81. PMC 5661005. PMID 29118696. doi:10.3389/fncir.2017.00081.  (англ.)
  12. Have We Missed Half of What the Neocortex Does? Allocentric Location as the Basis of Perception на YouTube (англ.)
  13. . eurekalert.org. 14 січня 2019. Архів оригіналу за 8 листопада 2020. Процитовано 12 квітня 2020.  (англ.)
  14. Hawkins, Jeff; Blakeslee, Sandra. On Intelligence.  (англ.) (рос.)
  15. George, Dileep; Hawkins, Jeff (2009). Towards a Mathematical Theory of Cortical Micro-circuits. PLOS Computational Biology 5 (10): e1000532. Bibcode:2009PLSCB...5E0532G. PMC 2749218. PMID 19816557. doi:10.1371/journal.pcbi.1000532.  (англ.)
  16. . numenta.org. Архів оригіналу за 8 березня 2021. Процитовано 12 квітня 2020.  (англ.)
  17. Hinton, Geoffrey E. (1984). . Архів оригіналу за 14 листопада 2017.  (англ.)
  18. Plate, Tony (1991). . IJCAI. Архів оригіналу за 6 січня 2021. Процитовано 12 квітня 2020.  (англ.)
  19. ↑ Kanerva, Pentti (1988). . MIT press. Архів оригіналу за 12 квітня 2020. Процитовано 12 квітня 2020.  (англ.)
  20. Snaider, Javier; Franklin, Stan (2012). Twenty-fifth international flairs conference. Архів оригіналу за 29 грудня 2017. Процитовано 12 квітня 2020.  (англ.)
  21. Olshausen, Bruno A.; Field, David J. (1997). Sparse coding with an overcomplete basis set: A strategy employed by V1?. Vision Research 37 (23): 3311–3325. PMID 9425546. doi:10.1016/S0042-6989(97)00169-7.  (англ.)
  22. ↑ Ahmad, Subutai; Hawkins, Jeff (2016). «Numenta NUPIC – sparse distributed representations». arXiv:1601.00720 [q-bio.NC].  (англ.)
  23. De Sousa Webber, Francisco (2015). «Semantic Folding Theory And its Application in Semantic Fingerprinting». arXiv:1511.08855 [cs.AI].  (англ.)
  24. Lee, Tai Sing; Mumford, David (2002). Hierarchical Bayesian Inference in the Visual Cortex. Journal of the Optical Society of America. A, Optics, Image Science, and Vision 20 (7): 1434–48. PMID 12868647. doi:10.1364/josaa.20.001434.  Проігноровано невідомий параметр |citeseerx= (довідка) (англ.)
  25. George, Dileep (24 липня 2010). . dileepgeorge.com. Архів оригіналу за 1 серпня 2019.  (англ.)
  26. Grossberg, Stephen (2007). У Cisek, Paul; Drew, Trevor; Kalaska, John. . Amsterdam: Elsevier. с. 79–104. Архів оригіналу за 29 серпня 2017.  (англ.)
  27. 169 (2). December 2005. с. 103–212. Архів оригіналу за 12 квітня 2020. Процитовано 12 квітня 2020.  (англ.)
  28. Fukushima, Kunihiko (2007). . Scholarpedia 2 (1): 1717. Bibcode:2007SchpJ...2.1717F. doi:10.4249/scholarpedia.1717. Архів оригіналу за 17 квітня 2021. Процитовано 12 квітня 2020.  (англ.)

Посилання ред.

Офіційні ред.

Інші ред.

Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри
Дата публікації:
Iyerarhi chna chasova pa m yat IChP angl Hierarchical temporal memory HTM ce prodiktovana biologiyeyu tehnologiya mashinnogo intelektu rozroblyuvana kompaniyeyu Numenta Pervinno opisanu Dzheffom Gokinsom en z Sandroyu Blejksli en v knizi 2004 roku Pro intelekt IChP nateper perevazhno vikoristovuyut dlya viyavlyannya anomalij u potokovih danih Cya tehnologiya gruntuyetsya na nejronauci ta fiziologiyi ta vzayemodiyi piramidnih nejroniv en u novij kori ssavcevogo zokrema lyudskogo golovnogo mozku V osnovi IChP lezhat algoritmi navchannya yaki mozhut zberigati visokoporyadkovi poslidovnosti navchatisya yih robiti visnovki stosovno nih ta zgaduvati yih Na vidminu vid bilshosti inshih algoritmiv mashinnogo navchannya IChP bezperervno navchayetsya nekerovanim chinom chasovih obraziv u nemichenih danih IChP ye stijkoyu do shumu i maye visoku yemnist vona mozhe navchatisya dekilkoh obraziv odnochasno Pri zastosuvanni do komp yuteriv IChP ye dobre pristosovanoyu dlya peredbachuvannya 1 viyavlyannya anomalij 2 klasifikuvannya ta zreshtoyu senso rno motornih zastosuvan 3 IChP bulo perevireno ta vtileno u programnomu zabezpechenni cherez prikladi zastosunkiv vid Numenta i dekilka komercijnih zastosunkiv vid partneriv Numenta Zmist 1 Struktura ta algoritmi 2 Yak model sho rozvivayetsya 2 1 Pershe pokolinnya zeta 1 2 1 1 Trenuvannya 2 1 2 Visnovuvannya 2 2 Druge pokolinnya kortikalni algoritmi navchannya 2 2 1 Prostorove agreguvannya 2 2 1 1 Aktivni neaktivni ta peredbachuvalni klitini 2 2 1 1 1 Yak klitini stayut aktivnimi 2 2 1 1 2 Yak klitini stayut peredbachuvalnimi 2 2 1 2 Vihid minikolonki 2 2 2 Visnovuvannya ta interaktivne navchannya 2 2 3 Zastosuvannya KAN 2 2 4 Chinnist KAN 2 3 Tretye pokolinnya senso rno motorne visnovuvannya 3 Porivnyannya modelej nejroniv 4 Porivnyannya IChP ta novoyi kori 5 Rozridzheni rozpodileni podannya 6 Podibnist do inshih modelej 6 1 Bayesovi merezhi 6 2 Nejronni merezhi 6 3 Neokognitron 7 Platforma ta rozrobnicki instrumenti NuPIC 8 Zastosuvannya 9 Div takozh 9 1 Pov yazani modeli 10 Primitki 11 Posilannya 11 1 Oficijni 11 2 InshiStruktura ta algoritmi red Tipova merezha IChP ye derevnoyu iyerarhiyeyu rivniv angl levels yaki ne slid plutati z sharami angl layers novoyi kori yaki opisano nizhche Ci rivni skladayutsya z menshih elementiv zvanih oblastyami angl regions abo vuzlami angl nodes Odin riven v cij iyerarhiyi mozhe mistiti dekilka oblastej Vishi rivni iyerarhiyi chasto mayut menshe oblastej Vishi rivni iyerarhiyi mozhut perevikoristovuvati obrazi navcheni na nizhchih rivnyah poyednuyuchi yih dlya zapam yatovuvannya skladnishih obraziv Usi oblasti IChP mayut odnakovu elementarnu funkciyu V rezhimah navchannya ta visnovuvannya senso rni dani napriklad dani vid ochej nadhodyat do oblastej najnizhchogo rivnya U porodzhuvalnomu rezhimi oblasti najnizhchogo rivnya vivodyat porodzhenij obraz zadanoyi kategoriyi Najvishij riven zazvichaj maye yedinu oblast yaka zberigaye najzagalnishi ta najstalishi kategoriyi ponyattya voni viznachayut abo viznachayutsya menshimi ponyattyami na nizhchih rivnyah ponyattyami yaki ye obmezhenishimi v chasi ta prostori proyasniti V rezhimi visnovuvannya oblast na bud yakomu rivni interpretuye informaciyu sho nadhodit znizu z yiyi dochirnih oblastej yak imovirnosti tih kategorij yaki vona maye v pam yati Kozhna z oblastej IChP navchayetsya identifikuyuchi ta zapam yatovuyuchi prostorovi obrazi poyednannya bitiv vhodu sho chasto traplyayutsya v odin i toj zhe chas Potim vona viznachaye chasovi poslidovnosti prostorovih obraziv dlya yakih ye pravdopodibnim traplyatisya odin pislya odnogo Yak model sho rozvivayetsya red IChP ye algoritmovoyu skladovoyu Teoriyi intelektu tisyachi mizkiv angl Thousand Brains Theory of Intelligence Dzheffa Gokinsa en Tozh novi vidkrittya pro novu koru postupalno vklyuchayut do modeli IChP yaka zminyuyetsya z chasom u vidpovid Novi vidkrittya ne obov yazkovo roblyat nechinnimi poperedni chastini ciyeyi modeli tozh ideyi z odnogo pokolinnya ne obov yazkovo viklyuchayut v nastupnim Cherez evolyucijnu prirodu ciyeyi teoriyi isnuvalo dekilka pokolin algoritmiv IChP 4 yaki stislo opisano nizhche Pershe pokolinnya zeta 1 red Pershe pokolinnya algoritmiv IChP inodi nazivayut zeta 1 angl zeta 1 Trenuvannya red Pid chas trenuvannya vuzol abo oblast otrimuye na vhodi chasovu poslidovnist prostorovih obraziv Proces navchannya skladayetsya z dvoh etapiv Prostorove agreguvannya angl spatial pooling identifikuye u vhodi chasto sposterezhuvani obrazi ta zapam yatovuye yih yak zbigi angl coincidences Obrazi yaki ye znachno podibnimi odin do odnogo traktuyutsya yak odin i toj zhe zbig Velike chislo vhodovih obraziv zvuzhuyetsya do piddatlivogo chisla vidomih zbigiv Chasove agreguvannya angl temporal pooling rozbivaye zbigi dlya yakih ye pravdopodibnim traplyatisya v trenuvalnij poslidovnosti odin za odnim na chasovi grupi Kozhna z grup obraziv predstavlyaye prichinu angl cause vhodovogo obrazu abo im ya angl name v knizi Pro intelekt Ponyattya prostorovogo agreguvannya ta chasovogo agreguvannya zalishayutsya velmi vazhlivimi i dlya potochnih algoritmiv IChP Chasove agreguvannya ye she ne duzhe dobre zrozumilim i jogo zmist zminyuvavsya protyagom chasu z rozvitkom algoritmiv IChP Visnovuvannya red Pid chas visno vuvannya angl inference vuzol obchislyuye nabir imovirnostej nalezhnosti obrazu do kozhnogo z vidomih zbigiv Potim vin obchislyuye jmovirnosti podannya vhodom kozhnoyi z chasovih grup Nabir imovirnostej priznachenih grupam nazivayut perekonannyam angl belief vuzla pro vhodovij obraz U sproshenomu vtilenni perekonannya vuzla skladayetsya lishe z odniyeyi grupi peremozhnici Ce perekonannya ye rezultatom visnovuvannya yakij peredayetsya odnomu abo bilshe batkivskomu vuzlovi v nastupnomu rivni iyerarhiyi Obrazi yaki dlya vuzla ye nespodivanimi ne mayut dominantnoyi jmovirnosti nalezhnosti do zhodnoyi z chasovih grup ale mayut majzhe rivni jmovirnosti nalezhnosti do dekilkoh iz cih grup Yaksho poslidovnosti obraziv ye podibnimi do trenuvalnih poslidovnostej to priznachuvani grupam imovirnosti ne zminyuvatimutsya tak chasto yak otrimuyutsya obrazi Vihid vuzla zminyuvatimetsya ne silno i chasova rozdilna zdatnist proyasniti kom vtrachatimetsya U zagalnishij shemi perekonannya vuzla mozhe nadsilatisya do vhodiv bud yakogo vuzla vuzliv na bud yakomu rivni rivnyah ale ci z yednannya mizh vuzlami vse odno zalishayutsya nezminnimi Vuzol vishogo rivnya poyednuye cej vihid z vihodom z inshih dochirnih vuzliv formuyuchi takim chinom svij vlasnij vhodovij obraz Oskilki prostorova ta chasova rozdilna zdatnist vtrachayutsya na kozhnomu vuzli yak opisano vishe to perekonannya sho formuyutsya vuzlami vishih rivniv predstavlyayut she bilshi promizhki prostoru j chasu Ce poklikano vidobrazhati budovu fizichnogo svitu yak yiyi sprijmaye lyudskij mozok Bilshi ponyattya napriklad prichini diyi chi ob yekti sprijmayutsya yak taki sho zminyuyutsya povilnishe i skladayutsya z menshih ponyat yak zminyuyutsya chastishe Dzheff Gokins postulyuye sho mozok virobiv cyu iyerarhiyu dlya spivstavlyannya peredbachuvannya ta vplivu na budovu zovnishnogo svitu Bilshe podrobic pro funkciyuvannya IChP Zeta 1 mozhlivo znajti v starij dokumentaciyi Numenta 5 Druge pokolinnya kortikalni algoritmi navchannya red Druge pokolinnya algoritmiv navchannya IChP yaki chasto nazivayut kortika lnimi algori tmami navcha nnya KAN angl cortical learning algorithms CLA razyuche vidriznyalosya vid zeta 1 Dlya podannya aktivnosti mozku vono pokladayetsya na strukturu danih zvanu rozridzhenimi rozpodilenimi podannyami angl sparse distributed representations tobto na strukturu danih chiyi elementi ye dvijkovimi 1 chi 0 i chiye chislo 1 chnih bitiv ye malim u porivnyanni z chislom 0 vih bitiv i na realistichnishu z poglyadu biologiyi model nejronu yakij v konteksti IChP chasto nazivayut klitinoyu angl cell 6 U comu pokolinni IChP ye dvi centralni skladovi algoritm prostorovogo agreguvannya angl spatial pooling 7 yakij vidaye rozridzheni rozpodileni podannya RRP angl sparse distributed representations SDR ta algoritm pam yati poslidovnostej angl sequence memory 8 yakij vchitsya predstavlyati ta peredbachuvati skladni poslidovnosti V comu novomu pokolinni rozglyanuto ta chastkovo zmodelovano shari angl layers ta minikolonki angl minicolumns kori golovnogo mozku Kozhen shar IChP ne plutati z rivnem IChP iyerarhiyi IChP yakij opisano vishe skladayetsya z ryadu silno pov yazanih mizh soboyu minikolonok Shar IChP stvoryuye rozridzhene rozpodilene podannya svogo vhodu tak sho v bud yakij moment chasu aktivnim ye lishe fiksovanij vidsotok minikolonok proyasniti kom Minikolonku rozumiyut yak grupu klitin yaki mayut odne j te zh receptivne pole Kozhna z minikolonok maye ryad klitin zdatnih pam yatati dekilka poperednih staniv Klitina mozhe buti v odnomu z troh staniv aktivnomu angl active neaktivnomu angl inactive ta peredbachuvalnomu angl predictive Prostorove agreguvannya red Receptivne pole kozhnoyi z minikolonok ye fiksovanim chislom vhodiv yaki vipadkovo obirayutsya z nabagato bilshogo chisla vhodiv vuzla Zalezhno vid konkretnih obraziv na vhodi deyaki kolonki budut bilsh abo mensh pov yazanimi z aktivnimi vhodovimi znachennyami Prostorove agreguvannya angl spatial pooling obiraye vidnosno stale chislo najaktivnishih minikolonok ta deaktivuye prignichuye inshi minikolonki po susidstvu z aktivnimi Podibni vhodovi obrazi shilni aktivuvati stijkij nabir minikolonok Kilkist pam yati sho vikoristovuyetsya kozhnim sharom mozhe buti zbilshuvano z metoyu navchannya skladnishih prostorovih obraziv abo zmenshuvano z metoyu navchannya prostishih obraziv Aktivni neaktivni ta peredbachuvalni klitini red Yak zaznacheno vishe klitina abo nejron minikolonki v bud yakij moment chasu mozhe buti v aktivnomu neaktivnomu abo peredbachuvalnomu stani Pochatkovo klitini ye neaktivnimi Yak klitini stayut aktivnimi red Yaksho odna abo bilshe klitin v aktivnij minikolonci perebuvayut u peredbachuvalnomu stani div nizhche voni budut yedinimi klitinami yaki zmozhut stati aktivnimi v potochnij moment chasu Yaksho zhodna z klitin v aktivnij minikolonci ne perebuvaye v peredbachuvalnomu stani sho vidbuvayetsya v pochatkovij moment chasu abo koli aktivuvannya minikolonki bulo neochikuvanim aktivnimi stayut usi klitini Yak klitini stayut peredbachuvalnimi red Koli klitina staye aktivnoyu vona postupovo utvoryuye z yednannya z susidnimi klitinami sho ye shilnimi buti aktivnimi protyagom dekilkoh poperednih krokiv chasu Takim chinom klitina vchitsya rozpiznavati vidomu poslidovnist pereviryayuchi chi ye aktivnimi z yednani klitini Yaksho velike chislo z yednanih klitin ye aktivnimi cya klitina peremikayetsya do peredbachuvalnogo stanu v ochikuvanni odnogo abo dekilkoh nastupnih vhodiv poslidovnosti Vihid minikolonki red Vihid sharu vklyuchaye minikolonki yak v aktivnomu tak i v peredbachuvalnomu stanah Takim chinom minikolonki ye aktivnimi protyagom dovgih periodiv chasu sho vede do vishoyi chasovoyi stabilnosti yaku bachit batkivskij shar Visnovuvannya ta interaktivne navchannya red Kortikalni algoritmi navchannya ye zdatnimi navchatisya bezperervno z kozhnogo novogo vhodovogo obrazu vidtak potrebi v okremomu rezhimi visnovuvannya nemaye Pid chas visnovuvannya IChP namagayetsya spivstavlyati potik vhodiv z fragmentami poperedno navchenih poslidovnostej Ce dozvolyaye kozhnomu sharovi IChP postijno peredbachuvati pravdopodibne prodovzhennya rozpiznanih poslidovnostej Vihodom sharu ye indeks peredbachenoyi poslidovnosti Oskilki peredbachennya ye shilnimi zminyuvatisya ne tak chasto yak vhodovi obrazi ce vede do pidvishennya chasovoyi stabilnosti vihodu u vishih rivnyah iyerarhiyi Peredbachuvannya takozh dozvolyaye zapovnyuvati propusheni obrazi v poslidovnosti ta interpretuvati neodnoznachni dani shlyahom shilyannya sistemi do peredbachuvanogo visnovku Zastosuvannya KAN red Numenta narazi proponuye kortikalni algoritmi navchannya yak komercijne programne zabezpechennya yak poslugu take yak Grok 9 Chinnist KAN red U veresni 2011 roku Dzheffovi Gokinsu bulo postavleno take pitannya stosovno kortikalnih algoritmiv navchannya Yak vi diznaye tesya chi ye zmini sho vi vnosite do modeli dobrimi chi ni Na sho Dzheffovoyu vidpoviddyu bulo Ye dvi kategoriyi dlya ciyeyi vidpovidi odniyeyu ye divitisya na nejronauku a inshoyu ye metodi dlya mashinnogo intelektu V carini nejronauki isnuye bagato peredbachen yaki mi mozhemo robiti i yih mozhlivo pereviriti Yaksho nashi teoriyi opisuyut shirokij spektr sposterezhen nejronauki to ce kazhe nam sho mi perebuvayemo na pravilnomu shlyahu U sviti mashinnogo navchannya yih ce ne hvilyuye yih hvilyuye lishe te naskilki dobre vono pracyuye na praktichnih zadachah V nashomu vipadku ce she treba pobachiti Naskilki vi zmozhete rozv yazuvati zadachi yaki nihto ranishe ne buv zdatnim rozv yazuvati nastilki lyudi ce vidmityat 10 Tretye pokolinnya senso rno motorne visnovuvannya red Tretye pokolinnya buduyetsya na drugomu pokolinni uvinchuyuchi jogo teoriyeyu sensorno motornogo visnovuvannya v novij kori 11 12 Cya teoriya peredbachaye sho kortikalni kolonki na kozhnomu z rivniv iyerarhiyi mozhut navchatisya cilisnih modelej ob yektiv u chasi j sho voni navchayutsya oznak u pevnih miscyah ob yektiv 2018 roku cyu teoriyu bulo rozshireno i nazvano Teoriyeyu tisyachi mizkiv angl Thousand Brains Theory 13 Porivnyannya modelej nejroniv red nbsp Porivnyannya shtuchnoyi nejronnoyi merezhi A biologichnogo nejronu B ta nejronu IChP V Porivnyannya modelej nejroniv Shtuchna nejronna merezha ShNM Piramidnij nejron novoyi kori biologichnij nejron Nejron modeli IChP 8 Dekilka sinapsivVidsutnist dendritivPidsumovuye vhodi vagiNavchayetsya zminyuyuchi vagi sinapsiv Tisyachi sinapsiv na dendritahAktivni dendriti klitina rozpiznaye sotni unikalnih obrazivSpilne aktivuvannya naboru sinapsiv dendritnogo segmentu prizvodit do NMDA en spajku proyasniti kom ta depolyarizaciyi proyasniti kom v somiDzherela vhodu do klitini Vhodi pryamogo zv yazku yaki formuyut sinapsi proksimalno do somi ta bezposeredno prizvodyat do potencialu diyiNMDA spajki porodzhuvani bilsh distalno bazalno proyasniti kom Apikalni dendriti sho depolyarizuyut somu zazvichaj ne dostatno dlya togo shobi stvoriti somatichnij potencial diyi Navchayetsya viroshuvannyam novih sinapsiv Nathnenij piramidnimi klitinami v sharah 2 3 ta 5 novoyi koriTisyachi sinapsivAktivni dendriti klitina rozpiznaye sotni unikalnih obrazivModelyuye dendriti ta NMDA spajki tak sho kozhen masiv vidpovidnih detektoriv maye nabir sinapsivNavchayetsya modelyuvannyam rostu novih sinapsivPorivnyannya IChP ta novoyi kori red IChP namagayetsya vtiliti funkcionalnist sho ye harakternoyu dlya iyerarhichno pov yazanoyi grupi oblastej novoyi kori Oblast angl region novoyi kori vidpovidaye odnomu chi bilshe rivnyam angl levels v iyerarhiyi IChP todi yak gipokamp ye viddaleno podibnim do najvishogo rivnya IChP Odin vuzol IChP mozhe predstavlyati grupu kortikalnih kolonok v mezhah pevnoyi oblasti Hoch vona i ye golovno funkcionalnoyu modellyu bulo zdijsneno kilka sprob postaviti algoritmi IChP u vidpovidnist zi strukturoyu nejronnih zv yazkiv u sharah novoyi kori 14 15 Organizaciya novoyi kori yavlyaye soboyu vertikalni kolonki z 6 gorizontalnih shariv angl layers Ci 6 shariv klitin u novij kori ne slid plutati z rivnyami iyerarhiyi IChP Vuzli IChP namagayutsya modelyuvati chastinu kortikalnih kolonok vid 80 do 100 nejroniv iz priblizno 20 klitinami IChP na kolonku IChP modelyuyut lishe shari 2 ta 3 shobi viyavlyati prostorovi ta chasovi oznaki vhodu z 1 klitinoyu na kolonku v shari 2 dlya prostorovogo agreguvannya j vid 1 do 2 dyuzhin na kolonku v shari 3 dlya chasovogo agreguvannya Klyuchovoyu dlya IChP ta kori ye yihnya zdatnist obhoditisya z shumom ta variativnistyu u vhodi yaka ye rezultatom vikoristannya rozridzhenogo rozpodilenogo podannya v yakomu v kozhen moment chasu ye aktivnimi lishe blizko 2 kolonok IChP namagayetsya modelyuvati chastinu procesu navchannya ta plastichnosti kori yak opisano vishe Do vidminnostej mizh IChP ta nejronami nalezhat 16 strogo dvijkovi signali ta sinapsi vidsutnist pryamogo prignichuvannya sinapsiv ta dendritiv ale imitovanogo oposeredkovanogo narazi modelyuye lishe shari 2 3 ta 4 ne 5 ta 6 vidsutnist motornogo keruvannya shar 5 vidsutnist zvorotnogo zv yazku mizh oblastyami vid rivnya 6 vishoyi do rivnya 1 nizhchoyi Rozridzheni rozpodileni podannya red Integruvannya komponenti pam yati z nejronnimi merezhami maye dovgu istoriyu sho syagaye rannih doslidzhen u rozpodilenih podannyah 17 18 ta samoorganizacijnih kartah Napriklad u rozridzhenij rozpodilenij pam yati en angl sparse distributed memory SDM obrazi kodovani nejronnimi merezhami vikoristovuyut yak adresi dlya asociativnoyi pam yati de nejroni po suti sluguyut koduvalnikami ta dekoduvalnikami adresi 19 20 Komp yuteri zberigayut informaciyu u shilnih angl dense podannyah takih yak 32 bitove slovo v yakomu ye mozhlivimi vsi kombinaciyi odinic ta nuliv Na vidminu vid cogo mozok vikoristovuye rozridzheni rozpodileni podannya RRP angl sparse distributed representations SDR 21 Lyudska nova kora maye priblizno 16 milyardiv nejroniv ale v kozhen moment chasu aktivnim ye lishe nevelikij vidsotok Aktivnosti nejroniv podibni do bitiv u komp yuteri tozh ce podannya ye rozridzhenim Podibno do rozridzhenoyi rozpodilenoyi pam yati en rozroblenoyi NASA u 80 h rokah 19 ta vektorno prostorovih modelej sho vikoristovuyut u latentno semantichnomu analizi IChP vikoristovuye rozridzheni rozpodileni podannya 22 RRP sho vikoristovuyut v IChP ye dvijkovimi podannyami danih sho skladayutsya z bagatoh bitiv sered yakih aktivnim odinici ye lishe nevelikij vidsotok Tipove vtilennya mozhe mati 2048 kolonok ta 64 000 shtuchnih nejroniv de lishe 40 mozhut buti aktivnimi odnochasno I hocha zalishatisya nevikoristanimi dlya bilshosti bitiv u bud yakomu vzyatomu podanni mozhe vidavatisya mensh efektivnim RRP mayut dvi vazhlivi perevagi nad tradicijnimi shilnimi podannyami Po pershe RRP ye stijkimi do spotvorennya ta neodnoznachnosti cherez te sho sens podannya rozpodilyayetsya rozpodilenist na nevelikij vidsotok rozridzhenist aktivnih bitiv U shilnomu podanni perekidannya yedinogo bitu povnistyu zminyuye sens todi yak v RRP odin bit mozhe ne mati znachnogo vplivu na zagalnij sens Ce vede do drugoyi perevagi RRP oskilki sens podannya rozpodileno na vsi aktivni biti podibnist mizh dvoma podannyami mozhlivo vikoristovuvati yak miru semantichnoyi podibnosti ob yektiv sho voni podayut Tobto yaksho dva vektori v RRP mayut odinici v odnij i tij zhe poziciyi to voni ye semantichno podibnimi za ciyeyu vlastivistyu Biti v RRP mayut semantichnij sens i cej sens rozpodileno mizh cimi bitami 22 Na cih vlastivostyah RRP gruntuyetsya teoriya semantichnogo zgortannya en 23 shobi zaproponuvati novu model dlya movnoyi semantiki de slova koduyut yihnimi RRP i podibnist mizh terminami rechennyami ta tekstami mozhlivo obchislyuvati za dopomogoyu prostih mir vidstani Podibnist do inshih modelej red Bayesovi merezhi red Podibno do bayesovoyi merezhi IChP skladayetsya z naboru vuzliv vporyadkovanih u derevnu iyerarhiyu Kozhen vuzol v cij iyerarhiyi viyavlyaye masiv prichin v otrimuvanih nim vhodovih shablonah ta chasovih poslidovnostyah Dlya pryamogo ta zvorotnogo poshirennya perekonan vid dochirnih do batkivskih vuzliv i nazad vikoristovuyut bayesiv algoritm pereglyadu perekonan en Prote analogiya z bayesovimi merezhami ye obmezhenoyu oskilki IChP mozhut buti samotrenovanimi takim chinom sho kozhen z vuzliv maye odnoznachni rodinni zv yazki upravlyayutsya z danimi zalezhnimi vid chasu ta nadayut mehanizmi dlya prihovanoyi uvagi en Taj Sin Li angl Tai Sing Lee ta Devid Mamford ranishe buli zaproponuvali teoriyu iyerarhichnogo kortikalnogo obchislennya na osnovi bayesovogo poshirennya perekonannya en 24 I hocha IChP zdebilshogo vidpovidaye cim ideyam vona dodaye podrobici stosovno obrobki invariantnih podan u zorovij kori 25 Nejronni merezhi red Yak i bud yaku sistemu yaka modelyuye detali novoyi kori IChP mozhlivo rozglyadati yak shtuchnu nejronnu merezhu Derevna iyerarhiya zazvichaj vikoristovuvana v IChP nagaduye zvichnu topologiyu tradicijnih nejronnih merezh IChP namagayutsya modelyuvati kortikalni kolonki vid 80 do 100 nejroniv ta yihni vzayemodiyi menshoyu kilkistyu nejroniv IChP Metoyu ninishnih IChP ye ohopiti yakomoga bilshe funkcij nejroniv ta merezhi yak yih narazi rozumiyut v mezhah mozhlivostej tipovih komp yuteriv ta v oblastyah yaki mozhlivo legko zrobiti korisnimi takih yak obrobka zobrazhen Napriklad sprob zvorotnogo zv yazku vid vishih rivniv ta motornogo keruvannya ne roblyat cherez te sho narazi ne zrozumilo yak yih vbuduvati a zamist minlivih sinapsiv vikoristovuyut dvijkovi oskilki bulo viznacheno sho v potochnih mozhlivostyah IChP voni ye dostatnimi LAMINART ta podibni merezhi yaki doslidzhuye Stiven Grosberg en namagayutsya modelyuvati yak infrastrukturu kori tak i povedinku nejroniv u chasovij sistemi shobi poyasniti nejrofiziologichni ta psihofizichni dani Prote ci merezhi narazi ye zanadto skladnimi dlya realistichnogo zastosuvannya 26 IChP ye takozh pov yazanoyu z praceyu Tomaso Podzho en vklyuchno z pidhodom do modelyuvannya ventralnogo potoku en zorovoyi kori vidomim yak HMAX Podibnosti IChP do riznih idej ShI opisano v grudnevomu vipusku 2005 roku zhurnalu Artificial Intelligence 27 Neokognitron red Neokognitron iyerarhichna bagatosharova nejronna merezha zaproponovana profesorom Kunihiko Fukusimoyu en 1987 roku ye odniyeyu z pershih modelej nejronnih merezh glibokogo navchannya 28 Platforma ta rozrobnicki instrumenti NuPIC red Numenta Platform for Intelligent Computing NuPIC Arhivovano 6 travnya 2021 u Wayback Machine ye odnim iz dekilkoh dostupnih vtilen IChP Arhivovano 27 listopada 2020 u Wayback Machine Deyaki zabezpechuye kompaniya Numenta Arhivovano 21 travnya 2021 u Wayback Machine todi yak deyaki rozroblyaye ta pidtrimuye spilnota IChP z vidkritim kodom Arhivovano 26 kvitnya 2021 u Wayback Machine NuPIC vklyuchaye vtilennya prostorovogo agreguvannya ta chasovoyi pam yati yak movoyu C tak i movoyu Python Vona takozh vklyuchaye 3 PPI Arhivovano 5 zhovtnya 2018 u Wayback Machine Koristuvachi mozhut buduvati sistemi IChP vikoristovuyuchi pryami vtilennya cih algoritmiv Arhivovano 27 sichnya 2020 u Wayback Machine abo buduyuchi merezhu iz zastosuvannyam merezhnogo PPI Arhivovano 30 sichnya 2020 u Wayback Machine sho ye gnuchkoyu sistemoyu dlya pobudovi skladnih zalezhnostej mizh riznimi rivnyami kori NuPIC 1 0 Arhivovano 9 listopada 2020 u Wayback Machine bulo vipusheno v lipni 2017 roku pislya chogo bazu kodu bulo perevedeno do rezhimu pidtrimuvannya Potochni doslidzhennya prodovzhuyutsya v doslidnickih bazah kodu Arhivovano 15 grudnya 2020 u Wayback Machine Numenta Zastosuvannya red Isnuyut nastupni komercijni zastosunki z vikoristannyam NuPIC Grok viyavlyannya anomalij dlya serveriv IT div www grokstream com Arhivovano 11 travnya 2022 u Wayback Machine Cortical io rozvinena obrobka prirodnoyi movi div www cortical io Arhivovano 20 travnya 2021 u Wayback Machine Na NuPIC ye dostupnimi taki instrumenti HTM Studio znahodit anomaliyi v chasovih ryadah z vikoristannyam vashih vlasnih danih div numenta com htm studio Arhivovano 25 listopada 2017 u Wayback Machine Numenta Anomaly Benchmark porivnyujte IChP anomaliyi z inshimi metodikami viyavlyannya anomalij div numenta com numenta anomaly benchmark Arhivovano 8 travnya 2017 u Wayback Machine Na NuPIC ye dostupnimi nastupni prikladi zastosunkiv div numenta com applications Arhivovano 2 travnya 2017 u Wayback Machine HTM for stocks priklad vidstezhuvannya anomalij u rinku cinnih paperiv priklad kodu Rogue behavior detection priklad shukannya anomalij v lyudskij povedinci dovidka ta priklad kodu Geospatial tracking priklad shukannya anomalij v rusi cilej prostorom ta chasom dovidka ta priklad kodu Div takozh red Neokognitron Gliboke navchannya Zgortkova nejronna merezha Silnij ShI Shtuchna svidomist Kognitivna arhitektura en Pro intelekt Sistema pam yati peredbachuvannya Pereglyad perekonan en Poshirennya perekonannya en Bionika Perelik proyektiv shtuchnogo intelektu en Merezha pam yati Nejronna mashina Tyuringa Teoriya mnozhinnih slidiv en Pov yazani modeli red Iyerarhichna prihovana markovska model en Bayesova merezha Nejronni merezhi Primitki red Cui Yuwei Ahmad Subutai Hawkins Jeff 2016 Continuous Online Sequence Learning with an Unsupervised Neural Network Model Neural Computation 28 11 2474 2504 PMID 27626963 arXiv 1512 05463 doi 10 1162 NECO a 00893 angl Ahmad Subutai Lavin Alexander Purdy Scott Agha Zuha 2017 Unsupervised real time anomaly detection for streaming data Neurocomputing 262 134 147 doi 10 1016 j neucom 2017 04 070 angl Preliminary details about new theory work on sensory motor inference HTM Forum angl 3 chervnya 2016 Arhiv originalu za 25 grudnya 2019 Procitovano 12 kvitnya 2020 angl HTM Retrospective na YouTube angl Numenta old documentation numenta com Arhiv originalu za 27 travnya 2009 angl Jeff Hawkins lecture describing cortical learning algorithms na YouTube angl Cui Yuwei Ahmad Subutai Hawkins Jeff 2017 The HTM Spatial Pooler A Neocortical Algorithm for Online Sparse Distributed Coding Frontiers in Computational Neuroscience 11 111 PMC 5712570 PMID 29238299 doi 10 3389 fncom 2017 00111 angl a b Hawkins Jeff Ahmad Subutai 30 bereznya 2016 Why Neurons Have Thousands of Synapses a Theory of Sequence Memory in Neocortex Front Neural Circuits 10 23 PMC 4811948 PMID 27065813 doi 10 3389 fncir 2016 00023 angl Grok Product Page grokstream com Arhiv originalu za 26 kvitnya 2019 Procitovano 12 kvitnya 2020 angl Laserson Jonathan September 2011 From Neural Networks to Deep Learning Zeroing in on the Human Brain XRDS 18 1 doi 10 1145 2000775 2000787 Arhiv originalu za 27 listopada 2020 Procitovano 12 kvitnya 2020 angl Hawkins Jeff Ahmad Subutai Cui Yuwei 2017 A Theory of How Columns in the Neocortex Enable Learning the Structure of the World Frontiers in Neural Circuits 11 81 PMC 5661005 PMID 29118696 doi 10 3389 fncir 2017 00081 angl Have We Missed Half of What the Neocortex Does Allocentric Location as the Basis of Perception na YouTube angl Numenta publishes breakthrough theory for intelligence and cortical computation eurekalert org 14 sichnya 2019 Arhiv originalu za 8 listopada 2020 Procitovano 12 kvitnya 2020 angl Hawkins Jeff Blakeslee Sandra On Intelligence angl ros George Dileep Hawkins Jeff 2009 Towards a Mathematical Theory of Cortical Micro circuits PLOS Computational Biology 5 10 e1000532 Bibcode 2009PLSCB 5E0532G PMC 2749218 PMID 19816557 doi 10 1371 journal pcbi 1000532 angl HTM Cortical Learning Algorithms numenta org Arhiv originalu za 8 bereznya 2021 Procitovano 12 kvitnya 2020 angl Hinton Geoffrey E 1984 Distributed representations Arhiv originalu za 14 listopada 2017 angl Plate Tony 1991 Holographic Reduced Representations Convolution Algebra for Compositional Distributed Representations IJCAI Arhiv originalu za 6 sichnya 2021 Procitovano 12 kvitnya 2020 angl a b Kanerva Pentti 1988 Sparse distributed memory MIT press Arhiv originalu za 12 kvitnya 2020 Procitovano 12 kvitnya 2020 angl Snaider Javier Franklin Stan 2012 Integer sparse distributed memory Twenty fifth international flairs conference Arhiv originalu za 29 grudnya 2017 Procitovano 12 kvitnya 2020 angl Olshausen Bruno A Field David J 1997 Sparse coding with an overcomplete basis set A strategy employed by V1 Vision Research 37 23 3311 3325 PMID 9425546 doi 10 1016 S0042 6989 97 00169 7 angl a b Ahmad Subutai Hawkins Jeff 2016 Numenta NUPIC sparse distributed representations arXiv 1601 00720 q bio NC angl De Sousa Webber Francisco 2015 Semantic Folding Theory And its Application in Semantic Fingerprinting arXiv 1511 08855 cs AI angl Lee Tai Sing Mumford David 2002 Hierarchical Bayesian Inference in the Visual Cortex Journal of the Optical Society of America A Optics Image Science and Vision 20 7 1434 48 PMID 12868647 doi 10 1364 josaa 20 001434 Proignorovano nevidomij parametr citeseerx dovidka angl George Dileep 24 lipnya 2010 Hierarchical Bayesian inference in the visual cortex dileepgeorge com Arhiv originalu za 1 serpnya 2019 angl Grossberg Stephen 2007 U Cisek Paul Drew Trevor Kalaska John Towards a unified theory of neocortex Laminar cortical circuits for vision and cognition Technical Report CAS CNS TR 2006 008 For Computational Neuroscience From Neurons to Theory and Back Again Amsterdam Elsevier s 79 104 Arhiv originalu za 29 serpnya 2017 angl ScienceDirect Artificial Intelligence 169 2 December 2005 s 103 212 Arhiv originalu za 12 kvitnya 2020 Procitovano 12 kvitnya 2020 angl Fukushima Kunihiko 2007 Neocognitron Scholarpedia 2 1 1717 Bibcode 2007SchpJ 2 1717F doi 10 4249 scholarpedia 1717 Arhiv originalu za 17 kvitnya 2021 Procitovano 12 kvitnya 2020 angl Posilannya red Oficijni red Cortical Learning Algorithm overview Arhivovano 11 kvitnya 2016 u Wayback Machine Accessed May 2013 angl HTM Cortical Learning Algorithms PDF Sept 2011 angl Numenta Inc angl HTM Cortical Learning Algorithms Archive angl Association for Computing Machinery talk from 2009 by Subutai Ahmad from Numenta angl OnIntelligence org Forum Arhivovano 16 kvitnya 2017 u Wayback Machine vebforum dlya obgovorennya vidpovidnih tem osoblivo vidpovidnim ye forum Models and Simulation Topics Arhivovano 27 listopada 2016 u Wayback Machine angl Hierarchical Temporal Memory Arhivovano 17 serpnya 2016 u Wayback Machine prezentaciya Microsoft PowerPoint angl Cortical Learning Algorithm Tutorial CLA Basics Arhivovano 16 grudnya 2020 u Wayback Machine rozmova na YouTube pro kortikalnij algoritm navchannya KAN angl cortical learning algorithm CLA sho vikoristovuye model IChP angl Inshi red Pattern Recognition by Hierarchical Temporal Memory Arhivovano 6 sichnya 2012 u Wayback Machine by Davide Maltoni April 13 2011 angl Vicarious Arhivovano 22 kvitnya 2021 u Wayback Machine Startup rooted in HTM by Dileep George angl The Gartner Fellows Jeff Hawkins Interview Arhivovano 5 lyutogo 2012 u Wayback Machine by Tom Austin Gartner March 2 2006 angl Emerging Tech Jeff Hawkins reinvents artificial intelligence nedostupne posilannya by Debra D Agostino and Edward H Baker CIO Insight May 1 2006 angl Putting your brain on a microchip nedostupne posilannya by Stefanie Olsen CNET News com May 12 2006 angl The Thinking Machine Arhivovano 19 bereznya 2014 u Wayback Machine by Evan Ratliff Wired March 2007 angl Think like a human Arhivovano 12 kvitnya 2020 u Wayback Machine by Jeff Hawkins IEEE Spectrum April 2007 angl Neocortex Memory Prediction Framework Arhivovano 4 lyutogo 2021 u Wayback Machine vidkrite vtilennya z licenziyeyu GNU General Public License angl Hierarchical Temporal Memory related Papers and Books angl Otrimano z https uk wikipedia org w index php title Iyerarhichna chasova pam 27yat amp oldid 40234574