Оперантне обумовлення

Оперантне обумовлення (яке також називається інструментальним обумовленням) — це процес навчання, у якому сила поведінки змінюється через підкріплення або покарання. Це також процедура для здійснення такого навчання.

Схема оперантного обумовлення

Хоча і оперантне, і класичне обумовлення включають поведінку, контрольовану стимулами оточення, вони відрізняються за своєю природою. У оперантному обумовлення стимули, що присутні тоді, коли поведінка винагороджується або карається, починають контролювати цю поведінку. Наприклад, дитина може навчитися відкривати коробку, щоб отримати цукерку всередині, або навчитися уникати торкання гарячої печі; в оперантних термінах, ящик і піч є «дискримінаційними стимулами». Оперантну поведінку вважають «добровільною»: наприклад, дитина може вибрати: відкрити ящик чи погладити цуценя.

Навпаки, класичне обумовлення передбачає мимовільну поведінка, засновану на пов'язанні стимулів з біологічно значущими подіями. Наприклад, вигляд цукерок може викликати у дитини слину, або звук удару дверима може сигналізувати про гнів батька, змушуючи дитину тремтіти. Слина і тремтіння — це не операнти; вони не підкріплені їхніми наслідками, і вони не обрані «добровільно».

У дослідженнях з вивчення тварин у 20-му столітті домінував аналіз цих двох видів навчання і вони все ще знаходяться в основі аналізу поведінки.

Історична довідка

Закон ефекту Торндайка

Оперантне обумовлення, яке іноді називають інструментальним, вперше широко вивчалося Едвардом Л. Торндайком (1874—1949), який спостерігав за поведінкою кішок, що намагалися втекти зі скриньок-головоломок. Кішка могла втекти з коробки, просто потягнувши шнур або штовхаючи важіль, але спочатку кішки витрачали багато часу, щоб вийти. При повторних випробуваннях неефективні відповіді відбувалися рідше, і успішні відповіді траплялися частіше, тому кішки все швидше втікали. Торндайк узагальнив цей висновок у своєму законі ефекту, який стверджує, що поведінка, за якою слідують задовільні наслідки, як правило, повторюється, а та, що викликає неприємні наслідки, повторюється рідше. Коротше кажучи, деякі наслідки посилюють поведінку, а деякі — послаблюють її. Побудувавши діаграми, де час втечі був показаний в залежності від числа спроб, Торндайк виготовив перші криві навчання тваринами.

Люди, здається, вивчають багато простих моделей поведінки через процес, що вивчав Торндайк, який тепер називається оперантним обумовлення. Тобто, відповіді зберігаються, коли вони призводять до успішного результату і відкидаються, коли вони цього не роблять, або коли вони призводять до негативних наслідків. Це зазвичай відбувається без планування будь-яким «вчителем», але оперантність використовувалася батьками в навчанні своїх дітей тисячі років.

Б. Ф. Скіннер

Б. Ф. Скіннер (1904—1990) називається батьком оперантного обумовлення, і його роботи часто цитується у зв'язку з цією темою. Його книга 1938 року «Поведінка організмів: експериментальний аналіз», ініціювала його довічне вивчення оперантного обумовлення та його застосування до поведінки людини і тварин. Слідуючи ідеям Ернста Маха, Скіннер відкинув посилання Торндайка на неспостережувані психічні стани, такі як задоволення, будуючи свій аналіз на спостережуваній поведінці та її однаково спостережуваних наслідках.

Скіннер вважав, що класичне обумовлення було занадто спрощеним, а тому не підходило для опису чогось такого складного, як поведінка людини. Оператне обумовлення, на його думку, краще описує поведінку людини, оскільки розглядає причини і наслідки умисної поведінки.

Для реалізації свого емпіричного підходу Скіннер винайшов камеру оперантного обумовлення, або «Камеру Скіннера», в якій голуби і щури могли піддаватися ретельно контрольованим стимулам. На відміну від головоломки Торндайка, ця композиція дозволяла суб'єкту робити одну або дві прості, повторювані відповіді, і швидкість таких відповідей стала основним виміром поведінки у Скіннера. Інший його винахід, накопичувальний реєстратор, вів  графічний запис, з якого можна оцінити ці показники відповідей. Ці записи були первинними даними, що Скіннер і його колеги використовували для вивчення впливу різних розкладів підкріплення на швидкість відповіді. Розклад підкріплення може бути визначений як «будь-яка процедура, що забезпечує підкріплення організму відповідно до деякого чітко визначеного правила». Вплив розкладів став, у свою чергу, основними відкриттями, з яких Скіннер розробив свій випадок оперантного обумовлення. Він також спирався на багато менш офіційних спостережень за поведінкою людини і тварин.

Багато творів Скіннера присвячені застосуванню оперантного обумовлення поведінки людини. У 1948 році він опублікував Уолден-2 , вигадану історію мирного, щасливого, продуктивної громади, організованої навколо його принципів обумовлення. У 1957 році Скіннер опублікував «Вербальну поведінку», яка розширила принципи оперантного обумовлення до мови, — форми людської поведінки, яку раніше зовсям інакше аналізували лінгвісти та інші. Скіннер визначив нові функціональні відносини, такі як «мандати» і «такти», щоб схопити деякі основи мови, але він не ввів нових принципів, розглядаючи вербальну поведінку, як будь-яку іншу поведінку, як контрольовану її наслідками, що включають реакції аудиторії, яка слухає оратора.

Поняття та процедури

Витоки оперантної поведінки: оперантна мінливість

Оперантна поведінка, як кажуть, «випускається»; тобто спочатку вона не викликається якимось конкретним стимулом. Може виникнути питання, чому це відбувається в першу чергу. Відповідь на це питання схожа на відповідь Дарвіна на питання про походження «нової» структури тіла, а саме, — зміни та відбір. Аналогічно, поведінка індивіду змінюється від моменту до моменту у таких аспектах, як конкретні дії, кількість застосованої сили або час відповіді. Зміни, які призводять до підкріплення, підкріплюються, і якщо підкріплення є послідовним, поведінка має тенденцію залишатися стабільною. Однак, поведінкова мінливість сама може бути змінена шляхом маніпулювання певними змінними.

Модифікація оперантної поведінки: підкріплення та покарання

Підкріплення та покарання є основними інструментами, за допомогою яких змінюється оперантна поведінка. Ці терміни визначаються їх впливом на поведінку. Кожен може бути як позитивним, так і негативним.

• Позитивне підкріплення та негативне підкріплення збільшують ймовірність поведінки, за якою вони слідують, тоді як позитивне покарання та негативне покарання зменшують ймовірність поведінки, за якою вони слідують.

Іще одна процедура називається «відмирання».

• Згасання відбувається, коли попередньо підкріплена поведінка більше не підкріплюється ні позитивним, ні негативним підкріпленням. Під час згасання поведінка стає менш імовірною.

Є в цілому п'ять наслідків.

1. Позитивне підкріплення відбувається, коли поведінка (відповідь) є винагородою, або ж за поведінкою слідує інший стимул, який є винагородою, збільшуючи частоту цієї поведінки. Наприклад, якщо щур у камері Скіннера отримує їжу після натискання на важіль, швидкість натискання зросте. Ця процедура зазвичай називається просто підкріпленням.
2. Негативне підкріплення (так звана «втеча») відбувається, коли після поведінки (реакції) слідує видалення неприємного (аверсивного) стимулу, що збільшує частоту початкової поведінки. У експерименті з камерою Скіннера аверсивний стимул може бути голосним шумом безперервно всередині коробки; негативне підкріплення відбудеться, коли щур натискає важіль, щоб вимкнути шум.
3. Позитивне покарання (також називається «покарання шляхом умовної стимуляції») відбувається, коли за поведінкою (реакцією) слідує неприємний чи больовий (аверсний) стимул. Приклад: біль від шльопання по сідниці часто призводить до зменшення цієї поведінки. Позитивне покарання є заплутаним терміном, тому процедуру зазвичай називають «покаранням».
4. Негативне покарання (кара) (що також називається «покарання шляхом вилучення контингенту») відбувається тоді, коли за поведінкою іде видалення стимулу. Приклад: забрати іграшку дитини після небажаної поведінки, що призведе до зниження такої поведінки.
5. Згасання відбувається тоді, коли раніше підкріплена поведінка (відповідь) більше не є ефективною. Приклад: щурові спочатку дають їжу багато разів для натискання важеля, поки експериментатор не перестає видавати їжу як нагороду. Щур, як правило, рідше натискає на важіль, а потім зупиняється. Натискання важеля можна назвати «згаслим».

Важливо відзначити, що про акторів (наприклад, щурів) не говорять як про підкріплених, покараних чи згаслих; це дії підкріплюються, караються або гасяться. Підкріплення, покарання та згасання — це не тільки лабораторні терміни. Природні наслідки можуть також підкріпити, покарати або загасити поведінку, і не завжди плануються або відбуваються навмисно.

Графіки підкріплення

Розклади, чи графіки підкріплення є правилами, які контролюють доставку підкріплень. Правила вказують або час, протягом якого підкріплення має бути доступним, або кількість дій, які необхідно зробити, або обидва параметри. Можливо багато правил, але наступні є основними і використовуються найчастіше

• Графік фіксованих інтервалів: підкріплення відбувається після першої дії (відповіді), коли з моменту попереднього підкріплення пройшов фіксований час. Цей графік дає «пробіжний» шаблон відповіді; тобто, після навчання за цим графіком, організм зазвичай призупиняється після підкріплення, а потім починає реагувати швидко, оскільки вже настає час для наступного підкріплення.
• Графік змінних інтервалів: підкріплення відбувається після першої відповіді, коли з моменту попереднього підкріплення пройшов змінний час. Цей графік зазвичай дає відносно стійку швидкість відповіді, яка змінюється з середнім часом між підкріпленнями.
• Графік фіксованого співвідношення: підкріплення відбувається після фіксованого числа відповідей, які відбулися після попереднього підкріплення. Організм, підготовлений за цим графіком, зазвичай призупиняється на деякий час після підкріплення, а потім реагує з високою швидкістю. Якщо вимоги відповіді низькі, паузи може не відбутися; якщо потреба у відповіді є високою, організм може взагалі перестати відповідати.
• Графік змінних співвідношень: підкріплення відбувається після того, як з моменту попереднього підкріплення відбулася змінна кількість відповідей. Цей графік зазвичай дає дуже високу, стійку швидкість відповіді.
• Безперервне підкріплення: підкріплення відбувається після кожного відгуку. Організми, як правило, реагують так швидко, як можуть, враховуючи час, необхідний для отримання та споживання підкріплення, поки вони не будуть насичені.

Фактори, що змінюють ефективність підкріплення і покарання

Ефективність підкріплення і покарання може бути змінена.

1. Насичення/позбавлення: Ефективність позитивного або «апетитного» стимулу буде знижена, якщо людина отримає достатню кількість стимулів для задоволення свого апетиту. Протилежний ефект буде мати місце, якщо індивід буде позбавлений цього стимулу: ефективність наслідків буде збільшуватися. Суб'єкт з повним шлунком не буде почувати себе мотивованим так само, як голодний.
2. Негайність: негайний наслідок ефективніший, ніж із затримкою. Якщо ви даєте собаці їжу за сидіння протягом п'яти секунд, собака навчиться швидше, ніж якщо у випадку з тридцяти секундами.
3. Випадковість: Щоб бути найбільш ефективними, підкріплення має відбуватися послідовно після відповідей, а не в інші моменти. Навчання може бути повільнішим, якщо підкріплення є переривчастим, тобто, слідкувати лише за деякими прикладами одного і того ж відповіді. Відповіді, підкріплені з перервами, зазвичай згасають повільніше, ніж відповіді, які були підкріплені завжди.
4. Розмір: кількість стимулу часто впливає на його потенцію підкріплення. Люди та тварини аналізують витрати та вигоди. Менша кількість їжі може здатися щуру негідною нагородою за зусилля з натискання важеля. Купа монет з ігрового автомата може утримати гравця, що тягне за ручку довше, ніж одна монета. Більшість з цих факторів служать біологічним функціям. Наприклад, процес насичення допомагає організму підтримувати стабільне внутрішнє середовище (гомеостаз). Коли організм позбавлений цукру, наприклад, смак цукру є ефективним підкріплювачем. Коли рівень цукру в крові організму досягає або перевищує оптимальний рівень, смак цукру стає менш ефективним або навіть аверсивним.

Формування

Формування є методом обумовлення, що використовується в навчанні тварин і в невербальному навчанні людей. Це залежить від варіабельності оперантів і підкріплення, як описано вище. Тренер починає з визначення бажаної кінцевої (або «цільової») поведінки. Далі, тренер вибирає поведінку, яку тварина або людина вже видає з певною ймовірністю. Форма такої поведінки потім поступово змінюється через послідовні випробування шляхом підкріплення поведінки, яка наближає цільову поведінку все тісніше. Коли цільова поведінка нарешті видається, вона може бути підкріплена і підтримана за допомогою графіка підкріплення.

Безпідставне підкріплення

Безпідставним підкріпленням є підкріплення стимулюючих факторів незалежно від поведінки організму. Безпідставне підкріпленням може використовуватися в спробі зменшити небажану цільову поведінку шляхом підкріплення декількох альтернативних відповідей при гасінні цільової відповіді. Оскільки жодна виміряна поведінка не ідентифікована як підкріплена, існує суперечка навколо використання терміна «безпідставне підкріплення».

Стимул контролю оперантної поведінки

Хоча спочатку оперантна поведінка видається без ідентифікованого посилання на конкретний стимул, під час оперантного обумовлення операнти потрапляють під контроль стимулів, які присутні при підкріпленні поведінки. Такі стимули називаються «дискримінаційними стимулами». Результатом є так звана «трикратна непередбачуваність». Таким чином, дискримінаційні стимули стимулюють відповіді, що дають нагороду або покарання. Наприклад: щура можна навчити натискати на важіль тільки тоді, коли загориться світло; собака кидається на кухню, коли чує брязкання своєї миски для їжі; дитина тягнеться по цукерки, коли бачить їх на столі.

Дискримінація, узагальнення та контекст

Більша частина поведінки перебуває під контролем стимулів. Можна виділити кілька аспектів:

• Дискримінація зазвичай виникає, коли відповідь підкріплюється тільки за наявності специфічного стимулу. Наприклад, голуба можна годувати тільки тоді, коли він клює на червоне світло, а не зелене; як наслідок, він клює на червоне і перестає клювати на зелене. Вивчено багато складних комбінацій стимулів та інших станів; наприклад, організм може бути підкріплений на графіку інтервалів при наявності одного стимулу, і на графіку співвідношення — в присутності іншого.
• Узагальнення — це тенденція реагувати на подразники, подібні до попередньо вивченого дискримінаційного стимулу. Наприклад, будучи навченим клювати на «червоне», голуб може також клюнути на «рожеве», хоча звичайно не так сильно.
• Контекст відноситься до стимулів, які постійно присутні в ситуації, наприклад стіни, столи, стільці тощо в кімнаті, або в інтер'єрі камери операнта. Стимули контексту можуть почати контролювати поведінку, як і дискримінаційні стимули, хоча зазвичай слабше. Поведінки, вивчені в одному контексті, можуть бути відсутні або змінені в іншому. Це може спричинити труднощі для поведінкової терапії, оскільки поведінка, вивчена в терапевтичній обстановці, може не проявитися в інших місцях.

Поведінкові послідовності: умовне підкріплення і ланцюг

Більшу частину поведінки нелегко описати в термінах індивідуальних відповідей, підкріплених одна за одною. Обсяг оперантного аналізу розширюється через ідею поведінкових ланцюгів, що є послідовностями відповідей, зв'язаних три-терміновими випадками (?), визначеними вище. Ланцюг ґрунтується на експериментально показаному фактові про те, що дискримінаційний стимул не тільки створює привід для подальшої поведінки, але також може підкріпити поведінку, що передує їй. Тобто дискримінаційний стимул також є «обумовленим підкріплювачем». Наприклад, світло, яке стає приводом для натискання важеля, може використовуватися для підкріплення «обертання» при наявності шуму. Це призводить до послідовності «шум — обертання — світло — важіль — їжа». Набагато довші ланцюги можна побудувати, додавши більше стимулів і відповідей.

Втеча та уникнення

У навчанні уникнення, поведінка закінчує неприємний (аверсивний) стимул. Наприклад, прикриття очей від сонячного світла окулярами закінчує (аверсивну) стимуляцію очей яскравим світлом. (Це приклад негативного підкріплення, визначеного вище. Поведінка, що підтримується шляхом запобігання стимулу, називається «уникненням», як, наприклад, вдягання сонцезахисних окуляр перед виходом на вулицю. Поведінка уникнення викликає так званий «парадокс уникнення», бо можна запитати: як не-виникнення стимулу може служити підкріплювачем? Це питання розглядається кількома теоріями уникнення (див. нижче).

Зазвичай використовуються два типи експериментальних установок: дискримінаційне навчання та вільноопераційне навчання уникнення.

Дискримінаційне навчання уникнення

Експеримент з дискримінаційного уникнення включає серію випробувань, в яких нейтральний стимул, такий як світло, супроводжується аверсивним стимулом, таким як шок. Після нейтрального стимулу з'являється оперантна відповідь, така як натискання на важіль, що запобігає аверсивному стимулу чи припиняє його. У ранніх випробуваннях суб'єкт не дає відповіді до тих пір, поки не виникне аверсний стимул, тому ці ранні випробування називаються випробуваннями «втечі». Коли навчання прогресує, суб'єкт починає реагувати під час нейтрального стимулу і таким чином запобігає виникненню аверсивного стимулу. Такі випробування називаються «випробуваннями на уникнення». Як вважають, цей експеримент передбачає класичне обумовлення, оскільки нейтральний умовний стимул (conditioned stimulus, CS) поєднується з аверсивним безумовним стимулом (unconditioned stimulus, US); Ця ідея лежить в основі двофакторної теорії навчанню уникнення, що описана нижче.

Вільноопераційне навчання уникнення

При уникненні з вільним оперантом суб'єкт періодично отримує аверсивний стимул (часто електричний удар), поки не зробить оперантну відповідь, яка відкладає початок наступного удару. У цій ситуації, на відміну від дискримінованого уникнення, жоден попередній стимул не сигналізує про шок. Два ключових інтервалу часу визначають швидкість навчання уникнення. Перший інтервал це S-S (shock-shock, шок-шок). Це час між послідовними ударами за відсутності відповіді. Другий інтервал — це RS (response-shock, відгук-шок). Це час, на який оперантна відповідь затримує початок наступного удару. Зауважимо: щоразу, коли суб'єкт дає оперантну відповідь, інтервал R-S без шоку починається заново.

Двопроцесна теорія уникнення

Ця теорія була спочатку запропонована для пояснення дискримінаційного навчання уникненню, коли організм вчиться уникати аверсивного стимулу, уникаючи сигналу для цього стимулу. Задіяні два процеси: класичне обумовлення сигналу, за яким слідує операційне обумовлення відповіді-втечі: а) Класична обумовленість страху. Спочатку в організмі відбувається сполучення CS (умовного стимулу) з аверсивним US (безумовним стимулом). Теорія припускає, що таке сполучення створює асоціацію між CS та US через класичне обумовлення і, оскільки US має аверсивний характер, то CS починає викликати обумовлену емоційну реакцію (conditioned emotional reaction, CER) — «страх».

б) Підкріплення оперантного відгуку через зменшення страху. В результаті першого процесу CS тепер сигналізує страх; ця неприємна емоційна реакція мотивує операційні відповіді, і відповіді, що припиняють CS, підкріплюються припиненням страху. Зауважимо, що теорія не говорить про те, що організм «уникає» US в сенсі його передбачення, а скоріше про те, що організм «уникає» аверсного внутрішнього стану, викликаного CS. Кілька експериментальних висновків суперечать теорії двох факторів. Наприклад, поведінка уникнення часто гаситься дуже повільно, навіть коли початкове сполучення CS-US не повторюється ніколи, так що очікувалося згасання реакції страху (див. Класичне обумовлення). Крім того, тварини, які навчилися уникати, часто демонструють небагато ознак страху, що може свідчити про те, що втеча від страху не є необхідною для підтримки поведінки уникнення.

Оперантна, або або «однофакторна» теорія уникнення

Деякі теоретики вважають, що поведінка уникнення може бути просто особливим випадком оперантної поведінки, що підтримується своїми наслідками. З цієї точки зору ідея «наслідків» розширюється, включаючи чутливість до перебігу подій. Таким чином, у разі уникнення, наслідком відповіді є зниження швидкості аверсної стимуляції. Дійсно, експериментальні дані свідчать про те, що «пропущений шок» виявляється як стимул і може діяти як підкріплювач. Когнітивні теорії уникнення просувають цю ідею на крок далі. Наприклад, пацюк «очікує» шоку, якщо він не натискає на важіль і «не очікує шоку», якщо він натискає його, і поведінка уникнення підкріплюється, коли ці очікування підтверджуються.

Оперативне накопичення

Оперативне накопичення відноситься до спостереження, що щури, підкріплені певним чином, можуть дозволити гранулам їжі накопичуватися в піддоні для харчових продуктів замість того, щоб витягувати їх. У цій процедурі видобуток гранул завжди встановлював одно-хвилинний період згасання, протягом якого не було доступних додаткових гранул, але ті, які були накопичені раніше, можна було спожити. Цей висновок суперечить звичайному висновку, що щури поводяться імпульсивно в ситуаціях, коли є вибір між меншим об'єктом їжі відразу і більшим об'єктом їжі після деякої затримки. Див. графіки підкріплення.

Нейробіологічні поправки

Перші наукові дослідження з виявлення нейронів, що реагують так, наче вони кодують умовні подразники, вийшли з роботи Mahlon deLong і Р. Річардсона. Вони показали, що нейрони nucleus basalis, які вивільняють ацетилхолін широко по корі головного мозку, активуються незабаром після умовного стимулу або після первинної винагороди, якщо не існує умовного стимулу. Ці нейрони однаково активні для позитивних і негативних підкріплювачів, і було показано, що вони пов'язані з нейропластичністю у багатьох кортикальних областях. Також існує доказ того, що дофамін активується в аналогічний час. Існує чимало доказів того, що допамін бере участь як в підкріпленні, так і в аверсивному навчанні. Допамінові шляхи проектуються найщільніше в області фронтального кори. Холінергічні проєкції, навпаки, щільні навіть у задніх кортикальних областях, таких як первинна зорова кора. Дослідження пацієнтів з хворобою Паркінсона, стан, пов'язаний з недостатньою дією дофаміну, ще більше ілюструє роль дофаміну в позитивному підкріпленні. Воно показало, що в той час, коли вони припиняли прийом ліків, пацієнти з більшою готовністю вчилися на негативних наслідках, ніж позитивному підкріпленні. Пацієнти, які отримували ліки, показали протилежне, тому позитивне підкріплення виявилося більш ефективною формою навчання, коли активність дофаміну висока.

Нейрохімічний процес із залученням дофаміну був названий підставою для підкріплення. Коли організм відчуває підкріплюючий стимул, активуються шляхи допаміну в мозку. Ця мережа шляхів "випускає короткий імпульс допаміну на багато дендритів, таким чином передаючи глобальний сигнал підкріплення до постсинаптичних нейронів ". Це дозволяє недавно активованим синапсам підвищити свою чутливість до еферентних (провідних зовні) сигналів, збільшуючи тим самим ймовірність виникнення останніх відповідей, що передували підкріпленню. Такі відповіді є статистично найбільш вірогідними для поведінки, що відповідає за успішне досягнення підкріплення. Але коли застосування підкріплення є або менш безпосереднім, або менш контингентним (менш послідовним), здатність дофаміну впливати на відповідні синапси знижується.

Питання про закон впливу

Ряд спостережень показує, що оперантну поведінку можна встановити без підкріплення у сенсі, визначеному вище. Найвідоміше явище autoshaping (яке іноді називають «відстеженням знаків»), де після подразник неодноразово слідують підкріплення, і в результаті тварина починає реагувати на подразник. Наприклад, загорається клавіша відповіді, а потім подається їжа. Після того, як це повторюється декілька разів, голуб починає клювати клавішу, хоча їжа з'явлється незалежно від того, клює птах чи ні. Аналогічно, щури починають використовувати дрібні предмети, такі як важіль, коли поблизу з'являється їжа. Вражає, що голуби і щури зберігають таку поведінку, навіть коли клювання клавіші або натискання на важіль призводить до меншої кількості їжі (тренування втрат). Інша очевидна поведінка оперантів, яка з'являється без підкріплення, є протилежною.

Ці спостереження та інші, здається, суперечать закону впливу, і вони спонукали деяких дослідників запропонувати нові концепції оперантного підкріплення. Більш загальний погляд полягає в тому, що автоформування є прикладом класичного обумовлення; Процедура автоформування, по суті, стала одним з найбільш поширених способів вимірювання класичного обумовлення. З цієї точки зору, багато випадків поведінки можуть знаходитися під впливом як класичних випадків (подразник-відповідь), так і оперантних (подразник-підкріплення), і завдання експериментатора полягає в тому, щоб визначити, як вони взаємодіють.

На прикладі тих, хто має позитивний досвід застосування наркотиків, легко побачити, як діє наркотична залежність і закон ефекту. Толерантність до препарату зростає, коли людина продовжує використовувати його після того, як вперше отримала позитивний досвід з певною кількістю. Потрібно все більше і більше, щоб отримати те ж саме відчуття. Це той випадок, коли контрольовану речовину в експерименті доведеться модифікувати і експеримент дійсно почнеться. Закон роботи для психолога Б. Ф. Скіннера майже через півстоліття пізніше на принципах оперантного обумовлення: "навчальний процес, за допомогою якого ефект, або наслідки, відповіді впливають на майбутню швидкість напрацювання цієї відповіді.

Застосування

Підкріплення і покарання є повсюдними в соціальних взаємодіях, і було запропоновано та впроваджено багато застосувань оперантних принципів. Нижче наведено кілька прикладів.

Прикладний аналіз поведінки

Прикладний аналіз поведінки — це дисципліна, започаткована Б. Ф. Скіннером, що застосовує принципи обумовлення до модифікації соціально значущої поведінки людини. Вона використовує основні поняття теорії обумовлення, включаючи умовний подразник (S^C), дискримінаційний стимул (S^d), відповідь (R), і підкріплюючий стимул (S^rein або S^r для підкріплювачів, іноді S^ave для аверсивних подразників). Умовний подразник контролює поведінки, що з'являються внаслідок респондентного (класичного) обумовлення, таку як емоційні реакції. Інші три терміни об'єднуються, формуючи «три-визначений невизначеність» Скіннера: дискримінаційний подразник створює можливість для відповідей, які призводять до підкріплення. Дослідники виявили, що наступний протокол є ефективним при використанні засобів оперантного обумовлення для зміни людської поведінки:

1. Проголосіть мету. Уточніть, які саме зміни необхідно здійснити. Наприклад, «зменшити вагу на 20 кг».
2. Моніторинг поведінки. Слідкуйте за поведінкою, щоб побачити, чи з'являються бажані ефекти. Наприклад, ведіть таблицю щоденних зважувань.
3. Підкріпіть бажану поведінку. Наприклад, привітайте людину, що втрачає вагу. Для людини підкріпленням може служити запис поведінки. Наприклад, коли учасник бачить шаблон втрати ваги, це може підкріпити продовження в поведінковій програмі втрати ваги. Однак, люди можуть сприймати підкріплення, яке має бути позитивним як негативне, і навпаки. Наприклад, запис втрати ваги може діяти як негативне підкріплення, якщо воно нагадує людині, наскільки важкою вона насправді є. Економіка токенів – це система обміну, в якій жетони даються як винагорода за бажану поведінку. Потім жетони можуть бути обміняні на бажану премію або винагороду, такі як влада, престиж, товари або послуги.
4. Зменшіть стимули небажаної поведінки. Наприклад, приберіть цукерки та жирні закуски з кухонних полиць.

Практики прикладного аналізу поведінки (ПАП) застосовують ці процедури та їх варіації до різних соціально значущих поведінок і проблем. Часто фахівці використовують оперантні методи для розробки конструктивних, соціально прийнятних форм поведінки, що замінить поведінку аберантну. Методи ПАП були ефективно застосовані в таких речах, як ранні інтенсивні поведінкові втручання^[en] для дітей з розладом аутистичного спектру (ASD) дослідження принципів, що впливають на злочинну поведінку, профілактика ВІЛ, збереження природних ресурсів, освіта, геронтологія, здоров'я і фізичні вправи, промислова безпека, опанування мовами, засмічення, медичні процедури, виховання, психотерапія, використання ременів, тяжкі психічні розлади, спорт, зловживання психоактивними речовинам], фобії, дитячі порушення харчування та управління зоопарками та догляд за тваринам. Деякі з цих застосувань описані нижче.

Звикання та залежність

Позитивне та негативне підкріплення відіграють центральну роль у розвитку та підтримці залежності та наркотичної залежності. Залежний препарат є внутрішньо корисним; тобто функціонує як основний позитивний підкріплювач вживання наркотиків. Система винагороди мозку призначає йому стимулюючу відмінність (тобто, його «хочеться» або він «жаданий»), тому з розвитком наркоманії, позбавлення препарату призводить до тяги. Крім того, подразники, пов'язані з вживанням наркотиків — наприклад, вигляд шприца і місце його використання — стають пов'язаними з інтенсивним підкріпленням, викликаним препаратом. Ці раніше нейтральні подразники набувають декілька властивостей: їх поява може викликати тягу, і вони можуть стати обумовленими позитивними підкріплювачами тривалого використання. Таким чином, якщо залежний індивід стикається з одним із цих предметів, тяга до асоційованого препарату може знову з'явитися. Наприклад, антинаркотичні агенції раніше використовували плакати з зображеннями атрибутів наркотиків як спробу показати небезпеку вживання наркотиків. Проте, такі плакати більше не використовуються через вплив стимулюючої виразності на виникнення рецидиву після візуальних подразників, показаних на плакатах.

Тренування для тварин

Тренажери для тварин і власники домашніх тварин застосовували принципи і практику оперантного обумовлення ще задовго до того, як ці ідеї були названі та вивчені, а навчання тварин ще залишається одним з найбільш ясних і переконливих прикладів операційного контролю. З концепцій та процедур, описаних у цій статті, деякі з найбільш важливих є наступними:

• наявність первинного підкріплення (наприклад, мішок собачих собак);
• використання вторинної арматури (наприклад, звучання клікера відразу після бажаної відповіді, а потім надання смаку);
• непередбачені обставини, що гарантують, що підкріплення (наприклад, клікер) слідує за бажаною поведінкою, а не щось інше;
• формування, як у поступовому залученні собаки до стрибка вище і вище;
• переривчасте підкріплення, як у поступовому зменшенні частоти армування, щоб викликати стійку поведінку без насичення;
• зчеплення, де складна поведінка поступово будується з менших одиниць.

Приклад навчання тварин від Seaworld, пов'язаного з підготовкою операторів

Навчання тварин має вплив на позитивне підкріплення та негативне підкріплення. Розклади підкріплень відіграють велику роль у навчанні тварин.

Дитяча поведінка — навчання батьків

Забезпечення позитивного підкріплення для належної поведінки дітей є основним напрямком навчання батьків. Як правило, батьки навчаються винагороджувати належну поведінку через соціальні нагороди (такі як похвала, посмішки та обійми), а також конкретні нагороди (такі як наклейки або точки до більшої винагороди як частина системи стимулів, створеної спільно з дитиною). Крім того, батьки навчаються вибирати прості поведінки як початковий фокус і винагороджувати кожен з маленьких кроків, які їх дитина досягає у досягненні більшої мети (ця концепція називається «послідовними наближеннями»)..

Економіка

І психологи, і економісти зацікавилися застосуванням оперантних концепцій та знахідок до поведінки людей на ринку. Прикладом може слугувати аналіз споживчого попиту, індексованого за обсягом закупленого товару. У економіці ступінь впливу ціни на споживання називається «ціновою еластичністю попиту». Деякі товари більш еластичні, ніж інші; наприклад, зміна ціни на певні продукти може мати великий вплив на суму, яку купують, тоді як на бензин та інші основні засоби може бути менше вплив змін цін. З точки зору оперантного аналізу, такі ефекти можуть бути інтерпретовані з точки зору мотивації споживачів і відносного значення товарів як підкріплювачів.

Азартні ігри — планування змінних коефіцієнтів

Як зазначалося раніше в цій статті, графік змінних співвідношень дає підкріплення після випуску непередбачуваної кількості відповідей. Цей графік зазвичай генерує швидке, постійне реагування. Ігрові автомати виплачуються за графіком із змінним співвідношенням, і вони виробляють саме такий вид наполегливої поведінки, що тягне за собою ривок у гравців. Перемінний коефіцієнт віддачі від ігрових автоматів та інших форм азартних ігор часто згадується як фактор, що лежить в основі азартної залежності.

Теорія відхилень

Теорія схильності (або підштовхування) — це концепція поведінкової науки, політичної теорії та економіки, яка стверджує, що непрямі пропозиції, спрямовані на досягнення непримусового дотримання, можуть впливати на мотиви, стимули та прийняття рішень групами та індивідами, принаймні так само ефективно не більш ефективно — ніж прямі інструкції, законодавство або правозастосування.

Похвала

Концепція похвали як засобу поведінкового підкріплення корениться в моделі оперантного обумовлення Б. Ф. Скіннера. Через цю лінзу похвала розглядалася як засіб позитивного підкріплення, при якому спостережувана поведінка більш ймовірно виникає завдяки непередбачуваному похвали наведеної поведінки. Сотні досліджень продемонстрували ефективність похвали у просуванні позитивної поведінки, особливо у вивченні вчителів і батьків, використання похвал на дитину у сприянні поліпшення поведінки та академічної успішності, але і в дослідженні роботи. Також було продемонстровано похвалу, що підкріплюють позитивну поведінку у непривілейованих сусідніх осіб (наприклад, однокласника одержувача похвали) через підпорядковане підкріплення. Похвала може бути більш-менш ефективною у зміні поведінки залежно від її форми, змісту та доставки. Для того, щоб похвала вплинула на позитивну зміну поведінки, вона повинна бути залежною від позитивної поведінки (тобто, адмініструватися тільки після того, як цілеспрямована поведінка введена в дію), повинна вказувати особливості поведінки, яка повинна бути підкріплена, і повинна бути надана щиро і достовірно.

Визнаючи вплив похвали як позитивної стратегії підкріплення, численні поведінкові та когнітивні поведінкові втручання включали використання похвал у своїх протоколах. Стратегічне використання похвали визнається як практика, заснована на доказах, як в управлінні класами і в інтервенціях з виховання дітей, хоча похвала часто входить до складу інтервенційних досліджень у більшу категорію позитивного підкріплення, що включає такі стратегії, як стратегічні увага і поведінкові нагороди.

Було проведено декілька досліджень щодо впливу когнітивно-поведінкової терапії та оперантно-поведінкової терапії на різні захворювання. Коли у пацієнтів розвивалися когнітивні та поведінкові прийоми, що змінили їхню поведінку, ставлення та емоції; їх тяжкість болю зменшилася. Результати цих досліджень показали вплив когніцій на сприйняття болю і представлений вплив, що пояснюється загальною ефективністю когнітивно-поведінкової терапії (КПТ) і оперативно-поведінкової терапії (ОПТ).

Психологічні маніпуляції

Брейкер визначив такі способи, якими маніпулятори контролюють своїх жертв:

• Позитивне підкріплення: включає похвалу, поверхневу чарівність, поверхневу симпатію (крокодилячі сльози), надмірні вибачення, гроші, схвалення, подарунки, увагу, вираз обличчя, такі як вимушений сміх або посмішка, і громадське визнання.
• Негативне підкріплення: може включати вилучення одного з негативної ситуації
• Переривчасте або часткове посилення: Часткове або переривчасте негативне підкріплення може створити ефективний клімат страху і сумнівів. Часткове або переривчасте позитивне підкріплення може спонукати жертву до збереження — наприклад, у більшості форм азартних ігор, гравець, швидше за все, виграє зараз і знову, але все одно втрачає гроші в цілому.
• Покарання^[en]: включає в себе нюкування, крики, тихе лікування, залякування, погрози, лаяння, емоційний шантаж, подолання провини, дрімання, плач і відтворення жертви.
• Травматичне односторінкове навчання: використання словесного зловживання, вибухового гніву або іншої залякувальної поведінки для встановлення домінування або переваги; навіть один випадок такої поведінки може зумовити або підготувати жертв, щоб уникнути засмучення, протистояння або суперечності з маніпулятором.

Травматичні зв'язки

Травматичні зв'язки відбуваються в результаті тривалих циклів зловживань, в яких періодичне посилення винагороди і покарання створює потужні емоційні зв'язки, які стійкі до змін.

Інше джерело вказав, що"Необхідні умови для травматичної зв'язку є те, що одна людина повинна домінувати над іншим, і що рівень зловживання хронічно шипами, а потім стихає. Відносини характеризуються періодами дозвільної, співчутливої і навіть лагідної поведінки від домінуючої особи, що переривається переривчастими епізодами інтенсивного насильства. Щоб підтримувати верх, жертва маніпулює поведінкою жертви і обмежує можливості жертви, щоб увічнити дисбаланс влади. Будь-яка загроза балансу домінування та підпорядкування може задовольняти ескалаційний цикл покарання, починаючи від бурхливого залякування та інтенсивних вибухів. Виживниця також ізолює жертву від інших джерел підтримки, що знижує ймовірність виявлення та втручання, погіршує здатність жертви отримувати компенсаційну самореференцію і посилює відчуття односторонньої залежності. Травматичні наслідки цих образливих відносин можуть включати погіршення здатності жертви до точної самооцінки, що призводить до відчуття особистої неадекватності і підпорядкованого почуття залежності від домінуючої людини. Жертви також можуть зіткнутися з багатьма неприємними соціальними та правовими наслідками своєї емоційної та поведінкової приналежності до того, хто вчинив агресивні дії, навіть якщо вони самі були одержувачами агресії.

Військова психологія

Людські істоти мають вроджений опір вбивствам і неохоче діють прямим, агресивним шляхом до членів своїх власних видів, навіть щоб врятувати життя. Цей опір вбивства викликав дивовижну неефективність піхоти протягом всієї історії військової війни.

Це явище не було зрозуміло до тих пір, поки Семюел Маршалл (бригадний генерал і військовий історик) не провів інтерв'ю з піхотою Другої світової війни відразу після бойових дій. Відома і суперечлива книга Маршалла «Чоловіки проти вогню» показала, що лише 15 % солдат стріляли з рушниць з метою вбивства в бою. Після прийняття дослідження Маршалла армією США в 1946 році, Служба досліджень людських ресурсів армії США почала впроваджувати нові протоколи навчання, які нагадують методи керування оперантами. Подальші застосування таких методів збільшили відсоток солдат, здатних вбивати, до 50 % в Кореї і більше 90 % у В'єтнамі. Революції в тренуванні включали заміну традиційних спливаючих діапазонів стрільби тривимірними, людиноподібними, спливаючими цілями, які впали під час удару. Це забезпечило негайний зворотній зв'язок і позитивно посилило поведінку солдата. Інші вдосконалення методів військової підготовки включали в себе терміни стрільби з вибухонебезпеки; більш реалістичне навчання; високі повтори; похвала від начальства; нагородження за стрільбу; та групове розпізнавання. Негативне підкріплення включає підзвітність однолітків або вимогу відновити курси. Сучасні військові навчальні умови відповідають реакції середнього мозку на боротьбу з тиском шляхом близького моделювання фактичної боротьби, використовуючи переважно Павловський Умовний рефлекс і теорією оперантного навчання Скіннера (обидві форми біхевіоризму).

Сучасний тренінг по настільній стрільбі є настільки чудовим прикладом біхевіоризму, що він використовувався протягом багатьох років у вступному курсі психології, що викладався у всіх курсантів у Військовій академії США у Вест-Пойнті як класичний приклад оперантного кондиціонування. У 1980-х роках, під час візиту в Вест-Пойнт, Б. Ф. Скіннер визначив сучасне військове навчання стрільби як практично досконале застосування оперантного кондиціонування.

Підполковник Дейв Гроссман стверджує, що оперантне обумовлення та військова підготовка США:

Цілком можливо, що ніхто навмисно не сідав, щоб скористатися методами кондиціонування або модифікації поведінки для підготовки солдатів у цій місцевості… Але з точки зору психолога, який також є істориком і військовослужбовцем у кар'єрі, мені стає все більш очевидним це саме те, що було досягнуто.

У своїй книзі «Про вбивство: психологічна вартість навчання вбити війну і суспільство» Гроссман розглядає основні фактори, що впливають на окремі акти агресії:

• Стенлі Мілгрема (США соціального психолог) Killing факторів: включаємо в себе т він вимагає від влади, груп вибачення, і відстані від жертви (включаючи емоційне або психологічне дистанціювання).
• Бен Шаліт (ізраїльський військовий психолог) Фактори: Психологія конфліктів і боротьби з Шалітом враховує тактичні обставини, такі як наявні стратегії, загроза вбивці і виграш вбивці з точки зору особистої вигоди та втрати ворога.
• Схильність вбивці: включає природну схильність, тренування, обумовлення і недавні переживання солдата.

Психологічне дистанціювання включає фізичну відстань, дегуманізацію противника (у тому числі через пропаганду) і безособове використання таких технологій, як нічне бачення, безпілотні літальні апарати і авіаудари. Сучасні методики обумовлення мали паралельний вплив на показники стрільби правоохоронних органів.

Відеоігри

Більшість відеоігор розроблені навколо циклу примусу, додаючи тип позитивного підкріплення за допомогою графіка змінної швидкості, щоб утримувати гравця від гри. Це може призвести до патології відео-ігор.

Як частина тенденції монетизації відеоігор протягом 2010-х років, деякі ігри пропонували коробки грабувати як нагороди або як предмети, які можна придбати за рахунок реальних світових фондів. Коробки містять випадковий вибір ігрових предметів. Практика була прив'язана до тих самих методів, якими ігрові автомати та інші пристрої грального бізнесу розраховуються за винагороду, оскільки вона має графік із змінною ставкою. Хоча загальне уявлення про те, що коробки для видобутку є однією з форм азартних ігор, практика лише класифікується як така в декількох країнах. Однак методи використання цих елементів як віртуальної валюти^[en] для онлайн-азартних ігор або торгівлі за реальні гроші створили ринок азартних ігор для шкіри, що підлягає юридичній оцінці.

Культура страху на робочому місці

Ашфорт обговорив потенційно деструктивні сторони лідерства і визначив те, що він називав дрібними тиранами^[en]: лідери, які здійснюють тиранічний стиль управління, в результаті чого клімат страху на робочому місці. Часткове або переривчасте негативне підкріплення^[en]] може створити ефективний клімат страху і сумнівів. Коли працівники відчувають, що хулігани терпимо, результат клімату страху може бути.

Індивідуальні відмінності в чутливості до винагороди, покарання^[en] та мотивації вивчалися в рамках теорії чутливості до підкріплення і також застосовувалися до роботи на робочому місці.

Однією з численних причин, що пропонується для значних витрат, пов'язаних з охороною здоров'я, є практика оборонної медицини. Прабху розглядає статтю Коула і обговорює, як відповіді двох груп нейрохірургів є класичним оперантом. Одна група практикує в державі з обмеженнями на медичні позови, а інша група без обмежень. Група нейрохірургів запитувалася анонімно на їхній практиці. Лікарі змінили свою практику у відповідь на негативний відгук (страх від судового позову) в групі, яка практикувалася в державі без обмежень на медичні позови.

Список літератури

1. Jenkins, H. M. «Animal Learning and Behavior Theory» Ch. 5 in Hearst, E. «The First Century of Experimental Psychology» Hillsdale N. J., Earlbaum, 1979
2. Thorndike, E.L. (1901). Animal intelligence: An experimental study of the associative processes in animals. Psychological Review Monograph Supplement 2: 1–109. 
3. Miltenberger, R. G. «Behavioral Modification: Principles and Procedures». Thomson/Wadsworth, 2008. p. 9.
4. Miltenberger, R. G., & Crosland, K. A. (2014). Parenting. The wiley blackwell handbook of operant and classical conditioning. (pp. 509—531) Wiley-Blackwell. DOI:10.1002/9781118468135.ch20
5. Skinner, B. F. «The Behavior of Organisms: An Experimental Analysis», 1938 New York: Appleton-Century-Crofts
6. Schacter, Daniel L., Daniel T. Gilbert, and Daniel M. Wegner. «B. F. Skinner: The role of reinforcement and Punishment», subsection in: Psychology; Second Edition. New York: Worth, Incorporated, 2011, 278—288.
7. Ferster, C. B. & Skinner, B. F. «Schedules of Reinforcement», 1957 New York: Appleton-Century-Crofts
8. Mecca Chiesa (2004) Radical Behaviorism: The philosophy and the science
9. Skinner, B. F. «Science and Human Behavior», 1953. New York: MacMillan
10. Skinner, B.F. (1948). Walden Two. Indianapolis: Hackett
11. Skinner, B. F. «Verbal Behavior», 1957. New York: Appleton-Century-Crofts
12. Schacter et al.2011 Psychology 2nd ed. pg.280–284 Reference for entire section Principles version 130317
13. Miltenberger, R. G. «Behavioral Modification: Principles and Procedures». Thomson/Wadsworth, 2008. p. 84.
14. Miltenberger, R. G. «Behavioral Modification: Principles and Procedures». Thomson/Wadsworth, 2008. p. 86.
15. Pierce & Cheney (2004) Behavior Analysis and Learning
16. «Activity of pallidal neurons during movement», M.R. DeLong, J. Neurophysiol., 34:414–27, 1971
17. Richardson RT, DeLong MR (1991): Electrophysiological studies of the function of the nucleus basalis in primates. In Napier TC, Kalivas P, Hamin I (eds), The Basal Forebrain: Anatomy to Function (Advances in Experimental Medicine and Biology, vol. 295. New York, Plenum, pp. 232—252
18. Dillenburger, K.; Keenan, M. (2009). None of the As in ABA stand for autism: dispelling the myths. J Intellect Dev Disabil 34 (2): 193–95. PMID 19404840. doi:10.1080/13668250902845244. 
19. DeVries, J.E.; Burnette, M.M.; Redmon, W.K. (1991). AIDS prevention: Improving nurses' compliance with glove wearing through performance feedback. Journal of Applied Behavior Analysis 24 (4): 705–11. PMC 1279627. PMID 1797773. doi:10.1901/jaba.1991.24-705. 
20. Brothers, K.J.; Krantz, P.J.; McClannahan, L.E. (1994). Office paper recycling: A function of container proximity. Journal of Applied Behavior Analysis 27 (1): 153–60. PMC 1297784. PMID 16795821. doi:10.1901/jaba.1994.27-153. 
21. Dardig, Jill C.; Heward, William L.; Heron, Timothy E.; Nancy A. Neef; Peterson, Stephanie; Diane M. Sainato; Cartledge, Gwendolyn; Gardner, Ralph; Peterson, Lloyd R.; Susan B. Hersh (2005). Focus on behavior analysis in education: achievements, challenges, and opportunities. Upper Saddle River, NJ: Pearson/Merrill/Prentice Hall. ISBN 978-0-13-111339-8. 
22. Gallagher, S.M.; Keenan M. (2000). Independent use of activity materials by the elderly in a residential setting. Journal of Applied Behavior Analysis 33 (3): 325–28. PMC 1284256. PMID 11051575. doi:10.1901/jaba.2000.33-325. 
23. De Luca, R.V.; Holborn, S.W. (1992). Effects of a variable-ratio reinforcement schedule with changing criteria on exercise in obese and nonobese boys. Journal of Applied Behavior Analysis 25 (3): 671–79. PMC 1279749. PMID 1429319. doi:10.1901/jaba.1992.25-671. 
24. Fox, D.K.; Hopkins, B.L.; Anger, W.K. (1987). The long-term effects of a token economy on safety performance in open-pit mining. Journal of Applied Behavior Analysis 20 (3): 215–24. PMC 1286011. PMID 3667473. doi:10.1901/jaba.1987.20-215. 
25. Drasgow, E.; Halle, J.W.; Ostrosky, M.M. (1998). Effects of differential reinforcement on the generalization of a replacement mand in three children with severe language delays. Journal of Applied Behavior Analysis 31 (3): 357–74. PMC 1284128. PMID 9757580. doi:10.1901/jaba.1998.31-357. 
26. Powers, R.B.; Osborne, J.G.; Anderson, E.G. (1973). Positive reinforcement of litter removal in the natural environment. Journal of Applied Behavior Analysis 6 (4): 579–86. PMC 1310876. PMID 16795442. doi:10.1901/jaba.1973.6-579. 
27. Hagopian, L.P.; Thompson, R.H. (1999). Reinforcement of compliance with respiratory treatment in a child with cystic fibrosis. Journal of Applied Behavior Analysis 32 (2): 233–36. PMC 1284184. PMID 10396778. doi:10.1901/jaba.1999.32-233. 
28. Kuhn, S.A.C.; Lerman, D.C.; Vorndran, C.M. (2003). Pyramidal training for families of children with problem behavior. Journal of Applied Behavior Analysis 36 (1): 77–88. PMC 1284418. PMID 12723868. doi:10.1901/jaba.2003.36-77. 
29. Van Houten, R.; Malenfant, J.E.L.; Austin, J.; Lebbon, A. (2005). The effects of a seatbelt-gearshift delay prompt on the seatbelt use of motorists who do not regularly wear seatbelts. У Vollmer, Timothy. Journal of Applied Behavior Analysis 38 (2): 195–203. PMC 1226155. PMID 16033166. doi:10.1901/jaba.2005.48-04. 
30. Wong, S.E.; Martinez-Diaz, J.A.; Massel, H.K.; Edelstein, B.A.; Wiegand, W.; Bowen, L.; Liberman, R.P. (1993). Conversational skills training with schizophrenic inpatients: A study of generalization across settings and conversants. Behavior Therapy 24 (2): 285–304. doi:10.1016/S0005-7894(05)80270-9. 
31. Brobst, B.; Ward, P. (2002). Effects of public posting, goal setting, and oral feedback on the skills of female soccer players. Journal of Applied Behavior Analysis 35 (3): 247–57. PMC 1284383. PMID 12365738. doi:10.1901/jaba.2002.35-247. 
32. Forthman, D.L.; Ogden, J.J. (1992). The role of applied behavior analysis in zoo management: Today and tomorrow. Journal of Applied Behavior Analysis 25 (3): 647–52. PMC 1279745. PMID 16795790. doi:10.1901/jaba.1992.25-647. 
33. Reinforcement principles for addiction medicine; from recreational drug use to psychiatric disorder. Prog. Brain Res. 223: 63–76. 2016. PMID 26806771. doi:10.1016/bs.pbr.2015.07.005. «Abused substances (ranging from alcohol to psychostimulants) are initially ingested at regular occasions according to their positive reinforcing properties. Importantly, repeated exposure to rewarding substances sets off a chain of secondary reinforcing events, whereby cues and contexts associated with drug use may themselves become reinforcing and thereby contribute to the continued use and possible abuse of the substance(s) of choice. ...
    An important dimension of reinforcement highly relevant to the addiction process (and particularly relapse) is secondary reinforcement (Stewart, 1992). Secondary reinforcers (in many cases also considered conditioned reinforcers) likely drive the majority of reinforcement processes in humans. In the specific case of drug [addiction], cues and contexts that are intimately and repeatedly associated with drug use will often themselves become reinforcing ... A fundamental piece of Robinson and Berridge's incentive-sensitization theory of addiction posits that the incentive value or attractive nature of such secondary reinforcement processes, in addition to the primary reinforcers themselves, may persist and even become sensitized over time in league with the development of drug addiction (Robinson and Berridge, 1993). ...
    Negative reinforcement is a special condition associated with a strengthening of behavioral responses that terminate some ongoing (presumably aversive) stimulus. In this case we can define a negative reinforcer as a motivational stimulus that strengthens such an “escape” response. Historically, in relation to drug addiction, this phenomenon has been consistently observed in humans whereby drugs of abuse are self-administered to quench a motivational need in the state of withdrawal (Wikler, 1952).»  Проігноровано невідомий параметр |vauthors= (довідка)
34. From prediction error to incentive salience: mesolimbic computation of reward motivation. Eur. J. Neurosci. 35 (7): 1124–1143. April 2012. PMC 3325516. PMID 22487042. doi:10.1111/j.1460-9568.2012.07990.x. «When a Pavlovian CS+ is attributed with incentive salience it not only triggers ‘wanting’ for its UCS, but often the cue itself becomes highly attractive – even to an irrational degree. This cue attraction is another signature feature of incentive salience. The CS becomes hard not to look at (Wiers & Stacy, 2006; Hickey et al., 2010a; Piech et al., 2010; Anderson et al., 2011). The CS even takes on some incentive properties similar to its UCS. An attractive CS often elicits behavioral motivated approach, and sometimes an individual may even attempt to ‘consume’ the CS somewhat as its UCS (e.g., eat, drink, smoke, have sex with, take as drug). ‘Wanting’ of a CS can turn also turn the formerly neutral stimulus into an instrumental conditioned reinforcer, so that an individual will work to obtain the cue (however, there exist alternative psychological mechanisms for conditioned reinforcement too).»  Проігноровано невідомий параметр |vauthors= (довідка)
35. Pleasure systems in the brain. Neuron 86 (3): 646–664. May 2015. PMC 4425246. PMID 25950633. doi:10.1016/j.neuron.2015.02.018. «An important goal in future for addiction neuroscience is to understand how intense motivation becomes narrowly focused on a particular target. Addiction has been suggested to be partly due to excessive incentive salience produced by sensitized or hyper-reactive dopamine systems that produce intense ‘wanting’ (Robinson and Berridge, 1993). But why one target becomes more ‘wanted’ than all others has not been fully explained. In addicts or agonist-stimulated patients, the repetition of dopamine-stimulation of incentive salience becomes attributed to particular individualized pursuits, such as taking the addictive drug or the particular compulsions. In Pavlovian reward situations, some cues for reward become more ‘wanted’ more than others as powerful motivational magnets, in ways that differ across individuals (Robinson et al., 2014b; Saunders and Robinson, 2013). ... However, hedonic effects might well change over time. As a drug was taken repeatedly, mesolimbic dopaminergic sensitization could consequently occur in susceptible individuals to amplify ‘wanting’ (Leyton and Vezina, 2013; Lodge and Grace, 2011; Wolf and Ferrario, 2010), even if opioid hedonic mechanisms underwent down-regulation due to continual drug stimulation, producing ‘liking’ tolerance. Incentive-sensitization would produce addiction, by selectively magnifying cue-triggered ‘wanting’ to take the drug again, and so powerfully cause motivation even if the drug became less pleasant (Robinson and Berridge, 1993).»  Проігноровано невідомий параметр |vauthors= (довідка)
36. McGreevy, P & Boakes, R."Carrots and Sticks: Principles of Animal Training".(Sydney: «Sydney University Press»., 2011)
37. . Animal training basics. Seaworld parks. Архів оригіналу за 1 грудня 2017. Процитовано 4 квітня 2020. 
38. Kazdin AE (2010). Problem-solving skills training and parent management training for oppositional defiant disorder and conduct disorder. Evidence-based psychotherapies for children and adolescents (2nd ed.), 211—226. New York: Guilford Press.
39. Forgatch MS, Patterson GR (2010). Parent management training — Oregon model: An intervention for antisocial behavior in children and adolescents. Evidence-based psychotherapies for children and adolescents (2nd ed.), 159–78. New York: Guilford Press.
40. Domjan, M. (2009). The Principles of Learning and Behavior. Wadsworth Publishing Company. 6th Edition. pages 244—249.
41. Bleda, Miguel Ángel Pérez; Nieto, José Héctor Lozano (2012). Impulsivity, Intelligence, and Discriminating Reinforcement Contingencies in a Fixed-Ratio 3 Schedule. The Spanish Journal of Psychology 3 (15): 922–929. 
42. Kazdin, Alan (1978). History of behavior modification: Experimental foundations of contemporary research. Baltimore: University Park Press. 
43. Strain, Phillip S.; Lambert, Deborah L.; Kerr, Mary Margaret; Stagg, Vaughan; Lenkner, Donna A. (1983). Naturalistic assessment of children's compliance to teachers' requests and consequences for compliance. Journal of Applied Behavior Analysis 16 (2): 243–249. PMC 1307879. doi:10.1901/jaba.1983.16-243. 
44. Garland, Ann F.; Hawley, Kristin M.; Brookman-Frazee, Lauren; Hurlburt, Michael S. (May 2008). Identifying Common Elements of Evidence-Based Psychosocial Treatments for Children's Disruptive Behavior Problems. Journal of the American Academy of Child & Adolescent Psychiatry 47 (5): 505–514. doi:10.1097/CHI.0b013e31816765c2. 
45. Crowell, Charles R.; Anderson, D. Chris; Abel, Dawn M.; Sergio, Joseph P. (1988). Task clarification, performance feedback, and social praise: Procedures for improving the customer service of bank tellers. Journal of Applied Behavior Analysis 21 (1): 65–71. PMC 1286094. PMID 16795713. doi:10.1901/jaba.1988.21-65. 
46. Kazdin, Alan E. (1973). The effect of vicarious reinforcement on attentive behavior in the classroom. Journal of Applied Behavior Analysis 6 (1): 71–78. PMC 1310808. doi:10.1901/jaba.1973.6-71. 
47. Brophy, Jere (1981). On praising effectively. The Elementary School Journal 81 (5). JSTOR 1001606. 
48. Simonsen, Brandi; Fairbanks, Sarah; Briesch, Amy; Myers, Diane; Sugai, George (2008). Evidence-based Practices in Classroom Management: Considerations for Research to Practice. Education and Treatment of Children 31 (1): 351–380. doi:10.1353/etc.0.0007. 
49. Weisz, John R.; Kazdin, Alan E. (2010). Evidence-based psychotherapies for children and adolescents. Guilford Press. 
50. Braiker, Harriet B. (2004). Who's Pulling Your Strings ? How to Break The Cycle of Manipulation. ISBN 0-07-144672-9. 
51. Dutton; Painter (1981). Traumatic Bonding: The development of emotional attachments in battered women and other relationships of intermittent abuse. Victimology: An International Journal (7). 
52. Chrissie Sanderson. Counselling Survivors of Domestic Abuse. Jessica Kingsley Publishers; 15 June 2008. ISBN 978-1-84642-811-1. p. 84.
53. http://www.encyclopedia.com/social-sciences/applied-and-social-sciences-magazines/traumatic-bonding
54. Grossman, Dave (1995). On Killing: the Psychological Cost of Learning to Kill in War and Society. Boston: Little Brown. ISBN 978-0316040938. 
55. Marshall, S.L.A. (1947). Men Against Fire: the Problem of Battle Command in Future War. Washington: Infantry Journal. ISBN 978-0-8061-3280-8. 
56. Murray, K.A., Grossman, D., & Kentridge, R.W. (21 жовтня 2018). Behavioral Psychology. https://www.killology.com/behavioral-psychology. 
57. Shalit, Ben (1998). The Psychology of Conflict and Combat. New York: Praeger. ISBN 978-0275927530. 
58. John Hopson: Behavioral Game Design, Gamasutra, 27 April 2001
59. Hood, Vic (12 жовтня 2017). Are loot boxes gambling?. Eurogamer. Процитовано 12 жовтня 2017. 
60. Petty tyranny in organizations, Ashforth, Blake, Human Relations, Vol. 47, No. 7, 755—778 (1994)
61. Helge H, Sheehan MJ, Cooper CL, Einarsen S «Organisational Effects of Workplace Bullying» in Bullying and Harassment in the Workplace: Developments in Theory, Research, and Practice (2010)
62. Operant Conditioning and the Practice of Defensive Medicine. Vikram C. Prabhu World Neurosurgery, 2016-07-01, Volume 91, Pages 603—605

Посилання

• Стаття операційного обумовлення в Scholarpedia
• scienceofbehavior.com