www.wikidata.uk-ua.nina.az

Кореляція Ця стаття про кореляцію та залежність у статистичних даних Про інші значення див значення Сюди перенаправляєть

Кореляція

Ця стаття про кореляцію та залежність у статистичних даних. Про інші значення див. Кореляція (значення).
Сюди перенаправляється запит «Коефіцієнт кореляції». На цю тему потрібна окрема стаття.

У статистиці кореля́ція (англ. correlation) або зале́жність (англ. dependence) — це будь-який статистичний взаємозв'язок, причинний чи ні, між двома випадковими змінними або двовимірними даними[en]. У найширшому сенсі кореля́ція — це будь-яка статистична пов'язаність, хоча насправді вона стосується ступеню лінійності взаємозв'язку пари змінних. До добре відомих прикладів залежних явищ належать кореляція між зростом батьків та їхніх нащадків, а також кореляція між ціною товару та кількістю, яку споживачі готові придбати, як це зображено на так званій кривій попиту.

Декілька наборів точок (x, y), з коефіцієнтами кореляції Пірсона x та y для кожного набору. Кореляція відображає зашумленість і напрямок лінійного взаємозв'язку (верхній ряд), але ані нахил цього взаємозв'язку (середній), ані багато аспектів нелінійних взаємозв'язків (нижній). Примітка: фігура в центрі має нахил 0, але в цьому випадку коефіцієнт кореляції невизначений, оскільки дисперсія Y дорівнює нулеві.

Кореляції корисні, бо вони можуть вказувати на передбачальний зв'язок, який можливо використовувати на практиці. Наприклад, енергогенерувальна компанія може виробляти менше електроенергії в день з помірною погодою на основі кореляції між попитом на електроенергію та погодою. У цьому прикладі існує причинно-наслідковий зв'язок, оскільки екстремальна погода змушує людей використовувати більше електроенергії для опалення чи кондиціювання. Проте в загальному випадку, щоби зробити висновок про наявність причинно-наслідкового зв'язку, наявності кореляції недостатньо (тобто, кореляція не означає спричинювання).

Формально випадкові величини є залежними, якщо вони не задовольняють математичній властивості ймовірнісної незалежності. Неформальною мовою кореляція є синонімом залежності. Проте при використанні в технічному сенсі кореляція означає будь-яку з декількох конкретних типів математичних операцій між випробуваними змінними та їхніми відповідними математичними сподіваннями. По суті, кореляція — це міра того, як дві чи більше змінні пов'язані одна з одною. Існує декілька коефіцієнтів кореляції, часто позначуваних через або , які вимірюють ступінь кореляції. Найпоширеніший з них — коефіцієнт кореляції Пірсона, чутливий лише до лінійного взаємозв'язку між двома змінними (який може мати місце, навіть якщо одна змінна є нелінійною функцією іншої). Інші коефіцієнти кореляції — наприклад, рангову кореляцію Спірмена, — було розроблено для більшої робастності, ніж в пірсонового, тобто більшої чутливості до нелінійних взаємозв'язків. Для вимірювання взаємозалежності двох змінних також можливо застосовувати взаємну інформацію.

Коефіцієнт кореляції Пірсона Редагувати

Приклади діаграм розсіювання різних наборів даних з різними коефіцієнтами кореляції.

Визначення Редагувати

Найбільш загальновідомою мірою залежності між двома величинами є коефіцієнт кореляції Пірсона (англ. Pearson product-moment correlation coefficient, PPMCC, або англ. Pearson's correlation coefficient), який зазвичай називають просто «коефіцієнт кореляції» (англ. the correlation coefficient). Його отримують взяттям відношення коваріації двох розгляданих змінних нашого чисельного набору даних, унормованої квадратним коренем їхніх дисперсій. Математично, коваріацію цих двох змінних просто ділять на добуток їхніх стандартних відхилень. Карл Пірсон розробив цей коефіцієнт на основі подібної, але дещо відмінної ідеї Френсіса Гальтона.

Коефіцієнт кореляції Пірсона намагається встановити лінію, яка найкраще допасовується до набору даних із двох змінних, по суті викладаючи очікувані значення, а отриманий коефіцієнт кореляції Пірсона вказує, наскільки далеким від очікуваних значень є фактичний набір даних. Залежно від знаку нашого коефіцієнта кореляції Пірсона ми можемо отримати як від'ємну, так і додатну кореляцію, якщо якийсь зв'язок між змінними нашого набору даних існує.

Генеральний коефіцієнт кореляції (англ. population correlation coefficient) між двома випадковими змінними та з математичними сподіваннями та та стандартними відхиленнями та визначають як

де  — оператор математичного сподівання, означає коваріацію, а  — широко вживане альтернативне позначення коефіцієнту кореляції. Кореляція Пірсона визначається лише в тому випадку, якщо обидва стандартні відхилення є скінченними й додатними. Альтернативною формулою чисто в термінах моментів є

Властивість симетричності Редагувати

Коефіцієнт кореляції симетричний: . Це підтверджується властивістю комутативності множення.

Кореляція як добуток Редагувати

Нехай випадкові змінні та мають стандартні відхилення та . Тоді

Кореляція та незалежність Редагувати

Наслідком нерівності Коші — Буняковського є те, що модуль коефіцієнта кореляції Пірсона не перевищує 1. Таким чином, значення коефіцієнта кореляції лежать у проміжку від −1 до +1. Коефіцієнт кореляції дорівнює +1 у випадку ідеального прямого (висхідного) лінійного взаємозв'язку (кореляції), −1 у випадку ідеального зворотного (спадного) лінійного взаємозв'язку (антикореля́ція, англ. anti-correlation), і деякому значенню в інтервалі у всіх інших випадках, показуючи ступінь лінійної залежності між змінними. У міру його наближення до нуля взаємозв'язок послаблюється (ближче до некорельованих). Що ближчий цей коефіцієнт до −1 чи 1, то сильніша кореляція між змінними.

Якщо змінні незалежні, то коефіцієнт кореляції Пірсона дорівнює 0, але зворотне не істинне, оскільки коефіцієнт кореляції виявляє лише лінійні залежності між двома змінними.

Наприклад, припустімо, що випадкова величина симетрично розподілена навколо нуля, а . Тоді цілком визначено через , тож та цілком залежні, але

Їхня кореляція дорівнює нулеві: вони некорельовані[en]. Тут залежність між і нелінійна, тоді як кореляція і коваріація вимірюють лінійну залежність між двома випадковими змінними. Проте в особливому випадку, коли та спільно нормальні[en], некорельованість рівнозначна незалежності.

Незважаючи на те, що некорельованість даних не обов'язково означає незалежність, можливо пересвідчуватися, що випадкові величини незалежні, якщо їхня взаємна інформація дорівнює 0.

Ви́бірковий коефіцієнт кореляції Редагувати

За заданого ряду з вимірів пари , пронумерованих за , для оцінювання генеральної кореляції Пірсона між та можливо використовувати ви́бірковий коефіцієнт кореляції (англ. sample correlation coefficient). Цей вибірковий коефіцієнт кореляції визначають як

де та  — вибіркові середні значення та , а та  — скориговані вибіркові стандартні відхилення та .

Еквівалентними виразами для є

де та  — нескориговані вибіркові стандартні відхилення та .

Якщо та  — результати вимірювань, що містять похибку вимірювання, то реалістичні межі коефіцієнта кореляції становлять не від −1 до +1, а менший проміжок. Для випадку лінійної моделі з єдиною незалежною змінною коефіцієнтом детермінації (R-квадрат) є квадрат , коефіцієнту кореляції Пірсона.

Приклад Редагувати

Розгляньмо спільний розподіл імовірності X та Y, наведений у таблиці нижче.

Відособлені розподіли для цього спільного розподілу:

Це дає наступні математичні сподівання та дисперсії:

Отже,

Коефіцієнти рангової кореляції Редагувати

Коефіцієнти рангової кореляції, такі як коефіцієнт рангової кореляції Спірмена та коефіцієнт рангової кореляції Кендалла (τ), вимірюють, до якої міри в разі збільшення однієї змінної інша змінна схильна збільшуватися, не вимагаючи, щоби це збільшення було подано лінійною залежністю. Якщо за збільшення однієї змінної інша зменшується, то коефіцієнти рангової кореляції будуть від'ємними. Ці коефіцієнти рангової кореляції часто розглядають як альтернативи коефіцієнту Пірсона, які використовують або для зменшення кількості обчислень, або для того, щоби зробити коефіцієнт менш чутливим до не нормальності в розподілах. Проте ця точка зору має мало математичних підстав, оскільки коефіцієнти рангової кореляції вимірюють інший тип зв'язку, ніж коефіцієнт кореляції Пірсона, і їх найкраще розглядати як показники іншого типу зв'язку, а не як альтернативну міру генерального коефіцієнту кореляції.

Щоби унаочнити природу рангової кореляції та її відмінність від лінійної кореляції, розгляньмо наступні чотири пари чисел :

В міру просування від кожної пари до наступної збільшується, й те саме робить . Цей взаємозв'язок ідеальний, у тому сенсі, що збільшення в завжди супроводжується збільшенням в . Це означає, що ми маємо ідеальну рангову кореляцію, й обидва коефіцієнти кореляції Спірмена та Кендалла дорівнюють 1, тоді як у цьому прикладі коефіцієнт кореляції Пірсона дорівнює 0,7544, вказуючи на те, що точки далеко не лежать на одній прямій. Так само, якщо завжди зменшується, коли збільшується, коефіцієнти рангової кореляції становитимуть −1, тоді як коефіцієнт кореляції Пірсона може бути або не бути близьким до −1, залежно від того, наскільки близько до прямої лінії розташовані ці точки. Хоча в граничних випадках ідеальної рангової кореляції ці два коефіцієнти рівні (чи то обидва +1, чи обидва −1), зазвичай це не так, і тому значення цих двох коефіцієнтів неможливо порівнювати змістовно. Наприклад, для трьох пар (1, 1) (2, 3) (3, 2) коефіцієнт Спірмена дорівнює 1/2, а коефіцієнт Кендалла дорівнює 1/3.

Інші міри залежності між випадковими величинами Редагувати

Див. також: Коефіцієнт кореляції Пірсона § Варіанти[en]

Інформації, яку надає коефіцієнт кореляції, недостатньо для визначення структури залежності між випадковими величинами. Коефіцієнт кореляції повністю визначає структуру залежності лише в дуже окремих випадках, наприклад, коли розподіл є багатовимірним нормальним розподілом (див. рисунок вище.) У випадку еліптичних розподілів він характеризує (гіпер-)еліпси рівної густини, проте він не повністю характеризує структуру залежності (наприклад, ступені вільності багатовимірного t-розподілу[en] визначають рівень хвостової залежності).

Для подолання того недоліку кореляції Пірсона, що вона може бути нульовою для залежних змінних, було запропоновано кореляцію по віддалі[en] (англ. distance correlation), нульова кореляція по віддалі означає незалежність.

Рандомізований коефіцієнт залежності (РКЗ, англ. Randomized Dependence Coefficient, RDC) — це обчислювально ефективна міра залежності між багатовимірними випадковими величинами на основі копул. РКЗ інваріантний щодо нелінійного масштабування випадкових змінних, здатний виявляти широкий спектр моделей функціональних асоціацій, і набуває нульового значення при незалежності.

Для двох двійкових змінних відношення шансів[en] вимірює їхню залежність і набуває діапазону невід'ємних чисел, потенційно нескінченних:. Схожі статистики, такі як Y Юла[en] та Q Юла[en], унормовують його до подібного на кореляцію проміжку . Відношення шансів узагальнено логістичною моделлю для моделювання випадків, коли залежні змінні є дискретними, й може бути одна або декілька незалежних змінних.

Кореляційне відношення[en], взаємна інформація на основі ентропії, повна кореляція[en], двоїста повна кореляція[en] та поліхорна кореляція[en] також здатні виявляти загальніші залежності, як і розгляд копули між ними, тоді як коефіцієнт детермінації узагальнює коефіцієнт кореляції до множинної регресії[en].

Чутливість до розподілу даних Редагувати

Докладніше: Коефіцієнт кореляції Пірсона § Чутливість до розподілу даних[en]

Ступінь залежності між змінними X та Y не залежить від масштабу, в якому виражено ці змінні. Тобто, якщо ми аналізуємо взаємозв'язок між X та Y, перетворення X на a + bX й Y на c + dY, де a, b, c та d є сталими (b та d додатні), на більшість мір кореляції не впливає. Це стосується деяких кореляційних статистик, а також їхніх генеральних аналогів. Деякі кореляційні статистики, такі як коефіцієнт рангової кореляції, також є інваріантними до монотонних перетворень відособлених розподілів X та/або Y.

Коефіцієнти кореляції Пірсона/Спірмена між X та Y, відображені, коли діапазони двох змінних не обмежено, та коли діапазон X обмежено інтервалом (0,1).

Більшість мір кореляції чутливі до способу вибирання X та Y. Залежності, як правило, сильніші, якщо розглядати їх на ширшому діапазоні значень. Таким чином, якщо ми розглянемо коефіцієнт кореляції між зростом батьків та їхніх синів над усіма дорослими чоловіками, та порівняємо його з тим же коефіцієнтом кореляції, розрахованим, коли вибрано батьків зростом від 165 см до 170 см, то в останньому випадку кореляція буде слабшою. Було розроблено кілька методик, які намагаються виправляти обмеження діапазону в одній або обох змінних, і які зазвичай використовують в метааналізі; найпоширенішими є рівняння Торндайка другого та третього випадків.

Деякі використовувані міри кореляції можуть бути невизначеними для певних спільних розподілів X та Y. Наприклад, коефіцієнт кореляції Пірсона визначено в термінах моментів, і, отже, буде не визначено, якщо не визначено моменти. Завжди визначено міри залежності, які ґрунтуються на квантилях. Статистики на основі вибірки, призначені оцінювати генеральні міри залежності, можуть мати або не мати бажаних статистичних властивостей, наприклад бути незміщеними та асимптотично слушними, залежно від просторової структури сукупності, з якої було вибрано дані.

Чутливість до розподілу даних можливо використовувати як перевагу. Наприклад, масштабну кореляцію[en] розроблено так, щоби використовувати чутливість до діапазону задля вихоплювання кореляції між швидкими складовими часових рядів. Шляхом контрольованого зменшення діапазону значення кореляції на довгому часовому масштабі відфільтровуються, й виявляються лише кореляції на коротких часових масштабах.

Кореляційні матриці Редагувати

Кореляційна матриця випадкових змінних  — це матриця , чиїм елементом є . Таким чином, всі її діагональні елементи є однаково одиничними. Якщо всі використовувані міри кореляції є коефіцієнтами кореляції Пірсона, то кореляційна матриця така же, як і коваріаційна матриця стандартизованих випадкових змінних[en] для . Це стосується як генеральної кореляційної матриці (у цьому випадку  — генеральне стандартне відхилення), так і ви́біркової кореляційної матриці (у цьому випадку позначує вибіркове стандартне відхилення). Отже, кожна з них обов'язково є додатно напіввизначеною матрицею. Більше того, кореляційна матриця є строго додатно визначеною, якщо жодна змінна не може мати всі свої значення точно породженими як лінійна функція значень інших.

Кореляційна матриця симетрична, оскільки кореляція між та це те саме, що й кореляція між та .

Кореляційна матриця з'являється, наприклад, в одній формулі для коефіцієнта множинної детермінації[en], міри допасованості у множинній регресії[en].

У статистичному моделюванні кореляційні матриці, що подають зв'язки між змінними, категоризують до різних кореляційних структур, які розрізнюють за такими чинниками як кількість параметрів, необхідних для їхнього оцінювання. Наприклад, у взаємозамінній[en] кореляційній матриці всі пари змінних змодельовано як такі, що мають однакову кореляцію, так що все недіагональні елементи матриці дорівнюють один одному. З іншого боку, авторегресійну матрицю часто використовують, коли змінні подають часовий ряд, оскільки кореляції, ймовірно, будуть більшими, коли вимірювання ближчі в часі. До інших прикладів належать незалежні, неструктуровані, M-залежні матриці, та матриці Тепліца.

В розвідувальному аналізі даних іконографія кореляцій[en] полягає в заміні кореляційної матриці діаграмою, де «визначні» кореляції подають суцільною лінією (додатна кореляція), або пунктирною лінією (від'ємна кореляція).

Найближча чинна кореляційна матриця Редагувати

У деяких застосуваннях (наприклад, побудові моделей даних з лише частково спостережуваних даних) потрібно знаходити «найближчу» кореляційну матрицю до «приблизної» кореляційної матриці (наприклад, матриці, якій зазвичай бракує напіввизначеної додатності через те, яким чином її було обчислено).

2002 року Хаєм формалізував поняття близькості за допомогою норми Фробеніуса та запропонував метод обчислення найближчої кореляційної матриці за допомогою проєкційного алгоритму Дикстри[en], втілення якого доступне як інтерактивний вебППІ[en].

Це викликало інтерес до даного предмета, з отриманими в наступні роки новими теоретичними (наприклад, обчислення найближчої кореляційної матриці з факторною структурою) та чисельними (наприклад, використання методу Ньютона для обчислення найближчої кореляційної матриці) результатами.

Некорельованість та незалежність стохастичних процесів Редагувати

Аналогічно для двох стохастичних процесів та : Якщо вони незалежні, то вони некорельовані.:с. 151 Протилежне цьому твердженню може бути неправильним. Навіть якщо дві змінні не корельовані, вони можуть не бути незалежними одна від одної.

Поширені непорозуміння Редагувати

Корельованість та причинність Редагувати

Див. також: Нормальна розподіленість і некорельованість не означає незалежність[en]

Поширений вислів «корелювання не означає спричинювання» означає, що кореляцію неможливо використовувати саму по собі для висновування причинно-наслідкового зв'язку між змінними. Цей вислів не слід сприймати так, що кореляції не можуть вказувати на потенційне існування причинно-наслідкових зв'язків. Проте причини, що лежать в основі кореляції, якщо вони й існують, можуть бути непрямими або невідомими, а високі кореляції також перекриваються з відношеннями тотожності (тавтології), де процесу спричинювання не існує. Отже, кореляція між двома змінними не є достатньою умовою для встановлення причинно-наслідкового зв'язку (в будь-якому з напрямків).

Кореляція між віком та зростом у дітей є досить причиннісно прозорою, але кореляція між настроєм і здоров'ям у людей — не настільки. Чи поліпшення настрою призводить до покращення здоров'я, чи гарне здоров'я призводить до гарного настрою, чи обидва? Чи якийсь інший чинник лежить в основі обох? Іншими словами, кореляцію можна вважати свідченням можливого причинно-наслідкового зв'язку, але вона не може вказувати, яким може бути причинний зв'язок, якщо він взагалі існує.

Прості лінійні кореляції Редагувати

Чотири набори даних з однаковою кореляцією 0,816

Коефіцієнт кореляції Пірсона показує силу лінійного взаємозв'язку між двома змінними, але його значення, як правило, характеризує їхній взаємозв'язок не повністю. Зокрема, якщо умовне середнє за заданого , позначуване через , не лінійне за , то коефіцієнт кореляції не повністю визначатиме вигляд .

На сусідньому зображенні показано діаграми розсіювання квартету Анскомбе, набору з чотирьох різних пар змінних, створеного Френсісом Анскомбе[en]. Чотири змінні мають однакове середнє значення (7,5), дисперсію (4,12), кореляцію (0,816) та лінію регресії (y = 3 + 0,5х). Проте, як видно на цих графіках, розподіл змінних дуже різний. Перші (вгорі ліворуч) видаються розподіленими нормально й відповідають тому, що можна було би очікувати, розглядаючи дві змінні, які корелюють, й дотримуються припущення нормальності. Другі (вгорі праворуч) розподілено не нормально, і хоча й можливо спостерігати очевидний взаємозв'язок між цими двома змінними, він не є лінійним. У цьому випадку коефіцієнт кореляції Пірсона не вказує, що існує точна функційна залежність: лише ступінь, до якого цей взаємозв'язок можливо наблизити лінійним співвідношенням. У третьому випадку (внизу ліворуч) лінійна залежність є ідеальною, за винятком одного викиду, який чинить достатній вплив, щоби знизити коефіцієнт кореляції з 1 до 0,816. Нарешті, четвертий приклад (унизу праворуч) показує інший приклад, коли одного викиду достатньо для отримання високого коефіцієнта кореляції, навіть якщо взаємозв'язок між двома змінними не є лінійним.

Ці приклади показують, що коефіцієнт кореляції як зведена статистика[en] не здатен замінити візуальне дослідження даних. Іноді кажуть, що ці приклади демонструють, що кореляція Пірсона передбачає, що дані мають нормальний розподіл, але це правильно лише частково. Кореляцію Пірсона можливо точно розрахувати для будь-якого розподілу, який має скінченну коваріаційну матрицю, що включає більшість розподілів, які зустрічаються на практиці. Проте, достатньою статистикою коефіцієнт кореляції Пірсона (взятий разом із вибірковим середнім значенням та дисперсією) є лише в тому випадку, якщо дані взято з багатовимірного нормального розподілу. В результаті, коефіцієнт кореляції Пірсона повністю характеризує зв'язок між змінними тоді й лише тоді, коли дані вибирають із багатовимірного нормального розподілу.

Двовимірний нормальний розподіл Редагувати

Якщо пара випадкових змінних слідує двовимірному нормальному розподілу, то умовне середнє є лінійною функцією від , а умовне середнє є лінійною функцією від . Коефіцієнт кореляції між та , поряд з відособленими середніми значеннями та дисперсіями та , визначають цю лінійну залежність:

де та  — математичні сподівання та відповідно, а та  — стандартні відхилення та відповідно.


Емпірична кореляція  — це оцінка[en] коефіцієнта кореляції . Оцінку розподілу для задають через

де  — гауссова гіпергеометрична функція, а . Ця густина є одночасно баєсовою апостеріорною густиною, й точною оптимальною густиною довірчого розподілу[en].

Стандартна похибка Редагувати

Якщо та  — випадкові змінні, то стандартна похибка пов'язана з кореляцією, а саме,

де  — кореляція, а  — кількість зразків.

Див. також Редагувати

Докладніше: Кореляція (значення)

Джерела Редагувати

Посилання Редагувати

У Вікісловнику є сторінка кореляція.
Вікісховище має мультимедійні дані за темою: Кореляція

Примітки Редагувати

  1. Croxton, Frederick Emory; Cowden, Dudley Johnstone; Klein, Sidney (1968) Applied General Statistics, Pitman. ISBN 9780273403159 (page 625) (англ.)
  2. Dietrich, Cornelius Frank (1991) Uncertainty, Calibration and Probability: The Statistics of Scientific and Industrial Measurement 2nd Edition, A. Higler. ISBN 9780750300605 (Page 331) (англ.)
  3. Aitken, Alexander Craig (1957) Statistical Mathematics 8th Edition. Oliver & Boyd. ISBN 9780050013007 (Page 95) (англ.)
  4. ↑ Rodgers, J. L.; Nicewander, W. A. (1988). Thirteen ways to look at the correlation coefficient. The American Statistician 42 (1): 59–66. JSTOR 2685263. doi:10.1080/00031305.1988.10475524.  (англ.)
  5. Dowdy, S. and Wearden, S. (1983). «Statistics for Research», Wiley. ISBN 0-471-08602-9 pp 230 (англ.)
  6. Francis, DP; Coats AJ; Gibson D (1999). How high can a correlation coefficient be?. Int J Cardiol 69 (2): 185–199. PMID 10549842. doi:10.1016/S0167-5273(99)00028-5.  (англ.)
  7. ↑ Yule, G.U and Kendall, M.G. (1950), «An Introduction to the Theory of Statistics», 14th Edition (5th Impression 1968). Charles Griffin & Co. pp 258—270 (англ.)
  8. Kendall, M. G. (1955) «Rank Correlation Methods», Charles Griffin & Co. (англ.)
  9. Mahdavi Damghani B. (2013). The Non-Misleading Value of Inferred Correlation: An Introduction to the Cointelation Model. Wilmott Magazine 2013 (67): 50–61. doi:10.1002/wilm.10252.  (англ.)
  10. Székely, G. J. Rizzo; Bakirov, N. K. (2007). Measuring and testing independence by correlation of distances. Annals of Statistics[en] 35 (6): 2769–2794. arXiv:0803.4101. doi:10.1214/009053607000000505.  (англ.)
  11. Székely, G. J.; Rizzo, M. L. (2009). Brownian distance covariance. Annals of Applied Statistics 3 (4): 1233–1303. PMC 2889501. PMID 20574547. arXiv:1010.0297. doi:10.1214/09-AOAS312.  (англ.)
  12. Lopez-Paz D. and Hennig P. and Schölkopf B. (2013). «The Randomized Dependence Coefficient», «Conference on Neural Information Processing Systems[en]» Reprint [ 3 серпня 2020 у Wayback Machine.] (англ.)
  13. Thorndike, Robert Ladd (1947). Research problems and techniques (Report No. 3). Washington DC: US Govt. print. off.  (англ.)
  14. Nikolić, D; Muresan, RC; Feng, W; Singer, W (2012). Scaled correlation analysis: a better way to compute a cross-correlogram. European Journal of Neuroscience 35 (5): 1–21. PMID 22324876. doi:10.1111/j.1460-9568.2011.07987.x.  (англ.)
  15. Higham, Nicholas J. (2002). Computing the nearest correlation matrix—a problem from finance. IMA Journal of Numerical Analysis 22 (3): 329–343. doi:10.1093/imanum/22.3.329.  Проігноровано невідомий параметр |citeseerx= (довідка) (англ.)
  16. . portfoliooptimizer.io/. Архів оригіналу за 3 січня 2022. Процитовано 30 січня 2021.  (англ.)
  17. Borsdorf, Rudiger; Higham, Nicholas J.; Raydan, Marcos (2010). . SIAM J. Matrix Anal. Appl. 31 (5): 2603–2622. doi:10.1137/090776718. Архів оригіналу за 30 грудня 2021. Процитовано 3 січня 2022.  (англ.)
  18. Qi, HOUDUO; Sun, DEFENG (2006). A quadratically convergent Newton method for computing the nearest correlation matrix.. SIAM J. Matrix Anal. Appl. 28 (2): 360–385. doi:10.1137/050624509.  (англ.)
  19. Park, Kun Il (2018). Fundamentals of Probability and Stochastic Processes with Applications to Communications. Springer. ISBN 978-3-319-68074-3.  (англ.)
  20. Aldrich, John (1995). Correlations Genuine and Spurious in Pearson and Yule. Statistical Science 10 (4): 364–376. JSTOR 2246135. doi:10.1214/ss/1177009870.  (англ.)
  21. Mahdavi Damghani, Babak (2012). The Misleading Value of Measured Correlation. Wilmott Magazine[en] 2012 (1): 64–73. doi:10.1002/wilm.10167.  (англ.)
  22. Anscombe, Francis J. (1973). Graphs in statistical analysis. The American Statistician 27 (1): 17–21. JSTOR 2682899. doi:10.2307/2682899.  (англ.)
  23. Taraldsen, Gunnar (2021). The Confidence Density for Correlation. Sankhya A (англ.). ISSN 0976-8378. doi:10.1007/s13171-021-00267-y.  (англ.)
  24. Taraldsen, Gunnar (2020). Confidence in Correlation (англ.). doi:10.13140/RG.2.2.23673.49769.  (англ.)
  25. Bowley, A. L. (1928). . Journal of the American Statistical Association 23 (161): 31–34. ISSN 0162-1459. JSTOR 2277400. doi:10.2307/2277400. Архів оригіналу за 3 січня 2022. Процитовано 3 січня 2022.  (англ.)
  26. . Cross Validated. Архів оригіналу за 3 січня 2022. Процитовано 30 липня 2021.  (англ.)
Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри
Дата публікації:
Cya stattya pro korelyaciyu ta zalezhnist u statistichnih danih Pro inshi znachennya div Korelyaciya znachennya Syudi perenapravlyayetsya zapit Koeficiyent korelyaciyi Na cyu temu potribna okrema stattya U statistici korelya ciya angl correlation abo zale zhnist angl dependence ce bud yakij statistichnij vzayemozv yazok prichinnij chi ni mizh dvoma vipadkovimi zminnimi abo dvovimirnimi danimi en U najshirshomu sensi korelya ciya ce bud yaka statistichna pov yazanist hocha naspravdi vona stosuyetsya stupenyu linijnosti vzayemozv yazku pari zminnih Do dobre vidomih prikladiv zalezhnih yavish nalezhat korelyaciya mizh zrostom batkiv ta yihnih nashadkiv a takozh korelyaciya mizh cinoyu tovaru ta kilkistyu yaku spozhivachi gotovi pridbati yak ce zobrazheno na tak zvanij krivij popitu Dekilka naboriv tochok x y z koeficiyentami korelyaciyi Pirsona x ta y dlya kozhnogo naboru Korelyaciya vidobrazhaye zashumlenist i napryamok linijnogo vzayemozv yazku verhnij ryad ale ani nahil cogo vzayemozv yazku serednij ani bagato aspektiv nelinijnih vzayemozv yazkiv nizhnij Primitka figura v centri maye nahil 0 ale v comu vipadku koeficiyent korelyaciyi neviznachenij oskilki dispersiya Y dorivnyuye nulevi Korelyaciyi korisni bo voni mozhut vkazuvati na peredbachalnij zv yazok yakij mozhlivo vikoristovuvati na praktici Napriklad energogeneruvalna kompaniya mozhe viroblyati menshe elektroenergiyi v den z pomirnoyu pogodoyu na osnovi korelyaciyi mizh popitom na elektroenergiyu ta pogodoyu U comu prikladi isnuye prichinno naslidkovij zv yazok oskilki ekstremalna pogoda zmushuye lyudej vikoristovuvati bilshe elektroenergiyi dlya opalennya chi kondiciyuvannya Prote v zagalnomu vipadku shobi zrobiti visnovok pro nayavnist prichinno naslidkovogo zv yazku nayavnosti korelyaciyi nedostatno tobto korelyaciya ne oznachaye sprichinyuvannya Formalno vipadkovi velichini ye zalezhnimi yaksho voni ne zadovolnyayut matematichnij vlastivosti jmovirnisnoyi nezalezhnosti Neformalnoyu movoyu korelyaciya ye sinonimom zalezhnosti Prote pri vikoristanni v tehnichnomu sensi korelyaciya oznachaye bud yaku z dekilkoh konkretnih tipiv matematichnih operacij mizh viprobuvanimi zminnimi ta yihnimi vidpovidnimi matematichnimi spodivannyami Po suti korelyaciya ce mira togo yak dvi chi bilshe zminni pov yazani odna z odnoyu Isnuye dekilka koeficiyentiv korelyaciyi chasto poznachuvanih cherez r displaystyle rho abo r displaystyle r yaki vimiryuyut stupin korelyaciyi Najposhirenishij z nih koeficiyent korelyaciyi Pirsona chutlivij lishe do linijnogo vzayemozv yazku mizh dvoma zminnimi yakij mozhe mati misce navit yaksho odna zminna ye nelinijnoyu funkciyeyu inshoyi Inshi koeficiyenti korelyaciyi napriklad rangovu korelyaciyu Spirmena bulo rozrobleno dlya bilshoyi robastnosti nizh v pirsonovogo tobto bilshoyi chutlivosti do nelinijnih vzayemozv yazkiv 1 2 3 Dlya vimiryuvannya vzayemozalezhnosti dvoh zminnih takozh mozhlivo zastosovuvati vzayemnu informaciyu Zmist 1 Koeficiyent korelyaciyi Pirsona 1 1 Viznachennya 1 2 Vlastivist simetrichnosti 1 3 Korelyaciya yak dobutok 1 4 Korelyaciya ta nezalezhnist 1 5 Vi birkovij koeficiyent korelyaciyi 2 Priklad 3 Koeficiyenti rangovoyi korelyaciyi 4 Inshi miri zalezhnosti mizh vipadkovimi velichinami 5 Chutlivist do rozpodilu danih 6 Korelyacijni matrici 7 Najblizhcha chinna korelyacijna matricya 8 Nekorelovanist ta nezalezhnist stohastichnih procesiv 9 Poshireni neporozuminnya 9 1 Korelovanist ta prichinnist 9 2 Prosti linijni korelyaciyi 10 Dvovimirnij normalnij rozpodil 11 Standartna pohibka 12 Div takozh 13 Dzherela 14 Posilannya 15 PrimitkiKoeficiyent korelyaciyi Pirsona RedaguvatiDokladnishe Koeficiyent korelyaciyi Pirsona nbsp Prikladi diagram rozsiyuvannya riznih naboriv danih z riznimi koeficiyentami korelyaciyi Viznachennya Redaguvati Najbilsh zagalnovidomoyu miroyu zalezhnosti mizh dvoma velichinami ye koeficiyent korelyaciyi Pirsona angl Pearson product moment correlation coefficient PPMCC abo angl Pearson s correlation coefficient yakij zazvichaj nazivayut prosto koeficiyent korelyaciyi angl the correlation coefficient Jogo otrimuyut vzyattyam vidnoshennya kovariaciyi dvoh rozglyadanih zminnih nashogo chiselnogo naboru danih unormovanoyi kvadratnim korenem yihnih dispersij Matematichno kovariaciyu cih dvoh zminnih prosto dilyat na dobutok yihnih standartnih vidhilen Karl Pirson rozrobiv cej koeficiyent na osnovi podibnoyi ale desho vidminnoyi ideyi Frensisa Galtona 4 Koeficiyent korelyaciyi Pirsona namagayetsya vstanoviti liniyu yaka najkrashe dopasovuyetsya do naboru danih iz dvoh zminnih po suti vikladayuchi ochikuvani znachennya a otrimanij koeficiyent korelyaciyi Pirsona vkazuye naskilki dalekim vid ochikuvanih znachen ye faktichnij nabir danih Zalezhno vid znaku nashogo koeficiyenta korelyaciyi Pirsona mi mozhemo otrimati yak vid yemnu tak i dodatnu korelyaciyu yaksho yakijs zv yazok mizh zminnimi nashogo naboru danih isnuye Generalnij koeficiyent korelyaciyi angl population correlation coefficient r X Y displaystyle rho X Y nbsp mizh dvoma vipadkovimi zminnimi X displaystyle X nbsp ta Y displaystyle Y nbsp z matematichnimi spodivannyami m X displaystyle mu X nbsp ta m Y displaystyle mu Y nbsp ta standartnimi vidhilennyami s X displaystyle sigma X nbsp ta s Y displaystyle sigma Y nbsp viznachayut yak r X Y corr X Y cov X Y s X s Y E X m X Y m Y s X s Y displaystyle rho X Y operatorname corr X Y operatorname cov X Y over sigma X sigma Y operatorname E X mu X Y mu Y over sigma X sigma Y nbsp de E displaystyle operatorname E nbsp operator matematichnogo spodivannya cov displaystyle operatorname cov nbsp oznachaye kovariaciyu a corr displaystyle operatorname corr nbsp shiroko vzhivane alternativne poznachennya koeficiyentu korelyaciyi Korelyaciya Pirsona viznachayetsya lishe v tomu vipadku yaksho obidva standartni vidhilennya ye skinchennimi j dodatnimi Alternativnoyu formuloyu chisto v terminah momentiv ye r X Y E X Y E X E Y E X 2 E X 2 E Y 2 E Y 2 displaystyle rho X Y operatorname E XY operatorname E X operatorname E Y over sqrt operatorname E X 2 operatorname E X 2 cdot sqrt operatorname E Y 2 operatorname E Y 2 nbsp Vlastivist simetrichnosti Redaguvati Koeficiyent korelyaciyi simetrichnij corr X Y corr Y X displaystyle operatorname corr X Y operatorname corr Y X nbsp Ce pidtverdzhuyetsya vlastivistyu komutativnosti mnozhennya Korelyaciya yak dobutok Redaguvati Nehaj vipadkovi zminni X displaystyle X nbsp ta Y displaystyle Y nbsp mayut standartni vidhilennya s X gt 0 displaystyle sigma X gt 0 nbsp ta s Y gt 0 displaystyle sigma Y gt 0 nbsp Todi corr X Y corr X E X Y corr E X Y Y displaystyle operatorname corr X Y operatorname corr X operatorname E X mid Y operatorname corr operatorname E X mid Y Y nbsp Korelyaciya ta nezalezhnist Redaguvati Naslidkom nerivnosti Koshi Bunyakovskogo ye te sho modul koeficiyenta korelyaciyi Pirsona ne perevishuye 1 Takim chinom znachennya koeficiyenta korelyaciyi lezhat u promizhku vid 1 do 1 Koeficiyent korelyaciyi dorivnyuye 1 u vipadku idealnogo pryamogo vishidnogo linijnogo vzayemozv yazku korelyaciyi 1 u vipadku idealnogo zvorotnogo spadnogo linijnogo vzayemozv yazku antikorelya ciya angl anti correlation 5 i deyakomu znachennyu v intervali 1 1 displaystyle 1 1 nbsp u vsih inshih vipadkah pokazuyuchi stupin linijnoyi zalezhnosti mizh zminnimi U miru jogo nablizhennya do nulya vzayemozv yazok poslablyuyetsya blizhche do nekorelovanih Sho blizhchij cej koeficiyent do 1 chi 1 to silnisha korelyaciya mizh zminnimi Yaksho zminni nezalezhni to koeficiyent korelyaciyi Pirsona dorivnyuye 0 ale zvorotne ne istinne oskilki koeficiyent korelyaciyi viyavlyaye lishe linijni zalezhnosti mizh dvoma zminnimi X Y nezalezhni r X Y 0 X Y nekorelovani r X Y 0 X Y nekorelovani X Y nezalezhni displaystyle begin aligned X Y text nezalezhni quad amp Rightarrow quad rho X Y 0 quad X Y text nekorelovani rho X Y 0 quad X Y text nekorelovani quad amp nRightarrow quad X Y text nezalezhni end aligned nbsp Napriklad pripustimo sho vipadkova velichina X displaystyle X nbsp simetrichno rozpodilena navkolo nulya a Y X 2 displaystyle Y X 2 nbsp Todi Y displaystyle Y nbsp cilkom viznacheno cherez X displaystyle X nbsp tozh X displaystyle X nbsp ta Y displaystyle Y nbsp cilkom zalezhni ale cov X Y cov X X 2 E X X 2 E X E X 2 E X 3 E X E X 2 0 0 E X 2 0 displaystyle begin aligned operatorname cov X Y amp operatorname cov left X X 2 right amp operatorname E left X cdot X 2 right operatorname E X cdot operatorname E left X 2 right amp operatorname E left X 3 right operatorname E X operatorname E left X 2 right amp 0 0 cdot operatorname E X 2 amp 0 end aligned nbsp Yihnya korelyaciya dorivnyuye nulevi voni nekorelovani en Tut zalezhnist mizh Y displaystyle Y nbsp i X displaystyle X nbsp nelinijna todi yak korelyaciya i kovariaciya vimiryuyut linijnu zalezhnist mizh dvoma vipadkovimi zminnimi Prote v osoblivomu vipadku koli X displaystyle X nbsp ta Y displaystyle Y nbsp spilno normalni en nekorelovanist rivnoznachna nezalezhnosti Nezvazhayuchi na te sho nekorelovanist danih ne obov yazkovo oznachaye nezalezhnist mozhlivo peresvidchuvatisya sho vipadkovi velichini nezalezhni yaksho yihnya vzayemna informaciya dorivnyuye 0 Vi birkovij koeficiyent korelyaciyi Redaguvati Za zadanogo ryadu z n displaystyle n nbsp vimiriv pari X i Y i displaystyle X i Y i nbsp pronumerovanih za i 1 n displaystyle i 1 ldots n nbsp dlya ocinyuvannya generalnoyi korelyaciyi Pirsona r X Y displaystyle rho X Y nbsp mizh X displaystyle X nbsp ta Y displaystyle Y nbsp mozhlivo vikoristovuvati vi birkovij koeficiyent korelyaciyi angl sample correlation coefficient Cej vibirkovij koeficiyent korelyaciyi viznachayut yak r x y d e f i 1 n x i x y i y n 1 s x s y i 1 n x i x y i y i 1 n x i x 2 i 1 n y i y 2 displaystyle r xy quad overset underset mathrm def quad frac sum limits i 1 n x i bar x y i bar y n 1 s x s y frac sum limits i 1 n x i bar x y i bar y sqrt sum limits i 1 n x i bar x 2 sum limits i 1 n y i bar y 2 nbsp de x displaystyle overline x nbsp ta y displaystyle overline y nbsp vibirkovi seredni znachennya X displaystyle X nbsp ta Y displaystyle Y nbsp a s x displaystyle s x nbsp ta s y displaystyle s y nbsp skorigovani vibirkovi standartni vidhilennya X displaystyle X nbsp ta Y displaystyle Y nbsp Ekvivalentnimi virazami dlya r x y displaystyle r xy nbsp ye r x y x i y i n x y n s x s y n x i y i x i y i n x i 2 x i 2 n y i 2 y i 2 displaystyle begin aligned r xy amp frac sum x i y i n bar x bar y ns x s y 5pt amp frac n sum x i y i sum x i sum y i sqrt n sum x i 2 sum x i 2 sqrt n sum y i 2 sum y i 2 end aligned nbsp de s x displaystyle s x nbsp ta s y displaystyle s y nbsp neskorigovani vibirkovi standartni vidhilennya X displaystyle X nbsp ta Y displaystyle Y nbsp Yaksho x displaystyle x nbsp ta y displaystyle y nbsp rezultati vimiryuvan sho mistyat pohibku vimiryuvannya to realistichni mezhi koeficiyenta korelyaciyi stanovlyat ne vid 1 do 1 a menshij promizhok 6 Dlya vipadku linijnoyi modeli z yedinoyu nezalezhnoyu zminnoyu koeficiyentom determinaciyi R kvadrat ye kvadrat r x y displaystyle r xy nbsp koeficiyentu korelyaciyi Pirsona Priklad RedaguvatiRozglyanmo spilnij rozpodil imovirnosti X ta Y navedenij u tablici nizhche P X x Y y displaystyle mathrm P X x Y y nbsp yx 1 0 10 0 1 3 01 1 3 0 1 3Vidosobleni rozpodili dlya cogo spilnogo rozpodilu P X x 1 3 dlya x 0 2 3 dlya x 1 displaystyle mathrm P X x begin cases frac 1 3 amp quad text dlya x 0 frac 2 3 amp quad text dlya x 1 end cases nbsp P Y y 1 3 dlya y 1 1 3 dlya y 0 1 3 dlya y 1 displaystyle mathrm P Y y begin cases frac 1 3 amp quad text dlya y 1 frac 1 3 amp quad text dlya y 0 frac 1 3 amp quad text dlya y 1 end cases nbsp Ce daye nastupni matematichni spodivannya ta dispersiyi m X 2 3 displaystyle mu X frac 2 3 nbsp m Y 0 displaystyle mu Y 0 nbsp s X 2 2 9 displaystyle sigma X 2 frac 2 9 nbsp s Y 2 2 3 displaystyle sigma Y 2 frac 2 3 nbsp Otzhe r X Y 1 s X s Y E X m X Y m Y 1 s X s Y x y x m X y m Y P X x Y y 1 2 3 1 0 1 3 0 2 3 0 0 1 3 1 2 3 1 0 1 3 0 displaystyle begin aligned rho X Y amp frac 1 sigma X sigma Y mathrm E X mu X Y mu Y 5pt amp frac 1 sigma X sigma Y sum x y x mu X y mu Y mathrm P X x Y y 5pt amp left 1 frac 2 3 right 1 0 frac 1 3 left 0 frac 2 3 right 0 0 frac 1 3 left 1 frac 2 3 right 1 0 frac 1 3 0 end aligned nbsp Koeficiyenti rangovoyi korelyaciyi RedaguvatiDokladnishe Koeficiyent rangovoyi korelyaciyi Spirmena ta Koeficiyent rangovoyi korelyaciyi tau KendallaKoeficiyenti rangovoyi korelyaciyi taki yak koeficiyent rangovoyi korelyaciyi Spirmena ta koeficiyent rangovoyi korelyaciyi Kendalla t vimiryuyut do yakoyi miri v razi zbilshennya odniyeyi zminnoyi insha zminna shilna zbilshuvatisya ne vimagayuchi shobi ce zbilshennya bulo podano linijnoyu zalezhnistyu Yaksho za zbilshennya odniyeyi zminnoyi insha zmenshuyetsya to koeficiyenti rangovoyi korelyaciyi budut vid yemnimi Ci koeficiyenti rangovoyi korelyaciyi chasto rozglyadayut yak alternativi koeficiyentu Pirsona yaki vikoristovuyut abo dlya zmenshennya kilkosti obchislen abo dlya togo shobi zrobiti koeficiyent mensh chutlivim do ne normalnosti v rozpodilah Prote cya tochka zoru maye malo matematichnih pidstav oskilki koeficiyenti rangovoyi korelyaciyi vimiryuyut inshij tip zv yazku nizh koeficiyent korelyaciyi Pirsona i yih najkrashe rozglyadati yak pokazniki inshogo tipu zv yazku a ne yak alternativnu miru generalnogo koeficiyentu korelyaciyi 7 8 Shobi unaochniti prirodu rangovoyi korelyaciyi ta yiyi vidminnist vid linijnoyi korelyaciyi rozglyanmo nastupni chotiri pari chisel x y displaystyle x y nbsp 0 1 10 100 101 500 102 2000 V miru prosuvannya vid kozhnoyi pari do nastupnoyi x displaystyle x nbsp zbilshuyetsya j te same robit y displaystyle y nbsp Cej vzayemozv yazok idealnij u tomu sensi sho zbilshennya v x displaystyle x nbsp zavzhdi suprovodzhuyetsya zbilshennyam v y displaystyle y nbsp Ce oznachaye sho mi mayemo idealnu rangovu korelyaciyu j obidva koeficiyenti korelyaciyi Spirmena ta Kendalla dorivnyuyut 1 todi yak u comu prikladi koeficiyent korelyaciyi Pirsona dorivnyuye 0 7544 vkazuyuchi na te sho tochki daleko ne lezhat na odnij pryamij Tak samo yaksho y displaystyle y nbsp zavzhdi zmenshuyetsya koli x displaystyle x nbsp zbilshuyetsya koeficiyenti rangovoyi korelyaciyi stanovitimut 1 todi yak koeficiyent korelyaciyi Pirsona mozhe buti abo ne buti blizkim do 1 zalezhno vid togo naskilki blizko do pryamoyi liniyi roztashovani ci tochki Hocha v granichnih vipadkah idealnoyi rangovoyi korelyaciyi ci dva koeficiyenti rivni chi to obidva 1 chi obidva 1 zazvichaj ce ne tak i tomu znachennya cih dvoh koeficiyentiv nemozhlivo porivnyuvati zmistovno 7 Napriklad dlya troh par 1 1 2 3 3 2 koeficiyent Spirmena dorivnyuye 1 2 a koeficiyent Kendalla dorivnyuye 1 3 Inshi miri zalezhnosti mizh vipadkovimi velichinami RedaguvatiDiv takozh Koeficiyent korelyaciyi Pirsona Varianti en Informaciyi yaku nadaye koeficiyent korelyaciyi nedostatno dlya viznachennya strukturi zalezhnosti mizh vipadkovimi velichinami 9 Koeficiyent korelyaciyi povnistyu viznachaye strukturu zalezhnosti lishe v duzhe okremih vipadkah napriklad koli rozpodil ye bagatovimirnim normalnim rozpodilom div risunok vishe U vipadku eliptichnih rozpodiliv vin harakterizuye giper elipsi rivnoyi gustini prote vin ne povnistyu harakterizuye strukturu zalezhnosti napriklad stupeni vilnosti bagatovimirnogo t rozpodilu en viznachayut riven hvostovoyi zalezhnosti Dlya podolannya togo nedoliku korelyaciyi Pirsona sho vona mozhe buti nulovoyu dlya zalezhnih zminnih bulo zaproponovano korelyaciyu po viddali en angl distance correlation 10 11 nulova korelyaciya po viddali oznachaye nezalezhnist Randomizovanij koeficiyent zalezhnosti RKZ angl Randomized Dependence Coefficient RDC 12 ce obchislyuvalno efektivna mira zalezhnosti mizh bagatovimirnimi vipadkovimi velichinami na osnovi kopul RKZ invariantnij shodo nelinijnogo masshtabuvannya vipadkovih zminnih zdatnij viyavlyati shirokij spektr modelej funkcionalnih asociacij i nabuvaye nulovogo znachennya pri nezalezhnosti Dlya dvoh dvijkovih zminnih vidnoshennya shansiv en vimiryuye yihnyu zalezhnist i nabuvaye diapazonu nevid yemnih chisel potencijno neskinchennih 0 displaystyle 0 infty nbsp Shozhi statistiki taki yak Y Yula en ta Q Yula en unormovuyut jogo do podibnogo na korelyaciyu promizhku 1 1 displaystyle 1 1 nbsp Vidnoshennya shansiv uzagalneno logistichnoyu modellyu dlya modelyuvannya vipadkiv koli zalezhni zminni ye diskretnimi j mozhe buti odna abo dekilka nezalezhnih zminnih Korelyacijne vidnoshennya en vzayemna informaciya na osnovi entropiyi povna korelyaciya en dvoyista povna korelyaciya en ta polihorna korelyaciya en takozh zdatni viyavlyati zagalnishi zalezhnosti yak i rozglyad kopuli mizh nimi todi yak koeficiyent determinaciyi uzagalnyuye koeficiyent korelyaciyi do mnozhinnoyi regresiyi en Chutlivist do rozpodilu danih RedaguvatiDokladnishe Koeficiyent korelyaciyi Pirsona Chutlivist do rozpodilu danih en Stupin zalezhnosti mizh zminnimi X ta Y ne zalezhit vid masshtabu v yakomu virazheno ci zminni Tobto yaksho mi analizuyemo vzayemozv yazok mizh X ta Y peretvorennya X na a bX j Y na c dY de a b c ta d ye stalimi b ta d dodatni na bilshist mir korelyaciyi ne vplivaye Ce stosuyetsya deyakih korelyacijnih statistik a takozh yihnih generalnih analogiv Deyaki korelyacijni statistiki taki yak koeficiyent rangovoyi korelyaciyi takozh ye invariantnimi do monotonnih peretvoren vidosoblenih rozpodiliv X ta abo Y nbsp Koeficiyenti korelyaciyi Pirsona Spirmena mizh X ta Y vidobrazheni koli diapazoni dvoh zminnih ne obmezheno ta koli diapazon X obmezheno intervalom 0 1 Bilshist mir korelyaciyi chutlivi do sposobu vibirannya X ta Y Zalezhnosti yak pravilo silnishi yaksho rozglyadati yih na shirshomu diapazoni znachen Takim chinom yaksho mi rozglyanemo koeficiyent korelyaciyi mizh zrostom batkiv ta yihnih siniv nad usima doroslimi cholovikami ta porivnyayemo jogo z tim zhe koeficiyentom korelyaciyi rozrahovanim koli vibrano batkiv zrostom vid 165 sm do 170 sm to v ostannomu vipadku korelyaciya bude slabshoyu Bulo rozrobleno kilka metodik yaki namagayutsya vipravlyati obmezhennya diapazonu v odnij abo oboh zminnih i yaki zazvichaj vikoristovuyut v metaanalizi najposhirenishimi ye rivnyannya Torndajka drugogo ta tretogo vipadkiv 13 Deyaki vikoristovuvani miri korelyaciyi mozhut buti neviznachenimi dlya pevnih spilnih rozpodiliv X ta Y Napriklad koeficiyent korelyaciyi Pirsona viznacheno v terminah momentiv i otzhe bude ne viznacheno yaksho ne viznacheno momenti Zavzhdi viznacheno miri zalezhnosti yaki gruntuyutsya na kvantilyah Statistiki na osnovi vibirki priznacheni ocinyuvati generalni miri zalezhnosti mozhut mati abo ne mati bazhanih statistichnih vlastivostej napriklad buti nezmishenimi ta asimptotichno slushnimi zalezhno vid prostorovoyi strukturi sukupnosti z yakoyi bulo vibrano dani Chutlivist do rozpodilu danih mozhlivo vikoristovuvati yak perevagu Napriklad masshtabnu korelyaciyu en rozrobleno tak shobi vikoristovuvati chutlivist do diapazonu zadlya vihoplyuvannya korelyaciyi mizh shvidkimi skladovimi chasovih ryadiv 14 Shlyahom kontrolovanogo zmenshennya diapazonu znachennya korelyaciyi na dovgomu chasovomu masshtabi vidfiltrovuyutsya j viyavlyayutsya lishe korelyaciyi na korotkih chasovih masshtabah Korelyacijni matrici RedaguvatiKorelyacijna matricya n displaystyle n nbsp vipadkovih zminnih X 1 X n displaystyle X 1 ldots X n nbsp ce matricya n n displaystyle n times n nbsp chiyim elementom i j displaystyle i j nbsp ye corr X i X j displaystyle operatorname corr X i X j nbsp Takim chinom vsi yiyi diagonalni elementi ye odnakovo odinichnimi Yaksho vsi vikoristovuvani miri korelyaciyi ye koeficiyentami korelyaciyi Pirsona to korelyacijna matricya taka zhe yak i kovariacijna matricya standartizovanih vipadkovih zminnih en X i s X i displaystyle X i sigma X i nbsp dlya i 1 n displaystyle i 1 dots n nbsp Ce stosuyetsya yak generalnoyi korelyacijnoyi matrici u comu vipadku s displaystyle sigma nbsp generalne standartne vidhilennya tak i vi birkovoyi korelyacijnoyi matrici u comu vipadku s displaystyle sigma nbsp poznachuye vibirkove standartne vidhilennya Otzhe kozhna z nih obov yazkovo ye dodatno napivviznachenoyu matriceyu Bilshe togo korelyacijna matricya ye strogo dodatno viznachenoyu yaksho zhodna zminna ne mozhe mati vsi svoyi znachennya tochno porodzhenimi yak linijna funkciya znachen inshih Korelyacijna matricya simetrichna oskilki korelyaciya mizh X i displaystyle X i nbsp ta X j displaystyle X j nbsp ce te same sho j korelyaciya mizh X j displaystyle X j nbsp ta X i displaystyle X i nbsp Korelyacijna matricya z yavlyayetsya napriklad v odnij formuli dlya koeficiyenta mnozhinnoyi determinaciyi en miri dopasovanosti u mnozhinnij regresiyi en U statistichnomu modelyuvanni korelyacijni matrici sho podayut zv yazki mizh zminnimi kategorizuyut do riznih korelyacijnih struktur yaki rozriznyuyut za takimi chinnikami yak kilkist parametriv neobhidnih dlya yihnogo ocinyuvannya Napriklad u vzayemozaminnij en korelyacijnij matrici vsi pari zminnih zmodelovano yak taki sho mayut odnakovu korelyaciyu tak sho vse nediagonalni elementi matrici dorivnyuyut odin odnomu Z inshogo boku avtoregresijnu matricyu chasto vikoristovuyut koli zminni podayut chasovij ryad oskilki korelyaciyi jmovirno budut bilshimi koli vimiryuvannya blizhchi v chasi Do inshih prikladiv nalezhat nezalezhni nestrukturovani M zalezhni matrici ta matrici Teplica V rozviduvalnomu analizi danih ikonografiya korelyacij en polyagaye v zamini korelyacijnoyi matrici diagramoyu de viznachni korelyaciyi podayut sucilnoyu liniyeyu dodatna korelyaciya abo punktirnoyu liniyeyu vid yemna korelyaciya Najblizhcha chinna korelyacijna matricya RedaguvatiU deyakih zastosuvannyah napriklad pobudovi modelej danih z lishe chastkovo sposterezhuvanih danih potribno znahoditi najblizhchu korelyacijnu matricyu do pribliznoyi korelyacijnoyi matrici napriklad matrici yakij zazvichaj brakuye napivviznachenoyi dodatnosti cherez te yakim chinom yiyi bulo obchisleno 2002 roku Hayem 15 formalizuvav ponyattya blizkosti za dopomogoyu normi Frobeniusa ta zaproponuvav metod obchislennya najblizhchoyi korelyacijnoyi matrici za dopomogoyu proyekcijnogo algoritmu Dikstri en vtilennya yakogo dostupne yak interaktivnij vebPPI en 16 Ce viklikalo interes do danogo predmeta z otrimanimi v nastupni roki novimi teoretichnimi napriklad obchislennya najblizhchoyi korelyacijnoyi matrici z faktornoyu strukturoyu 17 ta chiselnimi napriklad vikoristannya metodu Nyutona dlya obchislennya najblizhchoyi korelyacijnoyi matrici 18 rezultatami Nekorelovanist ta nezalezhnist stohastichnih procesiv RedaguvatiAnalogichno dlya dvoh stohastichnih procesiv X t t T displaystyle left X t right t in mathcal T nbsp ta Y t t T displaystyle left Y t right t in mathcal T nbsp Yaksho voni nezalezhni to voni nekorelovani 19 s 151 Protilezhne comu tverdzhennyu mozhe buti nepravilnim Navit yaksho dvi zminni ne korelovani voni mozhut ne buti nezalezhnimi odna vid odnoyi Poshireni neporozuminnya RedaguvatiKorelovanist ta prichinnist Redaguvati Dokladnishe Korelyuvannya ne oznachaye sprichinyuvannyaDiv takozh Normalna rozpodilenist i nekorelovanist ne oznachaye nezalezhnist en Poshirenij visliv korelyuvannya ne oznachaye sprichinyuvannya oznachaye sho korelyaciyu nemozhlivo vikoristovuvati samu po sobi dlya visnovuvannya prichinno naslidkovogo zv yazku mizh zminnimi 20 Cej visliv ne slid sprijmati tak sho korelyaciyi ne mozhut vkazuvati na potencijne isnuvannya prichinno naslidkovih zv yazkiv Prote prichini sho lezhat v osnovi korelyaciyi yaksho voni j isnuyut mozhut buti nepryamimi abo nevidomimi a visoki korelyaciyi takozh perekrivayutsya z vidnoshennyami totozhnosti tavtologiyi de procesu sprichinyuvannya ne isnuye Otzhe korelyaciya mizh dvoma zminnimi ne ye dostatnoyu umovoyu dlya vstanovlennya prichinno naslidkovogo zv yazku v bud yakomu z napryamkiv Korelyaciya mizh vikom ta zrostom u ditej ye dosit prichinnisno prozoroyu ale korelyaciya mizh nastroyem i zdorov yam u lyudej ne nastilki Chi polipshennya nastroyu prizvodit do pokrashennya zdorov ya chi garne zdorov ya prizvodit do garnogo nastroyu chi obidva Chi yakijs inshij chinnik lezhit v osnovi oboh Inshimi slovami korelyaciyu mozhna vvazhati svidchennyam mozhlivogo prichinno naslidkovogo zv yazku ale vona ne mozhe vkazuvati yakim mozhe buti prichinnij zv yazok yaksho vin vzagali isnuye Prosti linijni korelyaciyi Redaguvati nbsp Chotiri nabori danih z odnakovoyu korelyaciyeyu 0 816Koeficiyent korelyaciyi Pirsona pokazuye silu linijnogo vzayemozv yazku mizh dvoma zminnimi ale jogo znachennya yak pravilo harakterizuye yihnij vzayemozv yazok ne povnistyu 21 Zokrema yaksho umovne serednye Y displaystyle Y nbsp za zadanogo X displaystyle X nbsp poznachuvane cherez E Y X displaystyle operatorname E Y mid X nbsp ne linijne za X displaystyle X nbsp to koeficiyent korelyaciyi ne povnistyu viznachatime viglyad E Y X displaystyle operatorname E Y mid X nbsp Na susidnomu zobrazhenni pokazano diagrami rozsiyuvannya kvartetu Anskombe naboru z chotiroh riznih par zminnih stvorenogo Frensisom Anskombe en 22 Chotiri zminni y displaystyle y nbsp mayut odnakove serednye znachennya 7 5 dispersiyu 4 12 korelyaciyu 0 816 ta liniyu regresiyi y 3 0 5h Prote yak vidno na cih grafikah rozpodil zminnih duzhe riznij Pershi vgori livoruch vidayutsya rozpodilenimi normalno j vidpovidayut tomu sho mozhna bulo bi ochikuvati rozglyadayuchi dvi zminni yaki korelyuyut j dotrimuyutsya pripushennya normalnosti Drugi vgori pravoruch rozpodileno ne normalno i hocha j mozhlivo sposterigati ochevidnij vzayemozv yazok mizh cimi dvoma zminnimi vin ne ye linijnim U comu vipadku koeficiyent korelyaciyi Pirsona ne vkazuye sho isnuye tochna funkcijna zalezhnist lishe stupin do yakogo cej vzayemozv yazok mozhlivo nabliziti linijnim spivvidnoshennyam U tretomu vipadku vnizu livoruch linijna zalezhnist ye idealnoyu za vinyatkom odnogo vikidu yakij chinit dostatnij vpliv shobi zniziti koeficiyent korelyaciyi z 1 do 0 816 Nareshti chetvertij priklad unizu pravoruch pokazuye inshij priklad koli odnogo vikidu dostatno dlya otrimannya visokogo koeficiyenta korelyaciyi navit yaksho vzayemozv yazok mizh dvoma zminnimi ne ye linijnim Ci prikladi pokazuyut sho koeficiyent korelyaciyi yak zvedena statistika en ne zdaten zaminiti vizualne doslidzhennya danih Inodi kazhut sho ci prikladi demonstruyut sho korelyaciya Pirsona peredbachaye sho dani mayut normalnij rozpodil ale ce pravilno lishe chastkovo 4 Korelyaciyu Pirsona mozhlivo tochno rozrahuvati dlya bud yakogo rozpodilu yakij maye skinchennu kovariacijnu matricyu sho vklyuchaye bilshist rozpodiliv yaki zustrichayutsya na praktici Prote dostatnoyu statistikoyu koeficiyent korelyaciyi Pirsona vzyatij razom iz vibirkovim serednim znachennyam ta dispersiyeyu ye lishe v tomu vipadku yaksho dani vzyato z bagatovimirnogo normalnogo rozpodilu V rezultati koeficiyent korelyaciyi Pirsona povnistyu harakterizuye zv yazok mizh zminnimi todi j lishe todi koli dani vibirayut iz bagatovimirnogo normalnogo rozpodilu Dvovimirnij normalnij rozpodil RedaguvatiYaksho para X Y displaystyle X Y nbsp vipadkovih zminnih sliduye dvovimirnomu normalnomu rozpodilu to umovne serednye E X Y displaystyle operatorname E X mid Y nbsp ye linijnoyu funkciyeyu vid Y displaystyle Y nbsp a umovne serednye E Y X displaystyle operatorname E Y mid X nbsp ye linijnoyu funkciyeyu vid X displaystyle X nbsp Koeficiyent korelyaciyi r X Y displaystyle rho X Y nbsp mizh X displaystyle X nbsp ta Y displaystyle Y nbsp poryad z vidosoblenimi serednimi znachennyami ta dispersiyami X displaystyle X nbsp ta Y displaystyle Y nbsp viznachayut cyu linijnu zalezhnist E Y X E Y r X Y s Y X E X s X displaystyle operatorname E Y mid X operatorname E Y rho X Y cdot sigma Y frac X operatorname E X sigma X nbsp de E X displaystyle operatorname E X nbsp ta E Y displaystyle operatorname E Y nbsp matematichni spodivannya X displaystyle X nbsp ta Y displaystyle Y nbsp vidpovidno a s X displaystyle sigma X nbsp ta s Y displaystyle sigma Y nbsp standartni vidhilennya X displaystyle X nbsp ta Y displaystyle Y nbsp vidpovidno Empirichna korelyaciya r displaystyle r nbsp ce ocinka en koeficiyenta korelyaciyi r displaystyle rho nbsp Ocinku rozpodilu dlya r displaystyle rho nbsp zadayut cherezp r r G n 1 2 p G n 1 2 1 r 2 n 1 2 1 r 2 n 2 2 1 r r 1 2 n 2 F 3 2 1 2 n 1 2 1 r r 2 displaystyle pi rho r frac Gamma nu 1 sqrt 2 pi Gamma nu frac 1 2 1 r 2 frac nu 1 2 cdot 1 rho 2 frac nu 2 2 cdot 1 r rho frac 1 2 nu 2 F left frac 3 2 frac 1 2 nu frac 1 2 frac 1 r rho 2 right nbsp de F displaystyle F nbsp gaussova gipergeometrichna funkciya a n N 1 gt 1 displaystyle nu N 1 gt 1 nbsp Cya gustina ye odnochasno bayesovoyu aposteriornoyu gustinoyu j tochnoyu optimalnoyu gustinoyu dovirchogo rozpodilu en 23 24 Standartna pohibka RedaguvatiYaksho x displaystyle x nbsp ta y displaystyle y nbsp vipadkovi zminni to standartna pohibka pov yazana z korelyaciyeyu a same S E r 1 r 2 n 2 displaystyle SE r frac 1 r 2 sqrt n 2 nbsp de r displaystyle r nbsp korelyaciya a n displaystyle n nbsp kilkist zrazkiv 25 26 Div takozh Redaguvati nbsp Portal Matematika Dokladnishe Korelyaciya znachennya Avtokorelyaciya Vzayemna korelyaciya Vidnoshennya kvadrantovih kilkostej en Vnutrishnoklasova korelyaciya en Genetichna korelyaciya en Zalezhnist serednogo znachennya en Ekologichna korelyaciya en Ikonografiya korelyacij en Ilyuzorna korelyaciya Kanonichna korelyaciya Kovariaciya Kovariaciya ta korelyaciya Koeficiyent determinaciyi Koeficiyent konkordaciyi en Kointegraciya en Korelyacijna funkciya Korelyacijnij rozriv en Kofenetichna korelyaciya en Lyambda Gudmana i Kruskala en Mizhklasova korelyaciya en Mnozhinna korelyaciya en Nepoyasnena chastka dispersiyi en Pidijmannya dobuvannya danih en Problema zminnosti arealnih odinic en Pomilkova korelyaciya Slabka nezalezhnist en Statistichnij arbitrazh en Tochkovo biserialnij koeficiyent korelyaciyi en Dzherela RedaguvatiKartashov M V Imovirnist procesi statistika Kiyiv VPC Kiyivskij universitet 2007 504 s Gnedenko B V Kurs teorii veroyatnostej 6 e izd Moskva Nauka 1988 446 s ros Gihman I I Skorohod A V Yadrenko M V Teoriya veroyatnostej i matematicheskaya statistika Kiyiv Visha shkola 1988 436 s ros Hazewinkel Michiel red 2001 Correlation in statistics Matematichna enciklopediya Springer ISBN 978 1 55608 010 4 angl Posilannya RedaguvatiU Vikislovniku ye storinka korelyaciya Vikishovishe maye multimedijni dani za temoyu KorelyaciyaStorinka MathWorld pro koeficiyent i vzayemnoyi korelyaciyi vibirki Arhivovano 31 serpnya 2019 u Wayback Machine angl Obchislennya znachushosti mizh dvoma korelyaciyami Arhivovano 3 sichnya 2022 u Wayback Machine dlya porivnyannya dvoh znachen korelyaciyi Instrumentarij MATLAB dlya obchislyuvannya koeficiyentiv zvazhenoyi korelyaciyi Arhiv originalu za 24 kvitnya 2021 Dovedennya togo sho vibirkova dvovimirna korelyaciya maye mezhi plyus ta minus 1 Arhivovano 17 zhovtnya 2016 u Wayback Machine angl Interaktivna Flash simulyaciya korelyaciyi dvoh normalno rozpodilenih zminnih Arhivovano 17 travnya 2021 u Wayback Machine vid Yugi Puranena Korelyacijnij analiz Biomedichna statistika angl R Psychologist Correlation Arhivovano 17 serpnya 2020 u Wayback Machine unaochnennya korelyaciyi mizh dvoma chislovimi zminnimiPrimitki Redaguvati Croxton Frederick Emory Cowden Dudley Johnstone Klein Sidney 1968 Applied General Statistics Pitman ISBN 9780273403159 page 625 angl Dietrich Cornelius Frank 1991 Uncertainty Calibration and Probability The Statistics of Scientific and Industrial Measurement 2nd Edition A Higler ISBN 9780750300605 Page 331 angl Aitken Alexander Craig 1957 Statistical Mathematics 8th Edition Oliver amp Boyd ISBN 9780050013007 Page 95 angl a b Rodgers J L Nicewander W A 1988 Thirteen ways to look at the correlation coefficient The American Statistician 42 1 59 66 JSTOR 2685263 doi 10 1080 00031305 1988 10475524 angl Dowdy S and Wearden S 1983 Statistics for Research Wiley ISBN 0 471 08602 9 pp 230 angl Francis DP Coats AJ Gibson D 1999 How high can a correlation coefficient be Int J Cardiol 69 2 185 199 PMID 10549842 doi 10 1016 S0167 5273 99 00028 5 angl a b Yule G U and Kendall M G 1950 An Introduction to the Theory of Statistics 14th Edition 5th Impression 1968 Charles Griffin amp Co pp 258 270 angl Kendall M G 1955 Rank Correlation Methods Charles Griffin amp Co angl Mahdavi Damghani B 2013 The Non Misleading Value of Inferred Correlation An Introduction to the Cointelation Model Wilmott Magazine 2013 67 50 61 doi 10 1002 wilm 10252 angl Szekely G J Rizzo Bakirov N K 2007 Measuring and testing independence by correlation of distances Annals of Statistics en 35 6 2769 2794 arXiv 0803 4101 doi 10 1214 009053607000000505 angl Szekely G J Rizzo M L 2009 Brownian distance covariance Annals of Applied Statistics 3 4 1233 1303 PMC 2889501 PMID 20574547 arXiv 1010 0297 doi 10 1214 09 AOAS312 angl Lopez Paz D and Hennig P and Scholkopf B 2013 The Randomized Dependence Coefficient Conference on Neural Information Processing Systems en Reprint Arhivovano 3 serpnya 2020 u Wayback Machine angl Thorndike Robert Ladd 1947 Research problems and techniques Report No 3 Washington DC US Govt print off angl Nikolic D Muresan RC Feng W Singer W 2012 Scaled correlation analysis a better way to compute a cross correlogram European Journal of Neuroscience 35 5 1 21 PMID 22324876 doi 10 1111 j 1460 9568 2011 07987 x angl Higham Nicholas J 2002 Computing the nearest correlation matrix a problem from finance IMA Journal of Numerical Analysis 22 3 329 343 doi 10 1093 imanum 22 3 329 Proignorovano nevidomij parametr citeseerx dovidka angl Portfolio Optimizer portfoliooptimizer io Arhiv originalu za 3 sichnya 2022 Procitovano 30 sichnya 2021 angl Borsdorf Rudiger Higham Nicholas J Raydan Marcos 2010 Computing a Nearest Correlation Matrix with Factor Structure SIAM J Matrix Anal Appl 31 5 2603 2622 doi 10 1137 090776718 Arhiv originalu za 30 grudnya 2021 Procitovano 3 sichnya 2022 angl Qi HOUDUO Sun DEFENG 2006 A quadratically convergent Newton method for computing the nearest correlation matrix SIAM J Matrix Anal Appl 28 2 360 385 doi 10 1137 050624509 angl Park Kun Il 2018 Fundamentals of Probability and Stochastic Processes with Applications to Communications Springer ISBN 978 3 319 68074 3 angl Aldrich John 1995 Correlations Genuine and Spurious in Pearson and Yule Statistical Science 10 4 364 376 JSTOR 2246135 doi 10 1214 ss 1177009870 angl Mahdavi Damghani Babak 2012 The Misleading Value of Measured Correlation Wilmott Magazine en 2012 1 64 73 doi 10 1002 wilm 10167 angl Anscombe Francis J 1973 Graphs in statistical analysis The American Statistician 27 1 17 21 JSTOR 2682899 doi 10 2307 2682899 angl Taraldsen Gunnar 2021 The Confidence Density for Correlation Sankhya A angl ISSN 0976 8378 doi 10 1007 s13171 021 00267 y angl Taraldsen Gunnar 2020 Confidence in Correlation angl doi 10 13140 RG 2 2 23673 49769 angl Bowley A L 1928 The Standard Deviation of the Correlation Coefficient Journal of the American Statistical Association 23 161 31 34 ISSN 0162 1459 JSTOR 2277400 doi 10 2307 2277400 Arhiv originalu za 3 sichnya 2022 Procitovano 3 sichnya 2022 angl Derivation of the standard error for Pearson s correlation coefficient Cross Validated Arhiv originalu za 3 sichnya 2022 Procitovano 30 lipnya 2021 angl Otrimano z https uk wikipedia org w index php title Korelyaciya amp oldid 39280047