www.wikidata.uk-ua.nina.az

Диференціальна ентропія англ differential entropy також англ continuous entropy функціонал визначений на множині абсолют

Диференціальна ентропія

Диференціальна ентропія (англ. differential entropy, також англ. continuous entropy) — функціонал, визначений на множині абсолютно неперервних розподілів імовірностей, формальний аналог поняття інформаційної ентропії Шеннона для випадку неперервної випадкової величини. У теорії інформації функціонал евристично ввів К. Шеннон, однак він не є автором терміна «диференціальна ентропія». Сам термін уведено А. М. Колмогоровим спільно з І. М. Гельфандом і А. М. Яглом[ru], він підкреслює, що це поняття має інший зміст, ніж ентропія дискретних розподілів. Вони ж отримали строге виведення диференціальної ентропії як першого члена асимптотичного розкладу ентропії, в якому проявляється залежність від розподілу випадкової величини. Для неперервної випадкової величини , розподіленої на (), диференціальна ентропія визначається як

де  — густина розподілу випадкової величини (або сигналу неперервного джерела як випадкової величини). Вибір основи логарифма в цій формулі (яка має бути більшою від 1) визначає одиницю вимірювання відповідної кількості інформації. Так, у теорії інформації часто використовують двійковий логарифм, що відповідає одиниці кількості інформації біт, а функціонал інтерпретується як середня інформація неперервного джерела. У математичній статистиці у визначенні диференціальної ентропії з міркувань зручності зазвичай використовують натуральний логарифм (відповідна одиниця нат), функціонал інтерпретується як міра невизначеності неперервного розподілу.

Диференціальна ентропія не інваріантна відносно перетворень координат випадкової величини і не має самостійного сенсу. Більш того, якщо випадкова величина має розмірність, то функціонал диференціальної ентропії буде некоректним з точки зору розмірності (оскільки під знаком логарифма виявляється розмірна величина). Однак різниця диференціальних ентропій двох випадкових величин, розподілених на одній множині, є коректною, причому безрозмірною величиною і збігається з різницею їхніх ентропій (оскільки ентропія будь-якої неперервної випадкової величини нескінченна, при взятті різниці ентропій потрібно розкрити невизначеність, скориставшись асимптотичним розкладом).

Таким чином, можливість виражати диференціальну ентропію в бітах (або інших одиницях) досить умовна: ситуація тут подібна до вимірювання температури в градусах Цельсія, які, хоча й збігаються за величиною з кельвінами, але не є абсолютною шкалою температури, а мають відносно неї деякий зсув (тому диференціальна ентропія, як і температура за шкалою Цельсія, може бути від'ємною). Відмінність полягає в тому, що у випадку з диференціальною ентропією цей зсув є нескінченним відносно абсолютної шкали, яка визначається значеннями ентропії. Тобто, абсолютну шкалу для ентропії неперервних розподілів обрати неможливо, але за допомогою диференціальної ентропії можна порівнювати ентропії різних розподілів.

У деяких джерелах диференціальну ентропію розподілу інтерпретують як його ентропію відносно ентропії рівномірного розподілу на проміжку одиничної довжини, оскільки останній має рівну нулю диференціальну ентропію. Потрібно зауважити, що такий підхід не зовсім коректний, оскільки ентропія в неперервному випадку залежить від того, яким чином крок дискретизації при розбитті проміжку прямує до нуля. Лише в разі, коли розглядається один і той самий проміжок, можна вважати, що при обчисленні ентропії використовується однакова його дискретизація для кожного з розподілів, тоді різниця ентропій прямує до скінченної границі. У загальному випадку (за довільної дискретизації) різниця ентропій неперервних випадкових величин не прямує до жодної границі.

Умовна диференціальна ентропія ред.

Умовна диференціальна ентропія для величини при заданій величині визначається такою формулою:

Безумовна і умовна диференціальні ентропії можуть бути як додатними, так і від'ємними величинами, а також можуть дорівнювати нескінченності. Ця обставина також вказує на те, що диференціальна ентропія (умовна і безумовна) має дещо інший сенс, ніж ентропія, яка завжди невід'ємна.

Для диференціальної ентропії виконуються рівності, аналогічні ентропії дискретного джерела:

Приклади ред.

У наведених нижче прикладах у визначенні диференціальної ентропії використовується натуральний логарифм,  — дисперсія розподілу.

  • Серед розподілів, заданих на обмеженому проміжку, максимум диференціальної ентропії досягається для рівномірного розподілу і дорівнює

Приклади з конкретними одиницями вимірювання ред.

Візьмемо для визначеності біти. Отже основою логарифма буде 2.

  • Для рівномірного розподілу від до :
  • Для рівномірного розподілу від до :
  • Для рівномірного розподілу від до  :

Примітки ред.

  1. Шеннон, 1963, с. 296-300.
  2. Гельфанд, 1958, с. 300-320.
  3. ↑ Колмогоров, 1987, с. 39-41.
  4. ↑ Глушков, 1974, с. 583-585.
  5. ↑ Тарасенко, 1963, с. 74-77.

Література ред.

  • Вернер М. 8.1 Дифференциальная энтропия // Основы кодирования = Information und Codierung / пер. Д.К. Зигангирова. — ЗАО «РИЦ „Техносфера“», 2004. — С. 109—114. — (Мир программирования) — 3000 прим. — ISBN 5-94836-019-9.
  • Колмогоров А. Н. Теория информации и теория алгоритмов. — М. : Наука, 1987. — 304 с.
  • Тарасенко Ф. П. Введение в курс теории информации. — Томск : Изд-во Томского университета, 1963. — 240 с.
  • Шеннон К. Работы по теории информации и кибернетике. — М. : Издательство иностранной литературы, 1963. — 830 с.
  • Гельфанд И. М., Колмогоров А. Н., Яглом А. М. Количество информации и энтропия для непрерывных распределений. В кн.: Тр. III Всесоюзного математического съезда, т. 3. — М. : АН СССР, 1958.
  • Глушков В.М., Амосов Н.М., Артеменко И.А. Энциклопедия кибернетики. Том 2. — Київ, 1974.

Посилання ред.

  • Ентропія неперервної випадкової величини та її властивості [ 4 березня 2016 у Wayback Machine.] (рос.)
Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри
Дата публікації:
Diferencialna entropiya angl differential entropy takozh angl continuous entropy funkcional viznachenij na mnozhini absolyutno neperervnih rozpodiliv imovirnostej formalnij analog ponyattya informacijnoyi entropiyi Shennona dlya vipadku neperervnoyi vipadkovoyi velichini U teoriyi informaciyi funkcional evristichno vviv K Shennon 1 odnak vin ne ye avtorom termina diferencialna entropiya Sam termin uvedeno A M Kolmogorovim spilno z I M Gelfandom i A M Yaglom ru vin pidkreslyuye sho ce ponyattya maye inshij zmist nizh entropiya diskretnih rozpodiliv Voni zh otrimali stroge vivedennya diferencialnoyi entropiyi yak pershogo chlena asimptotichnogo rozkladu entropiyi v yakomu proyavlyayetsya zalezhnist vid rozpodilu vipadkovoyi velichini 2 3 4 Dlya neperervnoyi vipadkovoyi velichini 3 displaystyle xi rozpodilenoyi na X R n displaystyle X subseteq R n n lt displaystyle n lt infty diferencialna entropiya viznachayetsya yak H 3 X f x log f x d x displaystyle H xi int X f left x right log f left x right dx de f x displaystyle f left x right gustina rozpodilu vipadkovoyi velichini abo signalu neperervnogo dzherela yak vipadkovoyi velichini Vibir osnovi logarifma v cij formuli yaka maye buti bilshoyu vid 1 viznachaye odinicyu vimiryuvannya vidpovidnoyi kilkosti informaciyi Tak u teoriyi informaciyi chasto vikoristovuyut dvijkovij logarifm sho vidpovidaye odinici kilkosti informaciyi bit a funkcional interpretuyetsya yak serednya informaciya neperervnogo dzherela U matematichnij statistici u viznachenni diferencialnoyi entropiyi z mirkuvan zruchnosti zazvichaj vikoristovuyut naturalnij logarifm vidpovidna odinicya nat funkcional interpretuyetsya yak mira neviznachenosti neperervnogo rozpodilu Diferencialna entropiya ne invariantna vidnosno peretvoren koordinat vipadkovoyi velichini i ne maye samostijnogo sensu Bilsh togo yaksho vipadkova velichina maye rozmirnist to funkcional diferencialnoyi entropiyi bude nekorektnim z tochki zoru rozmirnosti oskilki pid znakom logarifma viyavlyayetsya rozmirna velichina Odnak riznicya diferencialnih entropij dvoh vipadkovih velichin rozpodilenih na odnij mnozhini ye korektnoyu prichomu bezrozmirnoyu velichinoyu i zbigayetsya z rizniceyu yihnih entropij oskilki entropiya bud yakoyi neperervnoyi vipadkovoyi velichini neskinchenna pri vzyatti riznici entropij potribno rozkriti neviznachenist skoristavshis asimptotichnim rozkladom 3 4 5 Takim chinom mozhlivist virazhati diferencialnu entropiyu v bitah abo inshih odinicyah dosit umovna situaciya tut podibna do vimiryuvannya temperaturi v gradusah Celsiya yaki hocha j zbigayutsya za velichinoyu z kelvinami ale ne ye absolyutnoyu shkaloyu temperaturi a mayut vidnosno neyi deyakij zsuv tomu diferencialna entropiya yak i temperatura za shkaloyu Celsiya mozhe buti vid yemnoyu Vidminnist polyagaye v tomu sho u vipadku z diferencialnoyu entropiyeyu cej zsuv ye neskinchennim vidnosno absolyutnoyi shkali yaka viznachayetsya znachennyami entropiyi Tobto absolyutnu shkalu dlya entropiyi neperervnih rozpodiliv obrati nemozhlivo ale za dopomogoyu diferencialnoyi entropiyi mozhna porivnyuvati entropiyi riznih rozpodiliv U deyakih dzherelah 5 diferencialnu entropiyu rozpodilu interpretuyut yak jogo entropiyu vidnosno entropiyi rivnomirnogo rozpodilu na promizhku odinichnoyi dovzhini oskilki ostannij maye rivnu nulyu diferencialnu entropiyu Potribno zauvazhiti sho takij pidhid ne zovsim korektnij oskilki entropiya v neperervnomu vipadku zalezhit vid togo yakim chinom krok diskretizaciyi pri rozbitti promizhku pryamuye do nulya Lishe v razi koli rozglyadayetsya odin i toj samij promizhok mozhna vvazhati sho pri obchislenni entropiyi vikoristovuyetsya odnakova jogo diskretizaciya dlya kozhnogo z rozpodiliv todi riznicya entropij pryamuye do skinchennoyi granici U zagalnomu vipadku za dovilnoyi diskretizaciyi riznicya entropij neperervnih vipadkovih velichin ne pryamuye do zhodnoyi granici Zmist 1 Umovna diferencialna entropiya 2 Prikladi 2 1 Prikladi z konkretnimi odinicyami vimiryuvannya 3 Primitki 4 Literatura 5 Posilannya Umovna diferencialna entropiya red Umovna diferencialna entropiya dlya velichini X displaystyle X pri zadanij velichini Y displaystyle Y viznachayetsya takoyu formuloyu H X Y y f X Y x log f X Y x d x displaystyle H left X Y y right int limits infty infty f X Y left x right log f X Y left x right dx Bezumovna i umovna diferencialni entropiyi mozhut buti yak dodatnimi tak i vid yemnimi velichinami a takozh mozhut dorivnyuvati neskinchennosti Cya obstavina takozh vkazuye na te sho diferencialna entropiya umovna i bezumovna maye desho inshij sens nizh entropiya yaka zavzhdi nevid yemna Dlya diferencialnoyi entropiyi vikonuyutsya rivnosti analogichni entropiyi diskretnogo dzherela H X H X Y displaystyle H left X right geq H left X Y right dlya nezalezhnih dzherel rivnist H X Y H X H Y X H Y H X Y displaystyle H left X Y right H left X right H left Y X right H left Y right H left X Y right Prikladi red U navedenih nizhche prikladah u viznachenni diferencialnoyi entropiyi vikoristovuyetsya naturalnij logarifm s 2 displaystyle sigma 2 nbsp dispersiya rozpodilu Mozhna pokazati sho diferencialna entropiya rozpodiliv z obmezhenoyu dispersiyeyu najbilsha v razi gaussovogo rozpodilu jmovirnostej i dorivnyuyeH 1 2 ln 2 p s 2 e displaystyle H frac 1 2 ln left 2 pi sigma 2 e right nbsp Sered rozpodiliv zadanih na obmezhenomu promizhku maksimum diferencialnoyi entropiyi dosyagayetsya dlya rivnomirnogo rozpodilu i dorivnyuyeH ln 2 3 s displaystyle H ln left 2 sqrt 3 sigma right nbsp Dlya rozpodilu LaplasaH ln 2 s e displaystyle H ln left sqrt 2 sigma e right nbsp Prikladi z konkretnimi odinicyami vimiryuvannya red Vizmemo dlya viznachenosti biti Otzhe osnovoyu logarifma bude 2 Dlya rivnomirnogo rozpodilu vid 0 displaystyle 0 nbsp do 1 displaystyle 1 nbsp f x 1 displaystyle f x 1 nbsp H f 0 1 d x 1 log 2 1 0 b i t displaystyle H f int 0 1 dx1 log 2 1 0 rm bit nbsp Dlya rivnomirnogo rozpodilu vid 0 displaystyle 0 nbsp do 2 displaystyle 2 nbsp f x 1 2 displaystyle f x frac 1 2 nbsp H f 0 2 d x 1 2 log 2 1 2 1 b i t displaystyle H f int 0 2 dx frac 1 2 log 2 frac 1 2 1 rm bit nbsp Dlya rivnomirnogo rozpodilu vid 0 displaystyle 0 nbsp do 4 displaystyle 4 nbsp f x 1 4 displaystyle f x frac 1 4 nbsp H f 0 4 d x 1 4 log 2 1 4 2 b i t displaystyle H f int 0 4 dx frac 1 4 log 2 frac 1 4 2 rm bit nbsp Primitki red Shennon 1963 s 296 300 Gelfand 1958 s 300 320 a b Kolmogorov 1987 s 39 41 a b Glushkov 1974 s 583 585 a b Tarasenko 1963 s 74 77 Literatura red Verner M 8 1 Differencialnaya entropiya Osnovy kodirovaniya Information und Codierung per D K Zigangirova ZAO RIC Tehnosfera 2004 S 109 114 Mir programmirovaniya 3000 prim ISBN 5 94836 019 9 Kolmogorov A N Teoriya informacii i teoriya algoritmov M Nauka 1987 304 s Tarasenko F P Vvedenie v kurs teorii informacii Tomsk Izd vo Tomskogo universiteta 1963 240 s Shennon K Raboty po teorii informacii i kibernetike M Izdatelstvo inostrannoj literatury 1963 830 s Gelfand I M Kolmogorov A N Yaglom A M Kolichestvo informacii i entropiya dlya nepreryvnyh raspredelenij V kn Tr III Vsesoyuznogo matematicheskogo sezda t 3 M AN SSSR 1958 Glushkov V M Amosov N M Artemenko I A Enciklopediya kibernetiki Tom 2 Kiyiv 1974 Posilannya red Entropiya neperervnoyi vipadkovoyi velichini ta yiyi vlastivosti Arhivovano 4 bereznya 2016 u Wayback Machine ros Otrimano z https uk wikipedia org w index php title Diferencialna entropiya amp oldid 34848895