Merezha radialno bazisnih funkcij angl Radial basis function RBF networks u matematichnomu modelyuvanni ce shtuchna nejronna merezha yaka vikoristovuye radialni bazisni funkciyi u yakosti funkciyi aktivaciyi Vihodom merezhi ye linijna kombinaciya radialnih bazisnih funkcij vhodu ta parametriv nejrona Merezhi radialnih bazisnih funkcij mayut bagato zastosuvan zokrema taki yak aproksimaciyu funkciyi en prognozuvannya chasovih ryadiv zadachi klasifikaciyi ta keruvannya sistemoyu Voni buli vpershe sformulovani u statti 1988 roku Brumhedom i Lou obidva doslidniki z Royal Signals and Radar Establishment en 1 2 3 Zmist 1 Arhitektura merezhi 1 1 Normalizaciya 1 1 1 Normalizovana arhitektura 1 1 2 Teoretichna motivaciya dlya normalizaciyi 1 2 Lokalni linijni modeli 2 Navchannya 2 1 Interpolyaciya 2 2 Aproksimaciya funkciyi 2 2 1 Pidgotovka centriv bazisnih funkcij 2 2 2 Psevdoobernene rishennya dlya linijnoyi vagi 2 2 3 Metod gradiyentnogo spusku navchannya linijnih vag 2 2 4 Trenuvannya operatora proektuvannya linijnih vag 3 Prikladi 3 1 Logistichna karta 3 2 Aproksimaciya funkciyi 3 2 1 Nenormovani radialno bazisni funkciyi 4 PrimitkiArhitektura merezhi red nbsp Malyunok 1 Arhitektura merezhi radialnih bazisnih funkcij Vhidnij vektor x displaystyle x nbsp vikoristovuyetsya yak vhid dlya vsih radialnih bazisnih funkcij kozhna z yakih maye rizni parametri Vihid merezhi yavlyaye soboyu linijnu kombinaciyu vihodiv z radialnih bazisnih funkcij Merezhi radialno bazisnih funkcij RBF zazvichaj mayut tri shari vhidnij shar prihovanij shar z nelinijnoyu RBF funkciyeyu aktivaciyi ta linijnij vihidnij riven Vhid mozhna modelyuvati yak vektor dijsnih chisel x R n displaystyle mathbf x in mathbb R n nbsp Vihid merezhi todi ye skalyarnoyu funkciyeyu vhidnogo vektora f R n R displaystyle varphi mathbb R n to mathbb R nbsp i maye viglyad f x i 1 N a i r x c i displaystyle varphi mathbf x sum i 1 N a i rho mathbf x mathbf c i nbsp de N displaystyle N nbsp kilkist nejroniv u prihovanomu shari c i displaystyle mathbf c i nbsp ye centralnim vektorom dlya nejrona i displaystyle i nbsp ta a i displaystyle a i nbsp ce vaga nejrona i displaystyle i nbsp v linijnomu vihodi nejroniv Funkciyi yaki zalezhat lishe vid vidstani vid centru vektora ye radialno simetrichnimi shodo cogo vektora otzhe nazivayutsya radialnoyu bazisnoyu funkciyeyu U bazovij formi vsi vhodi pov yazani z kozhnim prihovanim nejronom Za normu yak pravilo obirayetsya Evklidova vidstan hocha vidstan Mahalanobisa zagalom bilsh pasuye ta radialna bazisna funkciya zazvichaj vvazhayetsya rozpodilom Gausa r x c i exp b x c i 2 displaystyle rho big left Vert mathbf x mathbf c i right Vert big exp left beta left Vert mathbf x mathbf c i right Vert 2 right nbsp Gausovi bazisni funkciyi blizki do centralnogo vektora v tomu sensi sho lim x r x c i 0 displaystyle lim x to infty rho left Vert mathbf x mathbf c i right Vert 0 nbsp tobto zmina parametriv odnogo nejrona maye lishe nevelikij efekt dlya vhidnih znachen sho znahodyatsya daleko vid centru cogo nejrona Zavdyaki gnuchkim umovam na formu funkciyi aktivaciyi RBF merezhi ye universalnimi aproksimatorami na kompaktnomu prostori R n displaystyle mathbb R n nbsp Ce oznachaye sho merezha RBF z dostatnoyu kilkistyu prihovanih nejroniv mozhe aproksimuvati bud yaku neperervnu funkciyu na zamknenij obmezhenij mnozhini z dovilnoyu tochnistyu Parametri a i displaystyle a i nbsp c i displaystyle mathbf c i nbsp ta b i displaystyle beta i nbsp viznachayutsya tak shob optimizuyut vidpovidnist mizh f displaystyle varphi nbsp i danimi Normalizaciya red nbsp Malyunok 2 Dvi ne normovani radialni bazisni funkciyi odnovimirnij vhid Centri bazisnih funkcij znahodyatsya v c 1 0 75 displaystyle c 1 0 75 nbsp ta c 2 3 25 displaystyle c 2 3 25 nbsp nbsp Malyunok 3 Dvi normovani radialni bazisni funkciyi odnovimirnij vhid Centri bazisnih funkcij znahodyatsya v c 1 0 75 displaystyle c 1 0 75 nbsp ta c 2 3 25 displaystyle c 2 3 25 nbsp nbsp Malyunok 4 Tri normalizovani radialno bazisni funkciyi odnovimirnij vhid Dodatkova osnovna funkciya maye centr v c 3 2 75 displaystyle c 3 2 75 nbsp nbsp Malyunok 5 Chotiri normalizovani radialno bazisni funkciyi odnovimirnij vhid Chetverta bazisna funkciya maye centr v c 4 0 displaystyle c 4 0 nbsp Zauvazhte sho persha osnovna funkciya temno sinya stala lokalizovanoyu Normalizovana arhitektura red Okrim vishezgadanoyi nenormalizovanoyi arhitekturi merezhi RBF mozhut buti normalizovani U comu vipadku ye vidobrazhennya f x d e f i 1 N a i r x c i i 1 N r x c i i 1 N a i u x c i displaystyle varphi mathbf x stackrel mathrm def frac sum i 1 N a i rho big left Vert mathbf x mathbf c i right Vert big sum i 1 N rho big left Vert mathbf x mathbf c i right Vert big sum i 1 N a i u big left Vert mathbf x mathbf c i right Vert big nbsp de u x c i d e f r x c i j 1 N r x c j displaystyle u big left Vert mathbf x mathbf c i right Vert big stackrel mathrm def frac rho big left Vert mathbf x mathbf c i right Vert big sum j 1 N rho big left Vert mathbf x mathbf c j right Vert big nbsp vidoma yak normovana radialno bazisna funkciya Teoretichna motivaciya dlya normalizaciyi red Isnuye teoretichne obgruntuvannya ciyeyi arhitekturi u vipadku stohastichnogo potoku danih Pripustimo sho aproksimaciya stohastichnogo yadra en dlya spilnoyi shilnosti jmovirnostej P x y 1 N i 1 N r x c i s y e i displaystyle P left mathbf x land y right 1 over N sum i 1 N rho big left Vert mathbf x mathbf c i right Vert big sigma big left vert y e i right vert big nbsp de vagi c i displaystyle mathbf c i nbsp ta e i displaystyle e i nbsp ye zrazkami danih i nam potribno shob yadra normalizuvalis r x c i d n x 1 displaystyle int rho big left Vert mathbf x mathbf c i right Vert big d n mathbf x 1 nbsp i s y e i d y 1 displaystyle int sigma big left vert y e i right vert big dy 1 nbsp Shilnist jmovirnostej u vhidnomu ta vihidnomu prostorah ye P x P x y d y 1 N i 1 N r x c i displaystyle P left mathbf x right int P left mathbf x land y right dy 1 over N sum i 1 N rho big left Vert mathbf x mathbf c i right Vert big nbsp iOchikuvannya u vvedenogo na vhid x displaystyle mathbf x nbsp f x d e f E y x y P y x d y displaystyle varphi left mathbf x right stackrel mathrm def E left y mid mathbf x right int y P left y mid mathbf x right dy nbsp de P y x displaystyle P left y mid mathbf x right nbsp umovna jmovirnist y pri zadanomu x displaystyle mathbf x nbsp Umovna jmovirnist pov yazana z jmovirnistyu teoremoyu Bayesa P y x P x y P x displaystyle P left y mid mathbf x right frac P left mathbf x land y right P left mathbf x right nbsp yakij daye f x y P x y P x d y displaystyle varphi left mathbf x right int y frac P left mathbf x land y right P left mathbf x right dy nbsp Ce staye f x i 1 N e i r x c i i 1 N r x c i i 1 N e i u x c i displaystyle varphi left mathbf x right frac sum i 1 N e i rho big left Vert mathbf x mathbf c i right Vert big sum i 1 N rho big left Vert mathbf x mathbf c i right Vert big sum i 1 N e i u big left Vert mathbf x mathbf c i right Vert big nbsp koli vikonuyetsya integruvannya Lokalni linijni modeli red Inodi zruchno rozshiryuvati arhitekturu shob vklyuchiti lokalni linijni modeli U comu vipadku arhitekturi zvodyatsya do pershogo poryadku f x i 1 N a i b i x c i r x c i displaystyle varphi left mathbf x right sum i 1 N left a i mathbf b i cdot left mathbf x mathbf c i right right rho big left Vert mathbf x mathbf c i right Vert big nbsp i f x i 1 N a i b i x c i u x c i displaystyle varphi left mathbf x right sum i 1 N left a i mathbf b i cdot left mathbf x mathbf c i right right u big left Vert mathbf x mathbf c i right Vert big nbsp v nenormalizovanih ta normalizovanih vipadkah vidpovidno Tut viznachayutsya vagi b i displaystyle mathbf b i nbsp Mozhlivi takozh virazi bilsh visokogo poryadku vid linijnih termiv Cej rezultat mozhna zapisati yak f x i 1 2 N j 1 n e i j v i j x c i displaystyle varphi left mathbf x right sum i 1 2N sum j 1 n e ij v ij big mathbf x mathbf c i big nbsp de e i j a i if i 1 N b i j if i N 1 2 N displaystyle e ij begin cases a i amp mbox if i in 1 N b ij amp mbox if i in N 1 2N end cases nbsp i v i j x c i d e f d i j r x c i if i 1 N x i j c i j r x c i if i N 1 2 N displaystyle v ij big mathbf x mathbf c i big stackrel mathrm def begin cases delta ij rho big left Vert mathbf x mathbf c i right Vert big amp mbox if i in 1 N left x ij c ij right rho big left Vert mathbf x mathbf c i right Vert big amp mbox if i in N 1 2N end cases nbsp v nenormalizovanomu vipadku i v i j x c i d e f d i j u x c i if i 1 N x i j c i j u x c i if i N 1 2 N displaystyle v ij big mathbf x mathbf c i big stackrel mathrm def begin cases delta ij u big left Vert mathbf x mathbf c i right Vert big amp mbox if i in 1 N left x ij c ij right u big left Vert mathbf x mathbf c i right Vert big amp mbox if i in N 1 2N end cases nbsp v normalizovanomu Tut d i j displaystyle delta ij nbsp ye delto funkciyeyu Kronekera i viznachayetsya yak d i j 1 if i j 0 if i j displaystyle delta ij begin cases 1 amp mbox if i j 0 amp mbox if i neq j end cases nbsp Navchannya red Merezhi RBF yak pravilo trenuyutsya z par vhidnih i cilovih znachen x t y t displaystyle mathbf x t y t nbsp t 1 T displaystyle t 1 dots T nbsp za dvohetapnim algoritmom Na pershomu etapi obirayetsya centr vektoru c i displaystyle mathbf c i nbsp RBF funkciyi u prihovanomu shari Cej etap vikonuyetsya kilkoma sposobami centri mozhut buti vipadkovo vidibrani z deyakogo naboru prikladiv abo yih mozhna viznachiti za dopomogoyu klasterizaciyi metodom k serednih Zauvazhte sho cej krok ne kerovanij Drugij krok prosto vidpovidaye linijnij modeli z koeficiyentami w i displaystyle w i nbsp do vihodiv prihovanogo sharu z vidnoshennyam do deyakoyi cilovoyi funkciyi Zagalna cilova funkciya prinajmni dlya regresiyi ocinki funkciyi ye funkciyeyu najmenshih kvadrativ K w d e f t 1 T K t w displaystyle K mathbf w stackrel mathrm def sum t 1 T K t mathbf w nbsp de K t w d e f y t f x t w 2 displaystyle K t mathbf w stackrel mathrm def big y t varphi big mathbf x t mathbf w big big 2 nbsp Mi mayemo yavne vklyuchennya zalezhnosti vid vag Minimizaciya cilovoyi funkciyi najmenshih kvadrativ za optimalnogo viboru vag optimizuye tochnist pidgonki Ye vipadki koli potribno optimizuvati bagato cilej takih yak gladkist a takozh tochnist U comu vipadku korisno optimizuvati regulyarizovanu cilovu funkciyu taku yak H w d e f K w l S w d e f t 1 T H t w displaystyle H mathbf w stackrel mathrm def K mathbf w lambda S mathbf w stackrel mathrm def sum t 1 T H t mathbf w nbsp de S w d e f t 1 T S t w displaystyle S mathbf w stackrel mathrm def sum t 1 T S t mathbf w nbsp i H t w d e f K t w l S t w displaystyle H t mathbf w stackrel mathrm def K t mathbf w lambda S t mathbf w nbsp de optimizaciya S maksimizuye gladkist ta l displaystyle lambda nbsp vidoma yak regulyarizaciya Tretij ne obov yazkovij etap zvorotnogo poshirennya pomilki mozhe buti vikonanij dlya tochnogo nastroyuvannya vsih parametriv merezhi RBF 3 Interpolyaciya red RBF merezhi mozhut buti vikoristani dlya interpolyaciyi funkciyi y R n R displaystyle y mathbb R n to mathbb R nbsp koli znachennya cih funkcij vidomi na kincevomu chisli tochok y x i b i i 1 N displaystyle y mathbf x i b i i 1 ldots N nbsp Vzyattya vidomih tochok x i displaystyle mathbf x i nbsp shob buti centrami radialnih bazisnih funkcij i ocinyuvati znachennya osnovnih funkcij v tih samih tochkah g i j r x j x i displaystyle g ij rho mathbf x j mathbf x i nbsp vagi mozhut buti znajdeni z rivnyannya g 11 g 12 g 1 N g 21 g 22 g 2 N g N 1 g N 2 g N N w 1 w 2 w N b 1 b 2 b N displaystyle left begin matrix g 11 amp g 12 amp cdots amp g 1N g 21 amp g 22 amp cdots amp g 2N vdots amp amp ddots amp vdots g N1 amp g N2 amp cdots amp g NN end matrix right left begin matrix w 1 w 2 vdots w N end matrix right left begin matrix b 1 b 2 vdots b N end matrix right nbsp Mozhe buti dovedeno sho interpolyaciya matrici u vishenavedenomu rivnyanni ye nesingulyarnoyu yaksho tochki x i displaystyle mathbf x i nbsp vidriznyayutsya a otzhe vagi w displaystyle w nbsp mozhut buti znajdeni za dopomogoyu prostoyi linijnoyi algebri w G 1 b displaystyle mathbf w mathbf G 1 mathbf b nbsp Aproksimaciya funkciyi red Yaksho meta polyagaye ne v tomu shob vikonuvati zhorstku interpolyaciyu a natomist bilsh zagalnu aproksimaciyu funkciyi en abo klasifikaciyu optimizaciya desho skladnisha oskilki dlya centriv nemaye ochevidnogo viboru Trenuvannya yak pravilo vikonuyutsya v dva etapi spochatku fiksuyuchi shirinu ta centri a potim vagi Ce mozhna vipravdati rozglyadayuchi riznu prirodu nelinijnih prihovanih nejroniv u porivnyanni z linijnim vihidnim nejronom Pidgotovka centriv bazisnih funkcij red Centri bazisnih funkcij mozhut buti vipadkovo vidibrani sered vhidnih ekzemplyariv abo otrimani v ramkah ortogonalnogo algoritmu navchannya najmenshoyi kvadratu abo znajdeni za dopomogoyu klasterizaciyi zrazkiv ta viboru klasterizaciyi yak centriv Shirina RBF yak pravilo zakriplena za tim samim znachennyam yake proporcijno maksimalnij vidstani mizh vibranimi centrami Psevdoobernene rishennya dlya linijnoyi vagi red Pislya togo yak centri c i displaystyle c i nbsp zafiksovani vagi sho minimizuyut pohibku na vihodi obchislyuyutsya za dopomogoyu linijnogo psevdoobernenogo rishennya w G b displaystyle mathbf w mathbf G mathbf b nbsp de zapisi G ye znachennyami radialnih bazisnih funkcij ocinenih v tochkah x i displaystyle x i nbsp g j i r x j c i displaystyle g ji rho x j c i nbsp Isnuvannya cogo linijnogo rishennya oznachaye sho na vidminu vid bagatosharovih perseptronnih MLP merezh RBF merezhi mayut unikalnij lokalnij minimum koli centri fiksuyutsya Metod gradiyentnogo spusku navchannya linijnih vag red Inshij mozhlivij algoritm trenuvannya gradiyentnij spusk Pid chas trenuvannya gradiyentnogo spusku vagi koriguyutsya na kozhnomu kroci ruhayuchi yih u napryamku protilezhnomu gradiyentu ob yektivnoyi funkciyi takim chinom mozhna znajti minimum ob yektivnoyi funkciyi w t 1 w t n d d w H t w displaystyle mathbf w t 1 mathbf w t nu frac d d mathbf w H t mathbf w nbsp de n displaystyle nu nbsp ce navchalnij parametr Dlya vipadku trenuvannya linijnih vag a i displaystyle a i nbsp algoritm staye a i t 1 a i t n y t f x t w r x t c i displaystyle a i t 1 a i t nu big y t varphi big mathbf x t mathbf w big big rho big left Vert mathbf x t mathbf c i right Vert big nbsp v nenormalizovanomu vipadku i a i t 1 a i t n y t f x t w u x t c i displaystyle a i t 1 a i t nu big y t varphi big mathbf x t mathbf w big big u big left Vert mathbf x t mathbf c i right Vert big nbsp v normalizovanomu Dlya lokalnoyi linijnoyi arhitekturi navchannya gradiyent spuskom ye e i j t 1 e i j t n y t f x t w v i j x t c i displaystyle e ij t 1 e ij t nu big y t varphi big mathbf x t mathbf w big big v ij big mathbf x t mathbf c i big nbsp Trenuvannya operatora proektuvannya linijnih vag red Dlya vipadku trenuvannya linijnih vag a i displaystyle a i nbsp ta e i j displaystyle e ij nbsp algoritm staye a i t 1 a i t n y t f x t w r x t c i i 1 N r 2 x t c i displaystyle a i t 1 a i t nu big y t varphi big mathbf x t mathbf w big big frac rho big left Vert mathbf x t mathbf c i right Vert big sum i 1 N rho 2 big left Vert mathbf x t mathbf c i right Vert big nbsp v nenormalizovanomu vipadku i a i t 1 a i t n y t f x t w u x t c i i 1 N u 2 x t c i displaystyle a i t 1 a i t nu big y t varphi big mathbf x t mathbf w big big frac u big left Vert mathbf x t mathbf c i right Vert big sum i 1 N u 2 big left Vert mathbf x t mathbf c i right Vert big nbsp v normalizovanomu i e i j t 1 e i j t n y t f x t w v i j x t c i i 1 N j 1 n v i j 2 x t c i displaystyle e ij t 1 e ij t nu big y t varphi big mathbf x t mathbf w big big frac v ij big mathbf x t mathbf c i big sum i 1 N sum j 1 n v ij 2 big mathbf x t mathbf c i big nbsp v lokalno linijnomu vipadku Dlya odniyeyi bazovoyi funkciyi trenuvannya operatora proyekciyi zvoditsya do metoda Nyutona nbsp Malyunok 6 Logistichne vidobrazhennya chasovogo ryadu Povtorna iteraciya logistichnogo vidobrazhennya stvoryuye haotichni chasovi ryadi Znachennya lezhat mizh nulem i odiniceyu Tut predstavleni 100 navchalnih tochok yaki vikoristovuyutsya dlya trenuvannya prikladiv cogo rozdilu Vagi c ce pershi p yat tochok cogo chasovogo ryadu Prikladi red Logistichna karta red Osnovni vlastivosti radialno bazisnih funkcij mozhna proilyustruvati prostim matematichnim vidobrazhennyam logistichne vidobrazhennya yake vidobrazhaye interval odinici na sebe Vin mozhe buti vikoristanij dlya stvorennya zruchnogo prototipu potoku danih Logistichne vidobrazhennya mozhe buti vikoristane dlya vivchennya aproksimaciyi funkciyi en prognozuvannya chasovih ryadiv i teoriyi keruvannya Vidobrazhennya pohodit z polya populyacijna dinamika i stalo prototipom dlya haosu chasovih ryadiv Vidobrazhennya v povnistyu haotichnomu rezhimi dayetsya x t 1 d e f f x t 4 x t 1 x t displaystyle x t 1 stackrel mathrm def f left x t right 4x t left 1 x t right nbsp de t indikator chasu Znachennya h u moment t 1 ye parabolichnoyu parabolichnoyu funkciyeyu h vid chasu t Ce rivnyannya predstavlyaye osnovnu geometriyu haosu chasovih ryadiv sho porodzhuyutsya logistichnoyu kartoyu Pokolinnya chasovih ryadiv z cogo rivnyannya ye obernenoyu zadacheyu en identifikaciya osnovnoyi dinamiki abo fundamentalnogo rivnyannya logistichnoyi karti z primirnikiv chasovih ryadiv Meta znajti ocinku x t 1 f x t f t f x t displaystyle x t 1 f left x t right approx varphi t varphi left x t right nbsp dlya f Aproksimaciya funkciyi red nbsp Risunok 7 Nenormovani bazisni funkciyi Logistichna karta sinya ta nablizhennya do logistichnoyi karti chervonij pislya odnogo prohodu cherez nabir trenuvan Nenormovani radialno bazisni funkciyi red Arhitekturoyu ye f x d e f i 1 N a i r x c i displaystyle varphi mathbf x stackrel mathrm def sum i 1 N a i rho big left Vert mathbf x mathbf c i right Vert big nbsp de r x c i exp b x c i 2 exp b x t c i 2 displaystyle rho big left Vert mathbf x mathbf c i right Vert big exp left beta left Vert mathbf x mathbf c i right Vert 2 right exp left beta left x t c i right 2 right nbsp Primitki red Broomhead D S Lowe David 1988 Radial basis functions multi variable functional interpolation and adaptive networks 4148 Arhiv originalu za 22 kvitnya 2013 Procitovano 13 zhovtnya 2017 Broomhead D S Lowe David 1988 Multivariable functional interpolation and adaptive networks Complex Systems 2 321 355 a b Schwenker Friedhelm Kestler Hans A Palm Gunther 2001 Three learning phases for radial basis function networks Neural Networks 14 439 458 doi 10 1016 s0893 6080 01 00027 2 Otrimano z https uk wikipedia org w index php title Merezha radialnih bazisnih funkcij amp oldid 40528636
