www.wikidata.uk-ua.nina.az

Колаборативна фільтрація спільна фільтрація англ collaborative filtering КФ метод який використовується деякими рекоменд

Колаборативна фільтрація

Колаборативна фільтрація, спільна фільтрація (англ. collaborative filtering) (КФ) — метод, який використовується деякими рекомендаційними системами. Колаборативна фільтрація має два значення: вузьке і більш загальне. В цілому, колаборативна фільтрація — процес фільтрації інформації або зразків за допомогою методів за участю співробітництва між декількома агентами, точками зору, джерелами даних і т. д. Застосування колаборативної фільтрації, як правило, пов'язане з дуже великими наборами даних. Колаборативні методи фільтрації були застосовані до різних видів даних, зокрема до таких як зондування та моніторинг даних, які виникають при розвідці корисних копалин на великих площах; до фінансових даних, таких як установи фінансових послуг, які об'єднують багато фінансових джерел; або в електронній торгівлі та вебдодатках, що зосереджуються на даних користувача, і т. д. Решта цієї дискусії зосереджена на колаборативній фільтрації даних, призначених для користувача, хоча деякі з методів та підходів можуть застосовуватися так само і у багатьох інших випадках.

На даній анімації показаний приклад прогнозування оцінки користувача за допомогою колаборативної фільтрації. У даній системі користувачі залишають оцінки різних предметів (наприклад відео, книжок, ігор). Після цього система прогнозує оцінки користувача для предметів, які він ще не оцінив. Прогнози будуються на основі оцінок користувачів, які мають однакові оцінки з поточним користувачем для інших предметів. В даному випадку система зробила прогноз про те, що поточному користувачеві відео, яке оцінили інші користувачі, не сподобається.

У більш новому, вужчому значенні колаборативна фільтрація — це один з методів побудови прогнозу в рекомендаційних системах, який використовує відомі уподобання (оцінки) групи користувачів для прогнозування невідомих уподобань іншого користувача. Основне припущення колаборативної фільтрації полягає в наступному: ті, хто однаково оцінювали будь-які предмети в минулому, схильні давати схожі оцінки інших предметів і в майбутньому. Наприклад, за допомогою колаборативної фільтрації музичний додаток здатний прогнозувати, яка музика сподобається користувачеві, маючи неповний список його уподобань (симпатій та антипатій). Прогнози складаються індивідуально для кожного користувача, хоча інформація, що використовується, зібрана від багатьох учасників. Це відрізняє колаборативну фільтрацію від більш простого підходу, дає усереднену оцінку для кожного об'єкта інтересу, наприклад того, що базується на кількості поданих за нього голосів. Дослідження в даній області активно ведуться і в наш час, що зокрема обумовлюється наявністю невирішених проблем у методі колаборатівної фільтрації.

Опис ред.

У століття інформаційного вибуху такі методи створення персоналізованих рекомендацій, як колаборативна фільтрація, дуже корисні, оскільки кількість об'єктів навіть в одній категорії (такій, як фільми, музика, книги, новини, вебсайти) стала настільки великою, що окрема людина не здатна переглянути їх всі, щоб вибрати відповідні.

Системи колаборативної фільтрації зазвичай застосовують двоступеневу схему :

  1. Знаходять тих, хто поділяє оціночні судження «активного» (прогнозованого) користувача.
  2. Використовують оцінки людей,що мислять подібно, знайдених на першому кроці, для обчислення прогнозу.

Алгоритм, описаний вище, побудований відносно користувачів системи.

Існує і альтернативний алгоритм, винайдений Amazon , побудований відносно предметів (продуктів) у системі. Цей алгоритм включає в собі наступні кроки:

  1. Будуємо матрицю, яка визначає відносини між парами предметів, для знаходження подібних предметів.
  2. Використовуючи побудовану матрицю і інформацію про користувача, будуємо прогнози його оцінок.

Для прикладу можна подивитися сімейство алгоритмів Slope One[ru]

Також існує інша форма колаборативної фільтрації, що ґрунтується на прихованому спостереженні звичайної поведінки користувача (на протилежність явній, яка збирає оцінки). У цих системах ви спостерігаєте, як вчинив даний користувач, і як вчинили інші (яку музику вони слухали, які відео подивилися, які композиції придбали), і використовуєте отримані дані, щоб передбачити поведінку користувача в майбутньому, або передбачити, як користувач бажав би вчинити за наявності певної можливості. Ці передбачення повинні бути складені згідно з бізнес-логікою, бо марно пропонувати споживачеві придбати музичний файл, який у нього вже є.

Типи колаборативної фільтрації ред.

Типи колаборативної фільтрації

Заснований на пам'яті ред.

Цей підхід використовує дані про рейтинг користувача для розрахунку схожості між користувачами або предметами. Він використовується для вироблення рекомендацій. Це був початковий підхід, що використовувався в багатьох торгових системах. Він ефективний і простий у реалізації. Типовими прикладами такого підходу є CF і засновані на виробі/користувачеві топ-N рекомендації. Наприклад, у підходах, заснованих на користувачеві, вартість оцінки, яку користувач u дає виробу «i» розрахована як сукупність схожих оцінок виробу іншими користувачами:

де «U» позначає сукупність N «найкращих» користувачів, які найбільш близькі до користувача u, що оцінює виріб «i». Деякі приклади функцій агрегації:

де k - нормуючий множник, визначається як і є середня оцінка користувача u для всіх виробів, оцінених ним.

Заснований на сусідстві ред.

Алгоритм, заснований на сусідстві, обчислює подібність двох користувачів або виробів, виробляє прогноз для користувача, приймаючи середнє зважене всіх оцінок. Обчислення схожості між виробами або користувачами є важливою частиною цього підходу. Багаторазові заходи, такі як кореляції Пірсона і схожість, заснована на скалярному добутку, використовується для цього.

Схожість двох користувачів X, Y через кореляцію Пірсона визначається як

де Ixy - це набір елементів, оцінених як користувачем х, так і користувачем у .

Підхід, заснований на скалярному добутку визначає скалярний добуток між двома користувачами х і у, як:

Заснований на користувачеві алгоритм топ-Н рекомендації використовує засновану на подібності векторну модель для визначення K — більшості подібних користувачів до активного користувача. Після того, як знайдені найбільш схожі користувачі, їх відповідні матриці агрегуються для визначення рекомендованого набору елементів. Популярний метод, знаходження схожих користувачів — Locality-sensitive hashing[en], який реалізує механізм пошуку найближчих сусідів у лінійному часі.

Переваги цього підходу включають в себе: очікуваність результатів, що є важливим аспектом рекомендаційних систем; просте створення і використання; просте полегшення нових даних; добра масштабованість зі співавторами рейтингових пунктів.

Є також кілька недоліків при такому підході. Його продуктивність знижується, коли дані становляться розрідженими, що трапляється часто з виробами, пов'язаними з мережею. Це ускладнює масштабованість такого підходу і створює проблеми з великими наборами даних. Хоча він може ефективно обробляти нових користувачів, тому що спирається на структури даних, додавання нових елементів стає більш складним, що, як правило, спирається уявленням про конкретну складову векторного простору. Додавання нових елементів вимагає включення нового пункту і повторного включення всіх елементів у структурі.

Заснований на моделі ред.

Даний підхід надає рекомендації, вимірюючи параметри статистичних моделей для оцінок користувачів, побудованих за допомогою таких методів як, метод баєсовских мереж, кластеризації, латентно-семантичної моделі , такі як сингулярний розклад, імовірнісний латентно-семантичний аналіз[ru], прихований розподіл Дирихле[ru] і марковський процес вирішування на основі моделей. Моделі розробляються з використанням інтелектуального аналізу даних, алгоритмів машинного навчання, щоб знайти закономірності на основі навчальних даних. Число параметрів в моделі може бути зменшено в залежності від типу за допомогою методу головних компонент.

Цей підхід є більш комплексним і дає більш точні прогнози, оскільки допомагає розкрити латентні фактори, що пояснюють спостережувані оцінки.

Даний підхід має ряд переваг. Він обробляє розріджені матриці краще, ніж підхід заснований на сусідстві, що в свою чергу допомагає з масштабністю великих наборів даних.

Недоліки цього підходу полягають в «дорогому» створенні моделі . Необхідний компроміс між точністю і розміром моделі, тому що можна втратити корисну інформацію у зв'язку із скороченням моделей.

Гібридний підхід ред.

Даний підхід об'єднує в собі підхід заснований на сусідстві і заснований на моделі. Гібридний підхід є найпоширенішим при розробці рекомендаційних систем для комерційних сайтів, так як він допомагає подолати обмеження початкового оригінального підходу (заснованого на сусідстві) і поліпшити якість прогнозів. Цей підхід також дозволяє подолати проблему розрідженості даних [⇨] і втрати інформації. Однак даний підхід складний і дорогий у реалізації та застосуванні.

Проблеми ред.

Розрідженість даних ред.

Як правило, більшість комерційних рекомендаційних систем заснована на великій кількості даних (товарів), в той час як більшість користувачів не ставить оцінки товарам. В результаті цього матриця «предмет-користувач» виходить дуже великою і розрідженою, що представляє проблеми при обчисленні рекомендацій. Ця проблема особливо гостра для нових, щойно створених систем. Також розрідженість даних підсилює проблему холодного старту.

Масштабованість ред.

Зі збільшенням кількості користувачів в системі, з'являється проблема масштабованості. Наприклад, маючи 10 мільйонів покупців і мільйон предметів , алгоритм колаборативної фільтрації зі складністю рівній вже занадто складний для розрахунків. Також, багато систем повинні моментально реагувати на онлайн запити від всіх користувачів, незалежно від історії їх покупок і оцінок, що вимагає ще більшої масштабованості.

Проблема холодного старту ред.

Нові предмети або користувачі представляють велику проблему для рекомендаційних систем. Частково проблему допомагає вирішити підхід, заснований на аналізі вмісту, так як він покладається не на оцінки, а на атрибути, що допомагає включати нові предмети в рекомендації для користувачів. Однак проблему з наданням рекомендації для нового користувача вирішити складніше.

Синонімія ред.

Синонімією називається тенденція схожих і однакових предметів мати різні імена. Більшість рекомендаційних систем не здатні виявити ці приховані зв'язки і тому відносяться до цих предметів як до різних. Наприклад, «фільми для дітей» та «дитячий фільм» відносяться до одного жанру, але система сприймає їх як різні.

Шахрайство ред.

У рекомендаційних системах, де кожен може ставити оцінки, люди можуть давати позитивні оцінки своїм предметам і погані своїм конкурентам. Також, рекомендаційні системи стали сильно впливати на продажі та прибуток, з тих пір як отримали широке застосування в комерційних сайтах. Це призводить до того, що недобросовісні постачальники намагаються шахрайським чином піднімати рейтинг своїх продуктів і знижувати рейтинг свої конкурентів.

Різноманітність ред.

Колаборативна фільтрація спочатку визнана збільшити різноманітність, щоб дозволяти відкривати користувачам нові продукти з незліченної множини. Однак деякі алгоритми, зокрема основні на продажах і рейтингах, створюють дуже складні умови для просування нових і маловідомих продуктів, так як їх заміщають популярні продукти, які давно перебувають на ринку. Це в свою чергу тільки збільшує ефект «багаті стають ще багатшими» і приводить до меншої різноманітності.

Білі ворони ред.

До «білих ворон» відносяться користувачі, чия думка постійно не збігається з більшістю інших. Через унікальність смаку їм неможливо щось рекомендувати. Однак, такі люди мають проблеми з отриманням рекомендацій і в реальному житті, тому пошуки вирішення даної проблеми в даний час не ведуться.

Застосування в соціальних мережах ред.

Колаборативна фільтрація широко використовується в комерційних сервісах і соціальних мережах. Перший сценарій використання — це створення рекомендації щодо цікавої і популярної інформації на основі врахування «голосів» спільноти. Такі сервіси, як Reddit, Digg або DiCASTA — це типові приклади систем, що використовують алгоритми колаборативної фільтрації.

Інша сфера використання полягає у створенні персоналізованих рекомендацій для користувача, на основі його попередньої активності і даних про переваги інших, схожих з ним користувачів. Даний спосіб реалізації можна знайти на таких сайтах, як YouTube, Last.fm і Amazon , а також в таких геосоціальних сервісах, як Gvidi[ru] і Foursquare.

Див. також ред.

Примітки ред.

  1. ↑ A Survey of Collaborative Filtering Techniques, 2009, с. 1.
  2. TV Genius[en]. Архів оригіналу за 6 червня 2012. Процитовано 15 квітня 2015. 
  3. ↑ Amazon, 2003, с. 1.
  4. ↑ A Survey of Collaborative Filtering Techniques, 2009, с. 3.
  5. Масштабована і точна колаборативна фільтрація, 2009.
  6. A Survey of Collaborative Filtering Techniques, 2009, с. 3-4.
  7. Проблеми в рекомендаційних системах, 2010, с. 6.
  8. ↑ Проблеми в рекомендаційних системах, 2010, с. 7.
  9. Проблема різноманітності, 2009, с. 23.

Література ред.

  • Linden G., Smith B., and York J. Item-to-Item Collaborative Filtering (журнал) // IEEE Internet Computing, Los Alamitos, CA USA. — 2003. — P. 76 - 80. з джерела 18 червня 2015. Процитовано 15 квітня 2015.
  • Sarwar B., Karypis G., Konstan J., and Riedl J. Item-Based Collaborative Filtering Recommendation Algorithms (Материалы конф. / WWW10, Hong Kong, May 1-5, 2001) // University of Minnesota, Minneapolis. — 2001. — P. 285 - 295. з джерела 26 лютого 2015. Процитовано 15 квітня 2015.
  • Zan Huang, Xin Li, Hsinchun Chen. Link Prediction Approach to Collaborative Filtering (Материалы конф. / JCDL’05, Denver, Colorado, USA, June 7–11, 2005) // University of Arizona, USA. — 2005. з джерела 25 грудня 2012. Процитовано 15 квітня 2015.
  • Sammut C., Webb J. (Eds.). Encyclopedia of Machine Learning. — NY, USA : IBM T. J.Watson Research Center, 2010. — Т. 1. — С. 829-838. — ISBN 978-0-387-30768-8.
Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри
Дата публікації:
Kolaborativna filtraciya spilna filtraciya angl collaborative filtering KF metod yakij vikoristovuyetsya deyakimi rekomendacijnimi sistemami Kolaborativna filtraciya maye dva znachennya vuzke i bilsh zagalne V cilomu kolaborativna filtraciya proces filtraciyi informaciyi abo zrazkiv za dopomogoyu metodiv za uchastyu spivrobitnictva mizh dekilkoma agentami tochkami zoru dzherelami danih i t d Zastosuvannya kolaborativnoyi filtraciyi yak pravilo pov yazane z duzhe velikimi naborami danih Kolaborativni metodi filtraciyi buli zastosovani do riznih vidiv danih zokrema do takih yak zonduvannya ta monitoring danih yaki vinikayut pri rozvidci korisnih kopalin na velikih ploshah do finansovih danih takih yak ustanovi finansovih poslug yaki ob yednuyut bagato finansovih dzherel abo v elektronnij torgivli ta vebdodatkah sho zoseredzhuyutsya na danih koristuvacha i t d Reshta ciyeyi diskusiyi zoseredzhena na kolaborativnij filtraciyi danih priznachenih dlya koristuvacha hocha deyaki z metodiv ta pidhodiv mozhut zastosovuvatisya tak samo i u bagatoh inshih vipadkah Na danij animaciyi pokazanij priklad prognozuvannya ocinki koristuvacha za dopomogoyu kolaborativnoyi filtraciyi U danij sistemi koristuvachi zalishayut ocinki riznih predmetiv napriklad video knizhok igor Pislya cogo sistema prognozuye ocinki koristuvacha dlya predmetiv yaki vin she ne ociniv Prognozi buduyutsya na osnovi ocinok koristuvachiv yaki mayut odnakovi ocinki z potochnim koristuvachem dlya inshih predmetiv V danomu vipadku sistema zrobila prognoz pro te sho potochnomu koristuvachevi video yake ocinili inshi koristuvachi ne spodobayetsya U bilsh novomu vuzhchomu znachenni kolaborativna filtraciya ce odin z metodiv pobudovi prognozu v rekomendacijnih sistemah yakij vikoristovuye vidomi upodobannya ocinki grupi koristuvachiv dlya prognozuvannya nevidomih upodoban inshogo koristuvacha 1 Osnovne pripushennya kolaborativnoyi filtraciyi polyagaye v nastupnomu ti hto odnakovo ocinyuvali bud yaki predmeti v minulomu shilni davati shozhi ocinki inshih predmetiv i v majbutnomu 1 Napriklad za dopomogoyu kolaborativnoyi filtraciyi muzichnij dodatok zdatnij prognozuvati yaka muzika spodobayetsya koristuvachevi mayuchi nepovnij spisok jogo upodoban simpatij ta antipatij 2 Prognozi skladayutsya individualno dlya kozhnogo koristuvacha hocha informaciya sho vikoristovuyetsya zibrana vid bagatoh uchasnikiv Ce vidriznyaye kolaborativnu filtraciyu vid bilsh prostogo pidhodu daye userednenu ocinku dlya kozhnogo ob yekta interesu napriklad togo sho bazuyetsya na kilkosti podanih za nogo golosiv Doslidzhennya v danij oblasti aktivno vedutsya i v nash chas sho zokrema obumovlyuyetsya nayavnistyu nevirishenih problem u metodi kolaborativnoyi filtraciyi Zmist 1 Opis 2 Tipi kolaborativnoyi filtraciyi 2 1 Zasnovanij na pam yati 2 2 Zasnovanij na susidstvi 2 3 Zasnovanij na modeli 2 4 Gibridnij pidhid 3 Problemi 3 1 Rozridzhenist danih 3 2 Masshtabovanist 3 3 Problema holodnogo startu 3 4 Sinonimiya 3 5 Shahrajstvo 3 6 Riznomanitnist 3 7 Bili voroni 4 Zastosuvannya v socialnih merezhah 5 Div takozh 6 Primitki 7 LiteraturaOpis red U stolittya informacijnogo vibuhu taki metodi stvorennya personalizovanih rekomendacij yak kolaborativna filtraciya duzhe korisni oskilki kilkist ob yektiv navit v odnij kategoriyi takij yak filmi muzika knigi novini vebsajti stala nastilki velikoyu sho okrema lyudina ne zdatna pereglyanuti yih vsi shob vibrati vidpovidni Sistemi kolaborativnoyi filtraciyi zazvichaj zastosovuyut dvostupenevu shemu 1 Znahodyat tih hto podilyaye ocinochni sudzhennya aktivnogo prognozovanogo koristuvacha Vikoristovuyut ocinki lyudej sho mislyat podibno znajdenih na pershomu kroci dlya obchislennya prognozu Algoritm opisanij vishe pobudovanij vidnosno koristuvachiv sistemi Isnuye i alternativnij algoritm vinajdenij Amazon 3 pobudovanij vidnosno predmetiv produktiv u sistemi Cej algoritm vklyuchaye v sobi nastupni kroki Buduyemo matricyu yaka viznachaye vidnosini mizh parami predmetiv dlya znahodzhennya podibnih predmetiv Vikoristovuyuchi pobudovanu matricyu i informaciyu pro koristuvacha buduyemo prognozi jogo ocinok Dlya prikladu mozhna podivitisya simejstvo algoritmiv Slope One ru Takozh isnuye insha forma kolaborativnoyi filtraciyi sho gruntuyetsya na prihovanomu sposterezhenni zvichajnoyi povedinki koristuvacha na protilezhnist yavnij yaka zbiraye ocinki U cih sistemah vi sposterigayete yak vchiniv danij koristuvach i yak vchinili inshi yaku muziku voni sluhali yaki video podivilisya yaki kompoziciyi pridbali i vikoristovuyete otrimani dani shob peredbachiti povedinku koristuvacha v majbutnomu abo peredbachiti yak koristuvach bazhav bi vchiniti za nayavnosti pevnoyi mozhlivosti Ci peredbachennya povinni buti skladeni zgidno z biznes logikoyu bo marno proponuvati spozhivachevi pridbati muzichnij fajl yakij u nogo vzhe ye Tipi kolaborativnoyi filtraciyi red nbsp Tipi kolaborativnoyi filtraciyiZasnovanij na pam yati red Cej pidhid vikoristovuye dani pro rejting koristuvacha dlya rozrahunku shozhosti mizh koristuvachami abo predmetami Vin vikoristovuyetsya dlya viroblennya rekomendacij Ce buv pochatkovij pidhid sho vikoristovuvavsya v bagatoh torgovih sistemah Vin efektivnij i prostij u realizaciyi Tipovimi prikladami takogo pidhodu ye CF i zasnovani na virobi koristuvachevi top N rekomendaciyi Napriklad u pidhodah zasnovanih na koristuvachevi vartist ocinki yaku koristuvach u daye virobu i rozrahovana yak sukupnist shozhih ocinok virobu inshimi koristuvachami r u i aggr u U r u i displaystyle r u i operatorname aggr u prime in U r u prime i nbsp de U poznachaye sukupnist N najkrashih koristuvachiv yaki najbilsh blizki do koristuvacha u sho ocinyuye virib i Deyaki prikladi funkcij agregaciyi r u i 1 N u U r u i displaystyle r u i frac 1 N sum limits u prime in U r u prime i nbsp r u i k u U simil u u r u i displaystyle r u i k sum limits u prime in U operatorname simil u u prime r u prime i nbsp r u i r u k u U simil u u r u i r u displaystyle r u i bar r u k sum limits u prime in U operatorname simil u u prime r u prime i bar r u prime nbsp de k normuyuchij mnozhnik viznachayetsya yak k 1 u U simil u u displaystyle k 1 sum u prime in U operatorname simil u u prime nbsp i r u displaystyle bar r u nbsp ye serednya ocinka koristuvacha u dlya vsih virobiv ocinenih nim Zasnovanij na susidstvi red Algoritm zasnovanij na susidstvi obchislyuye podibnist dvoh koristuvachiv abo virobiv viroblyaye prognoz dlya koristuvacha prijmayuchi serednye zvazhene vsih ocinok Obchislennya shozhosti mizh virobami abo koristuvachami ye vazhlivoyu chastinoyu cogo pidhodu Bagatorazovi zahodi taki yak korelyaciyi Pirsona i shozhist zasnovana na skalyarnomu dobutku vikoristovuyetsya dlya cogo Shozhist dvoh koristuvachiv X Y cherez korelyaciyu Pirsona viznachayetsya yak simil x y i I x y r x i r x r y i r y i I x y r x i r x 2 i I x y r y i r y 2 displaystyle operatorname simil x y frac sum limits i in I xy r x i bar r x r y i bar r y sqrt sum limits i in I xy r x i bar r x 2 sum limits i in I xy r y i bar r y 2 nbsp de Ixy ce nabir elementiv ocinenih yak koristuvachem h tak i koristuvachem u Pidhid zasnovanij na skalyarnomu dobutku viznachaye skalyarnij dobutok mizh dvoma koristuvachami h i u yak simil x y cos x y x y x y i I x y r x i r y i i I x r x i 2 i I y r y i 2 displaystyle operatorname simil x y cos vec x vec y frac vec x cdot vec y vec x times vec y frac sum limits i in I xy r x i r y i sqrt sum limits i in I x r x i 2 sqrt sum limits i in I y r y i 2 nbsp Zasnovanij na koristuvachevi algoritm top N rekomendaciyi vikoristovuye zasnovanu na podibnosti vektornu model dlya viznachennya K bilshosti podibnih koristuvachiv do aktivnogo koristuvacha Pislya togo yak znajdeni najbilsh shozhi koristuvachi yih vidpovidni matrici agreguyutsya dlya viznachennya rekomendovanogo naboru elementiv Populyarnij metod znahodzhennya shozhih koristuvachiv Locality sensitive hashing en yakij realizuye mehanizm poshuku najblizhchih susidiv u linijnomu chasi Perevagi cogo pidhodu vklyuchayut v sebe ochikuvanist rezultativ sho ye vazhlivim aspektom rekomendacijnih sistem proste stvorennya i vikoristannya proste polegshennya novih danih dobra masshtabovanist zi spivavtorami rejtingovih punktiv Ye takozh kilka nedolikiv pri takomu pidhodi Jogo produktivnist znizhuyetsya koli dani stanovlyatsya rozridzhenimi sho traplyayetsya chasto z virobami pov yazanimi z merezheyu Ce uskladnyuye masshtabovanist takogo pidhodu i stvoryuye problemi z velikimi naborami danih Hocha vin mozhe efektivno obroblyati novih koristuvachiv tomu sho spirayetsya na strukturi danih dodavannya novih elementiv staye bilsh skladnim sho yak pravilo spirayetsya uyavlennyam pro konkretnu skladovu vektornogo prostoru Dodavannya novih elementiv vimagaye vklyuchennya novogo punktu i povtornogo vklyuchennya vsih elementiv u strukturi Zasnovanij na modeli red Danij pidhid nadaye rekomendaciyi vimiryuyuchi parametri statistichnih modelej dlya ocinok koristuvachiv pobudovanih za dopomogoyu takih metodiv yak metod bayesovskih merezh klasterizaciyi latentno semantichnoyi modeli taki yak singulyarnij rozklad imovirnisnij latentno semantichnij analiz ru prihovanij rozpodil Dirihle ru i markovskij proces virishuvannya na osnovi modelej 4 Modeli rozroblyayutsya z vikoristannyam intelektualnogo analizu danih algoritmiv mashinnogo navchannya shob znajti zakonomirnosti na osnovi navchalnih danih Chislo parametriv v modeli mozhe buti zmensheno v zalezhnosti vid tipu za dopomogoyu metodu golovnih komponent Cej pidhid ye bilsh kompleksnim i daye bilsh tochni prognozi oskilki dopomagaye rozkriti latentni faktori sho poyasnyuyut sposterezhuvani ocinki 5 Danij pidhid maye ryad perevag Vin obroblyaye rozridzheni matrici krashe nizh pidhid zasnovanij na susidstvi sho v svoyu chergu dopomagaye z masshtabnistyu velikih naboriv danih Nedoliki cogo pidhodu polyagayut v dorogomu stvorenni modeli 6 Neobhidnij kompromis mizh tochnistyu i rozmirom modeli tomu sho mozhna vtratiti korisnu informaciyu u zv yazku iz skorochennyam modelej Gibridnij pidhid red Danij pidhid ob yednuye v sobi pidhid zasnovanij na susidstvi i zasnovanij na modeli Gibridnij pidhid ye najposhirenishim pri rozrobci rekomendacijnih sistem dlya komercijnih sajtiv tak yak vin dopomagaye podolati obmezhennya pochatkovogo originalnogo pidhodu zasnovanogo na susidstvi i polipshiti yakist prognoziv Cej pidhid takozh dozvolyaye podolati problemu rozridzhenosti danih i vtrati informaciyi Odnak danij pidhid skladnij i dorogij u realizaciyi ta zastosuvanni 7 Problemi red Rozridzhenist danih red Yak pravilo bilshist komercijnih rekomendacijnih sistem zasnovana na velikij kilkosti danih tovariv v toj chas yak bilshist koristuvachiv ne stavit ocinki tovaram V rezultati cogo matricya predmet koristuvach vihodit duzhe velikoyu i rozridzhenoyu sho predstavlyaye problemi pri obchislenni rekomendacij Cya problema osoblivo gostra dlya novih shojno stvorenih sistem 8 Takozh rozridzhenist danih pidsilyuye problemu holodnogo startu Masshtabovanist red Zi zbilshennyam kilkosti koristuvachiv v sistemi z yavlyayetsya problema masshtabovanosti Napriklad mayuchi 10 miljoniv pokupciv O M displaystyle O M nbsp i miljon predmetiv O N displaystyle O N nbsp algoritm kolaborativnoyi filtraciyi zi skladnistyu rivnij O M N displaystyle O MN nbsp vzhe zanadto skladnij dlya rozrahunkiv Takozh bagato sistem povinni momentalno reaguvati na onlajn zapiti vid vsih koristuvachiv nezalezhno vid istoriyi yih pokupok i ocinok sho vimagaye she bilshoyi masshtabovanosti Problema holodnogo startu red Novi predmeti abo koristuvachi predstavlyayut veliku problemu dlya rekomendacijnih sistem Chastkovo problemu dopomagaye virishiti pidhid zasnovanij na analizi vmistu tak yak vin pokladayetsya ne na ocinki a na atributi sho dopomagaye vklyuchati novi predmeti v rekomendaciyi dlya koristuvachiv Odnak problemu z nadannyam rekomendaciyi dlya novogo koristuvacha virishiti skladnishe 8 Sinonimiya red Sinonimiyeyu nazivayetsya tendenciya shozhih i odnakovih predmetiv mati rizni imena Bilshist rekomendacijnih sistem ne zdatni viyaviti ci prihovani zv yazki i tomu vidnosyatsya do cih predmetiv yak do riznih Napriklad filmi dlya ditej ta dityachij film vidnosyatsya do odnogo zhanru ale sistema sprijmaye yih yak rizni 4 Shahrajstvo red U rekomendacijnih sistemah de kozhen mozhe staviti ocinki lyudi mozhut davati pozitivni ocinki svoyim predmetam i pogani svoyim konkurentam Takozh rekomendacijni sistemi stali silno vplivati na prodazhi ta pributok z tih pir yak otrimali shiroke zastosuvannya v komercijnih sajtah Ce prizvodit do togo sho nedobrosovisni postachalniki namagayutsya shahrajskim chinom pidnimati rejting svoyih produktiv i znizhuvati rejting svoyi konkurentiv 8 Riznomanitnist red Kolaborativna filtraciya spochatku viznana zbilshiti riznomanitnist shob dozvolyati vidkrivati koristuvacham novi produkti z nezlichennoyi mnozhini Odnak deyaki algoritmi zokrema osnovni na prodazhah i rejtingah stvoryuyut duzhe skladni umovi dlya prosuvannya novih i malovidomih produktiv tak yak yih zamishayut populyarni produkti yaki davno perebuvayut na rinku Ce v svoyu chergu tilki zbilshuye efekt bagati stayut she bagatshimi i privodit do menshoyi riznomanitnosti 9 Bili voroni red Do bilih voron vidnosyatsya koristuvachi chiya dumka postijno ne zbigayetsya z bilshistyu inshih Cherez unikalnist smaku yim nemozhlivo shos rekomenduvati Odnak taki lyudi mayut problemi z otrimannyam rekomendacij i v realnomu zhitti tomu poshuki virishennya danoyi problemi v danij chas ne vedutsya 4 Zastosuvannya v socialnih merezhah red Kolaborativna filtraciya shiroko vikoristovuyetsya v komercijnih servisah i socialnih merezhah Pershij scenarij vikoristannya ce stvorennya rekomendaciyi shodo cikavoyi i populyarnoyi informaciyi na osnovi vrahuvannya golosiv spilnoti Taki servisi yak Reddit Digg abo DiCASTA ce tipovi prikladi sistem sho vikoristovuyut algoritmi kolaborativnoyi filtraciyi Insha sfera vikoristannya polyagaye u stvorenni personalizovanih rekomendacij dlya koristuvacha na osnovi jogo poperednoyi aktivnosti i danih pro perevagi inshih shozhih z nim koristuvachiv Danij sposib realizaciyi mozhna znajti na takih sajtah yak YouTube Last fm i Amazon 3 a takozh v takih geosocialnih servisah yak Gvidi ru i Foursquare Div takozh red Holodnij zapusk en Kolaborativnij poshukovij rushij en Kolaborativna model en Reputacijna sistema Metod k najblizhchih susidiv Socialnij graf Kolektivnij rozumPrimitki red a b v A Survey of Collaborative Filtering Techniques 2009 s 1 An integrated approach to TV Recommendations byTV Genius en Arhiv originalu za 6 chervnya 2012 Procitovano 15 kvitnya 2015 a b Amazon 2003 s 1 a b v A Survey of Collaborative Filtering Techniques 2009 s 3 Masshtabovana i tochna kolaborativna filtraciya 2009 A Survey of Collaborative Filtering Techniques 2009 s 3 4 Problemi v rekomendacijnih sistemah 2010 s 6 a b v Problemi v rekomendacijnih sistemah 2010 s 7 Problema riznomanitnosti 2009 s 23 Literatura red Fleder D Hosanagar K Blockbuster Culture s Next Rise or Fall The Impact of Recommender Systems on Sales Diversity zhurnal Management Science Vol 55 No 5 May 2009 pp 697 712 2009 P 1 49 Arhivovano z dzherela 22 bereznya 2015 Procitovano 15 kvitnya 2015 Xiaoyuan Su and Taghi M Khoshgoftaar A Survey of Collaborative Filtering Techniques A Survey of Collaborative Filtering Techniques zhurnal Hindawi Publishing Corporation Advances in Artificial Intelligence archive USA 2009 P 1 19 Arhivovano z dzherela 20 bereznya 2015 Procitovano 15 kvitnya 2015 Yehuda Koren Factor in the Neighbors Scalable and Accurate Collaborative Filtering zhurnal Yahoo Research Haifa 2009 P 1 11 Arhivovano z dzherela 23 zhovtnya 2010 Procitovano 15 kvitnya 2015 Linden G Smith B and York J Item to Item Collaborative Filtering zhurnal IEEE Internet Computing Los Alamitos CA USA 2003 P 76 80 Arhivovano z dzherela 18 chervnya 2015 Procitovano 15 kvitnya 2015 Sarwar B Karypis G Konstan J and Riedl J Item Based Collaborative Filtering Recommendation Algorithms Materialy konf WWW10 Hong Kong May 1 5 2001 University of Minnesota Minneapolis 2001 P 285 295 Arhivovano z dzherela 26 lyutogo 2015 Procitovano 15 kvitnya 2015 Melville P Mooney R Nagarajan R Content Boosted Collaborative Filtering for Improved Recommendations University of Texas USA 2002 P 187 192 Arhivovano z dzherela 6 lyutogo 2015 Procitovano 15 kvitnya 2015 Zan Huang Xin Li Hsinchun Chen Link Prediction Approach to Collaborative Filtering Materialy konf JCDL 05 Denver Colorado USA June 7 11 2005 University of Arizona USA 2005 Arhivovano z dzherela 25 grudnya 2012 Procitovano 15 kvitnya 2015 Ponizovkin D M Postroenie optimalnogo grafa svyazej v sistemah kollaborativnoj filtracii zhurnal Programmnye sistemy teoriya i prilozheniya 2011 4 8 S 107 114 ISSN 2079 3316 Sammut C Webb J Eds Encyclopedia of Machine Learning NY USA IBM T J Watson Research Center 2010 T 1 S 829 838 ISBN 978 0 387 30768 8 Otrimano z https uk wikipedia org w index php title Kolaborativna filtraciya amp oldid 36277889