Неструктуровані дані — дані, які не відповідають заздалегідь визначеній моделі даних, і, як правило, представлені у вигляді тексту з датами, цифрами, фактами, які розташовані в ньому в довільній формі. Такі дані важко аналізувати, особливо з допомогою традиційних програм, призначених до роботи зі структурованими даними (анотованими або тими, що зберігаються у базах).
За оцінками Merrill Lynch 1998 року близько 80—90 % від усієї потенційно корисної ділової інформації було представлено в неструктурованій формі, проте це співставлення не ґрунтувалося на статистиці або кількісних дослідженнях, а було припущенням. Computerworld[en] оцінює обсяг неструктурованих даних в організаціях у 70—80 % від усіх даних.
Історія ред.
Найраніші дослідження у сфері бізнес-аналітики зосереджувалися не на числових даних, а на неструктурованих текстових даних. Вже 1958 року такі дослідники у сфері інформаційних технологій, як Г. П. Лун[en], вивчали способи виділяння та класифікації даних у неструктурованому тексті. Проте, лише з початку 2000-х років наявні технології наздогнали дослідницький інтерес. У 2004 році SAS Institute[en] розробив SAS[en] Text Miner, який використовує сингулярне розкладання, щоб зводити текстовий простір високої розмірності до меншої кількості вимірів для значного спрощення машинного аналізу[неавторитетне джерело]. Досягнення в галузі математики та технологій машинної обробки текстів стимулювали проведення досліджень комерційними організаціями в таких галузях, як аналіз тональності тексту (сентимент-аналіз), збирання та аналіз думок замовників[en], автоматизація центрів обробки викликів[неавторитетне джерело]. Поява технологій великих даних наприкінці 2000-х років стимулювала підвищений інтерес до програм для аналізу неструктурованих даних у сучасних областях, таких як прогнозування[en] та аналіз першопричин .
Проблеми термінології ред.
Термін «неструктуровані дані» може вважатися неточним з кількох причин:
- структура, навіть якщо вона не визначена формально, може матися на увазі;
- дані, які мають структуру деякої форми, можуть характеризуватися як неструктуровані, якщо їхня структура не призначена для машинної обробки;
- неструктурована інформація може мати деяку структуру (така інформація називається напівструктурованою[en]) або навіть бути добре структурованою, але тими способами, які є неочевидними без попереднього узгодження.
Робота з неструктурованими даними ред.
Такі техніки, як інтелектуальний аналіз даних (англ. data mining), обробка природної мови (англ. Natural Language Processing) та інтелектуальний аналіз тексту надають методи пошуку закономірностей з метою так чи інакше інтерпретувати неструктуровану інформацію.
Методи структурування тексту зазвичай включають ручне маркування (метадані) або розмітку частинами мови для подальшого структурування тексту. Архітектура управління неструктурованою інформацією[en] (англ. UIMA) забезпечує загальну основу для обробки цієї інформації для отримання значень і створення структурованих даних на основі неструктурованої інформації. Програмне забезпечення, що створює машинно-оброблювану структуру даних, використовує лінгвістичні, звукові та візуальні структури, що існують у всіх формах людського спілкування. Наприклад, спеціальні алгоритми можуть вивести структуру з тексту шляхом аналізу морфології, синтаксису речень, тощо. Потім можна провести розмітку неструктурованої інформації для уникнення неоднозначності, а для покращення пошуку використовуються методи оцінки релевантності.
Прикладом «неструктурованих даних» можуть бути книги, журнали, документи, метадані, медичні записи[en], аудіо, відео, аналогові дані, зображення, а також файли, що мають за основу неструктурований текст: повідомлення електронної пошти, вебсторінки, документи, створені за допомогою текстових процесорів . Неструктурована інформація може зберігатися у вигляді структурованих об'єктів (наприклад, у вигляді файлів чи документів), які в свою чергу мають структуру. При цьому поєднання структурованих та неструктурованих даних у сукупності також називається «неструктуровані дані». Наприклад, у вебсторінках HTML вже є розмітка, проте вона придатна лише для відображення. У ній не міститься інформація про значення або функції тих чи інших розмічених елементів у вигляді, придатному для автоматичної обробки. Розмітку засобами XHTML простіше обробляти автоматично, але, зазвичай, у ній не міститься семантичних значень виразів.
Оскільки неструктуровані дані зазвичай зберігаються у вигляді електронних документів, програми для аналізу змісту або управління документами надають перевагу класифікуванню цілих документів, ніж їхніх окремих частин. Таким чином, програми для обробки такого типу даних зазвичай являють собою засоби для створення колекцій документів з неструктурованою інформацією. Проте сьогодні існують також рішення, що працюють з атомарними елементами меншими, ніж цілий документ .
Пошукові системи стали одним із популярних інструментів для індексації та пошуку в неструктурованих даних.
Див. також ред.
- Кластерування
- Розпізнавання образів
- Перелік програмного забезпечення інтелектуального аналізу тексту[en]
Примітки ред.
- Unstructured data // geeksforgeeks.org
- Unstructured data] // PC Magazine[en] Encyclopedia
- Grimes, Seth. A Brief History of Text Analytics. B Eye Network. Процитовано 24 червня 2016.
- Albright, Russ. Taming Text with the SVD. SAS. Процитовано 24 червня 2016.
- Desai, Manish. Applications of Text Analytics. My Business Analytics @ Blogspot. Процитовано 24 червня 2016.
- Chakraborty, Goutam. Analysis of Unstructured Data: Applications of Text Analytics and Sentiment Mining. SAS. Процитовано 24 червня 2016.
- Datagrav: A Framework for Knowledge Sharing Using Transclusion Enabled Collaboration Media | Sergey Kochuguev — Academia.edu
Джерела ред.
- Артак Оганесян. Неструктуровані дані 2.0 // Відкриті системи. СУБД, 2012, № 04
- Леонід Черняк. Аналітика неструктурованих даних // Відкриті системи. СУБД, 2012 № 06
- Антон Іванов. Комплексний аналіз неструктурованих даних // Відкриті системи. СУБД, 2013 № 06
- Артем Гришковський. Інтегрована обробка неструктурованих даних // Відкриті системи. СУБД, 2013 № 06
- Structure, Models and Meaning: Is «unstructured» data merely unmodeled?, Intelligent Enterprise, March 1, 2005.
- Structuring Unstructured Data, Forbes, April 5, 2007.
- , Merrill Lynch, 16 November 1998.
- Holzinger, Andreas; Stocker, Christof; Ofner, Bernhard; Prohaska, Gottfried; Brabenetz, Alberto; Hofmann-Wellenhof, Rainer. Combining HCI, Natural Language Processing, and Knowledge Discovery – Potential of IBM Content Analytics as an Assistive Technology in the Biomedical Field // Human-Computer Interaction and Knowledge Discovery in Complex, Unstructured, Big Data / Holzinger, Andreas; Pasi, Gabriella. — Springer, 2013. — С. 13—24. — (Lecture Notes in Computer Science) — ISBN 978-3-642-39146-0. — DOI:
- Unstructured Data and the 80 Percent Rule, Seth Grimes, Clarabridge Bridgepoints, 2008 Q3.
- Today's Challenge in Government: What to do with Unstructured Information and Why Doing Nothing Isn't An Option, Noel Yuhanna, Principal Analyst, Forrester Research, листопад 2010
- New Digital Universe Study Reveals Big Data Gap: Less Than 1 % World's Data is Analyzed; Less Than 20 % is Protected, прес-реліз EMC, грудень 2012.
- Semi- and unstructured data processing / preparation in IRI CoSort, травень 2014.