Big data
Проблеми обробки великих даних.
«Великі дані (Big Data) – структуровані и неструктуровані дані величезних обсягів і різної природи, що піддаються ефективній обробці програмних інструментів, які горизонтально масштабуються, і альтернативних традиційних систем управління базами даних і рішенням класу рішень Business Intelligence».
Простим визначення, «Великі дані – це сукупність технологій, покликаних здійснювати три операції:
- Обробляти більші, у порівнянні зі «стандартними» сценаріями, об’єми даних.
- Уміти працювати з даними, що швидко надходять у дуже великих об’ємах. Тобто даних не просто багато, а їх постійно стає все більше й більше.
- Вміти працювати зі структурованими і мало стуктурованими даними паралельно і у різних аспектах.»
Більшу частину даних генерувати будуть не звичайні споживачі, а підприємства (згадаймо Промисловий інтернет речей).
Взаємодія між людьми, що використовують медіаплатформи, автоматизація процесів та агрегація даних, що надходять з різних джерел, створюють Інтернет речей. Інтернет речей (Internet of Things, IoT) не тільки приєднує датчики до існуючих речей, він створює ринок нових пов'язаних речей. Усі ці пов'язані речі генерують дані. Це додає немислиму кількість великих даних, що й називається Big Data.
Не всі зібрані дані можна використовувати як є у первинному вигляді. Можливо, були зібрані сторонні, невірні або неправдиві дані. Щоб зробити ці дані корисними, їх потрібно очистити. Очищення – це видалення небажаних даних, зміни неправильних даних та заповнення відсутніх даних
- Очищення – це видалення небажаних даних, зміни неправильних даних та заповнення відсутніх даних. Для очищення даних прийнято використовувати програмний код. Це досягається шляхом пошуку критеріїв або їх відсутності та оперування даними, поки не буде більше аномалій. Після очищення даних їх можна легше шукати, аналізувати та візуалізувати. За допомогою аналізу даних можна дізнатись цікаві відомості та виявити тенденції.
Загалом, набір даних або бізнеспроблема належать до класифікації Big Data, коли її дані настільки великі або складні, що їх стає неможливим зберігати, обробляти та аналізувати, використовуючи традиційні підходи до зберігання та аналізу даних.
(International Data Corporation, IDC) використовує 100 терабайт як розмір набору даних, який визначається як Big Data
Якщо дані потокові, розмір набору даних може бути меншим, ніж 100 терабайт, але все ще вважається Big Data до тих пір, поки дані, що створюються, збільшуються на понад 60% на рік.
Щоб вирізнити дані від великих даних, використовуються чотири Vs
- Об'єм (Volume) - кількість даних, що передаються та зберігаються. Поточним завданням є пошук способів найбільш ефективно обробити зростаючий обсяг даних.
- Швидкість (Velocity) - швидкість, з якою формуються дані. Наприклад, дані, згенеровані мільярдом акцій, проданих на Нью-Йоркській фондовій біржі, не можуть бути просто збережені для подальшого аналізу.
- Різноманітність (Variety) - тип даних, який рідко знаходиться в стані, який ідеально готовий до обробки та аналізу. Велика частка Big Data – неструктуровані дані, які, за оцінками, становлять від 70 до 90% світових даних.
- Достовірність (Veracity) - процес запобігання неточного опису наборів даних. Наприклад, люди можуть створювати онлайн-акаунт та використовувати неправдиву контактну інформацію. Підвищена правдивість у зборі даних зменшує необхідну кількість очищення даних.
- конфіденційність, розподілене зберігання та оброблення Big Data.
- Приватність даних, необроблені дані не надсилаються. Розрахунок для відповіді здійснюється в сховищі персональних даних користувача (personal data store, PDS): "Тільки відповіді, узагальнені дані, необхідні додатку, залишають межі PDS
- Структуровані та неструктуровані дані (Структуровані дані ми можемо легко вводити, класифікувати, робити запити та аналізувати комп'ютером. Сюди входять дані, знайдені у реляційних базах даних та електронних таблицях.)
- Розподілені дані та їх обробка Наступне покоління управління даними з'явилося за допомогою системи управління реляційними базами даних (Relational database management system, RDBMS) Більшість комерційних рішень RDBMS використовують SQL
