Big data
Проблеми обробки великих даних.
«Великі дані (Big Data) – структуровані и неструктуровані дані величезних обсягів і різної природи, що піддаються ефективній обробці програмних інструментів, які горизонтально масштабуються, і альтернативних традиційних систем управління базами даних і рішенням класу рішень Business Intelligence».
Простим визначення, «Великі дані – це сукупність технологій, покликаних здійснювати три операції:
- Обробляти об’єми даних.
- Уміти працювати з даними, що швидко надходять у дуже великих об’ємах. Тобто даних не просто багато, а їх постійно стає все більше й більше.
- Вміти працювати зі структурованими і мало стуктурованими даними паралельно і у різних аспектах.
Більшу частину даних генерувати будуть не звичайні споживачі, а підприємства IoT.
Взаємодія між людьми, що використовують медіаплатформи, автоматизація процесів та агрегація даних, що надходять з різних джерел, створюють IoT. IoT він створює ринок нових пов'язаних речей. Усі ці пов'язані речі генерують дані. Це додає немислиму кількість великих даних, що й називається Big Data.
Не всі зібрані дані можна використовувати як є у первинному вигляді. Можливо, були зібрані сторонні, невірні або неправдиві дані. Щоб зробити ці дані корисними, їх потрібно очистити. Очищення – це видалення небажаних даних, зміни неправильних даних та заповнення відсутніх даних
- Очищення – це видалення небажаних даних, зміни неправильних даних та заповнення відсутніх даних. Для очищення даних прийнято використовувати програмний код. Це досягається шляхом пошуку критеріїв або їх відсутності та оперування даними, поки не буде більше аномалій. Після очищення даних їх можна легше шукати, аналізувати та візуалізувати. За допомогою аналізу даних можна дізнатись цікаві відомості та виявити тенденції.
Загалом, набір даних або бізнеспроблема належать до класифікації Big Data, коли її дані настільки великі або складні, що їх стає неможливим зберігати, обробляти та аналізувати, використовуючи традиційні підходи до зберігання та аналізу даних.
(International Data Corporation, IDC) використовує 100 терабайт як розмір набору даних, який визначається як Big Data
Якщо дані потокові, розмір набору даних може бути меншим, ніж 100 терабайт, але все ще вважається Big Data до тих пір, поки дані, що створюються, збільшуються на понад 60% на рік.
Щоб вирізнити дані від великих даних, використовуються чотири Vs
- Об'єм (Volume) - кількість даних, що передаються та зберігаються. Поточним завданням є пошук способів найбільш ефективно обробити зростаючий обсяг даних.
- Швидкість (Velocity) - швидкість, з якою формуються дані.
- Різноманітність (Variety) - тип даних, який рідко знаходиться в стані, який ідеально готовий до обробки та аналізу. Велика частка Big Data – неструктуровані дані, які, за оцінками, становлять від 70 до 90% світових даних.
- Достовірність (Veracity) - процес запобігання неточного опису наборів даних. Наприклад, люди можуть створювати онлайн-акаунт та використовувати неправдиву контактну інформацію. Підвищена правдивість у зборі даних зменшує необхідну кількість очищення даних.
Дані в спокої – це статичні дані, які зберігаються у фізичному місці, наприклад, на жорсткому диску на сервері чи в ЦОД. Дані зберігаються в базі даних, а потім аналізуються та інтерпретуються. Ті, хто приймає рішення, отримують повідомлення про те, чи потрібно діяти. Дані, що перебувають у русі – це динамічні дані, які потребують обробки в режимі реального часу, перш ніж ці дані стають неактуальними або застарілими. Це безперервна взаємодія між людьми, процасами та речами.
- конфіденційність, розподілене зберігання та оброблення Big Data.
- Приватність даних, необроблені дані не надсилаються. Розрахунок для відповіді здійснюється в сховищі персональних даних користувача (personal data store, PDS): "Тільки відповіді, узагальнені дані, необхідні додатку, залишають межі PDS
- Структуровані та неструктуровані дані (Структуровані дані ми можемо легко вводити, класифікувати, робити запити та аналізувати комп'ютером. Сюди входять дані, знайдені у реляційних базах даних та електронних таблицях.)
- Розподілені дані та їх обробка Наступне покоління управління даними з'явилося за допомогою системи управління реляційними базами даних (Relational database management system, RDBMS) Більшість комерційних рішень RDBMS використовують SQL
