Что такое Big Data?
И как это используют
Фото: Mint Images / Shutterstock
1
Что входит в понятие Big Data или «большие данные»?

Единого толкования понятия Big Data не существует, в ходе технологического развития эксперты предлагали разные определения. Чаще всего говорят о наборах данных такого размера, что обычное программное обеспечение не способно справиться с их сбором, хранением, управлением и обработкой. Выделяют структурированные, полуструктурированные и неструктурированные наборы данных, объем которых измеряется в терабайтах и зеттабайтах. Новые возможности анализа подобных массивов оказывают огромное влияние на многие сферы жизни, включая государственное управление, бизнес, здравоохранение и т.д.

Другими словами, Big Data можно трактовать, как совокупность методов хранения, обработки и анализа данных и последующего принятия решений.

2
Я слышал о неких «трех V» применительно к Big Data. О чем речь?

Среди основных характеристик «больших данных» традиционно выделяют:

— Volume — объем данных

— Velocity — скорость накопления и обработки массивов данных

— Variety — разнообразие типов данных.

Иногда добавляют и «четвертую V» — Veracity, то есть достоверность как самого набора данных, так и результатов его анализа.

3
Как анализируют данные такого размера?

Выделяются несколько основных методов анализа BigData:

— Краудсорсинг — обработка данных большим количеством людей на добровольной основе.

— Смешение и интеграция данных — возможность интеграции данных из различных источников для последующего анализа.

— Data mining — извлечение из массивов ранее неизвестных данных с помощью большого набора техник.

— Машинное обучение — использование искусственного интеллекта для решения задач на основе ранее полученного опыта.

— Статистический анализ.

4
В каких отраслях уже используется Big Data?

— Государственное управление. Изучение и анализ больших данных помогает правительствам принимать решения в таких областях, как здравоохранение, занятость населения, экономическое регулирование, борьба с преступностью и обеспечение безопасности, реагирование на чрезвычайные ситуации.

Промышленность. Внедрение инструментов Big Data помогает повысить прозрачность промышленных процессов и внедрять «предиктивное производство», позволяющее более точно прогнозировать спрос на продукцию и, соответственно, планировать расходование ресурсов.

Медицина. Огромное количество данных, собираемых медицинскими учреждениями и различными электронными приспособлениями (фитнес-браслетами и т.п.) открывает принципиально новые возможности перед индустрией здравоохранения. Однако эксперты указывают на трудности в достоверном анализе информации.

Ретейл​. Развитие сетевой и электронной торговли невозможно представить без основанных на Big Data решениях.

— Интернет вещей. Big Data и интернет вещей неразрывно связаны между собой. Промышленные и бытовые приборы, подключенные к интернету вещей, собирают огромное количество данных, на основе анализа которых впоследствии регулируется работа этих приборов.

О применении Big Data в бизнесе вы можете узнавать с помощью РБК.Pro.

5
Есть ли у Big Data недостатки?

Большие данные неоднородны, это создает значительные проблемы для статистических выводов. Чем больше требуется параметров для прогнозирования, тем больше ошибок накапливается при анализе.