Мы знаем Big Data как «нечто», поспособствовавшее победе Дональда Трампа в выборах 2016 года, и то, что использует Илон Маск для увеличения продаж автомобилей Tesla. Действительно, сейчас проекты Big Data тесно пересекаются с рынком бизнес-аналитики (BA), объем которого в 2016 году составил около $100 млрд.

Несмотря на то, что анализ больших данных появился в IT-компаниях, где его использовали только лучшие аналитики и программисты, сейчас Big Data стали более распространенным явлением. О том, что такое большие данные и где их используют, – далее в статье.

Что такое Big Data?

Анализ Big Data (больших данных) – это комплекс мероприятий, направленных на сбор, анализ и систематизацию данных, чей общий размер превышает 100 Гб. Анализ больших данных включает в себя сетевые технологии, сервера, программное обеспечение и технические услуги.

Big Data используют для:

  • хранения и управления данных объемом в сотни терабайт или петабайт, которые не могут обрабатывать реляционные базы данных;
  • организации неструктурированных данных, состоящих из текстовой информации, изображений, фото, видео и др.;
  • генерации аналитических отчетов и внедрения прогностических моделей.

Анализ больших данных – это смесь программирования и аналитики, поэтому для работы с Big Data используют ряд программ. Ниже – некоторые из них:

  • SAS Eminer – система описательного и предсказательного моделирования;
  • Tableau – программа для визуализации данных;
  • SPSS – программа для прогнозной аналитики;
  • Zoho Reports – программа для создания онлайн-отчетов;
  • NodeXL – интерактивный инструмент сетевой визуализации и анализа;
  • Excel – неожиданно, но старый добрый продукт MS Office тоже хорошо справляется с аналитикой больших данных;
  • SQL – язык программирования для создания, модификации и управления данными в реляционной базе данных;
  • Python – язык программирования, приспособленный для аналитики.

Результат обработки данных выглядит как свод рекомендаций. Причем их характер невозможно предсказать до конца анализа – иногда даже самые незначительные изменения могут повлиять на окончательную картину. А при правильном использовании данная технология будет не только приумножать прибыль, но даже спасать жизни.

Как Big Data используют в бизнесе

Во многих интервью глава компании Tesla Илон Маск заявлял, что использует аналитику для усовершенствования автомобилей.

Дело в том, что электрокар Tesla создает огромное количество данных. Они помогают сотрудникам компании делать выводы о том, насколько хорошо водители понимают модели вождения и способы зарядки автомобиля, как вести себя, когда автомобиль в режиме автопилота и т. д.

Использование прогнозной аналитики помогло Tesla увидеть перспективы для развития. Таким образом компании удалось приумножить прибыль. Маск подтвердил, что продажи электромобилей в последние годы идут вверх благодаря Big Data.

AI Conference: Tehnologiya Big Data: oblasti primeneniya 1

Как Big Data спасают жизни

По данным портала Datasides, рынок носимых электронных устройств по итогам 2015 года вырос на 171,6%. Следовательно, у производителей гаджетов появилось больше информации о пользователях. Эти данные можно использовать в медицинских целях, например составлять подробный портрет пациента. Такую практику уже внедрили в США: с 2016 года информацию, собранную с помощью health-трекеров, американские производители «браслетов» передают личным врачам своих клиентов.

На основе данных большого количества пациентов можно составить список рекомендаций по наиболее эффективному лечению, предугадать эпидемии и выявить риски заболеваний, к которым склонны жители определенного региона.

Так, благодаря синергии больших данных и искусственного интеллекта ученые из Вашингтонского университета предсказывают уровень ожирения среди жителей того или иного региона. В ходе их исследования были рассмотрены четыре города: Лос-Анджелес, Мемфис, Сан-Антонио и Сиэтл. Ученые взяли 150 тысяч спутниковых фотографий местности данных городов, сделанных сервисом Google Static Maps API. С помощью нейросети города разделили на 1695 районов, которые в свою очередь поделили на четыре группы: снимки со зданиями, проезжими частями, парковыми и водными зонами. Затем исследователи провели корреляцию полученной информации с официальными данными о случаях ожирения в каждом из городов.

Данная разработка оказалась достаточно эффективной: типология местности поможет предугадать, в каких районах люди будут страдать ожирением, с точностью до 64,8%.

Big Data в жизни города

Анализ данных также можно использовать для повышения качества жизни, и на этот раз не конкретных людей, а целых городов. Например, благодаря Big Data можно оптимизировать потоки транспорта. Водители, использующие GPS-навигаторы, на самом деле постоянно собирают огромные массивы данных о дорогах, благодаря которым можно увидеть, где потоки машин наиболее сконцентрированы, где дольше всего задерживаются пробки и чаще всего случаются аварии.

На основе анализа Big Data в американском городе Лонг-Бич работают умные счетчики воды. Их используют для того, чтобы помешать незаконному поливу газонов в частных домовладениях, из-которого в городе образовался перерасход пресной воды. Результат работы счетчиков – сокращение расходов на 80%.


Указанные выше примеры описывают далеко не все сферы, где использование больших данных приносит пользу. О том, как Big Data помогают в других видах деятельности,  узнайте на AI Conference, которая состоится 22 ноября в Москве.