Big Data, как цифровой Китай

В Анахейме, штат Калифорния, проходит глобальное мероприятие Teradata Partners, где в очередной раз предпринимается попытка нащупать – что же такое Big Data, и как применить на практике упорядоченные выжимки из массивов разносортной информации.

Термин Big Data с 2008 успел распространиться далеко за пределами IT-сообщества, и сегодня методы и приемы работы с Большими Данными жарко обсуждаются на мероприятиях для маркетологов, рекламщиков, продажников и, конечно, финансистов. Польза от Big Data вроде бы сомнению уже не подвергается. Вопрос лишь – как сформировать максимально большой объем «руды», как правильно настроить инструменты для извлечения полезной информации, и что потом с ней делать.

С рудой все более-менее понятно. В ситуации, когда к Сети подключено абсолютное большинство экономически активных субъектов, и каждый залогинен в добром десятке сервисов и социальных сетей, задокументировать каждый шаг – не проблема. Вишенка на торте – бесконечные потоки информации, которые люди добровольно и с большим удовольствием рассказывают о себе на страницах социальных сетей. Собранные данные систематизируются, обезличиваются и продаются всем желающим. И хотя обезличенность в данном случае довольно условна, со стороны законодательства к такому сбору информации вопросов не возникает.

Есть свои маленькие Большие Данные и у банков. И с ними тоже можно эффективно работать.

Около полутора лет назад на мероприятиях, посвященных Big Data, с удовольствием заговорили о носимых датчиках. Умные часы, фитнес-браслеты, NFC-метки, различные домашние датчики, сообщающие данные в Интернет – все это создает еще один огромный массив данных о жизни потребителей товаров и услуг. Гораздо более интересный, чем соцсети. Хотя казалось бы, что может быть интереснее? Состояние здоровья, привычные маршруты, средняя скорость на том или ином отрезке дороги, любимые места, время пребывания в них – читатель сам может дополнить список того, что может сообщить невинный браслет на руке.

С инструментами обработки ситуация постоянно улучшается. Сегодня на конференции Partners в Анахейме, США говорили о новом продукте Teradata Listener, который как раз и обучен собирать огромные потоки данных с устройств, относящихся к классу Internet of Things (Интернет Вещей, IoT). Эта же функциональность добавлена к уже почти классическому продукту Teradata Aster Analytics on Hadoop. В дополнение к программным средствам добавились новые аппаратные решения – могучий Teradata Active Enterprise Data Warehouse 6800 и относительно бюджетный (насколько вообще применимо такое определение в конкретном случае) Teradata Integrated Big Data Platform 1800 с ценой хранения сжатых данных $1000 за терабайт.

Покупайте. Настраивайте. Анализируйте. Узнаете много интересного.

Вот только не очень понятно – что делать дальше с этим знанием. Ведь решение все равно должен принимать человек. Да, он будет вооружен гораздо бОльшим количеством информации. Возможно, нащупает интересные взаимосвязи, которые раньше никому не приходили в голову. Но решение – это всегда самое сложное. Какой из вариантов выбрать? На чем остановиться? К каким последствиям решение приведет?

Доверить и этот шаг компьютеру нельзя. Он-то сразу «сообразит», что, к примеру, люди, на чей счет поступила страховка за умершего родственника, через некоторое время будут интересоваться установкой памятника на могиле. Взаимосвязь железная. С точки зрения бизнеса, казалось бы, правильно отправить клиенту предложение финансирования установки надгробия на особых условиях. Но делать этого ни в коем случае нельзя чисто по-человечески. Чего компьютер – даже самый мощный – не «понимает». И таких абсолютно правильных, но неприменимых на практике открытий Big Data подкинет немало.

Если в конечном итоге решение все равно принимают люди, каков же прок от всех этих колоссальных усилий и затрат? Не проще ли посидеть, подумать – и решить? По старинке, безо всяких Big Data? Ведь раньше это как-то работало.

Не получится по старинке. Никак. Больше никогда.

Потому что Интернет, проникнув в повседневную жизнь, на порядки ускорил обмен информацией. Продуктовые линейки практически в любом сегменте экономики обновляются по несколько раз в год. Новые предложения в каждой отрасли возникают едва ли не каждый день. Объемы решений, которые раньше принимались за месяц, теперь принимаются ежедневно.

И в то же время число людей, способных принять взвешенное решение, не увеличилось. Наоборот, оно снижается с каждым годом, потому что знаний в голове требуется все больше, а времени на подготовку новых кадров нет. Нет возможности ждать, пока специалист заматереет, обрастет опытом и базирующейся на нем интуиции. Решения надо принимать уже сейчас.

Big Data – это своего рода цифровой Китай. В девяностых годах прошлого века мировая экономика совершила мощный рывок вперед, радикально удешевив производство массовой продукции за счет переноса заводов в Поднебесную.

Сегодня она переносит в цифровую среду технологию принятия решений. Она дробит сложное и не очень понятное множество на систематизированный набор мелких очевидных фактов. Очевидных настолько, что эффективное решение сможет принять даже не самый компетентный и погруженный в предмет человек. Уточним – сможет в теории. Потому что пока область применения Big Data крайне узка, а в озвучиваемых историях успеха роль человеческого фактора торчит изо всех углов. Получается, что технология, предназначенная для конвейерного производства, пока используется в небольших частных мастерских. И это не позволяет дать ей справедливую оценку.

Но сомневаться в том, что технология доберется до конвейера, не приходится. И, скорее всего, через пару поколений встанет вопрос – как вернуть принятие решений обратно к человеку, от начала до конца. И будет это столь же эффектным и безуспешным делом, как попытки перенести производство обратно из Китая в США.