В прошлых колонках мы много говорили о Громадных Данных и значимости разработок In-Memory для компаний. Мы пробовали разобраться в объективных процессах в мире, которые связаны с Big Data, и осознать субъективное восприятие вопроса Громадных Данных игроками рынка. Давайте подведём результат отечественной серии материалов. В 2010 г. мировое годовое количество выработанной информации перешагнуло порог в один зеттабайт – число с 21 нулем. Ученые прогнозируют, что с 2013 по 2020 гг. количество данных увеличится с 4,4 до 44 зеттабайт. Каждый день с промежутком в двадцать мин. на Facebook загружается 2,7 миллиона изображений, каждую 60 секунд на YouTube добавляется 100 часов видео, т.е. кроме того в потребительском сегменте отмечается взрывной рост количества данных, каковые являются бесценными для некоторых сегментов бизнеса. Количество информации растёт большими темпами из года в год. В соответствии с изучению IDC «Цифровая вселенная» (IDC Digital Universe 2014), Российская Федерация на сегодня накопила 155 эксабайт, либо 2,4% мировых данных.
На сегодня лишь 22% информации возможно нужным, остальные массивы авторы изучения именуют «космическим мусором». И лишь 5% практически анализируется. Благодаря формированию интернета вещей к 2020 г. более 35% разрешённых будут считаться нужными. Наряду с этим ключевую роль на многих рынках играется скорость обработки информации, необходимость в стремительном анализе подогревается сильной борьбой.
Все эти тенденции ставят вопрос о необходимости разработок, каковые имели возможность оперативно обрабатывать огромный массив неоднородной информации, составляющий Big Data. Но как остро принимают вопрос громадных данных игроки рынка?
T-Systems удалось посредством совершённого изучения узнать отношение к проблеме Big Data, и выяснить самые популярные ответы в данной сфере. В опросе участвовало 1010 человек из Германии, Швейцарии и Австрии, и из Франции, Испании, ЮАР, Бразилии, США и России. Среди скептиков по отношению к Big Data нежданно были Германия, Австрия, Швейцария и Франция. В ЮАР и Бразилии значимость темы согласится, но инвестиционные замыслы до тех пор пока отстают. Одновременно с этим предприятия США, России и Испании уже видят настоящую необходимость в инвестициях и в анализе Big Data и готовы тратить на это деньги.
Рис. 1: тренд и Необходимость действий Big Data по государствам.
В отраслевом разрезе больше всего Big Data интересует госсектор и материальных ресурсов и поставщиков энергии, в то время как компании с огромными базами данных из банковского и страхового секторов не торопятся проводить глобальные перемены в обработке данных (одна из вероятных обстоятельств содержится в том, что они уже предприняли кое-какие меры в этом направлении и до тех пор пока вычисляют их достаточными).
Предстоящие опросы продемонстрировали: большая часть компаний в различных государствах уверены в том, что у них уже готова стратегия управления данными – более половины опрощеных, объявили, что стратегия у них уже создана. Среди них имеется и Российская Федерация, где 64% опрошенных оценивают стратегию как «прекрасно созданную». Уровень качества этих стратегий мы оставляем за рамками беседы. Чуть более свежий опрос, что проводился отечественной компанией в конце прошлого года по базе опрощеных в 200 человек (крупные компании и средние), подтвердил, что слова опрощеных не расходятся с делом – большинство компаний уже имеют в полной мере осязаемые замыслы по решению вопроса Big Data. Более того, четверть опрошенных объявила, что проблему громадных данных для себя закрыла. Российская Федерация в последний опрос не вошла, но мне известен небольшой пул проектов в Российской Федерации, которые связаны с Big Data.
Рис. 2: На какой стадии на данный момент находится ваша организация в вопросах планировании и внедрения проектов по громадным данным?
Среди всего многообразия ответов для обработки Big Data безоговорочным фаворитом являются In-Memory технологии. Это утверждение подкреплено свежим онлайн опросом, совершённым T-Systems в сентябре 2013 года среди 147 опрощеных. Лидируют разработке In-Memory, причем в регионе EMEA им доверяют больше всего – 60% опрошенных, в то время как в Соединенных Штатах – всего 22%, а в Бразилии – 14%.
Рис. 3. Какие конкретно технологии оптимальнее решают проблему громадных данных?
Как раз этими разработками пользуется либо планирует в будущем внедрить большая часть опрошенных, а само восприятие разработок In-Memory прочно связано с скоростью скорости обработки и улучшением доступа данных. Среди них с громадным отрывом по узнаваемости лидируют Микрософт SQL и SAP HANA (67% и 63% соответственно).
Однако, проблемой есть оценка цены внедрения. Компании обычно не смогут спрогнозировать, в какие конкретно настоящие траты выльется ее эксплуатация и покупка.
Внедрение приложений для работы с громадными данными влечёт за собой и ещё один важный вопрос: какую модель эксплуатации выбрать для данной разработки? Функционирование SAP HANA в основном рассматривается лицами, принимающими решения по IT, в собственном центре данных компании. Следовательно, пользователи оставляют за собой контроль над приложением, оплачивают более высокие затраты, каковые довольно часто амортизируются лишь в среднесрочной возможности, и теряют гибкость. Так для чего тогда компании тратят лишние деньги на хранение всех данных у себя? Такое отношение возможно растолковать недостаточным понятием о расходах на технологии In-Memory, и опасениями за безопасность данных. Аналитики уверены, что защищать огромные количества разнообразных данных станет все сложнее. В соответствии с IDC, 40% данных в мире и 49% в Российской Федерации нуждаются в разных мерах защиты — от обеспечения повышенной конфиденциальности до полного шифрования. Наряду с этим на сегодня лишь добрая половина, либо 20%, общего объема этих данных реально защищена. Отечественные опросы это подтверждают: более половины опрошенных компаний предпочитают хранить серьёзные эти на своём собственном аппаратном обеспечении в компании и перемещают к IТ-провайдеру лишь ресурсы, и только 5% готовы дать обработку данных всецело в виртуальное пространство посредством SAP HANA.
Остро поднимается сейчас и вопрос кадров. На рынке начали появляться новые профессии, которые связаны с Big Data. Мы поняли, что уже некое время в перечнях директоров C-уровня американских компаний значится CDO – Chief Data Officer, что несёт ответственность за управление данными как собственностью. В феврале 2014 г. СNews Analytics совместно со работой изучений компании HeadHunter совершили изучение рабочей силы на рынке Big Data. Как продемонстрировало изучение количество вакансий, в заглавии либо описании которых имеется словосочетания «Big Data» либо «громадные эти», с каждым годом заметно возрастает. Так, в случае если в 2013 г. в Российской Федерации таких вакансий было 234, то в 2011 г. их число не превышало 30. Работодатели в Российской Федерации для проектов Big Data ищут кандидатов, уже владеющих опытом работы в данной сфере. Мы экспертов по Громадным данным растили в компании, обучая их на соответствующих направлениях. Первичное требование к таким сотрудникам – навыки администрирования СУБД. Второе – знание продуктов SAP, потому, что мы трудимся c SAP HANA. На сегодня компании всей земли чуть ли смогут закрыть потребность в экспертах этого направления. ИТ-экспертам стоит присмотреться к новой специализации, которая будет очень пользуется спросом в самое ближайшее время.