Тонкой корочкой льда покрылось озеро больших данных после того, как старший вице-президент Gartner Питер Сондергаард сказал, что данные немы. Чем больше данные, тем труднее их обработать, а значит и монетизировать. И вообще, не в данных дело, а в алгоритмах их обработки. (См. The Internet of Things Will Give Rise To The Algorithm Economy и видео с гартнеровского симпозиума ). Одним словом «модный тренд» сменился и следующая большая вещь (next big thing) не большие данные, а алгоритмы обработки данных. В первую очередь потоковой обработки.
Но интересно не это. Примечательно то, что за несколько лет бума больших данных мы в своем сознании не поменяли метафору системы для их обработки. Для нас по-прежнему метафорой такой системы является хранилище – резервуар, в который данные заливаются, отстаиваются и затем обрабатываются системами бизнес-аналитики. Тем временем самое интересное – то как и зачем эти данные обрабатываются, остается за границами этой метафоры. Есть отдельные попытки переосмыслить традиционный взгляд. Например, в заметке Cloud-Native Application Architectures я ссылался на 12 факторов новой архитектуры приложений. Один из них IV. Сторонние службы (Backing Services) рекомендует рассматривать базы данных в качестве подключаемого к приложениям ресурса (см. картинку по ссылке). Но для большинства из нас данные остаются неотъемлемой часть приложения их обрабатывающего
Изменение акцентов с данных на алгоритмы не приведет к моментальному изменению технологий, но наверняка изменит наше представление о концептуальной архитектуре информационных систем. Те люди, которых аналитики пророчили на роль data scientist, в новой модели будущего сделаются алгоритмиками(ну или алгоритмщиками). Они не буду плескаться в тазиках с данными, а начнут сочинять задания на их обработку, создавать те самые алгоритмы. А айтишники буду эти задания запускать на большом конвейере массивно-параллельной обработки данных и отгружать уважаемым алгоритмикам выборки с результатами работы их заданий. Похоже на запуск программ в пакетном режиме во времена больших ЭВМ. Мне такая метафора нравится. По крайней мере, аналитики данных начнут описывать что и зачем они с этими данными делают. Но главная задача для ИТ, которую предстоит решить для перехода к такой модели состоит в отделении алгоритмов обработки от самих наборов данных
