#DataOps. Конвейер обработки данных

Пару дней назад PC Week/RE опубликовал перевод статьи Джорджа Анадиотиса Как работает DataOps — эквивалент DevOps в мире данных. В ней, как и во многих статья о постепенно обретающем популярность термине dataops, какие-то идеи понятны и очевидны, а какие-то только лишь слегка оконтурены, настолько абстрактны и общи, что и обсуждать их нет никакого смысла. Впрочем, даже статья про dataops в Википедии перечисляет целых двадцать принципов, характеризующих этот термин, что скорее свидетельствует об отсутствии единого его понимания. Думаю, что в ближайшем будущем нам не избежать споров о том, что же такое DataOps, но через некоторое время новая концепция сбора и обработки данных в организациях оформится и со временем потеснит столь привычную многим метафору корпоративного хранилища данных. Читать далее #DataOps. Конвейер обработки данных

Algorithmic Economy

круговорот-воды-в-природе-схема-Тонкой корочкой льда покрылось озеро больших данных после того, как старший вице-президент Gartner Питер Сондергаард  сказал, что данные немы. Чем больше данные, тем труднее их обработать, а значит и монетизировать. И вообще, не в данных дело, а в алгоритмах их обработки. (См. The Internet of Things Will Give Rise To The Algorithm Economy и видео с гартнеровского симпозиума ). Одним словом «модный тренд» сменился и следующая большая вещь (next big thing) не большие данные, а алгоритмы обработки данных. В первую очередь потоковой обработки.

Но интересно не это. Примечательно то, что за несколько лет бума больших данных мы в своем сознании не поменяли метафору системы для их обработки. Для нас по-прежнему метафорой такой системы является хранилище – резервуар, в который данные заливаются, отстаиваются и затем обрабатываются системами бизнес-аналитики. Тем временем самое интересное – то как и зачем эти данные обрабатываются, остается за границами этой метафоры. Есть отдельные попытки переосмыслить традиционный взгляд. Например, в заметке Cloud-Native Application Architectures я ссылался на 12 факторов новой архитектуры приложений. Один из них IV. Сторонние службы (Backing Services) рекомендует рассматривать базы данных в качестве подключаемого к приложениям ресурса (см. картинку по ссылке). Но для большинства из нас данные остаются неотъемлемой часть приложения их обрабатывающего

Изменение акцентов с данных на алгоритмы не приведет к моментальному изменению технологий, но наверняка изменит наше представление о концептуальной архитектуре информационных систем. Те люди, которых аналитики пророчили на роль data scientist, в новой модели будущего сделаются алгоритмиками(ну или алгоритмщиками). Они не буду плескаться в тазиках с данными, а начнут сочинять задания на их обработку, создавать те самые алгоритмы. А айтишники буду эти задания запускать на большом конвейере массивно-параллельной обработки данных и отгружать уважаемым алгоритмикам выборки с результатами работы их заданий. Похоже на запуск программ в пакетном режиме во времена больших ЭВМ. Мне такая метафора нравится. По крайней мере, аналитики данных начнут описывать что и зачем они с этими данными делают. Но главная задача для ИТ, которую предстоит решить для перехода к такой модели состоит в отделении алгоритмов обработки от самих наборов данных

Cloud-Native Application Architectures

oreilly-cover-migrating-to-cloud-native-application-architecturesВесной этого года издательство O`Reilly выпустило небольшую, но очень ладно скроенную книжку Мэтта Стайна (Matt Stine) Migrating to Cloud-Native Application Architectures. Скачать её бесплатно(за регистрацию) можно на сайте Pivotal по этой ссылке: Free O’Reilly Microservices eBook. Посредством очень простых рассуждений автор рассказывает нам, почему организации вынуждены буду заняться приложениями в облачной архитектуре, а заодно и чем такая архитектура отличается от традиционной. Кроме того, мы узнаем про манифест The Twelve-Factor App (русский), зачем нужны микросервисы, инфраструктуры, предоставляемые в режиме самообслуживания, и взаимодействия посредством программных интерфейсов. Для тех, кто не станет читать эту книжку, я постараюсь изложить её содержание в нескольких словах Читать далее Cloud-Native Application Architectures