Мы, разработчики приложений Big Data, поделимся практическим опытом создания Корпоративной Аналитической Платформы, включающей Data Lake, построенный на основе экосистемы Apache Hadoop (Spark, HBase, Bigtop).

Расскажем, как готовимся к переходу от десятков Петабайт к сотням, о том, как тюним приложения на Spark и HBase, нормализуем и сопоставляем данные клиентов, как синхронизируем данные между различными частями гетерогенной платформы и почему мы пришли к разработке собственного дистрибутива Hadoop.
 

В программе:

• Автоматизация круговорота данных в инфраструктуре Teradata, Oracle, Hadoop и GreenPlum — 10:10

• Как не выстрелить себе в ногу, обрабатывая сотни терабайт при помощи HBase — 10:40

• Ускорение обработки данных на Spark с помощью фильтра Блума и других трюков — 11:25

• Как с помощью Hadoop и Spark причесать и поженить 500 млн. строк — 12:00

• Упрощаем процесс оптимизации в Teradata с помощью сервисов - 13:30

• Превращаем Apache Bigtop в Sberbank Data Platform: как мы используем Big Data Open Source компоненты - 14:00

• Брокер метаданных. Что? Зачем? Как? — 14:30

• Лаборатория данных как SaaS — 15:15

• Подходы к репликации метаданных hive metastore между кластерами Hadoop - 15:45

А так же кофе-брейки, конкурсы и подарки!