DevOps Pro Moscow 2019

Роман Ананьев

Леруа Мерлен Восток, Россия

Биография

SRE. Работаю в Леруа Мерлен уже 3 года в IT дирекции. Занимаюсь на данный момент Apache Kafka и всем, что ее окружает, попутно автоматизируя. Но начал я это делать относительно недавно — всего чуть более 9 месяцев, до Кафки был администратором Microsoft Sharepoint, который у нас очень сильно переписали для создания внутреннего сайта для сотрудников.

Доклад

Интеграция потоков данных для микросервисов с Kafka и Kafka Connect

Вы познакомитесь с вариацией задачи интеграции систем (БД) на основе платформы Кафка. Наша уникальная версия с описанием используемых продуктов, встреченных проблем и их решением.
Тезисы:
Предыстория — отчего однажды мы выбрали Кафку в компании для решения задач интеграции реляционных БД с другими системами
Описание проекта — обеспечить получение информации о актуальных и достоверных стоках любого товара в любом магазине или складе нашей компании из одной мастер системы, в режиме реального времени, через API.
Перечень интегрируемых БД и того, что с ними было необходимо для этого сделать.
Причины почему был выбран фрейморк Kafka Connect и какие коннекторы для него.
Процесс выбора и сравнения БД для хранения данных полученных их Kafka — итог Tarantool.
Описание приложений, которые обрабатывают, обогащают и фильтруют данные, забирая их из Kafka и записывая в Tarantool.
Процесс выбора и сравнения продуктов для мониторинга всех компонентов проекта — Dynatrace и Prometheus и Burrow.
Итоги — получена система, которая позволила обеспечить время полного пути обработки данных от
момента возникновения события в необходимой нам БД, до Tarantool — не более 5-10 секунд.

Ключевые слова

Kafka
Kafka Connect
Database