Интеграция Kafka в enterprise-инфраструктуру проекта

Клиент

Крупный производитель и ретейлер мягкой и корпусной мебели, матрасов и товаров для сна.

Задача

Для такой крупной компании с множеством информационных систем интеграция по типу «точка – точка» является нецелесообразным решением. Заказчик хотел, чтобы механизм транспортировки данных был легковесным, без сложной логики, и выполнял исключительно функцию передачи сообщений из одной системы в другую. При этом нужно было учитывать потребность компании в слабой взаимосвязанности систем, чтобы при необходимости убрать одну из них или заменить на другую для остальных систем это прошло без изменений.

Решение

Для решения задачи, поставленной заказчиком, была осуществлена интеграция Kafka в enterprise-инфраструктуру проекта. Kafka — распределённая система, обеспечивающая возможность обмена сообщениями, способная хранить в себе данные бессрочно.

rus: Интеграция Kafka в enterprise-инфраструктуру проекта

Подробнее почему интеграция «точка – точка» нецелесообразна для крупных проектов рассказываем в своей статье «Сервисная шина как эволюционное преимущество для развития компании». Читать статью

Интеграция системы с инфраструктурой проекта не заняла много времени: произведено развёртывание системы и настройка продюсинга (отправка и получение сообщений) и консьюминга (обработка сообщений) данных. Чтобы другие системы могли обмениваться данными с Kafka, необходимо на стороне этих систем добавить код для взаимодействия с Kafka.

К Kafka подключены: Magento, Pimcore, система «Галактика ERP», Creatio OMS (система обработки заказов), ECM (система управления контентом), сервис ценообразования и платёжные сервисы.

Интеграция Kafka

Для удобного управления Kafka был установлен типовой UI-интерфейс. Это позволило отслеживать возникающие ошибки в интеграции в режиме реального времени: видеть, какие сообщения не обработались, добавлять/удалять топики (последовательности), а также тестировать и контролировать отправку сообщений.

Теперь для устранения неполадок не нужно обращаться к разработчикам — механизмы Kafka дают возможность проанализировать причину появления проблемы и решить её даже на уровне менеджера.