Кейсы по внедрению Talend в enterprise-проекты: мировой опыт

Чтобы справиться с постоянно растущими объёмами данных по счетам, Landesbank решил модернизировать свою базовую банковскую систему. Однако внедрение новой системы требовало тщательной предварительной подготовки, и в случае неудачной попытки перехода существовал риск закрытия банка.

Landesbank является членом группы национальных сберегательных банков Германии, и его бизнес-процессы тесно связаны с центральным провайдером информационных технологий Finanz Informatik (сокр. FI), который использует современную банковскую систему — OSPlus. Сложность обновления системы заключалась ещё и в том, что для интеграции собственных банковских приложений с данными о клиентах, адресах, доходах и счетах Landesbank необходимо было создать новый интерфейс параллельно с развёртыванием OSPlus.

Также необходимо было принять во внимание, что поступающие данные приходят в разных форматах, и для их дальнейшей передачи специалистам из разных отделов, принимающих документы каждый в своём формате, нужно конвертировать эти данные в запрашиваемые форматы. Предыдущая интеграционная платформа, которой пользовался банк, не справлялась с обработкой большого потока данных, а переход на новую систему требовал нескольких этапов, что только увеличивало время.

Интеграция Talend ESB помогла оптимизировать процессы по передаче информации. Теперь при запуске бизнес-процесса в банковской системе OSPlus данные передаются в другие приложения через сервисную шину Talend ESB. Большинство интерфейсов запрограммированы на работу по событиям, и только некоторые из них «запланированы» заранее.

Для обеспечения прозрачности процессов внутри компании на базе Talend ESB был создан специальный портал TMF (сокр. от англ. Tools & Methods Framework), осуществляющий мониторинг работы по управлению ошибками.

Компания Otto решила создать новое озеро данных с нуля и использовать Talend как мост между новым озером данных, в котором хранятся данные интернет-магазина и партнёрских веб-сайтов, и базой данных Exasol объёмом 250 Тбайт.

Также ПО Talend дало возможность использовать в разработке собственный CI/CD-процесс. Применение Talend позволило непрерывно интегрировать источники данных, разрабатывать и поставлять новые обновления и приложения, создавать тестовые среды для запуска нового ПО. Всё это способствовало повышению скорости разработки и скорости исправления проблем на проекте и в целом помогло снизить риски, связанные с новой разработкой и интеграциями.

Так, если в систему приходит запрос от клиента на удаление своих данных из системы Otto, это уже не занимает много времени, поскольку больше нет необходимости в длительных поисках по всем базам данных. Благодаря Talend стал возможным быстрый обмен данными с их источниками, что упростило процесс удаления данных из Exasol и озера данных Cloudera.

Вместо поддержки старой системы компания Bayer приняла решение полностью изменить среду и архитектуру инфраструктуры. Bayer провела «хакатон», во время которого тщательно протестировала Talend и пришла к выводу, что он лучше всего подходит для непрерывного совершенствования системы, учитывая его принципы гибкости и возможность поддержки микросервисной архитектуры.

Шина Talend ESB стала выступать промежуточным ПО, которое соединяет репозитории и при этом скрыто от глаз пользователей. Данные поступают в локальное озеро данных Oracle, для проведения расширенной аналитики компания подключается к системе SAS и использует Oracle Life Sciences Data Hub для хранения данных о клинических исследованиях лекарств и препаратов.

Сервисная шина Talend ESB позволила быстро и в соответствии с требованиями добавлять новые функции, сделать получаемые данные более качественными и повысить скорость их обработки. Также преимуществом Talend для компании стала возможность отслеживать всё, что происходит с данными, включая то, откуда они поступают и куда направляются.