ESB и микросервисы: как DevOps-команды выстраивают обмен данными между корпоративными системами

Интеграционная шина: сервер передаёт сообщения через очередь к сервисам, рядом панель мониторинга

В типичной компании одновременно работают учётная система, CRM, склад, сайт и внутренние сервисы, и каждая хранит свою часть данных о клиентах, заказах и остатках. Обмен между ними — вопрос не только архитектуры, но и эксплуатации: интеграции ломаются, теряют сообщения и тормозят релизы, а разбираться с этим обычно приходится DevOps-команде.

Точка-точка или шина

Самый быстрый способ связать две системы — прямой вызов API или выгрузка файла по расписанию. Пока систем три-четыре, подход работает. Но число возможных связей растёт почти квадратично: при n системах это n·(n−1)/2 пар, и у каждой свой формат, авторизация, расписание и обработка ошибок. Со временем уже никто не знает, кто кому что отправляет, а замена одной системы означает переписывание десятка интеграций.

Корпоративная сервисная шина (ESB) решает задачу иначе: системы подключаются к одному посреднику, а он отвечает за маршрутизацию, преобразование форматов и доставку.

КритерийТочка-точкаИнтеграционная шина
Количество связейрастёт с каждой новой парой системодно подключение на систему
Преобразование форматовв коде каждой интеграциицентрализованно, в маршрутах
Обработка сбоевсвоя в каждой связкеединые очереди, повторы, журнал
Мониторингразрозненные логиобщая картина потоков
Главный рискхаос по мере росташина становится критичным узлом, её нужно резервировать

Где здесь микросервисы

Микросервисы часто противопоставляют ESB, но на практике подходы уживаются. Внутри продукта сервисы общаются напрямую по HTTP или gRPC либо через брокер событий вроде Kafka или RabbitMQ. А на границе, где продукт обменивается данными с ERP, 1С, бухгалтерией и внешними контрагентами, удобнее держать шину, которая знает форматы корпоративных систем и берёт на себя их преобразование. Главное правило — не переносить в шину бизнес-логику: маршрутизация и трансформация живут в шине, решения о заказах и скидках остаются в сервисах.

Очереди и гарантированная доставка

Синхронный вызов хорош, когда ответ нужен сразу. Для обмена между корпоративными системами важнее другое: сообщение не должно потеряться, даже если получатель ночью недоступен из-за обновления. Поэтому основа надёжных интеграций — асинхронные очереди.

  • Подтверждение обработки. Сообщение удаляется из очереди только после того, как получатель подтвердил обработку. Если обработчик упал на середине, сообщение вернётся в очередь.
  • Повторы с паузой. Временные ошибки вроде таймаута или ответа 503 обрабатываются повтором с нарастающим интервалом, а не мгновенным циклом, который добивает перегруженную систему.
  • Очередь недоставленных сообщений. То, что не удалось обработать за заданное число попыток, уходит в DLQ. Там сообщение можно разобрать и переотправить вручную, не останавливая весь поток.
  • Идемпотентность. Доставка «как минимум один раз» допускает дубли. Получатель должен распознавать повтор по ключу сообщения и не создавать второй заказ или второй платёж.
  • Порядок. Если важна последовательность событий (создание, изменение, отмена документа), сообщения одной сущности направляют в одну партицию или очередь.

Мониторинг интеграций

Интеграция, которая молча перестала работать, опаснее упавшего сервиса: проблема всплывает через неделю, когда расходятся остатки или отчёты. Поэтому шину и потоки наблюдают так же внимательно, как остальную инфраструктуру. Минимальный набор сигналов:

  • глубина очередей и возраст самого старого сообщения — главный признак того, что потребитель не справляется;
  • число сообщений в DLQ и доля ошибок по каждому маршруту;
  • время прохождения сообщения от источника до получателя;
  • сквозной идентификатор (correlation ID), по которому сообщение находится в логах всех участников обмена;
  • бизнес-сверки, например число заказов за сутки в источнике и в приёмнике.

Алерты настраивают на рост очередей и DLQ, а не только на остановку процесса.

CI/CD для интеграционных потоков

Маршруты, схемы сообщений и правила трансформации — это код, даже если их собирают в графическом редакторе. Их стоит хранить в Git и выкатывать тем же конвейером, что и приложения.

  1. Описание маршрутов и маппингов выгружается в текстовый формат и версионируется.
  2. Контракты (JSON Schema, XSD, OpenAPI, AsyncAPI) проверяются в пайплайне: несовместимое изменение формата должно ронять сборку, а не продуктив.
  3. Трансформации покрываются тестами на эталонных сообщениях: на входе пример из системы-источника, на выходе ожидаемый документ.
  4. Выкладка идёт по стендам: разработка, тест с копиями смежных систем, продуктив. Адреса и секреты хранятся в переменных окружения или хранилище секретов, а не в конфигурации маршрута.
  5. Предыдущая версия потока поднимается одной командой, если после релиза что-то пошло не так.

Контейнеризация шины

Интеграционные платформы и брокеры сообщений хорошо работают в контейнерах. Это одинаковые окружения на всех стендах и горизонтальное масштабирование обработчиков. Но есть нюансы:

  • брокер и хранилище сообщений — компоненты с состоянием, им нужны постоянные тома, резервное копирование и продуманная кластеризация;
  • обработчики маршрутов лучше делать без состояния, чтобы их можно было свободно добавлять и перезапускать;
  • проверка здоровья должна смотреть не только на процесс, но и на подключение к брокеру и ключевым системам;
  • при плавном обновлении обработчик сначала перестаёт брать новые сообщения, дорабатывает текущие и только потом останавливается.

Российские платформы и импортозамещение

После ухода ряда зарубежных вендоров многим компаниям пришлось искать замену привычным интеграционным продуктам, а для государственных заказчиков и регулируемых отраслей важно, чтобы ПО было включено в Единый реестр российских программ. Поэтому при выборе шины сейчас смотрят не только на функциональность, но и на происхождение платформы, доступность поддержки и готовые адаптеры к распространённым в России системам, прежде всего к 1С.

Пример такого решения — FESB, российская интеграционная платформа из Единого реестра российского ПО. Её внедрением занимается московский системный интегратор «Консалт Информ» (co-inform.ru), который работает с 2012 года; для подключения 1С к шине у компании есть собственный «Коннектор 1С-ESB». Для DevOps-команды готовый адаптер означает меньше самописного кода на стыке с учётной системой.

При оценке любой платформы на пилоте полезно проверить:

  • можно ли выгрузить конфигурацию маршрутов в текст и хранить её в Git;
  • как платформа разворачивается: в контейнерах, на виртуальных машинах, в Kubernetes;
  • какие метрики и логи она отдаёт наружу и в каком формате;
  • как устроены гарантированная доставка, повторы и DLQ.

С чего начать

Переводить все интеграции на шину разом не обязательно. Практичный путь — составить карту текущих потоков, выбрать самые болезненные, то есть те, что чаще ломаются или блокируют релизы, перевести их на очереди с мониторингом и версионированием, а затем постепенно подключать остальные системы. Так обмен данными становится обычной частью инфраструктуры с тестами, алертами и понятным процессом изменений.