Сервис агрегации данных из нескольких источников

Описание кейса

  • Программирование и IT
  • Прикладное программирование

Разработка центрального сервиса для автоматического сбора и обработки данных из нескольких внешних и внутренних источников. Спроектировал и реализовал backend-сервис на Go, который получает данные из разных систем, приводит их к единой модели и подготавливает для дальнейшей обработки и аналитики. В рамках работы занимался интеграционными процессами, ETL, PostgreSQL, ClickHouse, оптимизацией запросов и разбором production-инцидентов. Для аналитических данных использовался ClickHouse с объемом порядка 50 млн записей. Результат — единая точка сбора и подготовки данных вместо разрозненной обработки информации из разных источников.

Полный макет кейса

Другие работы исполнителя

  • example-image

    Интеграция внешних сервисов и API