Data Pipeline Engineer

📍 Алматы · Работа из офиса · Релокация(если нужно)

3+ года коммерческой разработки. Удалённый формат не предусмотрен.

Higgsfield AI - самая быстрорастущая AI-компания в истории: $1B годовой выручки (ARR), 35M+ пользователей по всему миру за 18 месяцев после запуска.

Наша цель не просто быть успешными, а расти быстрее всех, первыми создавать и перенимать лучшие решения и плэйбуки.

В нашей команде удобно только победителям и самостоятельным специалистам. Если ты хочешь получать много ответственности и доводить задачу от начала до конца - тебе к нам.

О команде

Команда Data Engineering в Higgsfield AI занимается сбором, обработкой и структуризацией крупномасштабных датасетов для создания новых уникальных для мира продуктов. Мы работаем с контентом из множества внешних источников и обрабатываем сотни миллионов медиаобъектов и петабайты видео, изображений и аудио, тесно взаимодействуя с командами Infrastructure и ML.

Твоя задача

Проектировать и поддерживать высоконагруженные системы для распределенного сбора, обработки и структуризации крупномасштабных датасэтов. Реальная ответственность за результат.

Задачи

• Лидить проекты по сбору и обработке данных: интеграция источников, трансформация медиа, пайплайны данных и крупномасштабная распределённая обработка.

• Проектировать и поддерживать высоконагруженные системы загрузки медиа и метаданных с надёжным планированием, приоритизацией и отказоустойчивостью при работе с множеством независимых внешних источников.

• Разрабатывать гибкие интеграции с источниками, извлекать структурированные метаданные из разнородного и слабоструктурированного контента, а также быстро обнаруживать изменения форматов на стороне источников и восстанавливаться после них.

• Расширять покрытие источников: подключать новые и оценивать их объём, качество и актуальность.

• Деплоить распределённые системы на скейле для обработки петабайтов данных.

• Проектировать и создавать production-сервисы на Python для конкурентной высоконагруженной обработки с разделением CPU-bound, I/O-bound и GPU-bound этапов пайплайна.

• Строить отказоустойчивые пайплайны с ретраями и backoff, чекпоинтами и корректным восстановлением после сбоев или деградации отдельных этапов.

• Обеспечивать возобновляемость и идемпотентность пайплайнов за счёт чекпоинтов, дедупликации по содержимому и восстановления без полной переобработки.

• Разрабатывать и поддерживать бэкенд-сервисы для хранения датасетов, промежуточных артефактов и метаданных, включая объектное хранилище большого масштаба и реляционные хранилища метаданных под нагрузкой.

• Разворачивать решения в Kubernetes с автомасштабированием по глубине очередей и корректной работой на spot-инстансах, проводить регулярные проверки систем.

• Настраивать мониторинг и инструментирование сервисов с помощью Prometheus, Grafana и VictoriaLogs, анализировать производительность, находить и устранять узкие места.

• Проектировать системы с эффективным использованием вычислительных ресурсов, хранилища и сети, оптимизировать нагрузки по пропускной способности и стоимости.

• Работать с командами ML и продукта над составом, покрытием и качеством датасетов.

Требования

• Опыт коммерческой разработки от 3 лет.

• Уверенное владение Python и опыт создания production-сервисов, работающих под постоянной нагрузкой.

• Глубокое понимание распределённых систем и крупномасштабной обработки данных, включая очереди сообщений, семантику at-least-once, идемпотентность и backpressure.

• Опыт построения систем масштабной загрузки данных из внешних источников и API, включая работу с изменяющимися форматами данных.

• Опыт обработки крупномасштабных мультимодальных медиадатасетов.

• Понимание принципов высокопроизводительной передачи данных и сетевых нагрузок.

• Уверенное владение Kubernetes и понимание концепций Infrastructure-as-Code.

• Готовность и интерес к новым подходам и технологиям.

• Умение работать над несколькими задачами одновременно и адаптироваться к меняющимся приоритетам.

Будет плюсом

• Опыт работы с крупномасштабными пайплайнами данных, self-hosted хранилищами или пайплайнами обработки медиа.

• Опыт работы с ML-командой над подготовкой и обработкой медиадатасетов.

Мы предлагаем

• ⚡ Много compute - больше, чем может предложить кто-либо в СНГ и Европе.

• 🔬 Возможность решать революционные задачи вместе с сильнейшей ML-командой в СНГ.

• 💵 Конкурентная базовая зарплата в USD с учётом опыта, навыков и уровня роли.

• 📈 Участие в программе опционов компании.

• ✈️ Поддержка релокации в Алматы для кандидатов из других городов и стран.

• 🎯 Реальная ответственность за результат.

• 🚀 Нулевая бюрократия в процессе работы.