Data Engineer

Мы IT стартап Clear Mind, создаем social media продукт (mobile first) с выходом на рынок USA.

Ищем Data Engineer, который будет развивать нашу дата-платформу и проектировать эффективные пайплайны обработки данных.

Работаем с Python, S3, Glue, Lambda, ClickHouse, Airflow, Spark, PostgreSQL, NoSQL, GitLab CI/CD.

Чем предстоит заниматься:

• Развивать и оптимизировать хранилища данных (ClickHouse), проектировать схемы хранения;
• Разрабатывать и поддерживать ETL/ELT-процессы (Airflow, Glue, PySpark);
• Проектировать и настройка потоков данных между S3, ClickHouse, PostgreSQL и другими хранилищами;
• Оптимизировать обработку данных, обеспечивать надежность и отказоустойчивость пайплайнов;
• Поддерживать текущие решения и мониторинг производительности;
• Разрабатывать и поддерживать витрины данных для аналитики и ML-сервисов;
• Улучшать качество кода, код-ревью, рефакторинг.

Мы подходим друг другу, если у тебя есть:

• Опыт работы в роли Data Engineer от 2-х лет;
• Уверенное владение Python (PySpark, pandas);
• Опыт работы с ClickHouse (партиционирование, индексы, оптимизация запросов);
• Понимание принципов ETL/ELT, пакетной и потоковой обработки данных;
• Опыт работы с Apache Airflow (DAGs, кастомные операторы, интеграции);
• Опыт работы с Kafka, Kinesis или другими стриминговыми платформами;
• Глубокое понимание AWS (S3, Glue, Lambda, IAM, Personalize);
• Знание SQL (PostgreSQL) и NoSQL-хранилищ (DynamoDB);
• Опыт работы с GitLab CI/CD и в автоматизация развертывания пайплайнов.

Будет плюсом:

• Опыт работы с Apache Spark/PySpark и распределенной обработкой данных;
• Опыт в оптимизации высоконагруженных SQL-запросов;
• Навыки построения мониторинга и алертинга (Prometheus, Grafana, CloudWatch).
  

  Мы предлагаем:

• Свободу действий и возможность реализовывать крутые идеи в продукте;

• Развитие технических навыков за счет компании;

• Компенсация ДМС после испытательного срока;

• Компенсация обучения после испытательного срока;

• Заработную плату соответствующие уровню компетенций.