Мы создаём высоконагруженный сервисный сайт, который занимает 3 место в мире по рейтингу SimilarWeb среди сайтов по поиску работы. Ежедневно к нам приходят около полутора миллионов пользователей, смотрят более 100 миллионов страниц (до 10000 в секунду), и делают около 1 миллиона откликов на вакансии. Мы хотим знать о всех действиях пользователя и понимать их поведение. Поэтому внедряем различные инструменты для сбора и анализа данных, и сейчас ищем человека, который будет развивать инфраструктуру нашего DWH.

Задачи

• Разрабатывать и сопровождать решения для пакетной и потоковой выгрузки данных из корпоративных и внешних систем в аналитическое хранилище;
• Развивать инфраструктуру хранилища, экспериментировать с новыми системами сбора, хранения и анализа данных;
• Помогать аналитикам и разработчикам в их ежедневной работе с hadoop;
• Разрабатывать средства мониторинга, организовывать процессы, связанные с качеством данных;
• Выстраивать и развивать процессов обработки данных в компании;
• Поддерживать, развивать и мониторить существующие hadoop-кластера;

Стек:

• Ванильный Apache Hadoop последней версии
• Apache Airflow как основной оркестратор
• Apache Kafka для доставки данных, Flink для их обработки
• Spark 3
• Hive 3
• Presto/Trino

Языки программирования:

• Python - необходим для организации ELT и активно используется во внутренних утилитах;

• Java - основной язык наших сервисов, мы часто читаем код и патчим их, поэтому нужно уверенное знание;

• SQL - чтобы помогать аналитикам находить проблемы в запросах;

• Go - небольшая часть наших внутренних сервисов написана на нем, но знать его не обязательно;

Что мы еще ждем:

• Опыт организации ETL-процессов (знание airflow, понимаение как он работает внутри, написание сложных операторов и т.д.);
• Хорошие знания Linux;
• Знание как работают СУБД - колоночные, распределенные, всякие разные;
• Понимание архитектуры хранилища, знание чем Data Vault отличается от Datalake;

Вас ждет

• Hadoop-кластер из 50+ машин содержащий около 1.5 Пб данных;

• "Белая" заработная плата, выплачиваемая точно в срок (мы готовы обсуждать уровень дохода в зависимости от уровня ваших знаний, примерные суммы net ("на руки") указаны в "вилке" вакансии);

• Гибкий график работы (забыть про утренние пробки — это бесценно);

• Возможность удаленной работы;

• Хороший тренажерный зал на первом этаже;

• Кофе в кофемашинах, чай, печенье, фрукты, которые не исчезают с кухни;

• Корпоративный ДМС (решаем вопросы со здоровьем быстро и удобно);