Вакансия была скрыта или удалена работодателем
Вакансия: Data Engineer
Зарплата: руб.
Форма занятости: Полная занятость
Метод работы: Полный рабочий день
Задачи: Наша команда занимается разработкой VK ID — единого аккаунта пользователя во всех сервисах, личным кабинетом для управления безопасностью и данными, а также инструментами и решениями для партнёров и разработчиков, позволяющими объединить их в экосистему и пользоваться её преимуществами. Наши главные задачи — сделать VK ID самым удобным, безопасным и эффективным сервисом авторизации в рунете как для пользователей, так и для партнёров.Наша миссия — соединять людей, сервисы и компании, предоставляя им удобные инструменты. Задачи: создание структур данных, выбор подходящих движков в ClickHouse в соответствии с бизнес-требованиями; написание/оптимизация/профилирование SQL-запросов; ETL-процесс получения raw data из брокера потоковых данных (Kafka в том числе); настройка ClickHouse (шардинг, репликация), в том числе взаимодействие с Kafka (попадание сырых данных, решение возможных проблем с очерёдностью сообщений, валидностью данных); контроль и оптимизация занимаемого места в ClickHouse; решение возможных проблем с нарушением целостности данных; дальнейшая работа с данными в компании (передача в другие подразделения, переливка в/из YT); настройка и оптимизация производительности баз данных; мониторинг состояния системы и базы данных, устранение неполадок; проведение регулярного анализа производительности и предложения по улучшению. Требования: опыт работы с ClickHouse в роли DE от года; уверенное владение SQL на продвинутом уровне (window functions, views, CTE, materialized views); владение Python; умение и желание разбираться в сложных процессах преобразования данных; опыт работы с большими объёмами данных; опыт работы с аналитическими базами данных. Будет плюсом: опыт работы с Airflow, GIT; опыт работы с Apache Spark, YT.
Образование:
Не указано
