Реклама
Ищите работу Data Engineer? Предлагаем вам рассмотреть прямую вакансию в компании ООО "ХЭДХАНТЕР"в Город Москва. На странице представлены условия, уровень заработной платы и контакты работодателя ООО "ХЭДХАНТЕР" person

Вакансия: Data Engineer

Зарплата: руб.
Опубликовано: 07.06.2024
Компания: ООО "ХЭДХАНТЕР"
Форма занятости: Полная занятость
Метод работы: Полный рабочий день
Задачи: Команда DWH агрегирует в себе накопленную экспертизу и лучшие практики холдинга в области построения хранилищ данных и аналитических приложений. Мы превращаем информационный хаос в чётко организованную систему, которая позволяет собирать, обрабатывать и анализировать любые объёмы данных. В нашей команде убеждены, что системы хранилищ данных должны максимально помогать людям — автоматизировать рутинные задачи, собирать и анализировать сырые данные, подготавливать почву для удобного и аргументированного принятия решений.Мы ищем BigData-инженера, готового принять активное участие в разработке одного из крупнейших хранилищ группы компании: десятки петабайт данных, количество узлов кластера более 400, ежедневный прирост информации составляет десятки терабайт. В хранилище собрана информация большинства ключевых бизнес-юнитов компании, которая описывает поведение пользователей рунета: события посещений сайтов, клики/показы рекламы, использование мобильных приложений, профили соцсетей пользователя, действия пользователей в соцсетях и их публичные сообщения и т. д. Всё это позволяет составить достаточно полную картину поведения пользователя во всех сервисах VK и строить на полученных данных сложные математические модели. Задачи: участие в роли BigData Engineer в проекте построения системы обработки и хранения разнородной информации из различных бизнес-юнитов компании на базе Hadoop (BigData DWH); исследование большого объёма необработанных данных, накопленных в компании; построение и оптимизация нетривиальных ETL-процессов обработки больших данных, участие в построении процессов потребления данных на всех этапах, их трансформации от появления информации в конкретном бизнес-юните до монетизации полученных знаний; взаимодействие с командой Data Scientist и совместная реализация стабильного расчёта математических моделей; поддержка и модификация созданного решения, ответственность за доступность сервиса для внутренних потребителей и корректность предоставляемых для принятия решений данных. Требования: не менее года релевантного опыта работы; опыт работы с большими объёмами данных, понимание стека технологий Hadoop, глубокое знание Spark или Hive (плюсом будет знание Java, Scala в контексте обработки больших данных); опыт организации ETL-процессов обработки данных (плюсом будет знание code-driven ETL Luigi, Airflow); знание классических алгоритмов и структур данных (плюсом будет опыт разработки на Python); знания в области теории обработки и хранения информации; ссылки на публичные репозитории, статьи с примерами работы приветствуются.
Образование: Не указано
Контакты:
Для просмотра контактов необходимо авторизоваться на сайте.

Войти

Похожие вакансии

Уборщик производственных и служебных помещений 11.06.2024
70 500 - 94 000 руб

Текущая уборка пищевого производства, мойка тары, инвентаря, оборудования....

Город: Москва
Уборщик производственных и служебных помещений 14.06.2024
65 000 - 80 000 руб

- Сухая и влажная уборка производственных и служебных помещений, коридоров, санузлов, технических и подсобных помещений. Удаление пыли, подметание, мойка вручную или с помощью машин и приспособлений п...

Уборщик производственных и служебных помещений 03.06.2024
65 000 руб

- Ежедневная сухая и влажная уборка помещений, санузлов и коридоров.- Поддержание чистоты.- Обеспечение постоянной санитарной готовности помещений.- Помощь при доставке в отделение белья, расходных ма...

Уборщик производственных и служебных помещений 2 разряда 05.04.2024
65 000 руб

- ежедневная уборка производственных, технических и офисных помещений, коридоров, лестничных пролетов и площадок, мест общего пользования....

Город: Москва
Компания: ООО "СУПЕРДЖОБ"
Уборщик производственных и служебных помещений 10.06.2024
60 000 руб

Должностные обязанности: ежедневная влажная уборка кабинетов здания, лестниц, коридора, санузла и прочих помещений, мытье полов, стирание пыли с мебели, техники, осветительных приборов; ежедневная мой...

Город: Москва
Уборщик производственных и служебных помещений 28.05.2024
59 000 руб

уборка офисных кабинетов, коридора, санузлы (уборка от пыли, подметание, влажная уборка) очищать урны от бумаги, собирать мусор и складировать его в установленном месте. ...

Черный список работодателей | Отзывы сотрудников
Вакансии вахта