Junior Data Engineer

#onsiteonly #офисный_формат #полный_день #fulltime

Позиция: Data Engineer

Компания: ТОО "Alldata" (Adata.kz).

О компании:

Компания Adata.kz занимается разработкой информационных сервисов.

• Проверка юридических лиц на благонадёжность и аффилированность.

• Проверка на наличие штрафов.

• Поиск и аналитика тендеров.

• Поиск вакансий и резюме.

• Аналитика по внешней экономической деятельности компаний (импортно-экспортные отношения).

• Автоматизация проверок комплаенс рисков.

Описание позиции:

Инженер данных, специализирующийся на построении эффективных пайплайнов для сбора, обработки, хранения и предоставления данных конечным пользователям.

Обязанности:

• сбор данных из различных источников и предварительная обработка

• разработка и автоматизация ETL пайплайнов

• разработка микросервисов

• проектирование архитектуры базы данных

• написание запросов и формирование выгрузок

Требования:

• уверенное владение Python

• уверенное владение SQL (желателен опыт с PostgreSQL)

• опыт работы с Git

• опыт работы с инструментами Postman/Insomnia

Будет плюсом:

• знание C#, Go

• опыт проектирования Data Warehouse, Data Lake, Data Lakehouse

• опыт работы с ElasticSearch, Data Build Tool(DBT), ClickHouse

• опыт реализации ETL пайпланов с помощью инструмента Talend DI или его аналогов

• понимание микросервисной архитектуры и опыт работы с gRPC фреймворком

• опыт работы с Linux

• понимание контейнеризации и опыт работы с Docker и K8S

• опыт работы с очередями и брокерами сообщений (RabbitMQ, Kafka)

• опыт работы с Apache Airflow

• опыт работы с Big Data и оптимизацией запросов

• опыт работы и внедрения Debezium(CDC)

• опыт проектирования потоковой(стриминговой) обработки данных с помощью Apache Spark

Условия:

• полностью офисный формат

• оформление по ТК РК

• график работы 5/2, с 09:00-18:00

• месторасположение офиса: г. Алматы, ул.Ходжанова 79, БЦ "Аврора"