Data Engineer

Sprawdź, co czeka Cię w Scalo:

uczestnictwo w projekcie dot. rozwoju i utrzymania systemów przetwarzania danych w departamencie hurtowni danych. Przygotowanie środowisk do procesu migracji na środowisko Cloud. Wykorzystywany stos technologiczny: Apache Hadoop, Apache Spark, Cloudera Data Platform, Python/Scala, Json, SQL,
wdrażanie i projektowanie nowoczesnych systemów przetwarzania danych i systemów Big Data,
migracja/modernizacja danych w celu dostosowania ich do nowoczesnych praktyk zarządzania danymi,
migracja obciążeń danych z on-premise do chmury: transfer z serwerów lokalnych na platformy oparte na chmurze w celu zwiększenia skalowalności i dostępności,
zarządzanie metadanymi w celu śledzenia i dokumentowania pochodzenia, definicji i wykorzystania danych,
monitorowanie jakości danych w hurtowniach w celu wspierania dokładnych analiz i raportowania,
automatyzacja procesów wdrożeniowych, konfigurowanie zaawansowanych procesów CI/CD ze zintegrowanym testowaniem (integracja, testowanie systemu), implementowanie strategii wdrożeniowych,
praca w modelu hybrydowym: wizyty w biurze w Warszawie dwa razy w miesiącu.

Dobrze odnajdziesz się w naszym zespole, jeśli:

masz minimum 5 lat doświadczenia w roli Data Engineera, w szczególności doświadczenie w ekosystemie on-premise,
znasz koncepcje Big Data, Hurtowni Danych i Zarządzania Danymi,
znasz platformy Apache Hadoop, Apache Spark, Cloudera Data Platform,
pracujesz z dużymi zbiorami danych, znasz standardy projektowania, kodowania, dokumentowania, testowania i wdrażania,
pracujesz z Python lub Scala,
pracujesz z różnymi formatami danych: JSON, PARQUET, ORC, AVRO,
znasz bazy danych SQL/NO-SQL,
posiadasz praktyczną wiedzę w zakresie automatyzacji CI/CD,
mile widziana znajomość: Java, Jira, Confluence, Kubeflow / Airflow, Kafka, Apache Nifi, Azure Databricks czy Azure Stream Analytics.

Co możesz zyskać?

długofalową współpracę - różnorodne projekty (działamy w ramach Software Services, Embedded Services, Data Services, Cloud Services),
możliwość rozwoju kompetencji we współpracy z naszym Center of Excellence,
dostęp do technologicznych platform e-learningowych - Udemy, Pluralsight,
kursy języka angielskiego - biznesowego lub angielskiego w IT,
kafeteryjny system benefitów – Motivizer,
prywatną opiekę medyczną – Luxmed,
możliwość wystąpień na naszych autorskich eventach IT- ProMEET.