Senior Data Engineer (k/m)

Dla naszego Klienta z branży bankowej poszukujemy Starszego Inżyniera Danych / Starszej Inżynierki Danych do zespołu odpowiedzialnego za zasilanie hurtowni danych, środowiska Big Data, platformy Google Cloud oraz systemów kampanijnych. Zespół buduje rozwiązania, które przetwarzają duże wolumeny danych zarówno wsadowo, jak i niemal w czasie rzeczywistym. To rola dla osoby z solidnymi podstawami inżynierii danych, która ceni niezawodne rozwiązania i chce rozwijać się w obszarze chmury, streamingu i platform marketingowych. Współpraca odbywa się w trybie hybrydowym - 1-2 dni w tygodniu z biura w Warszawie (siedziba klienta) Zatrudnienie ramach grupy kapitałowej – przez spółkę Exorigo-Upos Zakres Obowiązków - projektowanie, budowa i rozwijanie pipeline’ów ETL/ELT działających w trybie batch oraz streaming, w szczególności na potrzeby systemów kampanijnych - tworzenie procesów ładujących dane do BigQuery, hurtowni danych, Data Lake i platformy kampanijnej - integrowanie danych z wielu źródeł: systemów on-premise, GCP, baz danych, plików, API oraz systemów zdarzeniowych - budowa przepływów opartych na zdarzeniach z użyciem m.in. Kafki lub Pub/Sub - projektowanie modeli danych na poziomie logicznym i fizycznym oraz przygotowywanie warstw danych, datamartów tematycznych i zbiorów dla procesów analitycznych i kampanijnych - pisanie i optymalizacja zapytań SQL w bazach relacyjnych i kolumnowych - implementacja procesów przetwarzania i ładowania danych w Pythonie i/lub Ruście - dbanie o jakość, kompletność, spójność i terminowe dostarczanie danych - optymalizacja wydajności oraz kosztów przetwarzania w GCP - wdrażanie monitoringu, logowania, obsługi błędów i mechanizmów ponownego przetwarzania - przekładanie potrzeb biznesu na koncepcje techniczne, modele danych i działające rozwiązania - przygotowywanie testów, wsparcie wdrożeń, analiza incydentów i utrzymanie rozwiązań - tworzenie i aktualizacja dokumentacji technicznej oraz praca zgodnie z podejściem DevSecOps Wymagania - minimum 5-letnie doświadczenie komercyjne w inżynierii danych, w tym w projektowaniu i budowie procesów ETL/ELT oraz pipeline’ów danych - bardzo dobra znajomość SQL, włącznie z optymalizacją zapytań i pracą na dużych wolumenach danych - praktyczna praca z BigQuery: projektowanie struktur, partycjonowanie, klastrowanie oraz optymalizacja wydajności i kosztów - doświadczenie programistyczne w Pythonie i/lub Ruście - znajomość przetwarzania danych w trybie batch i streaming - znajomość architektury event-driven oraz technologii takich jak Kafka lub Pub/Sub - doświadczenie w projektowaniu logicznych i fizycznych modeli danych - znajomość relacyjnych baz danych, np. Oracle lub PostgreSQL - swobodna praca w systemie Linux, w tym samodzielne diagnozowanie problemów - umiejętność analizy wymagań biznesowych i przekładania ich na rozwiązania techniczne - nacisk na jakość, niezawodność i łatwość utrzymania tworzonych rozwiązań - Znajomość języka polskiego na poziomie C1 Mile Widziane - doświadczenie z usługami Google Cloud: BigQuery, Pub/Sub, Dataflow, Dataproc, Cloud Storage - znajomość Apache Spark (szczególnie na Dataproc) oraz Apache Beam / Dataflow - praca z Kubernetes, Dockerem i procesami CI/CD - znajomość Informatica PowerCenter lub innych narzędzi ETL - udział w budowie Data Lake, hurtowni danych lub platform danych w środowisku hybrydowym - znajomość systemów kampanijnych, segmentacji klientów lub przygotowania danych dla marketing automation - doświadczenie w testach jakości danych, monitoringu pipeline’ów i data observability - wiedza z zakresu bezpieczeństwa danych, kontroli dostępu, anonimizacji i przetwarzania danych wrażliwych - znajomość AutomateNOW Oferujemy - Współpracę z renomowaną organizacją (ITwiz BEST100), działającą w oparciu o międzynarodowe standardy jakości i bezpieczeństwa (ISO 9001, ISO 27001) - Niekorporacyjną atmosferę i płaską strukturę organizacyjną - Możliwość ciągłego rozwoju poprzez: - wykorzystywanie różnorodnych technologii w projektach dla renomowanych klientów - współpracę z doświadczonym zespołem ekspertów, którzy chętnie dzielą się wiedzą - dofinansowanie do szkoleń i certyfikatów - Program Poleceń - Kulturę organizacyjną opartą na wartościach: - działamy z dobrą intencją - dzielimy się wiedzą - bierzemy odpowiedzialność - stale się doskonalimy - ludzie są dla nas najważniejsi - działamy, znając cel i sens naszej pracy - komunikujemy się szczerze i profesjonalnie - Udział w inicjatywach dobroczynnych, w tym współpracę z Fundacja im. Joanny Radziwiłł "Opiekuńcze Skrzydła" oraz udział w świątecznej akcji „Gwiazdorzymy” - Różnorodne i inkluzywne środowisko – w naszej firmie współpracują przedstawiciele czterech pokoleń - Równe szanse rozwoju – 50% stanowisk menedżerskich i liderskich zajmują kobiety Wyrażam zgodę na przetwarzanie moich danych osobowych zawartych w CV oraz w formularzu rekrutacyjnym na potrzeby procesu rekrutacyjnego. Administrator danych osobowych i Inspektor Ochrony Danych Osobowych Administratorem Twoich danych osobowych jest Exorigo-Upos S.A., adres siedziby: Skierniewicka 10A, 01-230 Warszawa, KRS: 0000428347, NIP: 5252535950, REGON: 14625173. Administrator Wyznaczył Inspektora Ochrony Danych Osobowych, z Którym Możesz Się Skontaktować w Sprawach Związanych z Twoimi Danymi Osobowymi - drogą elektroniczną na adres: ochronadanych@exorigo-upos.pl lub - korespondencyjnie na adres: ul. Skierniewicka 10A, 01-230 Warszawa (z dopiskiem „Inspektor Ochrony Danych Osobowych”). Cel i podstawa prawna przetwarzania danych Przetwarzamy Twoje dane osobowe w celach związanych z prowadzeniem procesu rekrutacji, na który aplikujesz oraz rekrutacji na podobne stanowiska w przyszłości, jeżeli wyrazisz taką wolę. W przypadku wyrażenia przez Ciebie wyraźnej i dobrowolnej zgody dane mogą być udostępniane do innych spółek z grupy kapitałowej Jonitaco w celu realizacji na ich rzecz procesu rekrutacyjnego. Dane osobowe wskazane w Kodeksie pracy lub w innych przepisach prawa (m.in. Twoje imię, nazwisko, miejsce zamieszkania lub adres do korespondencji, doświadczenie zawodowe, wykształcenie) przetwarzamy w związku z ciążącym na nas obowiązkiem prawnym. Podstawą prawną przetwarzania dodatkowych danych osobowych jest Twoja zgoda wyrażająca się poprzez zgłoszenie aplikacji. Jeżeli nie chcesz, abyśmy przetwarzali dodatkowe dane o Tobie, nie umieszczaj ich w swoich dokumentach. W niektórych przypadkach (np. w związku z potrzebą zapewnienia bezpieczeństwa lub dochodzenia roszczeń) Twoje dane będą przetwarzane na podstawie prawnie uzasadnionego interesu Administratora (przez okres wynikający z bezwzględnie obowiązujących przepisów Kodeksu Cywilnego). Odbiorcy danych Twoje dane osobowe możemy udostępniać odbiorcom danych uprawnionym na podstawie odrębnych przepisów, podmiotom współpracującym z Administratorem danych, podmiotom przetwarzających dane na zlecenie Administratora oraz personelowi zaangażowanemu w proces rekrutacji wewnątrz organizacji Okres Przechowywania Danych Osobowych Twoje dane będą przetwarzane: - przez czas prowadzenia procesu danej rekrutacji, jednak nie dłużej niż 12 miesięcy od przesłania aplikacji na dane stanowisko, - w przypadku wyrażenia zgody na ich użycie do przyszłych procesów rekrutacyjnych nie dłużej niż 36 miesięcy do chwili cofnięcia przez Ciebie zgody. Twoje prawa Przysługują Ci następujące prawa związane z przetwarzaniem przez nas Twoich danych osobowych: - prawo dostępu do Twoich danych; - prawo do sprostowania, czyli poprawienia lub zaktualizowania Twoich danych; - prawo do usunięcia Twoich danych; - prawo do sprostowania Twoich danych; - prawo do ograniczenia przetwarzania Twoich danych; - prawo do przenoszenia Twoich danych; - prawo wniesienia skargi do organu nadzorczego (Prezesa Urzędu Ochrony Danych Osobowych). Masz również prawo do cofnięcia wyrażonej zgody na przetwarzanie Twoich danych i możesz to zrobić w dowolnym momencie. Wycofanie zgody nie ma wpływu na zgodność z prawem przetwarzania dokonanego na podstawie Twojej zgody przed jej wycofaniem. Aby skorzystać ze swoich praw, skontaktuj się z naszym Inspektorem Ochrony Danych Osobowych. Skład Grupy W skład grupy Jonitaco wchodzą Spółki z siedzibą przy ul. Skierniewickiej 10A w Warszawie (01-230): - Exorigo-Upos S.A. - FINTURE Sp. z o.o. - FINTURE AI Sp. z o.o..