Job Description
As part of the development of our Nearshore teams, we are looking for a Java / Scala Data Engineer to join our Data Platform teams and contribute to strategic projects around the processing and enhancement of massive data.
The agenda includes: Data Engineering, real-time streaming, GCP Cloud and pipeline industrialization.
Your responsibilities:
Designing, developing and maintaining large-scale data processing solutions
Participate in the implementation of business projects related to ELT solutions
Developing and optimizing high-performance Big Data processing
Participate in the testing, acceptance and validation phases
Maintain and evolve data assets
Collaborating closely with the development and production teams
Actively contribute to the continuous improvement of the platforms
Technical stack and environment:
Java / Scala
Apache Spark
Apache Kafka
Google Cloud Platform (GCP)
BigQuery / BigTable
Advanced SQL
DBT
Pub/Sub
GitLab CI/CD
Docker Compose
Linux / Git
Desired Candidate Profile
Qualifications
Desired profile:
Master's degree (Bac+5) in computer science or equivalent
Between 3 and 7 years of experience in Java/Scala Data Engineering
Solid experience in Data and Cloud architectures
Excellent command of BigQuery and processing of large volumes
Knowledge of real-time environments and data streaming
Experience with Agile / Scrum methodologies
The best features:
An appetite for using AI in the service of development
curiosity, autonomy and a collaborative spirit.
وصف الوظيفة
كجزء من تطوير فرق العمل القريبة (Nearshore) لدينا، نحن نبحث عن مهندس بيانات خبير في Java / Scala للانضمام إلى فرق منصة البيانات الخاصة بنا والمساهمة في المشاريع الاستراتيجية المتعلقة بمعالجة وتحسين البيانات الضخمة.
يتضمن جدول الأعمال: هندسة البيانات، البث المباشر (streaming) في الوقت الفعلي، سحابة GCP، وأتمتة مسارات البيانات.
مسؤولياتك:
تصميم وتطوير وصيانة حلول معالجة البيانات على نطاق واسع
المشاركة في تنفيذ مشاريع الأعمال المتعلقة بحلول ELT
تطوير وتحسين معالجة البيانات الضخمة عالية الأداء
المشاركة في مراحل الاختبار والقبول والتحقق
صيانة وتطوير أصول البيانات
التعاون الوثيق مع فرق التطوير والإنتاج
المساهمة بفعالية في التحسين المستمر للمنصات
المكدس التقني والبيئة:
Java / Scala
Apache Spark
Apache Kafka
Google Cloud Platform (GCP)
BigQuery / BigTable
SQL المتقدم
DBT
Pub/Sub
GitLab CI/CD
Docker Compose
Linux / Git
ملف المرشح المطلوب
المؤهلات
الملف المطلوب:
درجة الماجستير (Bac+5) في علوم الكمبيوتر أو ما يعادلها
خبرة تتراوح بين 3 و 7 سنوات في هندسة البيانات باستخدام Java/Scala
خبرة قوية في بنيات البيانات والسحابة
إتقان ممتاز لـ BigQuery ومعالجة أحجام كبيرة من البيانات
معرفة بالبيئات ذات الوقت الفعلي وبث البيانات
خبرة في منهجيات Agile / Scrum
الميزات الإضافية:
شغف لاستخدام الذكاء الاصطناعي في خدمة التطوير
الفضول، الاستقلالية، وروح التعاون.