وصف الوظيفة
الأدوار والمسؤوليات
وصف الوظيفة
كمهندس بيانات، ستنضم إلى فريق البيانات لديك للمشاركة في مشاريع تحليل البيانات الإستراتيجية وتنفيذ حلول معالجة البيانات واسعة النطاق. ستكون مسؤولاً عن تصميم وتحسين وتطوير خطوط بيانات على منصات سحابية، مع التركيز على استخدام PySpark و Azure Data Factory .
المسؤوليات الأساسية الخاصة بك ستكون:
- تصميم وتطوير وصيانة خطوط بيانات واسعة النطاق باستخدام PySpark .
- إعداد تدفقات البيانات مع Azure Data Factory، ودمج مصادر ووجهات بيانات مختلفة (SQL، Data Lakes، APIs، إلخ).
- ضمان دمج البيانات من أنظمة مختلفة في بيئة سحابية (Azure).
- تحسين أداء معالجة البيانات (SQL، PySpark، إلخ).
- التعاون مع فرق الأعمال، محللي البيانات وعلماء البيانات لفهم الاحتياجات واقتراح حلول فعالة وقابلة للتوسع.
- المشاركة في تعريف هندسة البيانات واستراتيجية الحوكمة.
- إعداد ومراقبة وظائف معالجة البيانات (معالجة الأخطاء، إدارة الأداء).
- توثيق الحلول المنفذة واتباع أفضل ممارسات التطوير.
- المشاركة في التحسين المستمر للعمليات والأدوات الحالية.
الملف الشخصي للمرشح المطلوب
المؤهلات
نحن نبحث عن مرشح يمتلك خبرة تقنية قوية في إدارة البيانات ومعالجتها على نطاق واسع، مع القدرات التالية:
الكفاءات التقنية :
- الإتقان في PySpark لمعالجة كميات ضخمة من البيانات في بيئة موزعة.
- خبرة كبيرة في إعداد وإدارة Azure Data Factory لإنشاء وتنظيم خطوط البيانات.
- خبرة صلبة في قواعد البيانات العلائقية وغير العلائقية (SQL، NoSQL).
- معرفة بأدوات إدارة البيانات في منظومة Azure (Azure Data Lake، Azure SQL Database، Azure Blob Storage، إلخ).
- معرفة عملية بخدمات سحابة Azure cloud services واستخدامها في حلول معالجة البيانات (Azure Databricks، Azure Synapse Analytics، إلخ).
- خبرة باستخدام أدوات التحكم بالإصدار (Git، Azure DevOps، إلخ) وممارسات تطوير برمجيات جيدة.
- معرفة بمفاهيم البيانات الكبيرة و优化 الأداء في البيئات الموزعة.
المهارات الشخصية:
- الاستقلالية والدقة والانتباه للتفاصيل.
- قدرة ممتازة على حل المشكلات التقنية المعقدة.
- مهارات اتصال جيدة والقدرة على العمل ضمن فريق.
- عقلية تحليلية وقدرة على فهم احتياجات الأعمال لاقتراح حلول مناسبة.
التكوين والخبرة :
- درجة الماجستير (BAC +5) في علوم الحاسوب، علم البيانات، أو مجال مكافئ.
- حد أدنى من 3 سنوات خبرة في دور مشابه، مع خبرة مثبتة في التطوير على PySpark و Azure Data Factory .