BIG DATA

Data Engineer- Spark Developer

לארגון פיננסי מוביל בארץ דרוש/ה Spark Developer

תיאור המשרה:

תוכניתן/ית Spark מנוסה בפיתוח מודלי ML, אופטימיזציה ,עיצוב קוד, הנדסת פיתוח. עבודה בצוות של Data Engineers ו- Data Scientists ליישום מודלים סטטיסטיים ומודלי Machine Learning ב- PySpark, שיפורי ביצועים של תוכניות ,אופטימזיציה של סביבת Big Data וניתוח טכני.

דרישות:

  • ניסיון ושליטה מלאה ב- python
  • ניסיון עשיר בפיתוח מודלים ב- pySpark
  • שימוש מעשי ב- Spark.ML/SQL ניסיון רב בשיפור ביצועים ואופטימיזציה של תוכניות Spark
  • ניסיון באופטימיזציה של הקצאת משאבי הסביבה
  • הכרות ברמה גבוהה של סביבת Big Data ומגוון טכנולוגיות ,הבנה בסיסית בתחום סטטיסטיקה ומתמטיקה.
  • ניסיון במציאת פתרונות טכנולוגים לבעיות עסקיות תוך שימוש בטכנולוגיות Open Source.
  • ניסיון בסביבת עבודה Linux.
  • יתרון לניסיון מעשי ב- Java ו- Scala.