×
Data Engineer

Emploi Data Engineer

Offres d’emploi et informations utiles

Qu'est ce qu'un / une Data Engineer ?

Un Data Engineer a un background tech. Il passe généralement par une école d’ingénieurs avec option Big Data / Data Mining. Il peut aussi s’agir d’un software engineer qui choisit d’évoluer plus tard dans un environnement Data, et découvre progressivement les technos de ce dernier.  LA DATA. C’est bien joli, mais qu’est-ce qu’on en fait ? Sans les data engineers, rien.  Nos chers amis créent l’infrastructure (ou “la maison”) qui va accueillir la donnée.  Admettons que l’eau = la donnée. Le data engineer va mettre en place les tuyauteries, la baignoire, les robinets qui vont permettre à toute la famille de boire, se laver, vivre. Et bien, sans les solutions implémentées en amont par le data engineer, la donnée n’est pas prête à être utilisé par tous. Pas de données, pas d’insights, pas de prise de décisions. Pas de bras, pas de chocolat !  Data si, data ça. On peut profiler deux types de Data Engineer: 
  • Le “bâtisseur” va en collaboration avec le Data architect créer from scratch toute la stack et le socle de l’architecture Data (DataLake, DataWarehouse, ETL, pipelines de données, espaces de stockage, cloud, bases de données…) qui sera capable de gérer de très grandes volumétries de données (en fonction du business) dans un temps très limité. En deux mots, il prépare un terrain lisse au Data Scientist qui tirera des tendances de ses données en y appliquant des modèles / algorithmes. 
  • “L’industrialisateur” va, en collaboration avec le Data Scientist, industrialiser des modèles de Data Science. En d’autres termes, il met en production des algorithmes de la manière la plus propre possible. 

Quelle est la journée type d'un Data Engineer ?

On ne peut pas résumer le quotidien d’un Data Engineer car ses tâches vont dépendre de multiples critères : la société et la maturité de son business, les volumétries de données à traiter, l’échelle de scalabilité etc.  Mais si on le doit, un data engineer est avant tout un développeur qui code pour construire “la maison” et lier toutes les pièces entre elles.  Il collabore au sein d’une équipe pluridisciplinaire (Développeurs back-end, Data Scientists, Data Analysts…) et évolue sur une stack propre à la Data.  Il récupère des données de différentes natures, et diverses sources, et les transforment pour répondre à un certain format. Il va structurer toutes ses données pour garantir un self-service à tous, que chacun puisse accéder facilement et rapidement aux données / infos souhaitées. Il met en place des espaces de stockage (cloud or no cloud). C’est un garant de l’architecture qu’il conçoit, développe, teste et maintient (bases de données, systèmes de flux de données etc.). 

Quelles sont les compétences clés d'un Data Engineer ?

  • La base, c’est la base ! SQL (GraphQL) pour faire des requêtes et les bases de données relationnelles (PostgreSQL) et non relationnelles - bases de données SQL et NoSQL (Cassandra, Redis, BigTable, HBase, MongoDB, Neo4J pour les plus courantes).
  • Langages (Scala, Java, Python et JS le plus souvent).
  • Des solutions de stockage (Amazon RedShift, S3, Google Big Query,
  • Une approche micro-services
  • Des solutions d’archi (lambda pour traiter en batch et en temps réel/streaming)
  • Connaissance de l’environnement cloud (AWS, GCP ou Azure)
  • Hadoop et son environnement : Spark, HDFS, MapR, Hive, HBase, Sqoop….
  • ELK (ElasticSearch, Logstash, Kibana)
  • Des systèmes de messageries (Kafka, Kinesis, RabbitMQ)
  • Une casquette DevOps (Docker, Kubernetes, Jenkins)
  • Des orchestrateurs (Luigi, Airflow, Oozie)
  • Outils de Data Viz (Tableau, PowerBI, QlikView, Amplitude)
Bref, un paquet de choses… c’est pour cela que les évolutions possibles sont belles. 

Data Engineer, what else ?

  • Data architect (une fois Data Engineer senior)
  • Data Ops (une fois Data Engineer confirmé)
  • Data Scientist (si background mathématiques poussé)
  • Head of Data (si background mathématiques poussé)

Quel est le salaire d'un Data Engineer ?

Jeune diplômé, tu as bien fait de suivre le chemin de la force. Un data engineer qui sort d’école pourra prétendre à un salaire brut annuel entre 40K € et 45K € packagé.  Entre 1 et 3 ans, tu prends un peu de galon auprès de seniors, tu oscilles entre 48K € et 55K €.  La quatrième année est souvent un moment de réflexion, où il manque quelques technos à ton arc. Tu te situes entre 55K € et 65K €.  Passé 6 ans d’expérience, tu es considéré comme senior, même si pas expert. Tu pars sur une base de plus ou moins 65K €.  De façon plus globale, voici les rémunérations du marché : 
Paris Lyon Lille Bordeaux Grand Ouest
Jeune Diplômé(e) 40K - 45K 35K - 37K 35K - 37K 35K - 37K 35K - 37K
1 à 3 ans d'expérience 48K - 55K 38K - 42K 38K - 42K 38K - 42K 38K - 42K
4 à 6 ans d'expérience 55K - 65K 45K - 50K 45K - 50K 45K - 50K 45K - 50K
Plus de 6 ans d'expérience 65K - 80K >50K >50K >50K  >50K

Qu’est-ce qui fait de toi un excellent Data Engineer?

  • Ton agnosticisme! Le langage en fonction du besoin business, et non l’inverse.
  • Ta veille technologique (assister à des meetups, projets personnels, contribution Github etc.) Ne jamais s’empâter ! Un bon Data Engineer consacre au moins 10% de son temps à élargir son champs et découvrir de nouvelles technos et savoir-faire.
  • Communicant pour assurer une proximité avec les équipes métiers et évangéliser la Data.

 

⇩ Lire la Suite ⇩

offres d'emploi
Data Engineer

Aucune offre ne correspond actuellement à ta recherche Assouplis tes critères ou laisse-nous ton CV et on te rappelle dès qu'on a une offre à te proposer
Merci ! Mobiskill va te rappeler au plus vite !

Postuler

Ces données sont traitées à des fins de votre recrutement par l’un de nos clients entreprise.

Pour en savoir plus sur le traitement de vos données et pour exercer vos droits, reportez-vous à notre politique de confidentialité ici et à notre charte cookies ici.

*Ce champ est requis
*Ce champ est requis
*Ce champ est requis *L'email n'est pas valide
*Ce champ est requis Le numéro n'est pas valide.
*Veuillez renseigner votre profil linkedIn ou uploader votre CV *L'url fournie n'est pas valide OU
*Le fichier doit être inférieur à 2 Mo
*L'url fournie n'est pas valide
*Vous devez cocher la case
Tu cherches un job sur mesure ?
Voir d'autres fiches métier

Data Analyst
Qu'est ce qu'un / une Data Analyst ? Depuis les années 2000 les entreprises disposent d’un accès aux données de plus en plus grand. Il peut s’agir de données clients, de données de capteurs, ou de données externes par exemple.  Ce sont ces données que l’on appelle “DATA” Le data analyst a 3 rôles importants :  Extraire les bonnes données. Cette étape requiert une maîtri...
Voir le métier

Data Architect
Qu’est ce qu’un / une Data Architect ? Un Data Architect va accompagner la conception et la mise en place d’une stratégie et architecture data.  Si on met des mots dessus : ETL, Hadoop, Spark, HDFS, MapR, Hive, HBase, NoSQL, SQL, Cassandra, Redis, BigTable, MongoDB, Neo4J, datalake, datawarehouse, dashboarding, temps réel, streaming, batch, ElasticSearch, Logstash, Kibana, Kafk...
Voir le métier

Data Scientist
Qu'est ce qu'un / une Data Scientist ? La data science est une discipline relativement jeune née avec l‘apparition du Big Data et le développement de technologies récentes.  Un data scientist est un ingénieur ayant réalisé une spécialisation en mathématiques appliquées, intelligence artificielle ou en machine learning.  Les algorithmes de machine learning sont des algorithmes qui ap...
Voir le métier

Ingénieur Big Data
Qu’est ce qu’un / une Ingénieur Big Data ?  Un Data Engineer a un background tech. Il passe généralement par une école d’ingénieurs avec option Big Data. Il peut aussi s’agir d’un software engineer qui choisit d’évoluer plus tard dans un environnement Data, et découvre progressivement les technos de ce dernier.  LA DATA. C’est bien joli, mais qu’est-ce qu’...
Voir le métier

Head of Data
Qu'est ce qu'un / une Head of Data ? Le Head of Data est juste une terminologie pour désigner une personne en charge d’une équipe Data avec différents périmètres et niveaux de responsabilités.Sur le marché aujourd’hui on trouve également les terminologies suivantes : lead data, Chief Data Officer, Manager Data etc..  Pour rappel voici les différents aspects de la data : Da...
Voir le métier

Deep Learning Scientist
Qu'est ce qu'un Deep Learning Scientist ? Le deep learning scientist est un métier très récent au sein de l’écosystème technique et du monde industriel. On pourrait le comparer à ce que l’on appelait avant ingénieur de recherche & développement. En effet la fonction du deep learning scientist est de faire de la R&D appliquée en IA.  Un léger rappel : Le deep learn...
Voir le métier

Machine Learning Engineer
Qu'est ce qu'un ML Engineer / Machine Learning Engineer ? Le Machine Learning Engineer est un nouveau métier émergent qui se situe entre le data scientist et le data engineer. Il accompagne le data scientist dans l’industrialisation des modèles de Data Science (Machine Learning, Deep Learning). Il combine des compétences mathématiques (propre au data scientist) et des compétences logic...
Voir le métier

BI Engineer
Qu’est ce qu’un / une BI Engineer ? Un BI engineer est le lien entre la base de données de l’entreprise et les équipes métiers de cette dernière. Les entreprises utilisent généralement des bases de données cloud (le Cloud de google :Google Cloud platform, le cloud d’Amazon Web services et le cloud de Microsoft : Azure)  Le BI engineer aura pour rôle d’acheminer la bon...
Voir le métier