×

Data Engineer

Les choses à savoir pour un poste de Data Engineer

Un / Une Data Engineer, kesako? 

 

Un Data Engineer a un background tech. Il passe généralement par une école d’ingénieurs avec option Big Data / Data Mining. Il peut aussi s’agir d’un software engineer qui choisit d’évoluer plus tard dans un environnement Data, et découvre progressivement les technos de ce dernier. 

 

LA DATA. C’est bien joli, mais qu’est-ce qu’on en fait ? Sans les data engineers, rien. 

Nos chers amis créent l’infrastructure (ou “la maison”) qui va accueillir la donnée. 

Admettons que l’eau = la donnée. Le data engineer va mettre en place les tuyauteries, la baignoire, les robinets qui vont permettre à toute la famille de boire, se laver, vivre. Et bien, sans les solutions implémentées en amont par le data engineer, la donnée n’est pas prête à être utilisé par tous. Pas de données, pas d’insights, pas de prise de décisions. Pas de bras, pas de chocolat ! 

 

Data si, data ça. On peut profiler deux types de Data Engineer: 

  • Le “bâtisseur” va en collaboration avec le Data architect créer from scratch toute la stack et le socle de l’architecture Data (DataLake, DataWarehouse, ETL, pipelines de données, espaces de stockage, cloud, bases de données…) qui sera capable de gérer de très grandes volumétries de données (en fonction du business) dans un temps très limité. En deux mots, il prépare un terrain lisse au Data Scientist qui tirera des tendances de ses données en y appliquant des modèles  / algorithmes. 
  • “L’industrialisateur” va, en collaboration avec le Data Scientist, industrialiser des modèles de Data Science. En d’autres termes, il met en production des algorithmes de la manière la plus propre possible. 

 

Une journée type? 

 

On ne peut pas résumer le quotidien d’un Data Engineer car ses tâches vont dépendre de multiples critères : la société et la maturité de son business, les volumétries de données à traiter, l’échelle de scalabilité etc. 

Mais si on le doit, un data engineer est avant tout un développeur qui code pour construire “la maison” et lier toutes les pièces entre elles. 

Il collabore au sein d’une  équipe pluridisciplinaire (Développeurs back-end, Data Scientists, Data Analysts…) et évolue sur une stack propre à la Data. 

Il récupère des données de différentes natures, et diverses sources, et les transforment pour répondre à un certain format. Il va structurer toutes ses données pour garantir un self-service à tous, que chacun puisse accéder facilement et rapidement aux données / infos souhaitées. Il met en place des espaces de stockage (cloud or no cloud). C’est un garant de l’architecture qu’il conçoit, développe, teste et maintient (bases de données, systèmes de flux de données etc.). 

 

Qu’as-tu dans ta valise de compétences? 

  • La base, c’est la base ! SQL (GraphQL) pour faire des requêtes et les bases de données relationnelles (PostgreSQL) et non relationnelles – bases de données SQL et NoSQL (Cassandra, Redis, BigTable, HBase, MongoDB, Neo4J pour les plus courantes).
  • Langages (Scala, Java, Python et JS le plus souvent).  
  • Des solutions de stockage (Amazon RedShift, S3, Google Big Query, 
  • Une approche micro-services 
  • Des solutions d’archi (lambda pour traiter en batch et en temps réel/streaming)
  • Connaissance de l’environnement cloud (AWS, GCP ou Azure) 
  • Hadoop et son environnement : Spark, HDFS, MapR, Hive, HBase, Sqoop…. 
  • ELK (ElasticSearch, Logstash, Kibana) 
  • Des systèmes de messageries (Kafka, Kinesis, RabbitMQ) 
  • Une casquette DevOps (Docker, Kubernetes, Jenkins) 
  • Des orchestrateurs (Luigi, Airflow, Oozie) 
  • Outils de Data Viz (Tableau, PowerBI, QlikView, Amplitude) 

 

Bref, un paquet de choses… c’est pour cela que les évolutions possibles sont belles. 

 

Data Engineer, what else ? 

 

  • Data architect (une fois Data Engineer senior) 
  • Data Ops (une fois Data Engineer confirmé) 
  • Data Scientist (si background mathématiques poussé) 
  • Head of Data (si background mathématiques poussé) 

 

Les pepettes? 

 

Jeune diplômé, tu as bien fait de suivre le chemin de la force. Un data engineer qui sort d’école pourra prétendre à un salaire brut annuel entre 45K € et 50K € packagé. 

Entre 1 et 3 ans, tu prends un peu de galon auprès de seniors, tu oscilles entre 50K € et 62K €. 

La quatrième année est souvent un moment de réflexion, où il manque quelques technos à ton arc. Tu te situes entre 62K € et 70K €. 

Passé 6 ans d’expérience, tu es considéré comme senior, même si pas expert. Tu pars sur une base de plus ou moins 70K €. 

 

Qu’est-ce qui fait de toi un excellent Data Engineer? 

 

  • Ton agnosticisme! Le langage en fonction du besoin business, et non l’inverse. 
  • Ta veille technologique (assister à des meetups, projets personnels, contribution Github etc.) Ne jamais s’empâter ! Un bon Data Engineer consacre au moins 10% de son temps à élargir son champs et découvrir de nouvelles technos et savoir-faire. 
  • Communicant pour assurer une proximité avec les équipes métiers et évangéliser la Data. 

 

Voir Les offres d'emploi Data Engineer

Data Engineer - business oriented ET star du développement backend en Python (H/F)


AdTech Consulting

Paris 50k-70k CDI
Data Engineer - business oriented ET star du développement backend en Python Tu en as ras le bol des ESN mauvais genre qui utilisent les termes "agilité" et "data driven" à mauvais escient ? Dans l'imaginaire commun, société de conseil est synonyme de mastodonte des années 90, milliers de consultants envoyés en missions sur des projets ad hocs et j'en passe. Voyons cette startup comme la nouvelle génération du consulting; boite tech dans un environnement agile avec missions courtes (2 à 3 mois max), des POC, de la mise en prod' et de la veille technologique permanente. Qu'allez-vous faire ? Collecte de données et traitement de ces datas à des fins pure business (il faut délivrer!) Modélisation algorithmiques liées à différents types de sujets Deux problématiques majeures : IA et automatisation / scalabilité de la solution  Client facing / Business Consulting Veille technologique sur des sujets de NLP et de détection de fraude, chatboats... Pourquoi eux ? Un projet déjà primé, et qui va exploser et être commercialisé sur les marchés européens et américains Tu travailleras au sein d’une équipe très solide techniquement Une startup data driven : TOUS les projets tournent autour de la data Des locaux très agréables à deux pas de Bonne Nouvelle (si vous aimez le théâtre et les petits bars cosy vous serez servis) Montée en compétence en 6 mois chez les juniors versus un an en moyenne partout ailleurs Place de Lead Data Engineer à prendre Réévaluation salariale tous les semestres / ans Alors, tu aimes ce que tu lis et tu veux me faire parvenir ton CV ? C'est ici que cela se passe ==> juiiette@mobiskill.fr  Si non, j'attends tout de même un mail de votre part pour me coopter vos amis et connaissances possiblement pertinents pour cette opportunité. Vous recevez une belle prime en guise de récompense.  À très vite,  Juliette Responsable pôle Data / Scala chez Mobiskill cabinet de recrutement spécialisé dans la tech Site : www.mobiskill.fr Twitter : @mobiskill ou @mobiskilljobs LinkedIn : Mobiskill (groupe)
Spark Scala Python
Juliette Responsable Pôle Scala / Data Engineer
Postuler

Head of Data - CDI - Startup - JobTech - Paris 17ème (H/F)


JobTech

Paris 70k-100k CDI
Head of Data - CDI - Startup - JobTech - Paris 17ème (H/F) Cette startup propose aux workers l'accès à une quantité exhaustive de jobs correspondants à leurs attentes (bienêtre, rémunération, avantages, flexibilité, ...). Comment ? Grâce à un algorithme de matching !  Le produit  Le produit est une plateforme web qui a pour mission de faciliter l'accès à des missions d'intérim pour les travailleurs et côté sociétés, le but est de proposer un choix écrémé de candidats sérieux et pertinents pour chaque besoin entreprise. C'est une véritable révolution dans le monde de l'intérim depuis toujours régit par les géants Manpower and co dont nous ne connaissons que trop bien le nom. Le secteur est historique et encore sous exploitée. Tout est à construire.  La startup qui me mandate s'est entouré des meilleurs (ComEx, Développeurs, Commerciaux ...) afin de digitaliser tout cela et devenir leader mondial d'ici quelques années. Ils sont d'ailleurs passés de 2 à 20 personnes en 3 mois. Ils ont des ambitions folles. En voici quelques lignes :   Créer une architecture BI / Big Data Mettre en place les KPIs pour une amélioration continue Recruter une équipe La stack :    Node.js React Redux TypeScript Kotlin Python  Et vous ?   Vous avez déjà plusieurs années d'expérience dans la Data et idéalement dans le management d'équipe  Vous souhaitez rejoindre un projet from scratch et ultra ambitieux  Vous souhaitez travailler dans un environnement international. Convaincu(e)? N'attendez plus et écrivez-moi à adam@mobiskill.fr Si ce poste ne vous convient pas, je dispose d'une vingtaine autres opportunités et je récompense la cooptation. À très vite ? Adam Responsable du Pôle Data / Scala chez Mobiskill https://mobiskill.fr/
AWS Scala Python
Juliette Responsable Pôle Scala / Data Engineer
Postuler

Data Engineer Python pour une startup phare de la publicité via géolocalisation (H/F)


AdTech Mobile

Paris 50k-70k CDI
Data Engineer Python pour une startup phare de la publicité via géolocalisation (H/F)   Le monde de la publicité t’a toujours attiré ? Tu souhaites réfléchir sur des problématiques business en lien avec des produits tech ?  Rejoins une des startups les plus connues et les plus prometteuses de la scène Tech Parisienne. Cet acteur spécialisé est le seul en France à faire de la publicité ciblée et géolocalisée. Et ils recherchent un profil comme toi : un Data Engineer compétent !   LE POSTE Tu seras en charge de : L’amélioration du ciblage et de la précision en terme de géolocalisation La collecte de la data et le traitement en temps réel des données (toutes les mili-secondes) Le maintien de la plateforme existante qui gère des milliards d'évènements par jour La vision stratégique sur toute la partie data   TON PROFIL Tu as déjà eu une expérience significative en Data Idéalement tu développe en Python  Dans un monde parfait, tu as également déjà fait face à des problématiques de montées de charges Tu connais la méthode agile Tu es product oriented, capable de comprendre les enjeux d’un produit technologique   POURQUOI POSTULER Des bureaux spacieux où la bonne ambiance n’est pas en option Une rémunération SUPER attractive (50K-70K environ selon profil), ainsi que des BSPCE. La promesse de participer à une belle aventure startup qui te fera évoluer techniquement Voyage d’équipe une fois par an   Tu t'identifies ? Envoie-moi ton CV à juliette@mobiskill.fr Juliette Responsable Pôle Data / Scala  Mobiskill, cabinet de recrutement spécialisé et leader dans le Web & le Mobile Site : www.mobiskill.fr
Docker Kafka AWS Scala Python
Juliette Responsable Pôle Scala / Data Engineer
Postuler

Data Engineer - Java and Cloud - Fintech - Startup - CDI - Paris (H/F)


Fintech

Paris 65k-85k CDI
Data Engineer - Java and Cloud - Fintech - Startup - CDI - Paris (H/F) Dans le monde de la fintech, j'appelle le Leader Européen de la gestion des comptes en BtoC. Objectif : vous aider à gérer votre argent efficacement. Nous avons tous vécu cette situation, fier comme un paon, on tend notre carte de crédit pour régler une transaction et mince "paiement refusé ? Ok, bon, bah merci, heuuu ... bonne journée, je vous laisse l'article alors du coup hein." #LOL. Grâce à cette startup, vous ne serez plus jamais Mister Looser. Enfin sauf si vous y tenez. Ça rend tout de suite plus humble, plus responsable, oui, oui cela éduque. :) Bref.  Les missions ? Développer et maintenir l'infrastructure data articulée autour d'AWS. Evoluer dans un environnement à très forte croissance et traiter un volume massif de données Être capable d'architecturer un datalake ainsi que des solutions prédictives de Machine Learning  Vous serez décisionnaire et responsable des sujets Data Ecrire du code qui aide plus de deux millions de personnes à mieux gérer leur argent Stack :   Micro Services Java Play! AWS Docker Salaire : 65K-85K€ environ - selon profil Localisation : Paris 11ème.   Qu'en dites-vous ? Si ce poste ne vous plait pas, cooptez-moi tous vos amis. Promis, vous serez récompensé généreusement (en chèques cadeaux Amazon). Où me joindre? = adam@mobiskill.fr À très vite! Adam Responsable Pôle Data chez Mobiskill https://mobiskill.fr/  
Docker AWS Scala Python Java
Juliette Responsable Pôle Scala / Data Engineer
Postuler

Data Engineer - société à l'origine de multiples innovations - CDI - Paris 8 (H/F)


Société à l'origine de multiples innovations

Paris 50k-60k CDI
- La société qui a tout compris - Cette start-up d’environ 50 collaborateurs travaille pour offrir à tous les français des produits et services avant-gardistes et accessibles au plus grand nombre. Leur goal : créer des produits innovants pour tous!   80% de l'équipe est tech, et chaque équipe projet est composé de 5 à 10 personnes.  Tu seras le 1er Data Engineer de la team!!!  Devenir un des pionniers? Créer une team? Go go go, c'est ici!    Ton rôle : Driver les choix Data et rendre la structure production-ready   Tes missions :  • Concevoir, développer et mettre en production des pipelines d'ingestion de données • Déployer et maintenir des environnements containérisés  • Choisir la persistance des données à adopter selon les besoins (ex : PostgreSql, SQLite, InfluxDB, Redis), • Mettre en place des outils de visualisation.   Stack : Java ou Scala + Python, Docker, Ansible, Kafka, Flink, Airflow, Nginx…  <<< Pas d'existentiel, tu as une main sur les orientations/choix des technos >>>   Salaire: 50-70k (en fonction de l'expérience)  Localisation : Paris 8   Pourquoi les rejoindre?  - Cadre de travail très agréable : choix du matériel, standing desk… - Showroom, salles de réunion, de repos, de TV & Jeux Vidéos... - Petit déjeuner, déjeuner et goûter tous les jours à l’étage! - Mutuelle & Prévoyance / Intéressement & Participation - Opensource (beaucoup utilisé / contributions) - Autonomie totale : très peu de micro-management, peu de hiérarchie   Allez, viens…    Envoyez-moi votre cv à juliette@mobiskill.fr !  Juliette / Responsable Data  Mobiskill, cabinet de recrutement spécialisé dans le web et le mobile   Site web : www.mobiskill.fr   Twitter : @mobiskill ou @mobiskilljobs   LinkedIn : Mobiskill (groupe)
Docker Kafka Scala Python Java
Juliette Responsable Pôle Scala / Data Engineer
Postuler
Voir toutes les offres