Ingénieur Big Data

Un Data Engineer a un background tech. Il passe généralement par une école d’ingénieurs avec option Big Data. Il peut aussi s’agir d’un software engineer qui choisit d’évoluer plus tard dans un environnement Data, et découvre progressivement les technos de ce dernier. 

LA DATA. C’est bien joli, mais qu’est-ce qu’on en fait ? Sans les data engineers, rien. 

Nos chers amis créent l’infrastructure (ou “la maison”) qui va accueillir la donnée. 

Admettons que l’eau = la donnée. Le data engineer va mettre en place les tuyauteries, la baignoire, les robinets qui vont permettre à toute la famille de boire, se laver, vivre. Et bien, sans les solutions implémentées en amont par le data engineer, la donnée n’est pas prête à être utilisée par tous. Pas de données, pas d’insights, pas de prise de décisions. Pas de bras, pas de chocolat ! 

Data si, data ça. On peut profiler plusieurs types de Data Engineer, dont l’ingénieur Big Data qui va, comme son nom l’indique, traiter “de la grosse donnée”. En d’autres termes, il va créer des pipelines pour traiter un très large volume de données, ce qui implique des challenges techniques pointus avec l’utilisation et l'optimisation de technologies Big Data comme Scala, Spark, Kafka le plus souvent. 

Ce sont des compétences très prisées surtout dans des secteurs qui brassent beaucoup de données comme dans le secteur de la publicité et du marketing. 

On ne peut pas résumer le quotidien d’un ingénieur Big Data car ses tâches vont dépendre de multiples critères : la société et la maturité de son business, les volumétries de données à traiter, l’échelle de scalabilité etc. 

Mais si on le doit, un ingénieur Big Data est avant tout un développeur qui code pour construire “la maison” et lier toutes les pièces entre elles. 

Il collabore au sein d’une équipe pluridisciplinaire (Développeurs back-end, Data Scientists, Data Analysts…) et évolue sur une stack propre à la Data. 

Il récupère des données de différentes natures, et diverses sources, et les transforment pour répondre à un certain format. Il va structurer toutes ses données pour garantir un self-service à tous, que chacun puisse accéder facilement et rapidement aux données / infos souhaitées. Il met en place des espaces de stockage (cloud or no cloud). C’est un garant de l’architecture qu’il conçoit, développe, teste et maintient (bases de données, systèmes de flux de données etc.). 

• La base, c’est la base ! SQL (GraphQL) pour faire des requêtes et les bases de données relationnelles (PostgreSQL) et non relationnelles - bases de données SQL et NoSQL (Cassandra, Redis, BigTable, HBase, MongoDB, Neo4J pour les plus courantes).
• Langages (Scala, Java, Python le plus souvent).
• Des solutions de stockage (Amazon RedShift, S3, Google Big Query)
• Des solutions d’architecture (pour traiter les données en batch et/ou en temps réel/streaming)
• Connaissance de l’environnement cloud (AWS, GCP ou Azure)
• Hadoop et son environnement : Spark, HDFS, MapR, Hive, HBase, Sqoop….
• Des systèmes de messageries (Kafka, Kinesis, RabbitMQ)
• Une casquette DevOps (Docker, Kubernetes, Jenkins)
• Des orchestrateurs (Luigi, Airflow, Oozie)

• Ecole d’ingénieur puis spécialisation dans la Data (ou pas). 
• Bac+5 en informatique. 

Plein de belles choses. Plusieurs choix s’offrent à toi :

• Tu peux rejoindre un client final, où tu vivras et feras vivre tout le cycle de vie de la data. Très enrichissant! 
• Tu peux rejoindre une société de conseils pour intervenir comme expert sur des missions courtes ou longues et accompagner des clients dans la conduite du changement de leurs projets data. 
• Tu peux te lancer en freelance pour choisir tes propres partenaires et avoir plus de flexibilité. 
• Tu peux ensuite abandonner la technique et partir sur du management de projets data mais tu risques de perdre en légitimité technique avec le temps. Quand on est moins “hands-on”, on ne fait plus de veille technologique et on perd en valeur sur le marché. Encore une fois, tout dépend de tes souhaits :) 

Jeune diplômé, tu as bien fait de suivre le chemin de la force. Un ingénieur big data qui sort d’école pourra prétendre à un salaire brut annuel entre 42K € et 45K € packagé. Entre 1 et 3 ans, tu prends un peu de galon auprès de seniors, tu oscilles entre 45K € et 60K €. Entre 4 et 6 ans, c’est souvent un moment de réflexion, où il manque quelques technos à ton arc. Tu te situes entre 60K € et 75K €. Passé 6 ans d’expérience, tu es considéré comme senior, même si pas expert. Tu pars sur une base de plus ou moins 75K €.