Qu'est ce qu'un / une Data Engineer ?

Un Data Engineer a un background tech. Il passe généralement par une école d’ingénieurs avec option Big Data / Data Mining. Il peut aussi s’agir d’un software engineer qui choisit d’évoluer plus tard dans un environnement Data, et découvre progressivement les technos de ce dernier.  LA DATA. C’est bien joli, mais qu’est-ce qu’on en fait ? Sans les data engineers, rien.  Nos chers amis créent l’infrastructure (ou “la maison”) qui va accueillir la donnée.  Admettons que l’eau = la donnée. Le data engineer va mettre en place les tuyauteries, la baignoire, les robinets qui vont permettre à toute la famille de boire, se laver, vivre. Et bien, sans les solutions implémentées en amont par le data engineer, la donnée n’est pas prête à être utilisé par tous. Pas de données, pas d’insights, pas de prise de décisions. Pas de bras, pas de chocolat !  Data si, data ça. On peut profiler deux types de Data Engineer:

• Le “bâtisseur” va en collaboration avec le Data architect créer from scratch toute la stack et le socle de l’architecture Data (DataLake, DataWarehouse, ETL, pipelines de données, espaces de stockage, cloud, bases de données…) qui sera capable de gérer de très grandes volumétries de données (en fonction du business) dans un temps très limité. En deux mots, il prépare un terrain lisse au Data Scientist qui tirera des tendances de ses données en y appliquant des modèles / algorithmes.
• “L’industrialisateur” va, en collaboration avec le Data Scientist, industrialiser des modèles de Data Science. En d’autres termes, il met en production des algorithmes de la manière la plus propre possible.

‍

‍

Quelle est la journée type d'un Data Engineer ?

On ne peut pas résumer le quotidien d’un Data Engineer car ses tâches vont dépendre de multiples critères : la société et la maturité de son business, les volumétries de données à traiter, l’échelle de scalabilité etc.  Mais si on le doit, un data engineer est avant tout un développeur qui code pour construire “la maison” et lier toutes les pièces entre elles.  Il collabore au sein d’une équipe pluridisciplinaire (Développeurs back-end, Data Scientists, Data Analysts…) et évolue sur une stack propre à la Data.  Il récupère des données de différentes natures, et diverses sources, et les transforment pour répondre à un certain format. Il va structurer toutes ses données pour garantir un self-service à tous, que chacun puisse accéder facilement et rapidement aux données / infos souhaitées. Il met en place des espaces de stockage (cloud or no cloud). C’est un garant de l’architecture qu’il conçoit, développe, teste et maintient (bases de données, systèmes de flux de données etc.).

‍

Quelles sont les compétences clés d'un Data Engineer ?

• La base, c’est la base ! SQL (GraphQL) pour faire des requêtes et les bases de données relationnelles (PostgreSQL) et non relationnelles - bases de données SQL et NoSQL (Cassandra, Redis, BigTable, HBase, MongoDB, Neo4J pour les plus courantes).
• Langages (Scala, Java, Python et JS le plus souvent).
• Des solutions de stockage (Amazon RedShift, S3, Google Big Query,
• Une approche micro-services
• Des solutions d’archi (lambda pour traiter en batch et en temps réel/streaming)
• Connaissance de l’environnement cloud (AWS, GCP ou Azure)
• Hadoop et son environnement : Spark, HDFS, MapR, Hive, HBase, Sqoop….
• ELK (ElasticSearch, Logstash, Kibana)
• Des systèmes de messageries (Kafka, Kinesis, RabbitMQ)
• Une casquette DevOps (Docker, Kubernetes, Jenkins)
• Des orchestrateurs (Luigi, Airflow, Oozie)
• Outils de Data Viz (Tableau, PowerBI, QlikView, Amplitude)

Bref, un paquet de choses… c’est pour cela que les évolutions possibles sont belles.

‍

Data Engineer, what else ?

• Data architect (une fois Data Engineer senior)
• Data Ops (une fois Data Engineer confirmé)
• Data Scientist (si background mathématiques poussé)
• Head of Data (si background mathématiques poussé)