DataEng

TL;DR Dans ce post nous verrons ensemble comment convertir super efficacement et rapidement 🚀 des fichiers au format Apache Parquet vers le format CSV (et vice-versa), en utilisant DuckDB 🦆 et en comparant avec Pandas 🐍 comme une base de comparaison. En bonus, nous verrons comment l’utiliser avec un format CLI super ergonomique et efficace, toujours à portée de main 👨‍💻 C’est parti ! Intro Ces derniers temps j’ai eu de plus en plus l’occasion de travailler sur des tâches relevant plutôt du Data Engineering pur et dur, avec par exemple des mises en place de Datalake AWS, des conversions de données en tout genre, des designs de pipelines, du nettoyage de données....