Posts

TL;DR Cet article montrera quelques astuces pour travailler efficacement en tant que Data Engineer 🚀, que ce soit en naviguant dans la documentation ou en utilisant un LLM local pour faciliter son expérience de développement (si vous êtes l’heureux propriétaire d’une puce Mac M2 ou M3). Profitez d’un instant au calme, à la campagne, durant un voyage sans transiger sur votre abilité à débugger 👨‍💻 C’est parti ! Introduction De nos jours, travailler avec une connexion Internet limitée peut arriver et il y a un énorme écart par rapport à une configuration de poste de travail de développement. 🦾 ...

TL;DR Dans ce billet de blog, nous allons voir comment créer de A à Z un projet de Data engineering, de l’ETL, la création de notre schéma de données, l’ORM de l’application, son backend et ensuite son déploiement avec Streamlit Cloud ⚙️ Le but est de récupérer la liste des prix de stations essence en France ⛽, automatiser un job qui va venir mettre à jour les valeurs quotidiennement 📅 et construire un dashboard pour afficher les prix personnalisés aux utilisateurs du site 📊 ...

TL;DR Dans ce billet de blog, nous allons utiliser et étudier le fonctionnement des algorithmes génétiques, pour résoudre un problème d’optimisation. Ce problème hypothétique prendra corps dans la narration de George Orwell et de son roman dystopique 1984. Nous verrons les concepts généraux de ce genre de problème et essaierons de les appliquer à notre situation. Ainsi, vous serez à même vous aussi, d’utiliser les si puissants algorithmes génétiques dans vos problèmes d’optimisation. ...

TL;DR Dans ce post nous verrons ensemble comment convertir super efficacement et rapidement 🚀 des fichiers au format Apache Parquet vers le format CSV (et vice-versa), en utilisant DuckDB 🦆 et en comparant avec Pandas 🐍 comme une base de comparaison. En bonus, nous verrons comment l’utiliser avec un format CLI super ergonomique et efficace, toujours à portée de main 👨‍💻 C’est parti ! Intro Ces derniers temps j’ai eu de plus en plus l’occasion de travailler sur des tâches relevant plutôt du Data Engineering pur et dur, avec par exemple des mises en place de Datalake AWS, des conversions de données en tout genre, des designs de pipelines, du nettoyage de données.. 📊 ...

TL;DR Dans ce billet de blog post nous allons voir comment mettre en place un système monitoré 📊 & sécurisé de stockage cloud personel ⏏️, hébergé derrière un proxy ⚙️, afin que vous puissez exposer plein d’autres services sur votre serveur personnel 🏠 Délaissez Google Drive et Google Photos 📷, hébergez vos beaux pixels chéris directement chez vous 🚀 ! Intro Ma copine a fait récemment face à une situation très stressante, laissez moi vous expliquer brièvement la cause du problème 🫣 ...