Développeur Senior Traitement de Données ML

Kurz zusammengefasst

LoiZéro recherche un Développeur Senior Traitement de Données ML pour participer au développement, à l’édition et à la mise à l’échelle de son pipeline d’actifs de données. L'entreprise se situe à la jonction de l'ingénierie des données, de l'édition des données et de l'apprentissage automatique. Le rôle implique la transformation des données brutes à l’échelle du web en ensembles de données à haut signal utilisés pour entraîner l'IA-Chercheur. Les responsabilités quotidiennes incluent la collaboration avec l'équipe de Recherche pour définir, construire, automatiser, mettre à l’échelle et gérer des pipelines de données. Cela implique également la construction et la maintenance de pipelines de traitement de données, incluant la dé-duplication, la notation de qualité basée sur des modèles, le filtrage heuristique, la suppression de la toxicité, le masquage des informations personnelles identifiables, l'extraction de métadonnées et les transformations de données propriétaires. Le Développeur Senior doit s'assurer que toutes les données ingérées répondent aux exigences de conformité, aux politiques internes de gouvernance des données et aux obligations légales. Les qualifications requises incluent un diplôme en informatique, en génie logiciel ou dans un domaine connexe, ainsi qu'une expérience avérée dans le traitement des ensembles de données textuelles non structurées massives. Plus de 5 ans d'expérience dans le traitement des données, l'ingénierie de l'apprentissage automatique ou le traitement du langage naturel (NLP) sont nécessaires. Une expérience pratique des cadres de traitement distribué, de la conception et de l'optimisation des pipelines à haut débit, ainsi que de la mise en œuvre de la confidentialité des données, du filtrage de la sécurité du contenu et de la prévention de la contamination de l'évaluation sont également essentielles. Une solide maîtrise de Python et une expérience des cadres d'orchestration de pipelines sont également requises. Des compétences supplémentaires appréciées incluent l'expérience dans la formation, l'affinage ou le déploiement de modèles ML pour des tâches de qualité des données, ainsi que la familiarité avec le déploiement conteneurisé et les pratiques d'infrastructure en tant que code. Une expérience des flux de travail de licence de données ou de l'acquisition de données à l’échelle du web, ainsi que des contributions aux outils open-source de traitement de données ou de NLP, sont également des atouts. Ce que le poste demande : - Diplôme en informatique, en génie logiciel ou dans un domaine connexe. - Plus de 5 ans d'expérience dans le traitement des données, l'ingénierie de l'apprentissage automatique ou le traitement du langage naturel (NLP). - Expérience pratique des cadres de traitement distribué (par exemple, Spark, Ray, Flink). - Expérience de la mise en œuvre de la confidentialité des données (masquage des IPI). - Expérience du filtrage de la sécurité du contenu (toxicité, biais). - Expérience de la prévention de la contamination de l'évaluation. - Capacité démontrée à travailler avec des équipes de Recherche, d'Ingénierie et/ou Juridique/de Gouvernance. - Solide maîtrise de Python. - Expérience des cadres d'orchestration de pipelines (par exemple, Airflow, Prefect, Dagster). - Familiarité avec le déploiement conteneurisé (Docker, Kubernetes) et les pratiques d'infrastructure en tant que code (nice-to-have).