Code AI evals
Évaluation rigoureuse de modèles générateurs de code par développeurs seniors. Préférences RLHF, détection d'hallucinations, debug d'agents codeurs.
Cohorte AI
Évaluations, RLHF et red-teaming par experts humains francophones.
Données de qualité pour labs d'IA exigeants.
Basés à Montréal — Canada
Expertise
SaaS & business AI
Évaluation de la pertinence des réponses pour cas d'usage entreprises et produits SaaS. Validation contextuelle par opérateurs de plateformes en production.
Agents & agentic workflows
Évaluation de comportements d'agents autonomes, red-teaming de pipelines agentiques, validation de raisonnements multi-étapes.
Approche
La valeur d'une évaluation humaine vient du jugement humain expert, pas de l'absence d'outils. Nos experts utilisent les outils AI modernes (Claude, Cursor, IDE intelligents) pour amplifier leur productivité — exactement comme un médecin utilise ses outils diagnostiques. Mais chaque jugement final est strictement humain : daté, signé, traçable, testé contre la fraude.
- Inter-annotator agreement mesuré sur chaque batch
- Golden datasets pour calibration continue
- Traçabilité complète : qui a annoté quoi, quand, sur quelle base
- Workflow transparent, déclaré au client
Engagement de transparence
L'IA est devenue un outil quotidien dans tous les métiers techniques en 2026. Nous le reconnaissons sans détour. Voici précisément ce que nous faisons et ne faisons pas :
- Oui : nos experts utilisent Claude, Cursor & co. pour vérifier rapidement, lire du code dense, brainstormer des cas de test, ou structurer leurs notes.
- Non : aucun output AI n'est copié-collé dans vos livrables. Le jugement final est humain.
- Audits anti-fraude : nous testons régulièrement nos annotateurs avec des prompts conçus pour détecter l'usage d'AI non déclaré.
- Traçabilité : chaque annotation porte l'identifiant de l'humain, son temps de réflexion, et la version exacte des guidelines appliquées.
Notre conviction : la valeur que vous achetez n'est pas l'absence d'AI — c'est le jugement humain expert, irréductible, qui décide à la fin.
Pour qui
Labs d'IA et startups qui entraînent ou évaluent des modèles touchant au français, au code, ou aux cas d'usage business. Notre cible prioritaire : l'écosystème canadien (Cohere, Borealis, spinouts Mila), avec ouverture aux clients internationaux exigeants.
Contact
Cohorte AI démarre en mai 2026. Admission de 2 à 3 clients pilotes en cours.