Évaluations RLHF par experts humains francophones,
pour labs d'IA exigeants.
Cohorte AI est une nouvelle équipe québécoise (lancement mai 2026) qui offre
aux labs d'IA et aux startups de la donnée humaine de haute qualité :
préférences RLHF, évaluations agentiques, red-teaming, datasets d'instruction.
Spécialité : francophone, code, agents.
Expertise
Code AI evals
Évaluation rigoureuse de modèles générateurs de code par développeurs seniors. Préférences, détection d'hallucinations, debug d'agents codeurs.
SaaS & business AI
Évaluation de la pertinence des réponses pour cas d'usage entreprise. Validation contextuelle par opérateurs de plateformes en production.
Agents & agentic workflows
Évaluation de comportements d'agents autonomes, red-teaming de pipelines agentiques, validation de raisonnements multi-étapes.
Workflow
Kickoff < 5 jours — alignement guidelines, calibration sur 50 exemples
Pilot batch 10 % validé avant scale-up
Inter-annotator agreement mesuré sur chaque batch livré
Traçabilité complète — chaque ligne signée par un annotateur réel, timestamp, durée, version guidelines
Golden datasets de calibration continue inclus
Tarification indicative (CAD)
Profil / tâche
Tarif
Senior reviewer (Jordan)
140–180 CAD / h
Annotateur senior externe
110–140 CAD / h
Annotateur junior (étudiant sélectionné)
65–85 CAD / h
Préférence FR senior reviewer (per-task)
5–9 CAD / paire
Eval agent FR multi-tour
25–60 CAD / scénario
Red-teaming dialogue FR
40–90 CAD / dialogue
Pilote type
5–10 k CAD · 3 semaines
Retainer récurrent mensuel
8–20 k CAD / mois
Pourquoi Cohorte vs Scale / Surge / Mercor
Équipe nommée, pas un pool anonyme global. Chaque annotation est signée et vérifiable.
Réactivité — kickoff < 5 jours, ajustements guidelines < 24 h. Pas une chaîne de PMs.
Francophone québécois natif. Les codes culturels et registres FR-CA que les pools globaux ratent systématiquement.
Senior reviewer en première ligne sur chaque projet, pas en supervision distante.
Transparence radicale sur l'AI : nos experts utilisent Claude & Cursor comme outils (comme tout le monde en 2026) — mais aucun output AI dans vos livrables. Audits anti-fraude réguliers, jugement final humain et signé.