Entrevue avec le fondateur de Mercor, une plateforme de recrutement par IA : l'IA dominera rapidement l'évaluation des talents
TechFlow SélectionTechFlow Sélection
Entrevue avec le fondateur de Mercor, une plateforme de recrutement par IA : l'IA dominera rapidement l'évaluation des talents
L'humain participe davantage à la phase de « promotion ».
Dédié à des analyses Web3 approfondiesAuteur : MD
Production : Bright Company
Récemment, Jacob Effron (au centre) et Patrick Achase (à gauche), partenaires chez Redpoint Ventures aux États-Unis, ont participé à un podcast intitulé « Non-Supervised Learning », où ils ont interviewé Brendan Foody (à droite), fondateur et PDG de la plateforme d’IA Mercor spécialisée dans le recrutement. En plus des évolutions liées au cœur de métier de Mercor, les trois interlocuteurs ont discuté de la relation future entre l’intelligence artificielle et les humains dans le monde du travail.
Mercor a été fondée en 2023 par Brendan Foody et deux autres boursiers Thiel âgés de 21 ans. En février dernier, l’entreprise a annoncé une levée de fonds de 100 millions de dollars lors d’une série B valorisant l’entreprise à 2 milliards de dollars. Ce tour de table a été mené par Felicis, avec la participation de Benchmark, General Catalyst et DST Global. Mercor utilise l’IA pour automatiser la sélection de CV, l’appariement des candidats, les entretiens numériques et la gestion salariale, visant ainsi à améliorer l’efficacité du recrutement tout en réduisant les biais humains.
Au cours de l’entretien, Brendan Foody a indiqué que Mercor s’est désormais également engagé dans l’évaluation des modèles d’IA et l’annotation de données. Avec l’amélioration constante des capacités des modèles d’IA, de nombreuses questions complexes ne peuvent plus être vérifiées uniquement par les modèles eux-mêmes ou par le simple bon sens. Les développeurs ont donc besoin de talents hautement qualifiés issus de domaines spécialisés. Or ces missions sont souvent ponctuelles, similaires aux « réseaux d’experts ». Il est donc naturel que leur plateforme aide les laboratoires d’IA à trouver rapidement ces experts. Selon Foody, « le marché de l’annotation de données passe progressivement d’un modèle basé sur le crowdsourcing à grande échelle et faible qualification vers un modèle axé sur une annotation experte et de haute qualité ».
Dans son domaine principal, celui du « recrutement assisté par IA », Brendan Foody estime que l’IA est déjà proche, voire supérieure à l’humain dans l’évaluation des talents via le texte, notamment dans le tri de CV ou l’analyse écrite des entretiens. Toutefois, elle reste encore limitée dans les tâches multimodales, comme l’évaluation des émotions ou de l’« ambiance ».
Foody a également évoqué une idée clé : à l’avenir, le recrutement et l’évaluation des talents dépendront de plus en plus de données contextuelles riches, et l’efficacité des modèles (d’évaluation) sera directement influencée par l’intégrité des mécanismes de retour et des données saisies. Par exemple, si l’on embauche un investisseur, intégrer dans le modèle ses opinions exprimées dans des podcasts, ses comptes rendus de réunions, etc., permettrait sans aucun doute d’évaluer bien plus précisément sa cognition, ses compétences et ses préférences professionnelles. Dans le recrutement traditionnel, ce type de données est soit complètement ignoré, soit extrêmement coûteux à analyser, alors que l’IA peut le faire à moindre coût et avec une efficacité bien supérieure.
Par conséquent, la répartition des rôles entre IA et humains pourrait évoluer ainsi : l’IA dominera rapidement l’étape d’évaluation des talents, augmentant à la fois efficacité et précision — tandis que les humains se concentreront davantage sur la phase de « vente », comme expliquer l’ambiance de l’équipe ou motiver les candidats, afin d’améliorer leur expérience.
« La tendance que j’observe est que les humains se concentreront à l’avenir sur la création d’évaluations, pour enseigner aux modèles ce qu’ils ne savent pas encore faire, plutôt que de répéter indéfiniment les mêmes tâches », a déclaré Brendan Foody.
Voici la transcription traduite (et partiellement abrégée) de l'entretien par Bright Company :
Jacob : Brendan Foody est cofondateur et PDG de Mercor, une entreprise qui construit les infrastructures pour les marchés du travail nativement conçus pour l’IA. La plateforme Mercor est utilisée pour l’annotation de données, la sélection des talents, la prédiction de performance, ainsi que l’évaluation de candidats humains et IA. C’est une entreprise particulièrement intéressante, située exactement à la croisée du recrutement, de l’évaluation et de l’amélioration des modèles de base.
L’équipe de Brandon vient de lever 100 millions de dollars et collabore avec certaines des entreprises d’IA les plus avancées. Notre discussion aujourd’hui couvre de nombreux sujets passionnants, notamment le rôle futur des humains dans la force de travail. Nous avons parlé des types d’annotations de données les plus importants pour améliorer les modèles, Brandon a retracé la rapide ascension de Mercor et certaines décisions clés, puis nous avons exploré les cas où l’IA excelle dans le processus de recrutement… et ceux où elle échoue. Bref, une conversation très stimulante. J’espère que vous apprécierez. Brendan Foody, merci d’avoir rejoint notre podcast.
Brendan : Merci beaucoup pour l’invitation. Je suis un grand admirateur, vraiment ravi.
Jacob : C’est un plaisir. Commençons par le haut. Pour nos auditeurs, pourriez-vous nous donner un aperçu général de l’état actuel ? Où en est-on concernant l’évaluation des talents par l’IA ? Quels sont les points forts, les points faibles, et où en est la progression ?
Brendan : Je suis impressionné par ses performances. À mon avis, dès lors qu’un humain peut évaluer quelque chose à partir de texte, les modèles approchent ou surpassent déjà largement les humains, qu’il s’agisse de transcriptions d’entretiens, d’évaluations écrites ou de signaux présents sur un CV. C’est une dichotomie fascinante, car ces technologies sont en réalité peu répandues dans l’économie. Il existe donc un vaste espace vide, que nous sommes très enthousiastes à l’idée de développer.
Jacob : Y a-t-il des choses qui étaient impossibles avant l’arrivée des modèles de raisonnement ? Par exemple, depuis six mois, les modèles se sont nettement améliorés. Qu’est-ce qui fonctionne maintenant alors que cela n’était pas possible auparavant ?
Brendan : Oui, je me souviens qu’à la sortie de GPT-4, nous avions construit un prototype d’entretien mené par IA, mais rien ne fonctionnait. Le modèle faisait des hallucinations tous les deux ou trois problèmes. Depuis, c’est allé crescendo. L’arrivée des modèles de raisonnement a clairement permis une montée en puissance considérable, en particulier dans la capacité à traiter de grands volumes de contexte, à distinguer l’essentiel, à maintenir un focus pertinent.
Toutefois, les modèles restent encore faibles sur les tâches multimodales, car les laboratoires y ont prêté moins attention jusqu’ici, et il est plus difficile d’utiliser l’apprentissage par renforcement dans ces cas. Mais nous attendons avec impatience les progrès à venir.
Jacob : Quelles étapes importantes espérez-vous voir atteintes par les modèles à l’avenir ?
Brendan : Certaines choses que les humains font bien, comme juger l’« ambiance » (vibe) – est-ce que je veux travailler avec cette personne, a-t-elle de la passion, est-elle sincère – restent très difficiles pour les modèles. Même pour les meilleurs humains, c’est complexe, alors imaginez pour les modèles. Je suis impatient de voir des percées dans ce domaine, et j’y développe même des outils d’évaluation. Pourtant, chaque fois que je lis la chaîne de raisonnement du modèle, quand j’essaie d’interpréter ce que contient notre évaluation, j’ai l’impression que le modèle est bien plus rationnel que nos chercheurs chargés de concevoir ces tests.
Les progrès sont fulgurants. Tout le monde voit leurs performances en programmation, mais nous ne faisons que commencer. De nombreux autres domaines prennent leur envol à une vitesse incroyable.
Jacob : Une grande partie de votre travail consiste à concevoir des évaluations pour les humains, afin de savoir s’ils sont capables d’exercer un emploi. Aujourd’hui, beaucoup travaillent sur des employés virtuels IA, par exemple des agents IA capables d’accomplir des tâches humaines. Êtes-vous impliqués là-dedans ?
Brendan : Bien sûr, nous faisons beaucoup de choses dans ce domaine. Pour contextualiser brièvement, nous avons fondé cette entreprise parce que nous pensions qu’il existait dans le monde de nombreux talents privés d’opportunités, principalement en raison de la fragmentation du marché du travail. Par exemple, les candidats au télétravail postulent à très peu d’offres, tandis que les entreprises de San Francisco n’envisagent qu’un petit groupe de personnes, car elles doivent résoudre manuellement les problèmes d’appariement. Grâce aux grands modèles, nous pouvons résoudre ce problème d’appariement et créer un marché du travail global unifié, où chaque candidat peut postuler, et chaque entreprise peut embaucher. Mais ensuite, nous avons remarqué que l’apparition de nouveaux emplois intellectuels a fait exploser la demande en main-d’œuvre, notamment pour évaluer les grands modèles. Aujourd’hui, nous recrutons pour les meilleurs laboratoires d’IA des experts variés. Ces laboratoires utilisent notre technologie non seulement pour évaluer les experts, mais aussi pour créer des tests destinés aux modèles et aux agents IA dont vous parliez.
Patrick : Pour nos auditeurs, Mercor utilise également l’IA pour filtrer les candidats, traiter les CV, etc. Pouvez-vous nous parler de vos cas d’usage concrets ? Quelle est votre stack technique actuelle ?
Brendan : Une bonne méthode consiste à transformer toutes les actions humaines manuelles en évaluations, puis de voir si on peut les automatiser. Par exemple, comment un humain lit-il un CV, mène-t-il un entretien, trie-t-il et décide-t-il de recruter quelqu’un. Nous avons automatisé l’ensemble du processus : évaluer la précision de l’analyse du CV, la justesse des notes attribuées à chaque section, la pertinence des questions posées lors de l’entretien, la qualité de l’évaluation finale, puis nous intégrons tout cela dans le contexte du modèle, en y ajoutant d’autres données comme des lettres de recommandation, pour finalement produire une prédiction d’embauche.
Patrick : Vous utilisez principalement des modèles préexistants, et vous vous concentrez sur la conception des évaluations et du contexte ?
Brendan : Oui, pour les tâches de base, nous utilisons beaucoup de modèles disponibles, mais pour l’évaluation finale des candidats — la phase la plus difficile — nous réalisons un post-entraînement. Nous apprenons à partir des données clients, par exemple, qui ont bien performé et pourquoi, puis tirons des signaux pour améliorer les prédictions futures.
Patrick : Avez-vous découvert des signaux inattendus ? Des choses que l’IA a repérées et que vous, humains, aviez manquées ?
Brendan : Beaucoup d’exemples. Je pense qu’un avantage clé de l’IA est sa capacité à analyser en profondeur tous les détails des candidats, à repérer de petits signaux que les humains ignorent parfois, tandis que les humains se laissent parfois guider par leur « jugement d’ambiance » dès le départ. Par exemple, si un candidat manifeste un vif intérêt pour un domaine donné, par pur plaisir et non pour des raisons professionnelles, cela devient un signal fort. Ou encore, si quelqu’un a étudié dans le pays cible, cela peut faciliter la communication et l’intégration dans l’équipe. Ces détails varient selon les projets et les clients.
Patrick : Pensez-vous qu’il y ait des tâches qui nécessiteront toujours un humain ? Vous avez mentionné les tâches multimodales. Comment voyez-vous la collaboration entre IA et intervieweurs humains ? Est-ce que tout finira par être évalué par IA ?
Brendan : En résumé, le processus de recrutement se divise en deux phases : évaluation et vente. La phase d’évaluation deviendra très vite très performante. Les gens verront que les recommandations de l’IA sont nettement plus précises, et feront davantage confiance à ses résultats. Les humains continueront à jouer un rôle crucial dans la phase de vente, comme aider les candidats à comprendre l’équipe, le poste, l’ambiance, etc. L’IA permet aux responsables de recrutement et aux RH de se concentrer uniquement sur les bons profils, sans perdre de temps à interviewer des candidats inadaptés. Cela leur laisse plus de temps pour mieux accompagner les candidats dans la compréhension du poste, de l’équipe et des motivations.
Patrick : Pensez-vous que les gens vont commencer à « jouer au score », en adaptant volontairement leurs réponses aux signaux d’évaluation ? L’avez-vous déjà observé ? Par exemple, tout le monde affirme avoir étudié dans le pays cible.
Jacob : Tout le monde dit avoir étudié dans le pays cible.
Patrick : Oui, par exemple, dire tous qu’on a étudié là où se trouve l’entreprise.
Brendan : Oui, c’est pourquoi nous gardons parfois certains signaux confidentiels. Comme dans tous les grands processus de recrutement, nous rencontrons fréquemment ce phénomène. L’essentiel est de garantir que les évaluations soient suffisamment dynamiques : changer régulièrement les questions, ou poser des questions très spécifiques en fonction du profil du candidat. Car le modèle peut se préparer massivement à l’entretien, offrant une profondeur et une étendue d’évaluation sans précédent.
Par exemple, lors de mon premier entretien avec un cadre supérieur, je regardais peut-être quelques minutes LinkedIn et des notes rapides, mais si je peux écouter ses podcasts, lire ses blogs ou articles scientifiques, puis poser des questions ciblées dessus, la profondeur et les détails changent radicalement.
Jacob : Votre modèle excelle dans la prédiction de la performance des candidats. Ce processus exige-t-il de la transparence ? Ou suffit-il que le modèle fournisse un résultat en boîte noire ?
Brendan : Je pense que l’explicabilité est importante, pour deux raisons. D’abord, pour permettre aux clients de comprendre et de faire confiance aux conclusions du modèle, en établissant une chaîne de raisonnement claire. Ensuite, pour s’assurer que le modèle sélectionne les candidats pour les bonnes raisons. L’explicabilité a donc une grande valeur.
Mais je pense que la forme économique finale ressemblera à une API : les gens auront besoin de réaliser une tâche, ou d’un certain niveau de participation humaine, et ils obtiendront simplement une prédiction avec intervalle de confiance. Dans ce scénario, le rôle intermédiaire de l’humain sera fortement réduit.
Jacob : C’est une étape cruciale vers cet objectif, tout à fait logique. Actuellement, le processus d’annotation dispose d’une boucle de retour claire — par exemple, plusieurs personnes annotent la même donnée. Qu’en est-il de l’application de cette méthode à des tâches humaines plus floues ? Peut-être faut-il attendre 15 ans pour obtenir un retour ?
Patrick : Comme pour les VC (rires).
Brendan : Mon avis est que s’il y a 100 personnes faisant le même travail, il est facile de les classer. Mais si les 100 personnes font des tâches différentes, comme des fondateurs, dont chaque mission est unique, il devient très difficile de trouver des points communs, et donc de déterminer quels comportements ou informations sont liés au succès. Trop de variables entrent en jeu. Pour des postes homogènes à grande échelle, comme recruter 20 chargés de clientèle, le modèle peut apprendre des signaux et s’optimiser. Mais pour des postes complexes, comme lorsque nous évaluons un groupe de boursiers Thiel, c’est beaucoup plus difficile, et cela dépend davantage de la capacité de raisonnement du modèle.
Jacob : Quels sont les défis concrets ?
Brendan : Le principal défi est que beaucoup d’informations ne sont pas intégrées dans le contexte du modèle, donc il ne peut pas apprendre, et les gens oublient souvent de les ajouter. Par exemple, j’entends un ami dire qu’un produit d’une entreprise est excellent, mais cette information n’est jamais entrée dans le modèle. Garantir que toutes les lettres de recommandation, tous les détails interpersonnels soient saisis, est le défi principal. Nous avons constaté que, dès que les données essentielles sont intégrées dans le contexte du modèle, la plupart des problèmes sont résolus.
Jacob : Peut-être qu’à l’avenir, nos lunettes intelligentes enregistreront tout, et alimenteront en continu le modèle.
Brendan : Oui.
Jacob : Cela pourrait-il aller jusqu’au niveau de Bridgewater Associates ?
Brendan : Peut-être. Mais beaucoup d’entreprises refuseront, pour des raisons légales ou de conformité. Je pense néanmoins qu’il y aura de meilleures procédures pour permettre au modèle d’accéder au contexte. Par exemple, utiliser l’IA pour mener des entretiens de départ, interroger les managers et membres d’équipe pour collecter plus de détails. Les gens ont plein d’informations mentales. Si on réussit à les intégrer dans le modèle, on pourra faire des prédictions supérieures à celles des humains.
Patrick : De plus en plus de fondateurs et d’individus emmènent désormais un assistant IA aux réunions, donc beaucoup d’échanges sont enregistrés et accessibles à l’IA pour apprentissage. Très intéressant.
Jacob : On pourrait même utiliser les transcriptions de nos réunions pour que l’IA nous note et nous classe.
Patrick : Haha !
Jacob : À condition que je sois en tête du classement.
Patrick : Quelle est votre vision actuelle du marché de l’annotation de données ? Comment les différents acteurs se différencient-ils ? ScaleAI semble en avance, mais de nouveaux venus arrivent. Que pensez-vous de cet écosystème ?
Brendan : Je pense que la plupart des gens ne réalisent pas les transformations clés qui touchent le marché de l’annotation et de l’évaluation. Ce marché est totalement différent d’il y a deux ans. Avant, les modèles étaient insuffisants, faciles à piéger, et faisaient souvent des erreurs. Des lycéens ou étudiants pouvaient effectuer de nombreuses annotations ou évaluations via le crowdsourcing, pour collecter massivement des données — par exemple pour le fine-tuning supervisé (SFT) ou l’apprentissage par renforcement avec feedback humain (RHF), en choisissant entre différentes options préférentielles.
Mais à mesure que les modèles deviennent puissants, le modèle de crowdsourcing échoue, car on a désormais besoin de talents de haute qualité capables de collaborer directement avec les chercheurs, pour comprendre pourquoi le modèle réussit ou échoue, concevoir des données complexes capables de le piéger, reflétant les véritables difficultés à automatiser dans le monde réel. Notre plateforme permet justement de recruter rapidement ces talents experts.
C’est ce qui nous a permis de croître rapidement et de collaborer avec de grands laboratoires. Cette tendance va se poursuivre. Les entreprises qui restent coincées sur le crowdsourcing à grande échelle rencontreront de gros problèmes. Les nouveaux acteurs axés sur la qualité vont continuer à conquérir des parts de marché.
Patrick : Pensez-vous que la demande humaine dans le processus d’annotation durera toujours ? Les modèles deviennent de plus en plus forts, capables même d’entraîner de petits modèles. Quelle est votre vision de l’évolution future ?
Brendan : Mon avis est que tant qu’il existera dans l’économie des tâches que les humains peuvent faire mais que les modèles ne maîtrisent pas encore, nous aurons besoin de créer ou simuler des environnements pour que les modèles puissent apprendre. Certains domaines seront rapidement résolus, comme les maths ou le code — données peu volumineuses et faciles à vérifier — et les modèles les domineront rapidement. Mais d’autres domaines sont ouverts, comme l’évaluation de bons fondateurs ou de nombreux métiers intellectuels, qui relèvent de problèmes ouverts, difficiles à valider objectivement. Il faudra alors intégrer la compréhension humaine dans les modèles. C’est pourquoi je prévois une croissance exponentielle du marché des données humaines (human data) et des évaluations.
Jacob : Si je comprends bien, votre point de départ initial, votre inspiration, était que de brillants programmeurs vivent partout dans le monde mais n’ont pas accès à certains emplois, ce qui est crucial pour les données de programmation. Vous vous êtes clairement étendus à d’autres domaines. La programmation étant un cas parfait pour l’apprentissage par renforcement et l’évaluation, qu’avez-vous dû adapter ou améliorer en entrant dans des domaines plus flous et en recrutant des talents associés ?
Brendan : Je pense qu’il est très utile de s’inspirer des méthodes heuristiques utilisées manuellement par les humains. Par exemple, si vous voulez automatiser le travail d’un consultant, comment l’évaluer ? En lui proposant des études de cas, peut-être liées à son parcours.
Jacob : Votre équipe est probablement très douée pour évaluer des programmeurs, mais si vous souhaitez intégrer des médecins, comment savez-vous quels critères utiliser pour les évaluer ?
Brendan : C’est une question très pertinente. Quand on pénètre des domaines au-delà des compétences de l’équipe machine learning, on a besoin d’experts. Nous avons besoin de médecins pour nous aider à concevoir les critères d’évaluation des médecins, et c’est pareil pour d’autres secteurs. C’est aussi ce que doivent faire les chercheurs. Juger d’une réponse à un problème de physique au lycée est simple, mais pour un sujet de chimie de niveau doctorat, un chercheur sans formation spécifique ne pourra pas comprendre ni améliorer l’évaluation. C’est donc l’un des grands changements dont vous parliez précédemment : que ce soit pour évaluer des talents ou pour que les chercheurs évaluent les modèles, le processus deviendra plus collaboratif, nécessitant de travailler avec des experts pour faire progresser les modèles.
Jacob : Vous avez dit que ces contrats courts d’annotation de données étaient une entrée parfaite dans votre premier marché, avec une demande énorme, c’était le coin pour accéder à un marché du travail bout-en-bout. Pouvez-vous décrire le chemin et les objectifs intermédiaires pour concrétiser cette vision ?
Brendan : J’ai écrit un « plan secret du maître » à ce sujet. Mon analyse est que ce marché bénéficie d’un fort effet réseau, ce qui constitue à la fois une barrière à l’entrée et une difficulté à construire. Pour l’instant, nous nous concentrons fortement sur cette demande énorme, pour amplifier l’effet réseau et développer le marché.
Parallèlement, nous constatons que de grandes entreprises technologiques ont besoin de nombreux contractuels — par exemple, cent data scientists ou ingénieurs logiciels. Ces postes n’ont pas directement trait aux données humaines, mais répondent à un besoin similaire, simplement dans un marché plus traditionnel, jusque-là dominé par Accenture, Deloitte, etc. Nous en ferons notre deuxième priorité, puis étendrons à l’embauche en CDI. En réalité, notre activité initiale consistait à recruter des contractuels pour des amis ou pour nous-mêmes, dont beaucoup sont passés en CDI par la suite.
Ces activités sont continues, avec de nombreuses similarités. Toutes les entreprises veulent plus de candidats, un recrutement plus rapide, et une meilleure confiance dans les compétences. Tant que nous mesurons et améliorons continuellement ces indicateurs, nous pouvons accompagner chaque étape de croissance de l’entreprise.
Jacob : Y a-t-il eu un moment décisif où vous avez décidé de pivoter vers le domaine des données humaines, sentant une opportunité très claire ?
Brendan : Oui, cela remonte à mes études. Pour contextualiser, mes associés et moi nous sommes connus au lycée à 14 ans. À 18 ans, nous avons lancé ensemble notre première entreprise. Eux ont gagné de nombreux concours ; moi, j’étais moins doué, mais j’ai toujours entrepris. Plus tard, nous avons commencé à recruter des talents internationaux en Inde, notamment via le club de code IIT. Nous avons vu beaucoup de personnes brillantes sans emploi. Nous avons pensé les embaucher pour des projets, et nos amis étaient prêts à payer pour que nous les aidions à recruter. Nous avons ainsi gagné de petits frais de service, atteignant un chiffre d’affaires d’un million de dollars, avec un bénéfice net de 80 000 dollars après salaires.
Je suis fier de ça, mais mes parents n’étaient pas satisfaits. Seulement après notre levée de fonds, ils l’ont été. Pour répondre à votre question, en août 2023, un client nous a présenté un cofondateur de x.ai, alors encore basé dans les bureaux de Tesla. Il a dit que Mercor avait des super-ingénieurs indiens excellents en maths et en programmation. Dès le lendemain, le fondateur de x.ai nous a appelés, très enthousiaste. Deux jours plus tard, nous étions dans les bureaux de Tesla, face à presque toute l’équipe fondatrice de x.ai, sauf Elon, juste avant leur réunion avec lui. Nous étions encore étudiants, c’était incroyable. Nous nous demandions pourquoi ils voulaient tant notre produit ? Parce que le marché change trop vite, personne ne s’en rend compte. Maintenant que nous avons grandi et occupons une part stratégique du marché, nous pouvons en parler publiquement. Mais à ce moment-là, ils n’étaient pas encore prêts à utiliser les données humaines. Ce n’est qu’environ six mois plus tard que nous avons collaboré avec les laboratoires de pointe, et développé l’activité à grande échelle.
Jacob : Vous avez vu arriver la vague.
Brendan : Oui, je pense que beaucoup de fondateurs forcent trop la recherche du PMF (produit/marché). En réalité, il faut observer les signaux du marché : là où il y a de l’or, il faut creuser. Si les premières ventes sont très difficiles, la scalabilité sera encore plus ardue. Il faut identifier les clients les plus douloureux, les plus riches, ceux qui sont prêts à tout payer pour résoudre un problème, puis s’y consacrer pleinement.
Jacob : Vous avez maintenant dépassé la programmation. L’exemple du médecin m’a fait penser que les critères d’un bon médecin seront finalement utilisés par les entreprises de modèles pour entraîner leurs IA, afin de juger la justesse du raisonnement médical. Que faites-vous concrètement avec vos clients ?
Brendan : Un point clé où les humains surpassent encore l’IA est leur capacité à apprendre et progresser continuellement. Nous cherchons donc ces signaux indirects : par exemple, le candidat pose les bonnes questions, a une manière de penser correcte, un parcours dans des environnements à haute performance — tout cela l’aide à détecter les failles des modèles et à améliorer leurs capacités.
Jacob : Utilisez-vous vous-mêmes votre propre produit ? Comment l’appliquez-vous spécifiquement au recrutement ?
Brendan : Bien sûr, sauf pour les postes de direction. Pour les autres, nous l’utilisons entièrement. Pour les postes dirigeants, nous publions aussi les annonces, mais c’est surtout moi qui fais l’entretien, principalement pour vendre le poste, pas pour filtrer. Nos entretiens par IA sont très efficaces, souvent le signal le plus prédictif. Beaucoup sous-estiment les biais liés au « jugement d’ambiance » dans le recrutement, chacun pensant avoir un bon instinct.
Jacob : Le recrutement est l’industrie originelle du « vibe ».
Patrick : Les VC, eux, n’ont sûrement pas ce biais.
Brendan : C’est pourquoi nous prenons nos décisions basées sur les données de performance. Par exemple, pour recruter un responsable de projet stratégique, nous faisions auparavant une étude de cas humaine. Maintenant, tout se fait par entretien IA, et le taux de passage en CDI a même augmenté. L’entretien IA permet des comparaisons plus objectives et standardisées, sans que chaque intervieweur ait sa propre méthode.
Patrick : Pour vos propres évaluations, vous faites appel à des personnes extérieures ou vous le faites en interne ? Combien d’évaluations faites-vous vous-mêmes ?
Brendan : Nous utilisons des personnes externes pour notre propre processus d’évaluation, similaire à celui des clients. Bien sûr, les chercheurs participent aussi : analyser les causes d’erreurs du modèle, affiner la classification des erreurs, optimiser les données de post-entraînement. Les processus et les ressources humaines sont identiques.
Jacob : Vous avez évoqué l’utilisation de capacités multimodales pour juger de la passion, etc. Quels sont vos projets futurs concernant la vidéo, l’audio ?
Brendan : Je pense souvent au rôle du RL (apprentissage par renforcement) dans l’amélioration de la compréhension vidéo. Le RL excelle dans les problèmes de recherche, et la vidéo contient une énorme quantité d’informations, ce qui rend difficile le traitement par les modèles. Nous devons réfléchir à la façon de repérer les signaux clés dans un contexte multimodal — par exemple, si le candidat est très excité, ou s’il triche. Nous devons créer les bonnes données pour que le modèle se concentre sur ces signaux. Les laboratoires de pointe travaillent aussi à améliorer ces capacités de base.
Jacob : Comme vous l’avez dit, en quelques années, le marché de l’annotation a énormément changé. Où en sera-t-il dans deux ans ? Ce secteur existera-t-il encore ? Ne restera-t-il que des experts ?
Brendan : Je pense que ce sera une composante très importante. Notre objectif initial était de regrouper la main-d’œuvre pour une allocation plus efficace. L’enjeu clé est de comprendre quel rôle les humains joueront dans l’économie dans cinq ans.
La tendance que j’observe est que les humains se concentreront à l’avenir sur la création d’évaluations, pour enseigner aux modèles ce qu’ils ne savent pas encore faire, plutôt que de répéter indéfiniment les mêmes tâches. C’est pourquoi je suis très optimiste sur la transformation des métiers intellectuels vers l’évaluation, qui prendra probablement des formes plus dynamiques, comme résoudre des problèmes en dialogue avec un intervieweur IA. Je pense que c’est une composante essentielle de l’économie, mais peu de gens s’en rendent compte, car ils la confondent avec les marchés SFT et RHF, alors que la valeur de ces deux types de données diminue, tout comme les budgets alloués.
Patrick : Quelles compétences recommanderiez-vous de développer à l’avenir ? Si vous deviez conseiller un étudiant sur ce qu’il devrait apprendre, que diriez-vous ?
Brendan : Je recommanderais vivement de cultiver la capacité d’apprentissage rapide, car tout va trop vite. Dans de nombreux domaines, les gens pensent que les modèles mettront longtemps à progresser, mais en réalité, les percées surviennent rapidement. Il faut collaborer davantage avec l’IA. Sur notre plateforme, les gens disent souvent qu’ils aiment passer la journée avec les modèles, réfléchir à ce qu’ils ne savent pas faire, ce qui leur manque. Cette expérience les aide à identifier dans leur travail réel quels éléments utiliser avec l’IA pour gagner en efficacité. Donc, utilisez autant que possible les modèles, familiarisez-vous avec leurs forces et faiblesses dans votre domaine. C’est très utile, mais difficile de dire qu’il faut absolument devenir ingénieur logiciel ou autre chose.
Jacob : Très intéressant. À l’avenir, nous passerons peut-être beaucoup de temps à entraîner des modèles. Les compétences techniques ont des réponses justes/fausses, mais les domaines subjectifs sont presque infinis. Peut-être que nous pourrons un jour gagner de l’argent en travaillant pour notre propre modèle IA personnalisé.
Brendan : Tout à fait d’accord. Je recommande aussi de se concentrer sur les domaines à forte élasticité de la demande. Par exemple, le développement logiciel connaît une demande 100 ou 1000 fois supérieure dans l’économie — même sans créer 1000 nouvelles applications web, il y a des tonnes d’itérations fonctionnelles, d’optimisations d’algorithmes, etc. En revanche, la demande pour les comptables est assez fixe. Essayez donc de vous orienter vers des domaines où la demande croîtra fortement et où vous pourrez augmenter la productivité globale. C’est plus sécurisant.
Patrick : Vous avez raison. L’autre jour, je parlais à un fondateur qui disait : « Tout le monde parle de la disparition des ingénieurs logiciels, mais moi, j’ai vraiment besoin de plus d’ingénieurs. »
Brendan : Moi aussi, je suis enthousiaste. Si la productivité de nos ingénieurs logiciels augmente d’un facteur dix, nous embaucherons probablement encore plus d’ingénieurs. La relation entre demande et prix est toujours fascinante.
Jacob : Au début de votre创业, avez-vous été tentés de développer des outils de collaboration pour le recrutement ou des logiciels pour intermédiaires ? Pourquoi avez-vous choisi de faire un service bout-en-bout ? Cette décision était-elle prise dès le départ ?
Brendan : Dès le début, nous avons beaucoup réfléchi selon les principes premiers, ce qui nous a donné un avantage, car nous ne connaissions pas les pratiques traditionnelles. Nous savions que le problème que nos amis voulaient résoudre était simplement de trouver des ingénieurs logiciels fiables, donc nous avons pris en charge toutes les étapes. Mais en y repensant, je pense que de plus en plus d’entreprises iront vers le bout-en-bout, car il n’est pas logique de développer des outils de collaboration pour un poste qui risque de disparaître. Il est plus rationnel d’automatiser tout le processus, pour qu’il puisse apprendre et s’optimiser à partir des retours.
Jacob : Effectivement, surtout pour votre marché du travail par données, qui convient parfaitement à une approche bout-en-bout tant que les capacités de l’IA ne sont pas matures. Sans ce marché, vous auriez peut-être commencé par des outils de collaboration.
Brendan : Oui, par exemple pour l’embauche en CDI, les clients veulent forcément que l’employé
Bienvenue dans la communauté officielle TechFlow
Groupe Telegram :https://t.me/TechFlowDaily
Compte Twitter officiel :https://x.com/TechFlowPost
Compte Twitter anglais :https://x.com/BlockFlow_News
