Kai-Fu Lee, l’informaticien connu en Occident pour son best-seller Superpuissances de l’IA et en Chine pour ses paris sur licornes d’intelligence artificiellea une nouvelle entreprise – et une grande ambition.
Fin mars, Lee a lancé une société appelée 01.IA avec la vision de développer un grand modèle linguistique local pour le marché chinois. Cette entreprise le met en concurrence avec d’autres leaders technologiques chinois de premier plan, notamment Wang Xiaochuan, fondateur de Sogouqui ont rapidement rassemblé des talents et du capital-risque pour établir l’équivalent chinois d’OpenAI.
« Je pense que la nécessité est la mère de l’innovation, et il existe clairement une énorme nécessité en Chine », a déclaré Lee à TechCrunch dans une interview, expliquant la motivation derrière le lancement de 01.AI. « Contrairement au reste du monde, la Chine n’a pas accès à OpenAI et à Google parce que ces deux sociétés n’ont pas rendu leurs produits disponibles en Chine. Je pense donc que beaucoup de personnes faisant du LLM essaient de contribuer à la création d’une solution pour un marché. cela a vraiment besoin de ça.
La croissance de 01.AI reflète parfaitement le développement rapide du domaine de l’IA générative. Sept mois après sa création, la startup a sorti son premier modèle, le open-source Yi-34B. La décision d’introduire un LLM ouvert comme premier produit est un moyen de « redonner » à la société, a déclaré Lee. Pour les personnes qui ont estimé que LLaMA était une « aubaine », « nous avons fourni une alternative convaincante », a-t-il ajouté.
Au moment de la rédaction, le Yi-34B, qui est un modèle de base bilingue (anglais et chinois) entraîné avec 34 milliards de paramètres et nettement plus petit que d’autres modèles ouverts comme le Falcon-180B et le Meta LlaMa2-70B, est arrivé premier parmi les modèles LLM pré-formés, selon un classement de Hugging Face.
« Nous pensons toujours que les modèles plus grands, lorsqu’ils sont bien entraînés sur une grande quantité de données de haute qualité, surpasseront toujours les modèles nettement plus petits de qualité et de technologie comparables. [Yi-34B] surpasser des modèles beaucoup plus grands est quelque chose que nous ne voyons généralement pas », a déclaré Lee. « Nous sommes convaincus que, alors que nous publions des modèles de 100 à 400 milliards au cours de la prochaine année, un an et demi, ces modèles seront considérablement meilleurs que le modèle d’aujourd’hui que nous avons annoncé. »
La capacité de la startup à commencer rapidement la formation de modèles est sans aucun doute le résultat de sa collecte de fonds fluide, essentielle pour sécuriser les talents et les processeurs d’IA de haut niveau. Tout en refusant de divulguer le montant collecté par 01.AI, Lee a déclaré qu’il était évalué à 1 milliard de dollars après avoir reçu un financement de Sinovation Ventures, d’Alibaba Cloud et d’autres investisseurs non divulgués.
01.AI compte déjà plus de 100 employés, dont plus de la moitié sont des experts LLM issus de grandes entreprises technologiques multinationales et chinoises. Son vice-président de la technologie, par exemple, est l’un des premiers membres de Bard de Google, et son architecte en chef était un membre fondateur de TensorFlow et a travaillé aux côtés de chercheurs renommés comme Jeff Dean et Samy Bengio chez Google Brain. Les personnalités clés derrière Yi-34B sont Wenhao Huang, un vétéran de Microsoft Research Asia, et Ethan Dai, qui a occupé des postes de direction en IA chez Huawei et Alibaba.
Ayant soutenu plus de dix licornes et créé sept entreprises par le biais de Sinovation Ventures, Lee est probablement l’un des investisseurs et entrepreneurs les mieux connectés en Chine.
« Cela fait, vous savez, plus de 25 ans depuis la création de Microsoft Research Asia, et tout ce que j’ai fait a pour but de recruter de très grands talents », a déclaré Lee, qui a lancé Microsoft Research Asia, le plus grand centre de recherche du géant américain à l’étranger. avant de vous diriger vers Google Chine. Au fil des années, Microsoft Research Asia a acquis la réputation de « West Point » pour le développement des entrepreneurs chinois en IA.
« Maintenant, bien sûr, vous voulez payer les gens équitablement, et vous devez être compétitif en termes de rémunération, mais je pense vraiment qu’il faut aussi que les gens croient qu’ils peuvent faire la différence et que l’entreprise peut réussir », a ajouté Lee.
Ce n’est un secret pour personne que la création de LLM est une entreprise coûteuse. Pour pérenniser ses opérations gourmandes en liquidités, 01.AI a dès le départ des projets de monétisation. Même si la société continuera d’ouvrir certains de ses modèles en open source, son objectif est de créer un modèle propriétaire de pointe qui servira de base à une gamme diversifiée de produits commerciaux.
« Nous Je ne peux pas tout ouvrir en source », a déclaré Lee. « Nous étions tout à fait conscients du fait que ces grands modèles de langage nécessitent beaucoup de calcul et sont donc très coûteux. Lorsque nous collectons beaucoup d’argent, la majeure partie sera dépensée pour le GPU. Compte tenu de cela, nous devions d’abord acquérir autant de GPU que possible, ce que nous avons fait.
Comme d’autres acteurs LLM en Chine, 01.AI a stocké de manière proactive des GPU en prévision des sanctions américaines ; elle a emprunté de l’argent pour acheter des processeurs avant même d’obtenir du financement. Au cours de l’année écoulée, l’administration Biden a renforcé les restrictions sur l’accès de la Chine aux puces d’IA haut de gamme, incitant les entreprises chinoises à payer des prix gonflés pour les puces. La prévoyance a été récompensée : 01.AI dispose désormais d’un approvisionnement suffisant pour au moins les 12 à 18 prochains mois.
En plus de causer des maux de tête aux entreprises chinoises, les sanctions américaines ont été un catalyseur d’innovation en les encourageant à optimiser l’utilisation de la puissance de calcul. « Avec une équipe d’infrastructure de très haute qualité, pour 1 000 GPU, nous pourrions être en mesure d’en extraire une charge de travail de 2 000 GPU », a déclaré Lee.
Le chemin de 01.AI vers la monétisation dépend en grande partie de sa capacité à trouver des produits adaptés au marché pour ses modèles d’IA coûteux. Même si les scientifiques LLM de premier ordre sont rares, les talents en matière de produits ne manquent pas en Chine.
« La Chine n’est pas en avance sur les États-Unis en LLM, mais il ne fait aucun doute que la Chine peut créer de meilleures applications que les développeurs américains, principalement grâce au phénoménal écosystème Internet mobile qui a été construit au cours des 12 dernières années », a expliqué Lee.
Bien que le fondateur n’ait donné aucun détail sur les services en cours, il a laissé entendre que l’entreprise expérimentait des concepts dans les domaines de la productivité et du social, et qu’il serait « déçu » si 01.AI ne publiait pas d’application dans ce calendrier. année.
Selon Lee, l’objectif ultime de la startup est de devenir un écosystème dans lequel les développeurs externes peuvent facilement créer des applications. « Le devoir n’est pas seulement de proposer de bons modèles de recherche, mais, plus important encore, de faciliter le développement d’applications afin qu’il puisse y avoir des applications convaincantes », a-t-il déclaré. « À la fin de la journée. C’est un jeu écosystémique. Le temps nous dira si les efforts de Lee en matière d’IA porteront leurs fruits.
