rStar-Math, le SLM qui a battu o1

La sortie de o1 par OpenAI en septembre 2024 a été une petite révolution, incomprise par certains.

Par rapport au précédent modèle star de OpenAI, le fameux GPT4-o, o1 s’illustre par une performance accrue, une architecture optimisée, une latence réduite et une intégration bien plus fluide avec des outils collaboratifs.

Plus étonnant, il démontre aussi des performances en mathématiques totalement inédites, capables de rivaliser pour la première fois avec des mathématiciens de haut niveau.

Le traitement des mathématiques par les Large Language Models est un sujet fascinant, car ils ne sont pas du tout faits pour ça à la base.

Par ailleurs, les LLMs sont connus pour patiner sur la résolution de problèmes mathématiques. Ceci en raison de leur manque de mémoire à long-terme et de leur faible capacité à manipuler des axiomes et du raisonnement de base (1+1=2).

Des chercheurs de Microsoft Asia se sont donc demandés s’il serait possible de battre ce modèle star de OpenAI, o1, avec des Small Language Models ultra-spécialisés dans le traitement des mathématiques.

Et la réponse est oui.

rStar-Math est un framework de manipulations de Small Language Models visant à leur appliquer un certains nombre de règles, afin d’optimiser la performance du traitement de problèmes mathématiques.

Ce framework est organisé en 3 blocs : • Un policy model, qui génère des options pour le déroulé du raisonnement. • Un modèle de préférences, qui évalue les options et choisi la plus pertinente • Un Monte Carlo Tree Search, MCTS pour les intimes, qui structure les différents chemins de raisonnements jusqu’à la résolution du problème

L’idée est donc d’adopter une approche itérative jusqu’à résolution du problème, avec une vérification à chaque étape pour éviter des hallucinations qui induiraient des erreurs de raisonnement.

Par ailleurs, rStar-Math inclut une nouvelle méthode dite de “Code-augmented Chain-of-Thought”, permettant de décomposer les étapes du raisonnement mathématiques en langage naturel, pour jouer sur les points forts du modèle et augmenter encore la précision des réponses.

Les performances sont impressionnantes : avec seulement 7 milliards de paramètres, rStar-Math rivalise sans problème avec o1-preview et o1-mini, et le surpasse même sur les problèmes les plus complexes.

rStar-Math est donc sans doute le début de quelque chose dans l’Intelligence Artificielle appliquée aux mathématiques, mais aussi un rappel de l’importance de l’optimisation des modèles comme facteur de performance.

Le papier introduisant rStar-Math est disponible sur arXiv : https://lnkd.in/e2DAS98U

Post LinkedIn originel : https://www.linkedin.com/posts/guillaumebesson_la-sortie-de-o1-par-openai-en-septembre-2024-activity-7294610703926128640-n_uZ