Apertus, le grand modèle d’IA suisse : forces, limites et perspectives

Vue d’ensemble du modèle Apertus

Après des semaines d’attente, l’École polytechnique fédérale de Zurich (EPFZ) et l’EPFL ont présenté Apertus, un grand modèle de langage conçu au niveau national. Swissinfo a évalué Apertus en sollicitant des développeurs et des spécialistes de l’IA afin de clarifier les points forts et les limites du système.

Usage et public visé

Apertus n’est pas destiné à un usage personnel comparable à ChatGPT; il s’agit d’un modèle de base qui peut être adapté à diverses applications et services, notamment dans l’économie et la recherche. Il pourrait être utile dans le commerce électronique ou dans le domaine médical pour filtrer les informations essentielles à partir de données multilingues. Le responsable technique de l’EPFZ indique que le grand public ne constitue pas la cible principale.

Concurrence avec les grands LLM

À ce stade, Apertus est considéré comme le LLM entièrement ouvert le plus puissant connu, mais il ne se situe pas au même niveau que des modèles brevetés tels que GPT-4, Gemini ou Claude, entraînés sur des ensembles de données beaucoup plus volumineux et soutenus par d’importantes ressources de calcul. Selon El Mahdi El Mhamdi, professeur à l’École polytechnique de Paris, comparer Apertus aux IA des grandes entreprises revient à comparer un petit producteur du Valais à un grand producteur de bœuf. Des chercheurs ajoutent que les modèles plus petits peuvent être plus productifs et plus accessibles pour les PME tout en consommant moins d’énergie, soulignant que la qualité des données peut primer sur leur quantité.

Éthique et transparence

Apertus est présenté comme le premier grand modèle de langage IA conçu pour répondre aux exigences de l’acte européen sur l’IA, entré en vigueur en 2024. Les jeux de données utilisés pour l’entraînement proviennent de sources publiques et légales et n’incluent pas de contenu protégé par le droit d’auteur ni de sites ayant choisi d’être exclus des bases d’entraînement. En parallèle, les géants de la tech exploitent depuis longtemps les données d’un grand nombre d’utilisateurs sans leur consentement.

Pour les entreprises, les instituts de recherche et les organismes publics qui souhaitent développer des applications IA dans le cadre de ces règles, Apertus apparaît comme une option éthique et conforme. Selon Imanol Schlag, il serait possible d’entraîner une IA de manière responsable sans porter atteinte à la propriété intellectuelle d’autrui.

Capacités linguistiques et limites

Les développeurs affirment qu’Apertus a été entraîné sur plus de 1800 langues, incluant des langues minoritaires et des dialectes souvent ignorés par d’autres LLM, tels que le romanche et le suisse allemand. Toutefois, maîtriser une langue ne garantit pas une expression irréprochable; lors des tests, l’outil a parfois produit des formulations bancales en italien et donné une traduction incorrecte du mot grand-père en romanche. Le responsable du développement reconnaît que les capacités conversationnelles nécessitent des améliorations, tout en soulignant que le système surpasse déjà d’autres modèles pour certaines tâches, notamment la traduction de l’allemand vers le romanche, selon le dernier rapport technique.

Portée géographique et neutralité

Bien qu’élaboré en Suisse par des institutions nationales, Apertus ne se limite pas à une utilisation strictly helvète. La plupart des données d’entraînement proviennent de sources internationales, avec quelques exceptions pour des données en romanche et en suisse allemand et l’intégration d’une charte de valeurs suisses imposant neutralité et diversité linguistique. Selon Imanol Schlag, mis à part ces éléments, le modèle n’a pas vocation à être exclusivement suisse.

L’équipe espère que d’autres pays s’intéresseront au projet et contribueront à son développement en apportant infrastructures, personnel et ressources. L’objectif évoqué est d’étendre Apertus à l’échelle européenne, puis mondiale.

Mises à jour et perspectives techniques

Contrairement à certaines idées reçues, aucun LLM ne peut se mettre à jour en temps réel via une simple connexion Internet. Une fois entraîné, il demeure statique et les corrections nécessitent un nouveau cycle d’entraînement, coûteux et réservé à ceux disposant de ressources suffisantes. Pour le prochain entraînement, Apertus bénéficiera d’un financement fédéral de 20 millions de francs et du supercalculateur Swiss Alps, alimenté par l’énergie hydroélectrique afin de limiter l’empreinte énergétique. À long terme, des financements complémentaires seront nécessaires pour soutenir le développement et l’autonomie numérique. Selon les responsables, investir dans cette technologie est essentiel pour la souveraineté numérique de la Suisse.