Google : Après plusieurs jours d’essai, un constat s’impose : le chatbot conversationnel de Google n’est pas au niveau de la concurrence, qu’il s’agisse de ChatGPT ou de Bing. Le géant du Web en est conscient, et travaille à vite corriger sa copie.
Il y avait urgence, pour le géant du Web, à répondre à la nouvelle sensation tech. Et après une bonne semaine de tests divers sur la plate-forme, force est de constater que Bard a bel et bien été lancé dans la précipitation, tant il peine à convaincre face à ses deux principaux rivaux : ChatGPT et Bing.
Bard n’est pas encore au niveau de ChatGPT
Mais l’absence de maîtrise des langues étrangères n’est pas ce qui frappe le plus lorsqu’on utilise Bard. Après quelques « prompts », on remarque bien vite que le chatbot s’exprime moins bien que ses congénères Bing ou ChatGPT. Ses réponses ont tendance à être moins précises, plus courtes, et son style beaucoup plus académique et froid, parfois presque télégraphique. Un dialogue avec Bard n’apporte ainsi pas le sentiment – étrange et évidemment trompeur – d’avoir affaire à véritable interlocuteur de l’autre côté de l’écran, comme on peut occasionnellement le croire quand on discute avec ChatGPT.
Nous avons ainsi comparé les performances de Bard et celles de ChatGPT ou Bing dans de nombreux cas d’usages : résumés de pages Web, génération d’articles ou de poèmes, vulgarisation de notions scientifiques… Systématiquement, les résultats des services d’OpenAI se sont révélés meilleurs.
Bard a bien certaines qualités que ses congénères n’ont pas : il est par exemple en mesure de correctement résumer l’actualité sans (trop) se tromper ni fournir d’informations défraîchies. Il se débrouille également très bien pour résoudre des devinettes et des problèmes mathématiques. Mais Google, pris par le temps et sans doute aussi pour limiter les abus qui pourraient découler de l’utilisation de son robot, l’a bridé, et ça se sent immédiatement.
PaLM à la rescousse
Google est parfaitement conscient des lacunes de ce qu’il appelle toujours une « expérimentation », loin d’être un produit fini. Dans un podcast publié récemment par le New York Times, son patron Sundar Pichai ne s’est pas montré très tendre avec Bard : « j’ai l’impression que nous avons pris une Civic tunée puis l’avons mise dans une course avec des voitures plus puissantes. » Honda appréciera, comme les équipes de Google qui ont été vraisemblablement chargées de concocter Bard en urgence.
À la fin mars, ses équipes ont en effet discrètement amélioré ses capacités en mathématiques et logique en intégrant « certaines des avancées que nous avons développées dans PaLM », selon Jack Krawczyk, directeur produit Bard chez Google, sur Twitter. Sundar Pichai a par ailleurs annoncé, toujours au New York Times, que son chatbot allait être « mis à jour » sous peu afin de profiter des avancées de PaLM.
