Les chatbots ne sont plus des assistants virtuels qui disent simplement « bonjour ». Les systèmes actuels sont des machines intelligentes basées sur le traitement du langage naturel (NLP), l'apprentissage profond et les grands modèles de langage (LLM) capables d'établir une signification contextuelle et même de détecter le ton émotionnel. Mais derrière cette intelligence, il ne s’agit pas seulement d’un appel API ; Il existe une discipline d'ingénierie interdisciplinaire. Dans cet article, nous aborderons le sujet de la formation des chatbots avec intelligence artificielle, en partant de zéro, d'un point de vue technique et médico-légal. Que faire à chaque étape, que ne pas faire, quelles erreurs sont critiques, quels ensembles de données sont fiables : tout est là.

1. Composants de base de la formation Chatbot

La formation Chatbot se compose de trois composants de base : les données, le modèle et l'évaluation. Ces trois éléments forment un cycle entrelacé. Si les données manquent, le modèle n'a aucun sens, si le modèle est erroné, les données sont inutiles et si l'évaluation est insuffisante, le système s'effondre dans des scénarios du monde réel.

1.1. Préparation des ensembles de données : qualité, quantité et propreté

Les données sont le « cerveau » du chatbot. Cependant, si ce cerveau est nourri avec des données contaminées, il deviendra fou. L’erreur la plus courante aujourd’hui consiste à utiliser des données de chat aléatoires collectées sur Internet. Ces données peuvent contenir des informations erronées, des grossièretés, des préjugés et des répétitions. Par conséquent, les étapes suivantes sont essentielles lors de la préparation de l'ensemble de données :

• Nettoyage : les balises HTML, les espaces inutiles, les emojis et les phrases répétitives doivent être filtrés.
• Normalisation : conversion de casse, correction des caractères turcs (par exemple "s" au lieu de "ş"), les fautes d'orthographe peuvent être corrigées.
• Étiquetage : les libellés tels que l'intention, l'entité ou le sentiment doivent être attribués par des méthodes manuelles ou semi-automatiques.
• Déséquilibre : certaines intentions (par exemple, « demande de paiement ») surviennent beaucoup plus fréquemment que d'autres (« merci »). Dans ce cas, un suréchantillonnage ou une pondération de classe doit être appliqué.

Exemple : Si vous développez un chatbot bancaire, il doit y avoir des données suffisantes et représentatives pour des intentions telles que « demande de prêt », « solde du compte », « historique des transactions ». Sinon, lorsque le bot demande du « crédit », il peut répondre « météo ».

1.2. Sélection du modèle : basée sur des règles, ML ou LLM ?

La sélection du modèle dépend de l'objectif du chatbot. Trois approches de base sont comparées ci-dessous :

Aujourd'hui, les solutions les plus efficaces sont les LLM et les architectures de réglage fin ou de Retrieval-Augmented Generation (RAG). Surtout dans les langues à faibles ressources telles que le turc, les systèmes construits sur des modèles pré-entraînés (par exemple TrOCR, BERTurk, mGPT) sont plus efficaces.

2. Mise au point : personnalisation de grands modèles linguistiques

La mise au point est le processus d'adaptation d'un LLM à une tâche ou un domaine spécifique. Par exemple, si vous souhaitez transformer un modèle GPT à usage général en chatbot pharmaceutique, vous devez recycler le modèle avec des données telles que les termes pharmaceutiques, les interactions médicamenteuses, les requêtes de prescription.

2.1. Stratégies de réglage fin

Le point le plus critique à prendre en compte lors du réglage fin : la qualité et la diversité des données. Les stratégies suivantes sont couramment utilisées :

• Réglage complet : tous les paramètres du modèle sont mis à jour. Hautes performances, mais coûteuses et le risque de surajustement est élevé.
• LoRA (Low-Rank Adaptation) : seules les petites couches d'adaptateurs sont entraînées. Le modèle original est figé. Faible coût, haute efficacité.
• Réglage des invites : les paramètres du modèle ne changent pas, seul un préfixe (invite) est ajouté à l'entrée. Effet rapide mais limité.

Exemple : L'entraînement d'un modèle Mistral-7B avec les données du service client turc avec LoRA nécessite 90 % de mémoire GPU en moins qu'un réglage fin complet et peut produire des résultats avec la même précision.

2.2. Format des données et ingénierie des invites

Les données de réglage fin doivent généralement être au format suivant :

{
  "prompt": "Utilisateur : Il n'y a pas d'argent sur mon compte, mais la facture est arrivée. Que dois-je faire ?",
  "completion": "Bot : Tout d'abord, ne vous inquiétez pas. Vous pouvez reporter la date de paiement ou payer en plusieurs fois. Partagez simplement votre numéro de client pour que je puisse vous aider."
}

À quoi faire attention ici : Il doit y avoir une distinction claire entre l'invite et l'achèvement. De plus, les erreurs grammaticales, les abréviations (« ne news » au lieu de « nbr ») et les emojis doivent être filtrés dans les ensembles de données turcs. L'ingénierie rapide devient particulièrement critique avec un apprentissage en quelques étapes. Par exemple :