Nettoyeur de texte IA

Ce que font réellement les caractères cachés

Ils sont invisibles et ils ne sont pas neutres. Un espace de largeur nulle à l'intérieur d'un mot empêche la recherche, le rechercher-remplacer, la correction orthographique et les outils de diff de le reconnaître, donc la même phrase semble être deux chaînes différentes. Un trait d'union conditionnel s'affiche comme un trait d'union dans un éditeur et disparaît dans un autre, donc le même paragraphe se contredit sur l'orthographe. Un contrôle bidirectionnel inverse l'ordre visuel du texte autour de lui, ce qui fait qu'une chaîne qui semble innocente dans un navigateur devient autre chose quand elle atteint une base de données. U+2028 et U+2029 sont pires qu'invisibles : collez-en un dans du JavaScript ou du JSON et le script casse avec une erreur de syntaxe qui pointe vers une ligne qui semble vide. Rien de tout cela n'est un logiciel malveillant. C'est le débris de texte qui a été assemblé, tokenisé, copié entre systèmes et recollé.

Comment fonctionne le nettoyeur

Chaque caractère que vous collez est examiné par point de code et classé dans l'un de sept groupes. Chaque groupe est signalé avec un décompte et les points de code exacts trouvés, par exemple U+200B (3), U+00A0 (1), pour que le résultat soit auditable plutôt qu'une boîte noire qui dit « nettoyé ». La suppression est ciblée : les caractères de largeur nulle, les contrôles bidi, les traits d'union conditionnels, les codes de contrôle et les sélecteurs de variation sont supprimés ; les espaces inhabituels et les séparateurs de ligne sont normalisés en espace simple ou en saut de ligne pour que la structure de votre paragraphe survive. Tout le reste, y compris chaque mot visible, est intact. L'option facultative convertit les guillemets courbes, les tirets demi-cadratin et cadratin et les points de suspension en ASCII, et elle est désactivée par défaut parce que c'est une décision différente de celle de retirer ce que vous ne voyez pas.

Quand cela compte

Trois endroits, surtout. D'abord, la publication : du contenu collé depuis une fenêtre de chat dans un CMS peut arriver avec des caractères invisibles qui casseront plus tard un extrait, une méta-description ou un flux RSS. Ensuite, l'ingénierie : une valeur de configuration, une fixture de test ou une chaîne de traduction avec un caractère de largeur nulle parasite échoue d'une manière qui coûte un après-midi. Enfin, la conformité et l'accessibilité : les caractères invisibles sont lus à voix haute par certains lecteurs d'écran comme rien du tout, ou comme une pause, ce qui est déroutant quand ils se trouvent dans un mot. Lancer le nettoyeur avant de coller coûte moins cher que de déboguer après.

Ce que le nettoyage ne corrige pas

Frontière honnête : un collage propre n'est pas un collage visible. Retirer des caractères cachés n'améliorera pas la façon dont ChatGPT, Perplexity ou Google vous décrivent, car ces systèmes décident quelles pages récupérer et citer, pas quelles chaînes sont bien rangées. C'est un problème différent avec une correction différente : du contenu crawlable, une structure claire et les sources tierces auxquelles un moteur de réponses fait confiance. Notez une page avec le vérificateur de préparation aux réponses IA, puis définissez vos règles de crawlers IA pour que les moteurs puissent l'atteindre, et consultez les preuves sur ce qui fait réellement bouger une réponse IA avant d'y consacrer un budget.