Trier, dédoublonner et nettoyer des lignes
Triez les lignes, supprimez les doublons et les lignes vides, retirez les espaces superflus.
À propos de cet outil
Collez une liste et nettoyez-la : supprimez les espaces superflus, les lignes vides et les doublons (éventuellement en ignorant la casse), et triez-la par ordre alphabétique, naturel (item2 avant item10), par longueur, en ordre inverse, ou mélangez-la.
Mode d’emploi
- Collez une liste avec un élément par ligne.
- Choisissez ce qu’il faut nettoyer : supprimer les espaces en trop, les lignes vides, les doublons (éventuellement en ignorant la casse).
- Choisissez un ordre de tri : naturel, de A à Z, de Z à A, par longueur, inversé ou mélangé.
- Copiez le résultat. La ligne d’état indique combien de lignes et de doublons ont été supprimés.
Questions
- Qu’est-ce que le tri naturel ?
- Le tri naturel compare les nombres présents dans le texte selon leur valeur : item2 passe donc avant item10. Un tri alphabétique simple mettrait item10 en premier, car 1 vient avant 2.
- Quel doublon est conservé ?
- La première occurrence de chaque ligne est conservée et les copies suivantes sont supprimées : l’ordre d’origine est donc préservé, sauf si vous triez aussi.
- Le mélange est-il assez aléatoire pour un tirage au sort ?
- Il utilise le générateur aléatoire cryptographiquement sûr du navigateur avec un mélange de Fisher–Yates sans biais : tous les ordres sont donc équiprobables.
- Pourquoi certaines lignes en double ne sont-elles pas supprimées ?
- Les lignes se ressemblent mais ne sont pas identiques. Les causes courantes sont des caractères invisibles : une espace insécable au lieu d’une espace normale au milieu de la ligne, une espace de largeur nulle copiée depuis une page web, ou deux formes Unicode de la même lettre accentuée. Supprimer les espaces superflus ne nettoie que les extrémités d’une ligne, et avec Ignorer la casse désactivé, Apple et apple restent distinctes.
- Peut-on compter combien de fois chaque ligne apparaît ?
- Pas ici. La ligne d’état indique seulement le nombre total de doublons supprimés. Pour compter les occurrences, utilisez le shell : sort list.txt | uniq -c | sort -rn affiche chaque ligne distincte avec son nombre d’occurrences, les plus fréquentes en premier.
- Combien de lignes l’outil peut-il traiter ?
- Il n’y a pas de limite fixe. Les listes de plusieurs dizaines de milliers de lignes sont traitées pendant la saisie, et Ouvrir un fichier accepte les fichiers texte jusqu’à 50 MB. Tout s’exécute dans votre navigateur : les très gros fichiers dépendent donc de la mémoire de votre appareil, et rien n’est envoyé.
Comment supprimer les lignes en double d’une liste ?
Collez la liste, laissez Supprimer les doublons activé, et chaque ligne déjà apparue plus haut est supprimée. Avec Ignorer la casse activé, Apple et apple comptent comme la même ligne, et c’est l’orthographe de la première qui est conservée. Supprimer les espaces superflus s’exécute avant le dédoublonnage, donc « apple » suivi d’une espace correspond à « apple » : c’est la raison la plus fréquente pour laquelle un dédoublonnage semble rater des doublons évidents. La ligne d’état affiche le nombre de lignes avant et après.
Supprimer les lignes en double sert typiquement à nettoyer une liste de diffusion avant un import, à fusionner deux listes de noms d’hôtes ou de paquets, et à lister les valeurs uniques d’une colonne de tableur, que vous pouvez copier depuis Excel et coller directement. Pour les adresses e-mail, Ignorer la casse est généralement le bon choix, car les domaines ne sont pas sensibles à la casse et la plupart des fournisseurs ignorent aussi la casse dans la partie nom. Pour les chemins de fichiers et les identifiants sensibles à la casse, désactivez-le.
Trier des lignes en ligne ou avec la commande Unix sort ?
De A à Z et De Z à A trient les lignes selon les règles de la locale de votre navigateur, en ignorant la casse et les accents : apple, Banana et Éclair sortent donc dans l’ordre du dictionnaire. Un tri brut par ordre des octets, comme celui de sort avec LC_ALL=C ou d’Array.prototype.sort() sans comparateur, place toutes les majuscules avant toutes les minuscules et les lettres accentuées après z. Par longueur place les lignes les plus courtes en premier et départage les égalités dans l’ordre naturel.
Pour référence, les équivalents Unix sont sort -u pour trier et supprimer les doublons, sort -f pour ignorer la casse, sort -V pour l’ordre naturel ou par version, et uniq, qui ne supprime que les doublons adjacents et s’exécute donc généralement après sort. Contrairement à uniq, cet outil supprime les doublons n’importe où dans la liste et peut conserver l’ordre d’origine quand Trier est réglé sur Conserver l’ordre. Mélanger met la liste dans un ordre aléatoire, et Mélanger à nouveau donne un nouvel ordre.
Comment supprimer les lignes vides et les espaces superflus ?
Supprimer les lignes vides retire les lignes vides ou qui ne contiennent que des espaces et des tabulations, pour que les trous laissés par la copie d’un tableau ou d’un journal disparaissent. Supprimer les espaces superflus retire les espaces en début et en fin de chaque ligne, y compris les tabulations et les espaces insécables qui proviennent souvent de pages web et de PDF. Désactivez cette option quand l’indentation compte, par exemple dans un bloc YAML ou un extrait de code Python, et supprimez seulement les lignes vides.
Les fins de ligne sont normalisées au passage. Une entrée en CRLF Windows comme en LF Unix est correctement découpée en lignes, et le résultat utilise toujours des sauts de ligne LF. Les outils de lignes permettent ainsi de nettoyer rapidement une liste copiée depuis Excel ou un fichier texte Windows avant de la coller dans un script shell, un fichier .gitignore ou une configuration. Pour les longues listes, Télécharger enregistre le résultat dans lines.txt.
Quelque chose ne fonctionne pas, ou un résultat semble faux ? Signaler un problème avec cet outil