Поиск дубликатов в списке
«Ёлка», «елка» и «ЕЛКА » — один элемент или три? Вставьте список: найдём повторы с учётом регистра, буквы ё, пробелов и пунктуации — и отдадим чистую версию.
Зачем три режима
Точное сравнение находит только полные повторы — годится для кодов, артикулов и всего, где регистр значим.
Умное — режим по умолчанию для человеческих списков: имена, города, названия. «Ёлка», «елка» и «ЕЛКА» — это один элемент, а вот «кот» и «кот!» — разные.
Жёсткое отбрасывает всю пунктуацию и пробелы: «Jammin' Jars», «Jammin Jars» и «jammin-jars» склеиваются. Полезно для сверки каталогов и выгрузок из разных систем, где одно и то же название записано по-разному. Побочный эффект: «кто-то» и «кто то» тоже станут одним элементом — для обычных текстов это слишком агрессивно.
Типовой сценарий: две выгрузки — например, старый и новый список клиентов или товаров — вставляются вместе, и жёсткий режим показывает, что на самом деле пересекается, несмотря на разное написание.
Всё считается в браузере, список никуда не отправляется.
Почистить текст от мусорных символов перед сверкой можно в чистильщике текста, а посчитать частоты слов — в частотном анализаторе.