Удалить дубли строк
Из 5 строк «яблоко, груша, яблоко, слива, груша» останутся 3 — порядок первого появления сохранится, а счётчик покажет, что удалено 2 дубля. Регистр и пробелы по краям учитываются по флажкам.
Инструмент
Как удалить дубли строк
Вставьте текст, в котором каждое значение занимает отдельную строку, — результат появится мгновенно. Инструмент проходит по списку сверху вниз, запоминает каждую новую строку и пропускает те, что уже встречались. Порядок не меняется: если «яблоко» стояло первым, оно первым и останется, а его повтор на третьей строке исчезнет. Под результатом видно, сколько строк было, сколько осталось и сколько удалено.
ключ строки = [обрезать пробелы по краям] → [привести к нижнему регистру]
строка удаляется, если её ключ уже встречался выше
Пример вручную: список «ivanov@mail.ru», « ivanov@mail.ru », «Ivanov@mail.ru» при включённых флажках «Учитывать регистр» и «Игнорировать пробелы» даёт две уникальные строки — первая и вторая совпали после обрезки пробелов, а третья отличается заглавной буквой. Снимите учёт регистра — останется одна строка, удалено 2. Именно так стоит чистить базу e-mail перед рассылкой: почтовые сервисы на практике не различают регистр, и Ivanov@mail.ru получит письмо дважды.
Где нужна очистка списков от повторов
- Ключевые слова для рекламы и SEO. После сбора запросов из Wordstat, Keys.so и подсказок список из 3 000 фраз обычно содержит 20–30 % повторов. Дубли завышают бюджет в Яндекс Директе и мешают кластеризации.
- Базы контактов. Телефоны и e-mail, выгруженные из CRM, сайта и мессенджера, пересекаются. Уникальный список нужен для рассылок, загрузки аудиторий в рекламный кабинет и подсчёта реальных клиентов.
- Артикулы и штрихкоды. При сверке остатков магазина товары из двух накладных повторяются; после удаления дублей число строк покажет реальный ассортимент.
- Логи и выгрузки. Повторяющиеся строки ошибок в логе сервера или одинаковые адреса из аналитики схлопываются в список уникальных значений, с которым проще работать.
- Списки участников. Регистрация на мероприятие через несколько форм даёт двойные записи; очистка перед печатью бейджей экономит бумагу и время.
Учитывать регистр или нет
Выбор зависит от природы данных. Для e-mail, доменов, хештегов и артикулов регистр не важен — снимите флажок, иначе «SKU-100» и «sku-100» останутся оба. Для паролей, промокодов, идентификаторов в базах данных и названий переменных в коде регистр значим: «Token» и «token» — разные значения, флажок должен стоять. Фамилии и названия городов лучше сравнивать без учёта регистра, но результат стоит просмотреть: «Иванов И. И.» и «Иванов И.И.» отличаются пробелом внутри и дублями не считаются. В таких случаях сначала уберите лишние пробелы отдельным инструментом, затем удаляйте повторы.
| Данные | Учитывать регистр | Пробелы по краям |
|---|---|---|
| E-mail, домены, хештеги | нет | игнорировать |
| Ключевые слова | нет | игнорировать |
| Промокоды, токены, пароли | да | учитывать |
| Артикулы, штрихкоды | нет | игнорировать |
| Имена переменных, теги в коде | да | учитывать |
Вопросы и ответы
Как удалить повторяющиеся строки в списке?
Вставьте список, где каждое значение стоит на своей строке, — инструмент сразу покажет уникальные строки и число удалённых дублей. Первое вхождение остаётся на месте, повторы ниже исчезают. Кнопка «Копировать» переносит результат в буфер обмена.
Считаются ли «Москва» и «москва» одной строкой?
По умолчанию нет: флажок «Учитывать регистр» включён, и строки сравниваются буква в букву. Снимите его — и «Москва», «москва», «МОСКВА» станут одним значением, останется первый вариант написания. Буквы е и ё при этом остаются разными.
Почему строки с пробелом в конце не считаются дублями?
Считаются, если включён флажок «Игнорировать пробелы по краям» — он снимает пробелы и табуляции в начале и конце строки перед сравнением, но сам текст в результате не меняет. Пробелы внутри строки («Санкт Петербург» и «Санкт Петербург») различаются всегда.
Как убрать дубликаты в Excel и Google Таблицах?
В Excel выделите столбец и нажмите Данные → Удалить дубликаты, в Google Таблицах — Данные → Очистка данных → Удалить дубликаты. Оба способа не показывают, какие именно строки исчезли. Онлайн-инструмент удобен для списков из письма, мессенджера или текстового файла.
Что происходит с пустыми строками?
Пустые строки не считаются дублями и остаются на месте — обычно они разделяют абзацы или группы значений. Если список должен быть сплошным, включите флажок «Удалить пустые строки»: исчезнут и пустые строки, и строки из одних пробелов, счётчик покажет их отдельно.
Обновлено: