INFO-BIZ.TOP > Блог > Как удалить дубликаты из таблиц и списков

Как удалить дубликаты из таблиц и списков

Опубликовано admin , дата 19 сентября 2017


Удаление повторяющихся данных из таблиц и списков

Удаление дублирующих строк в Notepad++

Надо удалить повторяющиеся строки в текстовом файле? Воспользуемся Notepad++.
Прямой функции в Notepad++ нет, для этого воспользуемся функциями программы.
Допустим, что у нас есть файл, в котором в колонку внесены адреса, данные или ключевые слова (фразы). Мы знаем, что в этом списке множество дубликатов. Как удалить их?

• Первый способ
- Запустите окно замены в файле и введите команду: ^(.*?)$\s+?^(?=.*^\1$)
При этом настройки замены должны быть как на рисунке:
- Нажмите "Заменить всё". Повторяющиеся строки удалятся.
При этом останутся не первые варианты строк, а последние повторы.

• Второй способ
Если надо удалить повторы так, чтобы оставалось первые варианты строк, а не последние, то поступим по другому.
Мы поменяем порядок строк, а потом просто применяем первый способ, а потом меняем обратно.
Правда для этого нам потребуется плагин TextFX. Установка его не сложная.

Для изменения порядка строк:
- Выделите весь текст Ctrl + A.
- Вставьте номера строкам: TextFX → TextFX Tools → Insert Line Numbers.
- Если стоит флажок TextFX → TextFX Tools → +Sort ascending, то его убрать.
- Отсортируем строки TextFX → TextFX Tools → Sort lines case sensitive (at column).
- Удаляем номера строк TextFX → TextFX Tools → Delete Line Numbers or First Word.

Потом используем первый способ для удаление повторяющихся строк.
А потом обратно меняем порядок строк.

• Третий способ не сложнее.
Используйте специализированные онлайн сервисы для удаления дубликатов.
Правда в них часто пропадают и уникальные данные...
Значит лучше перестраховаться и использовать разные способы.


Удаление дубликатов в Excel
Найти, выделить или удалить дубликаты в Excel

В Excel файлах, дубликаты не редкость, особенно если вы занимаетесь такими видами бизнеса как "Контекстная реклама" или "E-mail маркетинг.
Вы создаете составную таблицу из других таблиц и что естественно, обнаружите в ней множество повторяющихся значений.
Дубликаты могут возникнуть в одном столбце, в нескольких столбцах или даже во всем листе.
В Microsoft Excel реализовано несколько инструментов поиска, выделения и, при необходимости, удаления повторяющихся значений.
Рассмотрим основные методики определения дубликатов в Excel.

• Удаление повторяющихся значений в Excel (2007+)

Предположим, у вас имеется таблица, состоящая из трех столбцов, в которой присутствуют одинаковые записи и вам необходимо избавится от них.
Выделяем область таблицы, в которой хотите удалить повторяющиеся значения.
Вы можете выделить один или несколько столбцов, или всю таблицу целиком.

- Переходим по вкладке "Данные" в группу "Работа с данными", щелкаем по кнопке "Удалить дубликаты".

- Если в каждом столбце таблицы имеется заголовок, установите маркер Мои данные содержат заголовки. Проставляем маркеры напротив тех столбцов, в которых требуется произвести поиск дубликатов.

Кликаем ОК и диалоговое окно будет закрыто, а строки содержащие дубликаты будут удалены.

Функция предназначена для удаления записей, которые дублируют строки в таблице.
Даже если вы выделили не все столбцы, содержащие дубликаты, всё-равно строки с повторяющимися значениями будут удалены.

• Использование расширенного фильтра для удаления дубликатов

- Выберите любую ячейку в таблице, перейдите по вкладке "Данные" в группу "Сортировка" и "Фильтр", а далее по кнопке "Дополнительно".

В появившемся окошке "Расширенный фильтр", установите переключатель в положение "Скопировать результат в другое место".
В поле "Исходный диапазон" укажите диапазон, в котором находится таблица.
В поле "Поместить результат в диапазон" укажите верхнюю левую ячейку будущей отфильтрованной таблицы и установите маркер "Только уникальные значения".
Смело жмите ОК.

На месте, указанном для размещения результатов использования расширенного фильтра, будет создана еще одна таблица, но уже с уникальными данными.

• Выделение повторяющихся значений с помощью условного форматирования в Excel (2007+)

Выделяете таблицу, в которой необходимо удалить дубликаты.
Переходите по вкладке "Главная" в группу "Стили".
Выбираете "Условное форматирование", затем "Правила выделения ячеек", а в них "Повторяющиеся значения".

В появившемся окне "Повторяющиеся значения", выбраем "формат выделения дубликатов".
У всех по умолчанию установлены пользовательские значения.
Заметьте, что в данном случае, Excel будет сравнивать на уникальность не всю строку таблицы, а лишь ячейку столбца и если у вас имеются повторяющиеся значения только в одном столбце, Excel отформатирует их тоже.


Как удалить дубликаты строк в Calc.LibreOffice

Имеется файл в LibreOffice с большим количеством строк (ключевые слова или список адресов).
Всё это повторяется и много раз. Нам требуется удалить строки со всеми повторами.
Решается это просто, инструментами Calc из пакета LibreOffice.

Сделайте следующее:
- Выделите ячейки или сразу целый столбец.
- Выберите пункт меню «Данные» > «Фильтр»> «Стандартный фильтр» (»Data» > «Filter» > «Standard Filter»).
- Установите правило вида: «поле1 = Не пусто» («field1 = Not empty»).
- В пункте «Расширенные» («More») нужно отметить чекбокс «Без повторений» (»Remove Duplicate»).
- Жмите смело ОК


Зачастую бывает, что голова забита разной инфой и вроде знаешь как делать, но неожиданно впадаешь в ступор, усердно вспоминая КАК это делать...
Именно как напоминалка и написана эта статья.
Надеемся она будет полезной Вам!

Комментарии

Чтобы добавить комментарий нужно авторизоваться Авторизация »

© 2017 INFO-BIZ.TOP. Все права защищены.
Шаблон Desk Mess Mirrored создан BuyNowShop.com. Concrete5 Russia