Работа с дубликатами

Дубликаты записей могут создавать ошибки в аналитике, путаницу в данных.

Основная информация

Данное вычисление позволяет проверить записи на уникальность по заданному полю и пометить одну из записей как основную, остальные как дубликат. Если дубликатов нет, то запись будет помечена как уникальная или имеющее пустое значение по заданному полю поиска дубликатов.

Дубликаты чаще всего ищут в таблице «Клиенты» и для поиска используют поля:

• E-mail
• Телефон
• Адрес
• Название компании

Работа с дубликатами

Рекомендуем следующий алгоритм работы с дубликатами:

1. Поиск дубликатов. Определите критерии дублирования значений и найдите дубликаты вручную или с использованием данного вычисления/допдействия.
2. Работа с дубликатами.
   • объедините дублирующиеся записи вручную, оставив актуальную информацию в одной записи и удалив лишние.
   • либо можно автоматизировать процесс объединения дубликатов, например, настроив стандартные шаблоны вычисления по событию "Изменение поля ‘Дубликат’"
3. Предотвращение появления дубликатов
   • настройте в поле валидацию данных с использованием масок ввода
   • включите в поле опцию "Запрещать дублирование значений"
   • при импорте включайте опцию "Добавление записей через поля типа 'Связь'"
4. Регулярная очистка дубликатов. Установите график для периодической проверки записей на дубли (для этого можно настроить запуск вычисления по расписанию).
5. Резервное копирование перед очисткой. Перед объединением дубликатов рекомендуем создавать резервную копию данных, чтобы избежать потери важной информации.

Настройки

Поле поиска дубликатов - выберите поле для поиска, например, ИНН

Поле сортировки - выберите поле, по которому будет идти сортировка записей с дублирующимися значениями. Первая в сортировке запись будет отмечена как основная, остальные как дубликаты. Например, по полю "Дата последнего контакта"

Направление сортировки - Выберите направление сортировки. Прямая сортирует по возрастанию алфавита, чисел и дат, обратная - по убыванию

Поле для отметки - Выберите поле, в которое будет записана отметка основная/дубликат/уникальная

Отметка основной записи / Отметка дубликата / Отметка если нет дубликата / Отметка пустого значения - заполните поля значениями, например, "Основная"/"Дубликат"/"Уникальная"/"Пустая"

Где искать - Выберите, среди каких записей необходимо запускать вычисление (активные/архивные/удаленные)

Примеры

Пример 1

Рассмотрим как объединить дубликаты клиентов с одинаковыми значениями ИНН в стандартной конфигурации.

1. Добавим текстовое поле "Дубликат" в таблицу "Клиенты".

2. Создадим вычисление с использованием шаблона "Работа с дубликатами" и выберем следующие настройки

Вычисление будет запускаться один раз в день в 4 часа утра либо по изменению поля "ИНН" либо поля "Дата следующего контакта".

Результат работы вычисления:

3. Создадим еще одно вычисление, которое будет объединять дубликаты, помещая записи в "удаленные" по событию "Изменение поля "Дубликат"".

Пример 2

Если необходимо проверять дубликаты одновременно по нескольким полям, например, "Название компании, ИНН" или "ФИО, дата рождения" или "Телефон, Телефон в заявке" таблицы "Клиенты", в этом случае

1. Добавим в таблицу новое "служебное" поле, в котором с помощью вычисления "Текст: Объединение текста" объединим значения из заданных полей в выбранное поле.

2. Дальнейшие действия будем выполнять по аналогии с примером 1.

Техническая информация

Данная функция вышла в ревизии 3.0.4.22940.