Дубли в библиотечном каталоге: как найти и проверить совпадения

Поиск показывает две почти одинаковые карточки книги, а сотрудники не уверены, это дубль или разные издания. Автоматическое сравнение поможет собрать кандидатов, но решение об объединении требует проверки библиографических данных и связей с экземплярами. Разберём безопасный порядок: от выгрузки каталога до журнала решений, который позволяет объяснить каждое изменение.

Какие записи считать дублями

Сначала договоритесь об объекте сравнения. Одинаковое произведение не означает одинаковое издание; одинаковое издание не означает один физический экземпляр. Две карточки с похожим заглавием могут описывать перевод, переиздание, электронную версию или отдельный том. Дубль возникает тогда, когда записи повторяют одну сущность в рамках принятой модели вашего каталога. Правило должно соответствовать устройству АБИС, а не удобству сортировки таблицы.

Три возможных решения вместо кнопки «удалить»

Для пары карточек предусмотрите статусы «подтверждённый дубль», «разные издания» и «недостаточно данных». Последний статус необходим: пустой год или сокращённое заглавие не дают основания угадывать. Сотрудник должен указать, что потребуется проверить: титульный лист, оборот титула, сведения об издании или связи в каталоге. Отсутствие решения лучше необратимого объединения по впечатлению.

Общая статья про ИИ для каталогизации полезна для распределения автоматических и ручных операций. Здесь задача уже: не создавать описание, а сравнивать существующие карточки. Не поручайте системе одновременно исправлять поля, искать дубли и объединять записи. Иначе будет трудно определить, какое изменение привело к ошибке.

Подготовьте выгрузку без изменения каталога

Сохраните исходный файл и работайте с копией. Включите устойчивый идентификатор записи, заглавие, сведения об ответственности, автора, издательство, год, сведения об издании, ISBN, язык, объём и обозначение тома. Набор полей уточняйте по формату своей системы. Идентификатор нельзя заменять номером строки: после сортировки он изменится и решение будет привязано к другой карточке.

Проверьте, как экспортируются повторяющиеся поля и пустые значения. Несколько ISBN в одной ячейке нельзя автоматически принимать за один номер. Уточните разделитель и сохраните исходное представление рядом с рабочим. Не включайте в выгрузку читательские данные и историю выдач: для сопоставления библиографических описаний они не нужны. Связи с экземплярами проверяются внутри разрешённого рабочего контура.

Оригинальное поле и ключ сравнения

Создайте вспомогательные столбцы для сравнения заглавий и имён. В них можно привести регистр и пробелы к согласованному виду, оставив оригинальные строки рядом. Для вариантов написания удобно использовать инструменты очистки данных. В официальной документации OpenRefine описаны преобразования ячеек и подбор похожих значений; предлагаемые совпадения требуют просмотра. Очистка столбца не доказывает тождество библиографических записей.

Не убирайте из ключа все числа и служебные слова подряд. Обозначение части, тома или редакции может отличать самостоятельное издание. Сохраните также язык и тип носителя отдельными полями. Если нормализация стирает различие между первым и вторым томом, измените правило до поиска пар. На этапе подготовки лучше потерять несколько кандидатов, чем систематически объединять разные документы.

Ищите кандидатов несколькими правилами

Начните с точных совпадений по заполненным идентификаторам, затем добавьте сочетания автора, заглавия, года и сведений об издании. Каждый способ должен выдавать список пар, а не удалять строки. Для кандидата сохраняйте название правила и поля, которые совпали. Тогда сотрудник понимает причину попадания пары в очередь и может проверить её без повторного расследования всей выгрузки.

ISBN проверяйте как библиографическое поле, включая пояснения к номеру. В описании поля MARC 21 для ISBN у Библиотеки Конгресса показано, что запись может содержать квалифицирующие сведения и обозначения отменённых или неверных номеров. Поэтому совпадение строк после удаления всех символов не должно становиться командой на слияние. Формат вашего каталога может отличаться; настройте обработку по его правилам.

Где уместен ИИ

Модель может помочь объяснить различия двух описаний обычным языком или отметить поля, требующие сверки. Передавайте ей только необходимый обезличенный фрагмент в разрешённой среде. Попросите перечислить совпадения, расхождения и недостающие данные. Не просите выбрать, какую карточку удалить: такой ответ скрывает предположение о структуре каталога, которое модель не проверяла.

Готовая формулировка для помощника: «Сравни два библиографических описания. Не дополняй отсутствующие сведения. Отдельно перечисли совпадающие поля и расхождения в годе, издании, языке, томе и носителе. Если данных недостаточно, укажи конкретное поле для ручной проверки. Не предлагай удаление или объединение». Это рабочий шаблон, а не гарантия точности: каждый вывод проверяется по исходным строкам. Для контроля помощника используйте проверку ответов AI-чат-бота.

Проверьте пару и связи с экземплярами

Откройте обе карточки одновременно и сравнивайте поля в одном порядке. Сначала заглавие и ответственность, затем издание, место и издательство, год, язык, том и физическую характеристику. После этого переходите к идентификаторам и примечаниям. Такой порядок уменьшает риск, что красивое совпадение одного номера заставит игнорировать очевидно разные сведения об издании.

Учебный пример: две вымышленные карточки имеют одинаковые автора и основное заглавие, но в одной указана «редакция для школьников», а в другой — «расширенное издание». Это основание сохранить различие и проверить источник описания. Второй пример: данные издания совпадают, но у одной записи сокращено имя автора и потеряно издательство. Такая пара остаётся кандидатом, пока сведения не подтверждены по документу.

Журнал решения

Запишите идентификаторы обеих карточек, решение, основание, проверенный источник, имя ответственного сотрудника и дату. Для дубля дополнительно укажите выбранную основную запись и план переноса связей. Не выбирайте основную только по меньшему номеру или более длинному описанию. Проверьте полноту, корректность и все зависимости: экземпляры, ссылки, локальные поля, доступ к электронной копии.

Объединение выполняйте штатными средствами АБИС с сотрудником, который знает последствия операции. До изменения убедитесь, что существует резервная копия и понятный способ возврата. После изменения проверьте не только исчезновение второй карточки, но и сохранность экземпляров, шифров, доступности и переходов. Если механизм переноса связей неясен, завершите пилот списком подтверждённых дублей без слияния.

Организуйте небольшой пилот

В предлагаемом сценарии первая встреча занимает полчаса: сотрудник каталогизации и администратор согласуют объект сравнения, выгрузку и статусы. Затем на отдельном рабочем отрезке проверяют несколько заведомо одинаковых и разных пар. Не начинайте с огромной очереди: сначала выясните, понимают ли проверяющие правила одинаково и можно ли связать каждое решение с исходной записью.

Распределите роли: администратор готовит экспорт и техническую копию, каталогизатор оценивает библиографическое тождество, второй специалист разбирает спорные случаи. Назначьте одного ответственного за изменение каталога. При маленькой команде роли могут совмещаться, но последовательность сохраняется: подготовка, подтверждение, изменение, проверка. Решение не должно теряться между чатами и устными поручениями.

Какие результаты фиксировать

Считайте число предложенных пар, подтверждённых дублей, разных изданий и отложенных случаев. Отдельно фиксируйте причины ложных совпадений: общий номер комплекта, разные тома, сокращённое заглавие, пустой год. Эти показатели описывают ваш пилот; не переносите их на весь фонд без новой проверки. Не обещайте заранее процент очистки или экономии времени.

Для решения о расширении достаточно нескольких практических ответов. Можно ли быстро найти обе карточки по идентификаторам? Понятно ли, почему они сравниваются? Сохраняются ли связи после подтверждённого объединения? Может ли другой сотрудник восстановить ход решения? Если хотя бы один вопрос остаётся без ответа, сначала доработайте процесс. Скорость обработки не компенсирует потерю проверяемости. При расширении используйте принципы проверки библиотечных метаданных.

Что делать со сложными случаями

При пустом ISBN сравнивайте несколько полей и источник описания, а не просите модель «восстановить номер». При различии годов проверьте, что означает год в каждом источнике: публикацию, переиздание или иной элемент записи. При похожих заглавиях разных авторов сохраняйте обе карточки до подтверждения. При разных носителях ориентируйтесь на модель описания вашей библиотеки: электронная и печатная версии не становятся дублями автоматически.

Очередь растёт, а решений мало

Ужесточите правило формирования кандидатов и добавьте данные, которых не хватает проверяющим. Если нечёткое сравнение соединяет однословные заглавия разных документов, ограничьте его дополнительными полями. Если основная часть очереди состоит из разных томов, выделите томность в отдельный ключ. Не снижайте требования к подтверждению только ради уменьшения списка: лучше улучшить отбор на входе.

Частые вопросы

Чек-лист перед изменением каталога