ИИ в управлении библиотеками и архивами: цифровизация знаний и AI-поиск

Библиотека Конгресса США хранит >170 миллионов единиц хранения — самое большое хранилище знаний в мире. Для поиска нужного документа вручную — недели. AI-система позволяет исследователям за секунды найти, что нужно, задав вопрос на обычном языке: «Какие законодательные акты регулировали права женщин в 1920-е годы?» — и получить список релевантных документов с прямыми ссылками.

Кейс 1. Library of Congress — AI для крупнейшей библиотеки мира

Масштаб

• >170 миллионов единиц хранения
• Карты, фото, рукописи, фильмы, аудиозаписи, книги
• Ежегодное пополнение: >2,6 миллиона единиц

AI-системы LoC

1. Loc.gov AI Search:

• Семантический поиск: понимает смысл запроса
• «Фотографии времён Великой Депрессии» → находит даже если описание не содержит этих слов
• Cross-format: ищет по тексту, фотографиям, картам одновременно

2. OCR + AI для рукописей:

• Сотни тысяч рукописных документов
• Традиционный OCR: плохо работает с рукописью
• Специализированный ML: обучен на исторических почерках
• Точность распознавания: >85% даже для старых документов

3. Auto-categorization:

• Новые поступления: AI автоматически предлагает теги, классификацию
• Библиотекари: проверяют и корректируют
• Экономия: каталогизация ускорилась в 3× раза

4. Digital Collections AI:

• >40 миллионов цифровых объектов уже в открытом доступе
• AI-поиск по содержанию фотографий: «найди фотографии американских фермеров 1930-х»
• Facial recognition (отключена по этическим соображениям в публичной части)

Кейс 2. Google Books + AI — крупнейший в мире книжный AI-проект

Google Books Project

Google Books:

• Оцифровано: >40 миллионов книг
• Партнёрства: Library of Congress, Bodleian Oxford, Библиотека Конгресса Франции
• Проблема авторских прав: частичная победа в судах (ограниченный доступ к copyrighted works)

AI в Google Books:

OCR разных эпох:

• Книги XVII–XIX века: разные стили печати, латинские шрифты, устаревшие буквы (ять, ер)
• ML: специализированные модели для каждого периода
• Особая сложность: русские дореволюционные книги с ятями и ерами

N-gram Viewer:

• Анализирует: частоту слов/фраз через века
• «Как менялось употребление слова "компьютер" в книгах 1940–2020»
• Инструмент для лингвистов и историков: мониторинг культурных трендов

Research Tool:

• Исследователи: находят упоминания темы в книгах всех эпох
• CrossRef: связывает статьи с цитируемыми книгами

Кейс 3. Российские архивы и библиотеки + AI

«Ленинка» — РГБ (Российская государственная библиотека)

РГБ — крупнейшая в России и одна из крупнейших в мире:

• >47 миллионов единиц хранения
• Оцифровано: >3 миллионов единиц

Электронная библиотека РГБ:

• Поиск: полнотекстовый по оцифрованным изданиям
• AI-ранжирование: релевантность результатов
• Тренд: переход к семантическому поиску

Проект «Гарант-Культурное Наследие»:

• Совместно с Министерством культуры: оцифровка архивов
• AI OCR для дореволюционных и советских документов
• Уникальные задачи: рукописные записи, плохое качество бумаги, специфические шрифты

РГАСПИ (Российский государственный архив социально-политической истории):

• Документы Коминтерна, КПСС
• AI-поиск для исследователей: доступ к ранее закрытым материалам
• Особенность: многоязычные документы (русский, немецкий, французский, польский)

Кейс 4. Corporate Archives + AI

Управление корпоративной историей

Крупные корпорации:

• Toyota: 80+ лет архивов в Nagoya
• Siemens: архив в Мюнхене с документами с 1847 года
• IBM: исторические документы о зарождении компьютерной эры

AI для корпоративных архивов:

• Document Classification: тысячи коробок → AI категоризирует что где
• Full-text search: «найди все переписки о проекте X в 1985–1990 году»
• Compliance: обнаружение документов с истёкшим сроком хранения → уничтожение

Кейс 5. AI-оцифровка и перевод исторических документов

Проекты по работе с историческими текстами

Transkribus (Австрия):

• AI-распознавание рукописного текста (HTR — Handwritten Text Recognition)
• >1 миллиарда слов распознано
• Работает с: латинскими, кириллическими, арабскими, японскими рукописями
• Обучение модели: 5–10 страниц ручной разметки → AI дообучается под конкретный почерк

Применение для русских архивов:

• Дореволюционные метрические книги (рождения, смерти, браки)
• Советские делопроизводственные документы
• Личные письма и дневники

EPFL (Швейцария) + Vatican Archives:

• AI читает: 12 000 страниц ватиканских архивов из XIV века
• Средневековая латынь + нестандартные сокращения → специализированная ML-модель
• Результат: открытый доступ к истории папства

Практика для библиотек и архивов России

AI-стек для оцифровки и управления

Оцифровка (₽1–10 млн):

• Fujitsu/Canon промышленные сканеры: ₽500 000–3 000 000
• Transkribus: €99/мес — AI-распознавание рукописей
• ABBYY FineReader: лидер OCR в России

Поиск и индексация:

• Elasticsearch + ML: полнотекстовый поиск с ранжированием
• OpenAI Embeddings: семантический поиск
• «Найди все документы о строительстве Крымского моста» → находит даже без точных слов

Practical workflow с ChatGPT: «Вот текст старого документа, распознанный OCR с ошибками: [текст]. Исправь OCR-ошибки, восстанови дореволюционную орфографию, переведи архаичные слова в современные эквиваленты».

Каталогизация: «Вот описание архивного дела: [описание]. Предложи теги и ключевые слова для каталога. Определи: временной период, тематику, географию, ключевых лиц».

Источники: Library of Congress AI documentation, Google Books project data, РГБ официальная статистика, Transkribus platform statistics, EPFL Vatican Archive project.