Война за данные: почему разработчики ИИ скупают и уничтожают старые книги

Корреспондент Caravan.kz разобралась, зачем ИИ нужны бумажные источники и почему после оцифровки книги утилизируют.

Еще вчера мы выбрасывали старые книги, думая, что их век уже прошёл. Зачем хранить дома многотомную энциклопедию, когда есть планшеты и телефоны с электронными читалками? Однако бумажные книги снова приобретают ценность.

Почему букинисты забили тревогу?

Недавно в СМИ прошла новость, что на европейском книжном рынке появилась странная активность. Неизвестные посредники заказывали у букинистов тысячи изданий, в том числе редкие, малотиражные и давно не переиздававшиеся книги. Тематика при этом могла быть самой разной: от ирландского фольклора до геомеханики и обработки керамики.

По данным BNR Nieuwsradio, нидерландский букинист получил от компании-посредника список из трёх тысяч англоязычных изданий, которые она собиралась приобрести. Причем среди них были редкие экземпляры.

Испанская газета El País приводит рассказ владельца букинистического магазина Fènix. Он заметил, что у него стали активно покупать книги, причем расходы на доставку иногда значительно превышали стоимость самих книг.

Некоторые продавцы предположили, что книги приобретают не для перепродажи и не для частной библиотеки, а для обучения искусственного интеллекта. Прямо подтвердить происхождение всех таких заказов они пока не могут, поэтому это всего лишь подозрения. Однако, как минимум один крупный случай уже подтверждён судебными документами.

Зачем Anthropic купила и уничтожила миллионы книг?

В материалах федерального суда США есть дело, связанное с компанией Anthropic — разработчиком искусственного интеллекта и языковой модели Claude. Из судебных документов следует, что компания потратила миллионы долларов на создание собственной цифровой библиотеки. Компания закупала печатные книги огромными партиями. У них удаляли корешки, страницы сканировали, а бумажные оригиналы после оцифровки уничтожали.

В документах суда говорится, что Anthropic уничтожала каждый экземпляр после создания цифровой копии. Такая процедура получила название «разрушительное сканирование». Выглядело всё примерно, как технологическая мясорубка. На входе — книга. На выходе — электронный текст и стопка разрезанной бумаги.

Зачем искусственному интеллекту понадобились старые книги

Причина интереса ИИ-компаний к книгам вполне понятна. Чтобы языковая модель научилась писать, рассуждать, отвечать на вопросы и поддерживать разговор, ей нужно «скормить» огромное количество качественных текстов. Но сейчас в Сети становится всё больше материалов, созданных другими нейросетями. В результате одна нейросеть начинает учиться на текстах, созданных другой нейросетью. Такие данные часто содержат повторы, ошибки и шаблонные формулировки, поэтому их использование может ухудшать качество новых текстов.

Книги в этом отношении гораздо ценнее. Это первоисточники, которые обычно прошли редактуру и проверку. В них есть длинные связные тексты, последовательные рассуждения, профессиональная терминология, редкие сведения и живой человеческий язык.

Как сообщила The Washington Post, один из сооснователей компании предполагал, что обучение на книгах поможет моделям хорошо писать, а не подражать низкокачественному языку интернета. В судебных документах также сказано, что Anthropic особенно ценила книги с хорошо отобранными фактами и увлекательными художественными текстами.

Почему книги уничтожали после сканирования?

Самое очевидное объяснение — скорость. Книгу можно аккуратно раскрыть и отсканировать каждую страницу, не повреждая переплёт. Но если речь идёт о сотнях тысяч или даже миллионах экземпляров, такая работа займёт слишком много времени. Гораздо быстрее срезать корешок, разделить книгу на отдельные листы и пропустить их через промышленный сканер. После этого бумажный экземпляр уже невозможно собрать обратно, поэтому его отправляют на утилизацию или переработку.

Есть и вопрос хранения. Миллион бумажных книг — это огромные склады, стеллажи, охрана, вентиляция и постоянная борьба с влажностью. Цифровые копии занимают гораздо меньше места, а искать нужную информацию в них значительно проще. В решении суда говорится, что перевод книг в цифровой формат позволял Anthropic экономить место для хранения, при этом у них оставалась цифровая копия, которая позволяла быстро находить нужную информацию.

А что, если дело в конкуренции?

Однако у уничтожения книг может быть и другая причина, которая не так очевидна. Разработчики искусственного интеллекта сегодня соревнуются не только количеством процессоров, миллиардами долларов и зарплатами программистов. Они конкурируют за данные. Чем больше качественных текстов получила модель, тем лучше она понимает разные темы, стили и языки. Поэтому редкая книга может оказаться не просто источником информации, а небольшим конкурентным преимуществом.

Представим старый технический справочник, выпущенный тиражом в несколько сотен экземпляров. В интернете его нет. В продаже осталось две или три книги. Компания приобретает их, оцифровывает, а бумажные оригиналы уничтожает. Теперь у компании есть текст. У конкурентов — нет.

Может ли компания специально скупать редкие издания, чтобы они не достались другим разработчикам? Теоретически — да. Особенно если речь идёт о книгах, которые почти исчезли из свободной продажи.

Разумеется, полностью перекрыть доступ к известному произведению сложно. Другие экземпляры могут лежать в библиотеках, университетах, частных коллекциях или вообще в другой стране. Если роман издан миллионным тиражом, уничтожение нескольких книг ничего не изменит.

Но с редкими и малотиражными изданиями ситуация иная. Даже если компания не собиралась намеренно вредить конкурентам, такой эффект всё равно может возникнуть.

В таком случае старая потрёпанная книга неожиданно может превратиться в ценный ресурс. Не потому, что у неё красивый переплёт или редкий автограф, а потому, что информации из неё может больше нигде не быть.

Так что не торопитесь выбрасывать дедушкин справочник по металловедению или сборник краеведческих очерков, который двадцать лет пылится на верхней полке. Возможно, это уже не макулатура, а последний экземпляр данных, до которого ещё не добрался искусственный интеллект.