Чтобы обучить Claude, Anthropic уничтожила миллионы бумажных книг 👀📚

Звучит как сюжет из антиутопии, но именно об этом пишет The Washington Post

Схема была довольно радикальной: компания массово скупала бумажные книги (иногда десятками тысяч экземпляров), затем промышленным резаком срезали корешки, страницы прогоняли через скоростные сканеры, а остатки книг утилизировали.

По судебным документам, за год Anthropic потратила на покупку и оцифровку книг десятки миллионов долларов 💵

⁉ И здесь самое интересное: зачем покупать бумажные книги, если в интернете уже есть практически всё? ➡️ Чтобы получить качественные данные для обучения моделей Claude

Оказывается интернет постепенно заполняется AI-сгенерированным контентом. Если обучать следующие поколения ИИ на таком контенте, качество моделей может снижаться

Получается парадокс: 🤖 ИИ генерирует всё больше контента 🌐 Интернет наполняется AI-текстами 📉 Качественных человеческих данных становится относительно меньше 📚 И для обучения нового ИИ приходится возвращаться к старым добрым человеческим книгам

Вот такая технологическая ирония 🧠