Российские большие языковые модели лучше иностранных аналогов справляются с задачами, где нужны знание русского языка, истории и культурного контекста, говорится в исследовании. Сохранить это преимущество можно только при доступе к данным на русском и других языках. Успех отечественных моделей исследователи связывают с инвестициями разработчиков и ростом доли российских данных в обучающих массивах. При этом русскоязычный интернет в 10-20 раз меньше мирового по объему. Данных на русском языке не хватает. Эксперты считают, что только на них универсальную и конкурентоспособную модель не создать, хотя из них и можно собрать часть многоязычного корпуса. Оптимальную долю русскоязычных данных в обучающем массиве они оценивают в 5-30%.

Поэтому отечественные ИИ-модели, отмечается в исследовании, должны быть многоязычными. Другие языки расширяют представление модели о мире, а английский корпус остается ключевым носителем научных знаний.

"Русскоязычные данные определяют не только то, насколько естественно модель говорит по-русски. От них зависит знание российских реалий, истории, права и культурного контекста. При этом универсальной модели необходим и мировой массив знаний. Поэтому ключевой вопрос для российских разработчиков - не выбирать между российскими и иностранными данными, а иметь возможность работать с максимально разнообразным и качественным корпусом", - отмечают авторы исследования.

Ограничение доступа к данным напрямую сказывается на возможностях модели, подчеркивают эксперты. Для предобучения современные LLM используют массивы объемом в триллионы токенов, в том числе веб-страницы, книги, научные публикации, открытый программный код и энциклопедические материалы. Российские команды при этом сильнее зарубежных зависят от открытых источников, потому что у них меньше ресурсов на самостоятельный сбор, покупку и оцифровку данных.

Дополнительным преимуществом отечественных моделей могут стать данные, которых пока нет в открытом интернете. Это материалы библиотек и архивов, образовательные, научные, культурные и профессиональные коллекции. Их оцифровка и передача разработчикам могли бы повысить качество моделей в медицине, праве, строительстве, геологии и других областях, где особенно важны российские знания и стандарты. Речь о тех массивах, которые не содержат чувствительной информации и могут использоваться в открытом доступе.

Потери национальной языковой идентичности или уникальности наших данных при использовании мировых массивов, конечно, не произойдет. Напротив, интеграция и сотрудничество с мировым сообществом в этой сфере позволят расширить представления ИИ по самым разным направлениям, сделав российские модели не только "знающими свой контекст", но и по-настоящему универсальными и умными инструментами, востребованными по всему миру.