Российские языковые модели могут сохранить конкурентоспособность и стать универсальными, если их разработчики получат доступ к широкому кругу данных, в том числе к зарубежным научным и образовательным материалам. К такому выводу пришли авторы исследования рынка LLM Института ИИ ИТМО.
Исследователи отмечают, что отечественные модели лучше зарубежных моделей справляются с задачами, связанными с историей, правом и культурой России. В этих областях важен русский язык и культурный контекст, в котором нейросетям помогают ориентироваться русскоязычные данные. По оценке экспертов, оптимальная доля русскоязычных данных в обучающем массиве универсальной модели составляет 5–30%. При этом русскоязычный сегмент интернета в разы меньше мирового — если закрыть доступ к международным источникам, модель будет хуже решать задачи, не связанные с российским контекстом.
«В создании российских LLM русскоязычные данные необходимы, но изоляция от международных корпусов приведет к тому, что модель будет сильнее отставать от зарубежных аналогов и хуже справляться с задачами, выходящими за пределы локального языкового контекста. Важно дать российским LLM возможность обучаться на всем общедоступном контенте — в российском интернете и за его пределами, — чтобы модели, с одной стороны, понимали культурный код нашей страны, а с другой — развивали свои когнитивные способности на всем доступном запасе знаний», — подчеркнули авторы исследования.
Отдельный резерв они видят в российских материалах, которых нет в открытом интернете. К ним относятся фонды библиотек и архивов, научные, образовательные и профессиональные коллекции.На общий уровень моделей такие данные почти не влияют, но могут заметно улучшить их работу в узких профессиональных областях, например, в медицине, праве, строительстве, геологии и других сферах.
В работе также говорится, что нормы об авторском праве не должны сужать круг источников данных для обучения моделей и замедлять разработку, а, напротив, должны убирать лишние барьеры.

Комментарии 0