GPT-4 — большая языковая модель, разработанная американской компанией OpenAI. На основе этой нейросети и ее предыдущей версии GPT-3.5 работает чат-бот ChatGPT, который разработчики представили в ноябре 2022 года. При помощи бота можно создавать компьютерные программы, писать песни и дипломные работы. OpenAI помогает различным бизнесам интегрировать свои модели в их продукты, но в 2022 году компания впервые стала сотрудничать с отдельным государством. Правительство Исландии хочет использовать GPT-4, чтобы не дать исландскому языку исчезнуть.
Во всем мире на исландском говорят примерно 350 тысяч человек, большая часть из которых живет в Исландии. Для сравнения, на русском говорят 156,5 миллионов человек, а на немецком — 130 миллионов.
Чтобы сохранить свой язык, правительство Исландии создало специальный отдел языкового планирования. Главная задача данной организации — интегрировать новые слова и понятия в исландский язык. Таким образом они пытаются бороться с заимствованиями, чтобы сделать свой язык более лингвистически чистым1.
Сотрудники отдела языкового планирования берут уже существующие слова, которые имеют какое-то отношение к новому понятию, и создают из них новый термин. Например, «телевидение» по-исландски будет «sjónvarp», что в дословном переводе означает «видение» («sjón») и «бросок» («varp»). Так исландцы описали способ передачи картинки от телевизора к зрителю.
По словам профессора Исландского университета Eiríkur Rögnvaldsson, главная причина угрозы исчезновения исландского — цифровая миноритизация. Она наступает тогда, когда язык, на котором в стране разговаривает большинство, в сети становится языком меньшинства. Голосовые помощники (Siri, Cortana, Alexa), например, не умеют распознавать исландскую речь, а на Википедии статей на исландском доступно около 56 тысяч, в то время как на английском — 6,6 миллионов. «Возможно, мы сейчас наблюдаем, как растет поколение, не имеющее полноценного родного языка», — утверждает ученый.
Весной 2022 года делегация из Исландии во главе с президентом страны Guðni Th Jóhannesson ездила в США, чтобы провести ряд встреч с руководителями крупных IT-компаний (Microsoft, Amazon, Apple и др.). Целью визитов было обсуждение перспектив использования исландского языка в крупных цифровых системах. Несмотря на то, что встречи проходили год назад, информация о сотрудничестве с OpenAI появилась в СМИ только 14 марта 2023 года. Исландский станет первым языком, после английского, который будут использовать для тренировок новых версий GPT.
Даже более ранние версии языковых моделей компании OpenAI могли отвечать пользователям на разных языках мира (95 языков в случае с GPT-3, например). Но ответы не всегда были переведены корректно, а фактических ошибок модель допускала больше, чем в случае с английским. Для решения данной проблемы генеральный директор исландской компании Miðeind ehf, также занимающейся развитием языковых технологий, собрал команду из 40 волонтеров, которые помогали обучать GPT-4.
Тренировка искусственных нейросетей с помощью людей называется «обучение с подкреплением на основе обратной связи с человеком» (RLHF). В процессе тестирования волонтеры делали запрос модели, а та в ответ генерировала 4 возможных результата ответа. Тестировщики выбирали наиболее подходящий из них, редактировали для наибольшей точности, и дальше модель тренировалась на измененном варианте ответа.
Совместная работа OpenAI и исландцев позволит использовать языковые помощники или чат-боты на исландском языке в различных местных цифровых системах. Например, голосовой помощник исландской компании Embla—Miðeind сможет разговаривать с пользователями на беглом исландском и делать переводы на другие языки.
Представители OpenAI утверждают, что благодаря RLHF другие страны, чей родной язык находится под угрозой исчезновения, могут последовать примеру Исландии и тоже тренировать языковые модели, не затрачивая на это много ресурсов (GPT-4 выдает более точные результаты уже после 100 запросов от тестировщика). «Сохранение языка — это не мелочь, это самый важный вызов, с которым может столкнуться любая нация. Это вопрос суверенитета, самобытности и сохранения корней народа», — заявила премьер-министр Исландии Katrín Jakobsdóttir.
