YandexGPT против ChatGPT: сравнение возможностей и результатов генерации

В последнее время большие языковые модели и сервисы на их основе стали очень популярны. Самый известный ChatGPT посещают около 1,6 миллиарда раз.

Но кроме ChatGPT в России и мире появляется много других нейросетей. Одна из них — YandexGPT 2. Разберем основные отличия этих моделей, сравним их ответы на разные запросы и узнаем, кто лучше справился с поставленными задачами.

Основные сходства и различия

ChatGPT и YandexGPT 2 — это, по сути, сервисы-аналоги. Они могут отвечать на вопросы, предлагать идеи, помогают разобраться в сложных темах, написать и отредактировать текст, спланировать поездку или решить разные задачи — от школьного задания по физике до поиска ошибки в программном коде. 

YandexGPT 2 и ChatGPT 3.5 можно использовать бесплатно без ограничений, нужно только пройти регистрацию с помощью электронной почты. Существует также ChatGPT 4, но доступ к этой модели уже платный.

У YandexGPT 2 и ChatGPT 3.5 разные технические ограничения:

Также отличается интерфейс диалогового окна в моделях. В продукте компании OpenAI можно начать новый чат с системой, при этом слева останется меню с предыдущими запросами, куда можно при желании вернуться. В модели Яндекса нельзя очистить диалоговое окно и начать общение с искусственным интеллектом заново, она сохраняет только последние 50 фраз.

Сравнение по выполненным задачам

По словам эксперта Олега Загорулько, ML Developer NLP компании MTS AI, для анализа и оценки эффективности языковых моделей применяются специализированные датасеты — наборы данных. Эти данные предоставляют разработчикам возможность не только измерять производительность моделей, но и ранжировать их на основе метрик. В дополнение к этому, обычные пользователи могут провести собственные испытания, сравнив ответы моделей на одни и те же запросы.

Сравним качество работы YandexGPT 2 и ChatGPT по следующим запросам:

1. Напиши сочинение в стиле Льва Толстого о том, как я провел лето.
2. Составь план поездки в Сочи на неделю для молодой семьи с маленьким ребенком, который еще не умеет ходить.
3. Кратко расскажи, о чем сказка «Морозко», и в конце объясни, в чем мораль этой сказки, чему она нас учит.
4. Объясни простым языком, что такое квантовая физика.
5. Реши задачу по программированию.
6. Найди ошибку в коде.

Сочинение

Возможность генерации текста — одна из распространенных задач нейросетей, которая может помочь в разных ситуациях. Искусственный интеллект может написать сопроводительное письмо для отклика на вакансию, поздравление с праздником или короткую новостную заметку. Мы попросили написать сочинение на самую популярную школьную тему — «Как я провел лето». Но чтобы понять, какая языковая модель лучше понимает детали, попросили написать его в стиле Льва Толстого, известного длинными сложными предложениями с подробными описаниями.

YandexGPT:

«Лето — это время года, которое я люблю больше всего. Я люблю проводить время на свежем воздухе, играть в футбол, кататься на велосипеде и купаться в море. Этим летом я много путешествовал. Сначала я поехал в горы, где провел несколько недель в палаточном лагере. Там я познакомился с новыми друзьями и научился многим полезным вещам, например, как готовить на костре и как ориентироваться в лесу.

Затем я отправился в путешествие по Европе. Я посетил много интересных мест, таких как Париж, Рим и Вена. В каждом городе я старался посетить все достопримечательности и попробовать местную кухню.

Лето — это также время, когда я могу проводить время с семьей. Мы часто выезжаем на природу, играем в настольные игры и смотрим фильмы. В целом, лето — это время, которое я провожу с пользой и удовольствием. Я надеюсь, что следующее лето будет таким же интересным и насыщенным событиями, как и это».

ChatGPT:

«Лето прошло с нескончаемой монотонностью, невыразительным и бессмысленным, словно затянутое в туман теплое платье без роскошных украшений. Мой день начинался рано, как всегда, с прогулки в саду, где каждый цветок, словно древнее существо, склонялся перед моим взором, открывая свою душу для непонимающего взгляда.

Солнце, непреклонное и всегда присутствующее, озаряло мой путь, но его лучи казались холодными и далекими, словно пытаясь проникнуть сквозь плотные тучи моего сомнения и безразличия. Время тянулось медленно, словно затянутое платье на старой даме, сидящей у окна, взирающей в никуда, не видящей и не чувствующей.

Мои дни были наполнены повседневными заботами, ничем не отличавшимися от дней предыдущих лет. Работа на поле, общение с семьей, чтение книг, которые несли в себе лишь отголоски чужих мыслей и чувств, не украшенные моим собственным опытом и пониманием.

Однако среди этой монотонности, я нашел моменты истины и красоты. В лучах заходящего солнца, в запахе свежескошенной травы, в ласке теплого ветра я находил утешение и покой. Медленно, но верно эти моменты проникали сквозь мрак моего существования, словно первые лучи рассвета проникают сквозь темные тучи ночи.

Итак, лето прошло, оставив лишь слабые следы в моей памяти, словно далекий сон, о котором трудно вспомнить под утро. Но в этой монотонности я нашел истину своего существования, связь с бесконечным потоком времени и пространства, который несет в себе смысл и цель, скрытые от невнимательного глаза».

Оценка работы: ChatGPT удалось лучше отразить стиль писателя, в отличие от своего российского аналога. Текст наполнен литературными приемами, упоминается деревенская жизнь, которую сам Лев Толстой любил описывать в дневниках. Сочинение YandexGPT больше похоже на обычный текст учащегося, который просто описал, что делал летом. К тому же в тексте оказалось много повторяющихся слов.

План поездки

В этой задаче мы попросили искусственный интеллект предложить идеи для отпуска, учитывая, что семья поедет с маленьким ребенком. Также уточнили, что ребенок еще не умеет ходить, то есть родителям нужно его возить в коляске или носить на руках. Значит, им не подойдут сложные маршруты и экстремальные условия.

YandexGPT:

ChatGPT:

Оценка работы: Нейросети составили почти одинаковые планы на поездку, упомянули главные достопримечательности. Они не предложили никаких детских развлечений, но языковая модель Яндекса напомнила, что ребенку может понадобиться больше времени на сон. 

Кроме того, в обоих случаях искусственный интеллект дал ошибочные рекомендации, так как Воронцовский дворец находится в Крыму, а Ботанический сад имени Н.И. Вавилова оказался Адлерской опытной станцией Всероссийского института генетических ресурсов растений им. Н.И. Вавилова.

Пересказ

Большие языковые модели помогают сократить время на изучение материала. Они могут кратко рассказать, о чем какая-то статья или даже книга, и помочь сделать выводы. Проверим на известной детской сказке «Морозко».

YandexGPT:

ChatGPT:

В обоих пересказах оказались неточности. YandexGPT рассказал, что Настенька попала в лес, потому что пошла за дровами, хотя ее повез туда отец по настоянию мачехи. ChatGPT придумал, что у героини были некие испытания, связанные со встречей с весной. Но в общем нейросети отразили главную мысль сказки, рассказав, что мораль произведения заключается в победе добра над злом.

Я постоянно делаю саммари статей с помощью ChatGPT для публикации в соцсетях. Пробовал использовать YandexGPT и пока результат хуже. В саммаризации важно выдать краткую выжимку примерно на пять предложений. Я использую тот же промпт, где детально описываю желаемый объем и формат. Результат от YandexGPT часто слишком длинный и с ненужными вставками. Это частая проблема GPT-нейросетей — они не всегда понимают ограничения, например по символам или предложениям. Но ChatGPT справляется с этим гораздо лучше. Обе модели работают довольно быстро, в отличие от GPT 4, которая пишет медленно, но гораздо более обстоятельно, аккуратно и более качественно.

Выбор GPT-модели зависит от ваших критериев. Если вам важна скорость, а не качество текстов, при этом вам неудобно платить за API ChatGPT из России, можно попробовать YandexGPT Lite, скоростью она вас точно порадует. Если нужно качество — смело выбирайте GPT 4. Ну а золотая середина — GPT 3.5: скорость великолепная, запросы очень дешевые, а ответы уже на хорошем уровне. Даже оплатив GPT 4 от OpenAI, часто ловлю себя на том, что общаюсь в интерфейсе именно с GPT 3.5, так как не надо переключаться между окнами, чтобы дождаться ответа — он появляется моментально. Ведь порой и правда скорость важнее качества.

Объяснение

На странице YandexGPT написано, что модель поможет разобраться в сложных темах и даст объяснения простыми словами. Просим обе нейросети объяснить простым языком, что такое квантовая физика.

YandexGPT:

ChatGPT:

Обе нейросети справились с поставленной задачей и объяснили понятие без употребления сложных терминов. Языковые модели привели примеры, где применяется квантовая физика.

Задача по программированию

Генеральный директор Nvidia Дженсен Хуанг недавно заявил, что через 10–15 лет искусственный интеллект заменит программистов. Уже сегодня разработчики обращаются к нейросетям за помощью с кодом. Проверим, как языковые модели справятся со следующей задачей по программированию с сайта leetcode:

Решите задачу программирования с помощью Python 3.11:
Напишите функцию для поиска самой длинной строки общего префикса среди массива строк.
Если общего префикса нет, верните пустую строку "".

Пример 1:
Input: strs = ["flower","flow","flight"]
Output: "fl"

Пример 2:
Input: strs = ["dog","racecar","car"]
Output: ""
Объяснение: Во входных строках нет общего префикса.

Ограничения:
1 <= strs.length <= 200
0 <= strs[i].length <= 200
strs[i] состоит только из строчных английских букв.

Решение должно использовать такой шаблон:
class Solution:
    def longestCommonPrefix(self, strs: List[str]) -> str:

YandexGPT:

ChatGPT:

Решения нейросетей мы загрузили на сайт в качестве ответа и отправили на проверку. Решение ChatGPT удачно прошло все тестовые проверки. В решении YandexGPT сайт обнаружил ошибку. После отправки этого неверного ответа в чат нейросеть не предложила нового ответа и написала, что мы ошибаемся.

ChatGPT помимо самого кода написал еще и комментарии к конкретным строчкам для пояснения.

Поиск ошибки в коде

Для этой проверки мы взяли вопрос с сайта Stackoverflow, на котором разработчики обсуждают программирование:

Почему команда в кнопке выполняется сразу после запуска файла, а при нажатии не выполняется?
Т.е. когда запускаю файл, сразу печатает 1, а при следующих нажатиях ничего не происходит.

import tkinter root = Tk() b = Button(root,text = 'кнопка',command = print(1) ) b.pack() root.mainloop()

YandexGPT:

ChatGPT:

Обе нейросети поняли вопрос, нашли проблему и предложили ее решение.

Подводим итоги

Работа с нейросетями по разным запросам показала, что обе модели способны выполнять разные по уровню сложности задачи, связанные с текстом. Но нужно правильно составить вопрос и учитывать особенности больших языковых моделей. Например, YandexGPT пока не может писать стихи и переводить тексты, в отличие от ChatGPT, поэтому мы их не сравнивали по таким параметрам.

Очень важно проводить фактчекинг полученных данных: даже в ответах на наши запросы были ошибки. А еще — сами разработчики отмечают, что нейросети лишь подражают текстам в интернете, их ответы могут оказаться выдумкой — хоть и вполне правдоподобной.