Голосовой поиск, виртуальные ассистенты, генераторы текстов — все это когда-то казалось фантастикой. Технология NLP воплотила их в жизнь. Разбираемся, как она устроена и работает на практике.
Что такое NLP
Natural Language Processing, или обработка естественного языка, — технология на стыке компьютерной лингвистики, машинного и глубокого обучения. Она позволяет компьютеру распознавать и воспроизводить человеческую речь. NLP разбивает текст на более мелкие части, которые машина сможет легко понять.
Какие задачи решают NLP-технологии
Самые разные. Языковые модели уже научились:
- распознавать и воспроизводить устную и письменную речь;
- проводить морфологический разбор слова и исправлять грамматические ошибки;
- отличать конец предложения от сокращения слова;
- определять язык и эмоциональный окрас текста;
- понимать тематику материалов, выделять их суть и переписывать без потери смысла;
- убирать дублирующуюся информацию и находить данные по меткам.
Перейдем от теории к практике — к конкретным проектам, которые существуют благодаря NLP.
Известные проекты
ChatGPT
Одна из самых известных нейросетей, которую уже многие интернет-пользователи попробовали в деле. ChatGPT помогает создавать чат-боты и отвечает на вопросы пользователей, ведет диалоги на различные темы, переводит тексты, придумывает креативы для рекламной кампании и пишет рэп-песни.
Алиса
Виртуальный голосовой помощник от Яндекса может больше, чем подсказать фильм на вечер и проложить маршрут до дома. Алиса умеет находить информацию, заказывать пиццу, играть, говорить на отвлеченные темы со взрослыми и детьми, учитывая контекст и интонацию собеседника. Количество навыков Алисы постоянно растет — можно найти новые на платформе Яндекс.Диалоги. Для удобного поиска навыки разделены по направлениям и подборкам.
LegalRules
Платформа от СберПраво оптимизирует процесс разработки юридических сервисов. Помогает составить правила выполнения проверок, перевести их в программный код и тестировать продукт.
За счет автоматизации можно ускорить разработку и сократить расходы на лицензирование рабочих мест и поддержку сервиса.
Чтобы использовать LegalRules, не нужно глубоко разбираться в IT и даже изучать английский. Писать код можно на русском языке.
Webiomed
Платформа анализирует медицинские данные, ставит точные диагнозы и строит прогнозы развития заболеваний. Учитывает факторы риска, которые есть у пациента, и помогает врачу дать более эффективные рекомендации.
Сервис полезен не только для медучреждений, но и для фармацевтических компаний. Анализ данных рутинной клинической практики укажет на новые подходы к исследованиям и разработке лекарств.
Коротко о том, как Webiomed помогает отечественной медицине:
СКАН-Интерфакс
СКАН — система управления репутацией от российского информационного агентства «Интерфакс». Она предназначена для менеджеров по коммуникациям и PR, специалистов по безопасности и оценке рисков.
Система умеет многое:
- анализирует материалы СМИ, оповещает о публикациях в момент их выхода;
- формирует визуальные аналитические отчеты по любым запросам;
- показывает связи между компаниями, людьми и событиями;
- позволяет прогнозировать репутационные и экономические риски, связанные с партнерами и контрагентами;
- решает другие задачи различного уровня сложности, связанные с медиааналитикой.
У системы более 65 тысяч источников. Каждый день в базу данных СКАН поступает более 300 тысяч публикаций.
Чтобы языковые модели максимально качественно выполняли сложные запросы пользователей, их необходимо постоянно развивать. Работать над этими задачами команде СКАНа помогают во время обучения студенты онлайн-магистратуры «Управление IT-продуктом» МФТИ и Skillfactory. Один из свежих кейсов — исследование рынка и поиск точек роста для сервиса. Чтобы справиться с этой бизнес-задачей, ребята глубоко погрузились в продукт, изучили работу западных аналогов и провели опрос среди пользователей.
В итоге студенты составили список гипотез, которые потенциально могут сделать систему еще удобнее для пользователей, а коммуникации с потенциальными клиентами более эффективными. Сейчас команда СКАНа тестирует эти идеи, чтобы реализовать лучшие в своем сервисе и маркетинговой стратегии.
VeraVoice
Сервис воспроизводит речь знаменитостей. В его основе — целый ансамбль нейросетей, благодаря которому VeraVoice может озвучить любой текст любым голосом.
Если давно хотели разыграть друга или осуществить чью-то мечту получить личное поздравление от знаменитости, теперь знаете, что делать. Послушайте сами, как естественно это звучит.
Суммаризатор
Такого помощника точно не хватало в школе. Суммаризатор сокращает тексты и передает их суть без потери смысла. Будет особенно полезен ученым, студентам, редакторам, авторам и блогерам. В общем, всем, кто изучает большие объемы информации и хочет иметь под рукой главные тезисы из материалов.
Можно бесплатно использовать демо сервиса в интерфейсе Swagger.
IBM Watson
В быту когнитивный помощник работает, как персонализированная поисковая система. Собирает и хранит всю информацию о вас. Может напомнить о срочном деле и названии той самой песни, которое вылетело из головы. В бизнесе систему используют, чтобы наладить процессы, в кулинарии — для составления оригинальных рецептов, в медицине — для поиска индивидуального метода лечения рака. Вот такой универсальный продукт.
Google Переводчик
Каждый месяц его используют более 500 млн людей по всему миру. Переводчик обрабатывает больше 100 млрд слов в день. NLP-технологии, встроенные в систему, позволяют компьютеру понимать смысл человеческой речи.
Gerwin.io
Сервис для генерации контента напишет за вас пост в соцсеть, описание товара на Ozon, комментарий для статьи, текст для видео в YouTube. Пригодится всем, кто часто пишет: предпринимателям, копирайтерам, SEO-оптимизаторам, digital-агентствам. В арсенале ИИ — более 70 навыков.
Вот пример описания товара от Gerwin:
Papercup
Платформа для AI-дубляжа. В библиотеке собрано более 100 реалистичных голосов — можно подобрать идеальный для своей задачи. Дублирование видео с помощью искусственного интеллекта в 4 раза быстрее и на 80% дешевле. Платформа поможет с озвучкой текста для YouTube, стриминга и бизнес-задач компании.
Так Papercup справился с озвучкой на испанском:
