Голосовой поиск, виртуальные ассистенты, генераторы текстов — все это когда-то казалось фантастикой. Технология NLP воплотила их в жизнь. Разбираемся, как она устроена и работает на практике.
Что такое NLP
Natural Language Processing, или обработка естественного языка, — технология на стыке компьютерной лингвистики, машинного и глубокого обучения. Она позволяет компьютеру распознавать и воспроизводить человеческую речь. NLP разбивает текст на более мелкие части, которые машина сможет легко понять.
Какие задачи решают NLP-технологии
Самые разные. Языковые модели уже научились:
- распознавать и воспроизводить устную и письменную речь;
- проводить морфологический разбор слова и исправлять грамматические ошибки;
- отличать конец предложения от сокращения слова;
- определять язык и эмоциональный окрас текста;
- понимать тематику материалов, выделять их суть и переписывать без потери смысла;
- убирать дублирующуюся информацию и находить данные по меткам.
Перейдем от теории к практике — к конкретным проектам, которые существуют благодаря NLP.
Известные проекты
ChatGPT
Одна из самых известных нейросетей, которую уже многие интернет-пользователи попробовали в деле. ChatGPT помогает создавать чат-боты и отвечает на вопросы пользователей, ведет диалоги на различные темы, переводит тексты, придумывает креативы для рекламной кампании и пишет рэп-песни.
Алиса
Виртуальный голосовой помощник от Яндекса может больше, чем подсказать фильм на вечер и проложить маршрут до дома. Алиса умеет находить информацию, заказывать пиццу, играть, говорить на отвлеченные темы со взрослыми и детьми, учитывая контекст и интонацию собеседника. Количество навыков Алисы постоянно растет — можно найти новые на платформе Яндекс.Диалоги. Для удобного поиска навыки разделены по направлениям и подборкам.
![Навыки Алисы](https://blog.skillfactory.ru/wp-content/uploads/2023/10/navyki-alisy.png)
LegalRules
Платформа от СберПраво оптимизирует процесс разработки юридических сервисов. Помогает составить правила выполнения проверок, перевести их в программный код и тестировать продукт.
За счет автоматизации можно ускорить разработку и сократить расходы на лицензирование рабочих мест и поддержку сервиса.
Чтобы использовать LegalRules, не нужно глубоко разбираться в IT и даже изучать английский. Писать код можно на русском языке.
![LegalRules](https://blog.skillfactory.ru/wp-content/uploads/2023/10/interfeys-legalrules-1024x430.png)
Webiomed
Платформа анализирует медицинские данные, ставит точные диагнозы и строит прогнозы развития заболеваний. Учитывает факторы риска, которые есть у пациента, и помогает врачу дать более эффективные рекомендации.
Сервис полезен не только для медучреждений, но и для фармацевтических компаний. Анализ данных рутинной клинической практики укажет на новые подходы к исследованиям и разработке лекарств.
Коротко о том, как Webiomed помогает отечественной медицине:
![Webiomed](https://blog.skillfactory.ru/wp-content/uploads/2023/10/webiomed-1024x305.png)
СКАН-Интерфакс
СКАН — система управления репутацией от российского информационного агентства «Интерфакс». Она предназначена для менеджеров по коммуникациям и PR, специалистов по безопасности и оценке рисков.
Система умеет многое:
- анализирует материалы СМИ, оповещает о публикациях в момент их выхода;
- формирует визуальные аналитические отчеты по любым запросам;
- показывает связи между компаниями, людьми и событиями;
- позволяет прогнозировать репутационные и экономические риски, связанные с партнерами и контрагентами;
- решает другие задачи различного уровня сложности, связанные с медиааналитикой.
У системы более 65 тысяч источников. Каждый день в базу данных СКАН поступает более 300 тысяч публикаций.
![](https://blog.skillfactory.ru/wp-content/uploads/2023/10/interfeys-1-1024x672.png)
Чтобы языковые модели максимально качественно выполняли сложные запросы пользователей, их необходимо постоянно развивать. Работать над этими задачами команде СКАНа помогают во время обучения студенты онлайн-магистратуры «Управление IT-продуктом» МФТИ и Skillfactory. Один из свежих кейсов — исследование рынка и поиск точек роста для сервиса. Чтобы справиться с этой бизнес-задачей, ребята глубоко погрузились в продукт, изучили работу западных аналогов и провели опрос среди пользователей.
В итоге студенты составили список гипотез, которые потенциально могут сделать систему еще удобнее для пользователей, а коммуникации с потенциальными клиентами более эффективными. Сейчас команда СКАНа тестирует эти идеи, чтобы реализовать лучшие в своем сервисе и маркетинговой стратегии.
VeraVoice
Сервис воспроизводит речь знаменитостей. В его основе — целый ансамбль нейросетей, благодаря которому VeraVoice может озвучить любой текст любым голосом.
Если давно хотели разыграть друга или осуществить чью-то мечту получить личное поздравление от знаменитости, теперь знаете, что делать. Послушайте сами, как естественно это звучит.
Суммаризатор
Такого помощника точно не хватало в школе. Суммаризатор сокращает тексты и передает их суть без потери смысла. Будет особенно полезен ученым, студентам, редакторам, авторам и блогерам. В общем, всем, кто изучает большие объемы информации и хочет иметь под рукой главные тезисы из материалов.
Можно бесплатно использовать демо сервиса в интерфейсе Swagger.
![Суммаризатор](https://blog.skillfactory.ru/wp-content/uploads/2023/10/summarizator-1024x464.png)
IBM Watson
В быту когнитивный помощник работает, как персонализированная поисковая система. Собирает и хранит всю информацию о вас. Может напомнить о срочном деле и названии той самой песни, которое вылетело из головы. В бизнесе систему используют, чтобы наладить процессы, в кулинарии — для составления оригинальных рецептов, в медицине — для поиска индивидуального метода лечения рака. Вот такой универсальный продукт.
Google Переводчик
Каждый месяц его используют более 500 млн людей по всему миру. Переводчик обрабатывает больше 100 млрд слов в день. NLP-технологии, встроенные в систему, позволяют компьютеру понимать смысл человеческой речи.
Gerwin.io
Сервис для генерации контента напишет за вас пост в соцсеть, описание товара на Ozon, комментарий для статьи, текст для видео в YouTube. Пригодится всем, кто часто пишет: предпринимателям, копирайтерам, SEO-оптимизаторам, digital-агентствам. В арсенале ИИ — более 70 навыков.
Вот пример описания товара от Gerwin:
![](https://blog.skillfactory.ru/wp-content/uploads/2023/10/gerwin.io_.png)
Papercup
Платформа для AI-дубляжа. В библиотеке собрано более 100 реалистичных голосов — можно подобрать идеальный для своей задачи. Дублирование видео с помощью искусственного интеллекта в 4 раза быстрее и на 80% дешевле. Платформа поможет с озвучкой текста для YouTube, стриминга и бизнес-задач компании.
Так Papercup справился с озвучкой на испанском: