Для пользователя киностриминг — это удобный сервис, с которым можно приятно провести вечер после работы. Найти и загрузить новый сериал или уже полюбившийся фильм, подобрать контент по интересам или под настроение. Но по ту сторону экрана — сложный и интересный IT-продукт, над которым работает команда разработчиков, и часто — не одна.
Вместе с Алексеем Жиряковым, CTO stream в онлайн-кинотеатре KION, разбираемся, из чего состоят видеостриминги, как они работают и кто отвечает за их качество.
Из чего состоит видеостриминг
Видеостриминг — это система, где вместе работают разные устройства и программы, чтобы передавать видео в реальном времени или по запросу. По сути, он держится на двух вещах: железе и программном обеспечении.
Железо/Hardware
Физически для работы видеостриминга нужны hardware-элементы:
Серверы потоковой передачи (Streaming Servers). Мощные вычислительные устройства или облачные сервера, которые хранят, обрабатывают и передают видеоконтент пользователям.
Кодеры (Encoders). Устройства или программное обеспечение, преобразующие исходное видео в цифровой формат, готовый для передачи по сети.
Декодеры (Decoders). Устройства или программы, которые восстанавливают видео из цифрового формата для отображения на конечных устройствах.
Контентные сети (CDN, Content Delivery Network). Распределенные серверные сети, обеспечивающие быструю доставку контента пользователям по всему миру.
Клиентские устройства. ПК, смартфоны, планшеты, Smart TV, на которых пользователь просматривает видео.
ПО/Software
Frontend. Пользовательская часть сервиса: сайт или приложение с витринами фильмов, информацией о них, страницей для просмотра.
Backend. Внутренняя программная часть стриминга. Нажимая кнопку, пользователь отправляет запрос в Backend, который компонует для него витрину. В KION бэк состоит из трех сервисов: классического агрегатора Media Gate Way (MGW), Blender, который собирает витрину по бизнес-правилам стриминга, и ML-сервиса, который компонует персонализированную витрину на основе данных пользователя.
Плееры (Video Players). Программное обеспечение, встроенное в веб-сайты или приложения, которое воспроизводит видеоконтент.
Платформы управления контентом (CMS). Системы для хранения, организации и управления видеоконтентом.
Системы транскодирования. ПО, которые преобразуют видео в разные форматы и разрешения для оптимальной передачи и воспроизведения.
Системы защиты авторских прав (DRM). Программы для защиты контента от несанкционированного копирования.
Аналитические системы. Инструменты для сбора данных о просмотрах, качестве трансляции и поведении пользователей.
Что происходит, когда пользователь жмет на «плэй»
Каждое действие пользователя стриминг фиксирует как продуктовое событие и запускает ряд процессов.
Когда пользователь жмет «воспроизвести», клиентское ПО формирует запросы на бэк для получения файлов манифеста с информацией, по какой ссылке начинать воспроизводить видеоконтент. Затем ПО передает этот манифест плееру, плеер начинает воспроизводить в лучшем возможном качестве с текущей скоростью интернета на устройстве. Одновременно формируется продуктовое событие: пользователь X нажал на контенте Y кнопку старта. По окончании просмотра продукт сообщает об этом бэку. Клиентское ПО сделает запрос на бэк для начала воспроизведения следующего похожего фильма, причем воспроизводится персонально рекомендуемый контент с учетом ранее просмотренного. Когда пользователь ставит фильму оценку, это тоже фиксируется продуктовым событием на бэке.
Все продуктовые события сохраняются в логах и используются в аналитике, чтобы улучшить персонализацию и качество витрин для пользователя.
Дедупликатор продуктовых событий: проект со студентами Skillfactory
Важная часть в пайплайне обработки продуктовых событий — это дедупликация. По разным причинам клиентское ПО может много раз отправлять один и тот же запрос. Таким образом искажается картина метрик: модель может думать, что фильм популярен, а на самом деле ей просто пришло 100 000 раз одно и то же событие.
Чтобы избежать этого, в любой системе с продуктовыми событиями нужен дедупликатор. Именно такой элемент разработали студенты Skillfactory на стажировке с компанией KION.
Работы студентов мне очень понравились. Я не ожидал увидеть настолько хорошо оформленные работы, репозитории, аккуратно, грамотно и понятно написанный код. Это уровень не стажеров, а уверенных мидлов. Причем большинство студентов не боялись осваивать новые инструменты. Например, брокеры сообщений: не то что Kafka осваивали, в некоторых работах использовалась RedPanda — авангардный брокер, полностью повторяющий API Kafka, но написанный не на Java, а на Go. Некоторые репозитории я забрал для дальнейшего изучения сеньоров из моей команды.
Какие IT-специалисты нужны в киностримингах
Работа в компаниях — разрботчиках видеостримингов — хороший способ совмещать интерес к кино и навыки IT-специалиста. За последние годы на российском рынке появилось много компаний, которые постоянно ищут специалистов.
Искать работу мечты можно в «Иви» (22 вакансии на hh), Okko (64 вакансии), «Кинопоиске», «Амедиатеке» и, конечно, KION.
Каких специалистов ищут чаще всего:
- разработчик (Python, Java, Go);
- мобильный разработчик (под iOS и Android);
- системный администратор;
- тестировщик;
- специалист по кибербезопасности;
- ML-инженер;
- аналитик;
- проджект-менеджер;
- продакт-менеджер/продакт-оунер.
Найти себя в индустрии киностримингов могут как технические специалисты по железу и коммуникациям, так и разработчики и управленцы. Главное — понять свою сильную сторону и вложиться в ее развитие.
