Представьте, что умные камеры сами определяют заполненность мусорных баков и проходимость зимних дорог, а машины на автопилоте отказываются проезжать на красный и предупреждают водителей о смене сигнала светофора. Это только несколько идей, которые предложили участники хакатона для студентов «Инженерии машинного обучения». Пространство вокруг станет комфортнее и безопаснее с помощью технологий. Если их правильно запрограммировать.
Как технологии Machine Learning меняют мир
Показать банковскую карту смартфону и не вбивать цифры вручную — как минимум, удобно. А еще автоматизация процесса защищает пользователя от ошибок и сбоев в оплате. Искусственный интеллект способен работать и с документами посложнее, например чеками, отчетами, сертификатами, пропусками и полисами. На автовыполнении таких задач бизнес может сэкономить и деньги, и время. Поможет в этом «дрессировщик» нейросетей — ML-инженер.
Работа с документами — только один пример применения нейросетей. Технологии искусственного интеллекта используются, например, в медицине. Помогают распознавать заболевания по фотографиям кожи, снимкам КТ и МРТ, синхронизируют движения протезов с жестами носителя. А еще сохраняют нервы всем, кто не любит голосовые сообщения — расшифровывают их в текст.
В сфере финансов нейросети могут прогнозировать рост акций, в искусстве отмечаются созданием шедевров по примерам работ легендарных мастеров. Успехов ИИ добился и в области безопасности: например, умные камеры распознают лица преступников, бьют тревогу и предупреждают людей о пожаре или ограблении.
Предложить свои решения в области ИИ, попрактиковаться помогают хакатоны. Участники выносят с соревнований опыт работы над реальными задачами. Поэтому мы сотрудничаем с действующими игроками рынка. ML-инженеры «Сайберлимфы», компании — партнера прошедшего хакатона, работали с кейсами нефтегазовых, химических, металлургических и энергетических предприятий. И задачи, предложенные студентам, были выбраны с учетом конкретных заказов «Сайберлимфы».
Как проходил хакатон
Студентов магистерской программы «Инженерия машинного обучения», совместной с УрФУ, разделили на 19 команд. Первое задание — выявить необходимые проекту роли и распределить обязанности. Договориться, кто возьмет на себя лидерство, кто выступит прожект- и продакт-менеджерами, аналитиками, сборщиками данных, разработчиками. Так началась прокачка софт-скиллов.
Всего хакатон длился 10 дней. Команды работали по чек-листам: таски распределялись заранее на каждый день. От выбора задачи и создания визитной карточки с лого своей команды в Miro в первый день до презентации проекта перед жюри — в последний. Проверить гипотезы и скорректировать направление мыслей участникам помогали онлайн-консультации с менторами и тематические мастер-классы.
Команды делились по уровню подготовки.
Первокурсники. Решали задачу по подготовке набора данных для обучения нейронной сети. Им нужно было собрать и правильно разделить на классы изображения, которые составят библиотеку для обучения искусственного интеллекта.
Одна из команд-финалистов среди первокурсников работала над созданием библиотек для детектирования сигналов светофора. Решение этого вопроса помогло бы наладить технологию автономного вождения и снизить количество аварий.
Дорожно-транспортные происшествия на перекрестках — это вторая из ведущих причин столкновений транспортных средств. Система распознавания светофора может предупредить отвлеченных водителей об изменении огней или даже спровоцировать автоматический ответ самого транспортного средства.
В топ-3 разработанных идей была библиотека для распознавания одежды и составления текстового описания товаров. А команда-победитель обучала нейросеть отличать дроны от летящих птиц.
Второкурсники. Студентам поопытнее предложили выбор из двух задач: автоматизировать обработку чеков или машиночитаемых документов.
В первом случае участники учили нейросети выделять в сканах чеков сегменты с текстовыми сущностями, выводить информацию из разных блоков чека в понятном виде и классифицировать суммы, даты, имена людей, названия компаний, адреса.
![image-8985649](https://blog.skillfactory.ru/wp-content/uploads/2023/03/image-8985649-1024x573.png)
Во второй задаче студентам выдали набор данных документов из системы документооборота небольшой вымышленной компании. На основе этого набора нейросеть должна была построить граф знаний о компании. Определить ее структуру и список подразделений, составить список сотрудников, их должностей и обязанностей.
![screenshot_10-5159655](https://blog.skillfactory.ru/wp-content/uploads/2023/03/screenshot_10-5159655.png)
Затем на основе построенного графа знаний команды разрабатывали систему, которая ищет ошибки в проверочных документах. Например, опечатки в названиях подразделений или ФИО сотрудников или несоответствие тематики документа подразделению, в которое он направлен (в бухгалтерию направлен документ с задачей по разработке).
Чему научились участники
Во-первых, работать в команде. Выстраивать иерархию группы, разделять обязанности, проводить мозговые штурмы, соблюдать дедлайны и вместе отвечать за готовые проекты.
Во-вторых, работать с конкретными задачами, решения которых можно использовать в реальном бизнесе. Видеть, как идеи превращаются в технологии и приносят пользу, — важный этап обучения.
Эдвард, капитан команды-победителя TALE:
Для меня хакатон стал моделью отдела разработки, в который собрали незнакомых друг другу людей: от джунов до сеньоров. Им позволили самим выбрать проект, выстроить иерархию и отношения в коллективе. Такая солянка из разного уровня профессионалов помогает отточить софт-скиллы: можно многократно обсуждать одну и ту же идею, уступить мнению другого человека, подстроиться под потребности всей команды. И, конечно же, можно лучше познакомиться со своими сокурсниками. На хакатоне было предложено множество идей: от создания наборов данных до способов решения реальных задач методами CV и NLP. Самое главное — хакатон мотивирует продолжать изучать очень обширную и интересную ML/DL область знаний.