Время обучения языковой модели для рекрутинга сократилось в 10 раз
Как один из лидеров онлайн-рекрутинга обучил языковую модель на 2 ТБ данных за 15 дней вместо 140 и улучшил поиск вакансий для соискателей.
«Работа.ру» — платформа для поиска работы и подбора персонала, один из лидеров рынка онлайн-рекрутинга. Охватывает все категории соискателей — от рабочих до топ-менеджеров.
Задача
Обучить языковую модель HRBert на 2 ТБ корпоративных данных в сжатые сроки: собственные мощности потребовали бы более 140 дней и сорвали бы планы по обновлению сервиса.
Решение
Запустили обучение на суперкомпьютере Christofari Neo через платформу ML Space. Модель обучена за 15 дней; поиск и рекомендации для соискателей заметно улучшились.
О компании
«Работа.ру» — сервис для быстрого поиска работы и подбора персонала, один из лидеров рынка онлайн-рекрутмента. Проект ориентирован на все профессиональные группы соискателей — на сайте представлены массовые позиции, вакансии специалистов, менеджеров среднего звена и топ-менеджеров.
Цель проекта
Команда сервиса постоянно работает над улучшениями собственного ИТ-продукта, и на этот раз специалисты задались целью повысить качество предоставляемых услуг за счет обучения языковой модели HRBert на основе open source модели RoBERTa.
В качестве ресурсов для обучения данной модели планировалось использовать 4 видеокарты NVIDIA GeForce RTX 2080 Ti c 11ГБ памяти, а также Tesla T4 16ГБ. Поскольку объем собранных данных для модели составляет около 2 ТБ, примерное время обучения на этих ресурсах — больше 140 дней. Такой длительный срок обучения срывал планы по обновлению сервиса — требовалось быстрое решение и большее количество мощностей.
Почему Cloud.ru
«Работа.ру» уже успешно использует облачную платформу Advanced для построения ИТ-инфраструктуры в облаке, поэтому выбор облачного провайдера в рамках этого проекта был очевиден.
Команда сервиса обратилась в Cloud.ru за доступом к облачной платформе ML Space для обучения языковой модели.
Решение
Перед стартом работы на платформе команда ML Space провела короткую обучающую демо-презентацию, через час после которой специалисты «Работа.ру» уже смогли самостоятельно загрузить данные для обучения HRBert.
Обучение модели было запущено в сервисе Environments ML Space на мощнейших картах Tesla A100 с 80ГБ памяти суперкомпьютера Christofari Neo.
Результат
Команда сервиса переместила процессы ML-разработки в облако в кратчайшие сроки, ускорила обновление собственного ИТ-продукта и осталась довольна качеством обученной модели HRBert.
Языковая модель помогла улучшить поиск и выстроить рекомендательную систему в сервисе. В итоге клиенты-соискатели могут быстрее находить интересующие их вакансии, а клиенты-работодатели стремительнее подбирать сотрудников по резюме.
Благодаря ресурсам Cloud.ru «Работа.ру» сократила время обучения модели до 15 дней, то есть почти в 10 раз уменьшила технический time-to-market.
Дальнейшие планы
Сейчас команда «Работа.ру» собирает данные для обучения новых моделей и планирует вновь обратиться за ресурсами.
Команда Cloud еще в самом начале нашего сотрудничества организовала чат технической поддержки для оперативного решения всех вопросов по платформе и обучению модели. Было даже несколько кейсов, когда мы писали в выходные после девяти вечера, и нам быстро отвечали. Техподдержка правда работает круглосуточно. По результатам данного проекта у нас появилось множество идей как улучшить языковую модель, увеличить количество сценариев её применения и повысить качество использования. Мы остались довольны работой на платформе ML Space и мощностями Christofari Neo — планируем и далее обучать модели на платформе, а также оптимизировать сроки обновлений с учетом ресурсов и оперативной техподдержки Cloud.ru.
Предоставлять клиенту необходимые сервисы и инфраструктуру в кратчайшие сроки для кейсов любого масштаба — наша главная задача. А с учетом социальной значимости использования ML-модели в решении “Работа.ру” мы вдвойне рады возможности помочь с реализацией.
Посмотрите выступление команды «Работа.ру» на конференции GPN Data Science Meetup и узнайте больше про модель HRBert: