Тулинг для MLOps должен покрывать следующие задачи:

• Версионирование данных/модели/конфигурации/схемы
• Оркестрация для создания наборов данных и сбора данных
• Оркестрация для автоматического обучения модели (по триггеру, по расписанию и т. д.)
• Оркестрация для автоматического развертывания модели (+ A/B-тестирование, canary)
• Сервинг моделей
• Автоматическая подготовка вычислительных ресурсов локально или в облаке
• Обнаружение сдвига в данных
• Мониторинг модели в производстве
• Юнит/интеграционные тесты и тесты для данных

Модель зрелости MLOps включает в себя пять уровней технических возможностей:

• Команды разрознены, релизы болезненны
• Большинство систем существуют как «черные ящики», мало обратной связи во время/после развертывания. | - Сборки и развертывания вручную
• Ручное тестирование модели и приложения
• Нет централизованного отслеживания производительности модели
• Обучение модели ручное | | 1 | DevOps | - Релизы менее болезненны, чем при отсутствии MLOps, но полагайтесь на Data Team для каждой новой модели
• По-прежнему ограничена обратная связь о том, насколько хорошо модель работает в продакшне
• Сложно отследить/воспроизвести результаты | - Автоматизированные сборки
• Автоматизированные тесты для кода приложения | | 2 | Автоматизированное обучение | - Среда обучения полностью управляема и отслеживаема
• Легко воспроизводимая в обучении модель
• Релизы ручные | - Автоматизированное обучение модели
• Централизованное отслеживание эффективности обучения модели
• Версионирование моделей | | 3 | Автоматизированное развертывание | - Релизы автоматические
• Полная наблюдаемость от развертывания до исходных данных
• Управление всей средой: обучение > тестирование > производство | - Интегрирационное A/B-тестирование производительности модели для развертывания
• Автоматические тесты для всего кода
• Централизованное отслеживание эффективности обучения модели | | 4 | Полный цикл операций машинного обучения | - Полностью автоматизированная и легко контролируемая система
• Производственные системы предоставляют информацию о том, как улучшить и, в некоторых случаях, автоматически обучать новые модели
• Приближение к системе с нулевым временем простоя | - Автоматизированное обучение и тестирование моделей
• Подробные централизованные метрики из развернутой модели |

Уровень 0: Отсутствие MLOps

Инженеры по обработке данных (если есть): изолированы, не поддерживают регулярные связи с более крупной командой

Инженеры-программисты: изолированы, получают модель удаленно от других членов команды | Данные собираются вручную Вычислительные мощности, скорее всего, не управляются Эксперименты не версионируются Конечным результатом может быть один файл модели, переданный вручную с входами/выходами | Ручной процесс Скрипт скоринга может быть создан вручную задолго после проведения экспериментов и не контролируется по версиям Релиз обрабатывается только специалистом по анализу данных или инженером по данным | В значительной степени зависит от опыта специалиста по анализу данных для реализации Релизы каждый раз создаются вручную |

Уровень 1: DevOps без MLOps

Инженеры по обработке данных (если они есть): изолированы, не поддерживают регулярную связь с большой командой

Инженеры-программисты: изолированы, получают модель удаленно от других членов команды | Пайплайн подготавливает данные автоматически Вычислительные мощности управляются или не управляются Эксперименты не версионируются Конечным результатом может быть один файл модели, переданный вручную с входами/выходами | Ручной процесс Скрипт скоринга может быть создан вручную задолго после проведения экспериментов и не контролируется по версиям Передается инженерам-программистам | В значительной степени зависит от опыта специалистов по исследованию данных для реализации модели Для модели существуют базовые интеграционные тесты Автоматизированный релиз Код приложения имеет модульные тесты |

Уровень 2: Автоматизированное обучение

Инженеры данных: Работа с инженерами по данным

Инженеры-программисты: изолированы, получают модель удаленно от других членов команды | Пайплайн подготавливает данные автоматически Вычислительные мощности управляются Эксперименты версионируются, результаты отслеживаются Код обучения и результирующие модели контролируются по версиям | Ручной процесс Скрипт скоринга контролируется по версиям с помощью тестов Релиз управляется командой разработчиков программного обеспечения | Реализация модели в значительной степени зависит от опыта специалистов по исследованию данных Для модели существуют базовые интеграционные тесты Автоматизированный релиз ****Код приложения имеет модульные тесты |

Уровень 3: Автоматизированное развертывание модели