Беспрепятственное отслеживание и масштабирование рабочих процессов машинного обучения
Мы рады сообщить об еще одной отличной интеграции с Comet — Луч! Эта интеграция позволяет специалистам по данным использовать инструменты отслеживания и визуализации экспериментов Comet с невероятной библиотекой Ray для масштабирования рабочих нагрузок машинного обучения с интенсивными вычислениями.
О Рэе
Ray — это проект с открытым исходным кодом, который позволяет легко масштабировать любую ресурсоемкую рабочую нагрузку Python — от глубокого обучения до обслуживания производственной модели.
Благодаря богатому набору библиотек для Настройки гиперпараметров, Обучения с подкреплением, Обслуживания моделей и интеграции, построенной на гибкой распределенной среде выполнения, Ray делает распределенные вычисления простыми и доступными для каждого инженера.
Об интеграции
Ray теперь поставляется с CometLoggerCallback. Теперь вы можете регистрировать метрики, гиперпараметры, исходный код и многое другое из своих испытаний Ray в пользовательском интерфейсе Comet.
После того, как вы настроили свою учетную запись и настроили свой API-ключ Comet в своем проекте, вы устанавливаете Ray Tune и Comet, используя pip
pip install comet_ml
pip install "ray[tune]"Настройте свой проект с вашими учетными данными Comet.
export COMET_API_KEY="Your API Key" export COMET_WORKSPACE="Your Workspace Name" export COMET_PROJECT_NAME ="Your Project Name"
После того, как вы настроили свои учетные данные, просто импортируйте CometLoggerCallback из Ray!
Следующий фрагмент кода показывает, как вы можете легко регистрировать Ray Trials в пользовательском интерфейсе Comet.
О ваших пробежках теперь будет сообщать Comet. Затем вы сможете воспользоваться богатыми возможностями визуализации и анализа Comet, чтобы получить представление о своих экспериментах с Ray.
Начиная
Начать работу с этой интеграцией очень просто, и следующие ресурсы должны помочь вам начать регистрировать Ray Trials в Comet в кратчайшие сроки!
- Бесплатная учетная запись Comet: Создание с Comet абсолютно бесплатно — неограниченное количество публичных и частных проектов, 100 ГБ хранилища, поиск по гиперпараметрам и многое другое.
- Записная книжка Colab: наша записная книжка готова к работе, но вы также можете создать копию, если хотите изменить ее.
- Пример проекта Comet, демонстрирующий зарегистрированные запуски из развертки гиперпараметров Ray Tune
- Полный пример использования Comet и Ray для запуска и регистрации поиска гиперпараметров в MNIST
- Ray GitHub Repo: нужен ускоренный курс по Рэю? Ознакомьтесь с этим репозиторием GitHub, чтобы узнать основы, исполняемые примеры и многое другое.
Все готово для отслеживания данных эксперимента в масштабе с Рэем. Такие компании, как Uber, Amazon, LinkedIn и OpenAI, используют Ray для запуска своих рабочих процессов машинного обучения. Мы рады видеть, какие успехи в машинном обучении могут быть достигнуты благодаря этой интеграции!
Примечание редактора. Heartbeat — это интернет-издание и сообщество, созданное участниками и посвященное предоставлению лучших образовательных ресурсов для специалистов по науке о данных, машинному обучению и глубокому обучению. Мы стремимся поддерживать и вдохновлять разработчиков и инженеров из всех слоев общества.
Независимая от редакции, Heartbeat спонсируется и публикуется Comet, платформой MLOps, которая позволяет специалистам по данным и командам машинного обучения отслеживать, сравнивать, объяснять и оптимизировать свои эксперименты. Мы платим нашим авторам и не продаем рекламу.
Если вы хотите внести свой вклад, перейдите к нашему призыву к участию. Вы также можете подписаться на получение наших еженедельных информационных бюллетеней (Еженедельник глубокого обучения и Информационный бюллетень Comet), присоединиться к нам в Slack и следить за Comet в Twitter и LinkedIn, чтобы получать ресурсы, события и многое другое, что поможет вам быстрее создавать лучшие модели машинного обучения.
