Kubeflow (Kubeflow)
Kubeflow | |
---|---|
Тип | Платформа для машинного обучения |
Автор | |
Разработчики | Kubeflow Contributors[1] - AWS, Bloomberg, Google (компания), IBM, NVIDIA, Nutanix, Red Hat, Arrikto, and others |
Написана на | Go, Python |
Первый выпуск | 5 апреля 2018[2] |
Аппаратная платформа | Kubernetes |
Последняя версия | 1.6[3] (7 сентября 2022 ) |
Репозиторий | github.com/kubeflow |
Лицензия | Apache License 2.0 |
Сайт | kubeflow.org |
Kubeflow — построенная на Kubernetes и представленная Google платформа с открытым кодом, предназначенная для машинного обучения и MLOps практик. Различные этапы в типичном жизненном цикле машинного обучения представлены разными компонентами программного обеспечения в Kubeflow, включая разработку модели (Kubeflow Notebooks[4]), тренировку модели (Kubeflow Pipelines[5], Kubeflow Training Operator[6]), использование модели (KServe[a][7]), и автоматическое машинное обучение (Katib[8]).
Каждый компонент Kubeflow может быть развернут отдельно, также нет требования развертывать каждый компонент[9].
История
[править | править код]Проект Kubeflow был впервые анонсирован на конференции KubeCon + CloudNativeCon North America 2017 инженерами Google Дэвидом Арончиком, Джереми Леви и Вишну Каннаном[10] для устранения предполагаемой нехватки гибких возможностей для построения систем машинного обучения готовых к запуску на производстве[11]. Было также заявлено, что проект начался как способ компании Google сделать открытым код, с помощью которого в компании используется TensorFlow[12].
Первый выпуск Kubeflow (Kubeflow 0.1) был анонсирован на конференции KubeCon + CloudNativeCon Europe 2018[13] с утверждениями, что он уже стал одним из верхних 2% проектов на GitHub за всё время существования сервиса[14]. Kubeflow 1.0 был выпущен в марте 2020 года в публичном посте анонсирующим перевод множества компонентов Kubeflow в «стабильный статус», обозначая тем самым, их готовность для производственного использования[15].
Компоненты
[править | править код]Kubeflow Notebooks для разработки модели
[править | править код]Модели машинного обучения разрабатываются в компоненте записной книжки называемым Kubeflow Notebooks. Компонент использует web среды разработки внутри Kubernetes кластера, с родной поддержкой Jupyter Notebook, Visual Studio Code, и RStudio[16].
Kubeflow Pipelines для обучения модели
[править | править код]После разработки модели обучаются в компоненте Kubeflow Pipelines. Компонент служит платформой для построения и развертывания портируемого, масштабируемого рабочего процесса машинного обучения, основанного на контейнерах Docker[17]. Облачная платформа Google адаптировала Kubeflow Pipelines DSL для использования внутри своего продукта Vertex AI Pipelines[18].
Kubeflow Training Operator для обучения модели
[править | править код]Для некоторых моделей машинного обучения и библиотек, компонент Kubeflow Training Operator предоставляет поддержку пользовательских ресурсов Kubernetes. Компонент позволяет запускать как распределенные, так и не распределенные работы для обучения с использованием TensorFlow, PyTorch, Apache MXNet, XGBoost, и MPI на Kubernetes[6].
KServe для использования модели
[править | править код]Компонент KServe (ранее называемый KFServing[19]) предоставляет пользовательские ресурсы Kubernetes для использования моделей машинного обучения с помощью различных фреймворков включая TensorFlow, XGBoost, scikit-learn, PyTorch, и ONNX[20]. KServe был разработан совместно Google, IBM, Bloomberg, NVIDIA, и Seldon[19]. Публично раскрытые пользователи KServe включают Bloomberg[21], Gojek[22], и прочих[23].
Katib для автоматического машинного обучения
[править | править код]Наконец, Kubeflow включает компонент для автоматического обучения и разработки моделей машинного обучения — Katib компонент. Он описывается как родной проект Kubernetes и позволяет производить настройку гиперпараметров, раннюю остановку и поиск нейронной архитектуры[24].
Хронология выпусков
[править | править код]Дополнение
[править | править код]Примечания
[править | править код]- ↑ Kubeflow Website - Working Groups (англ.). Дата обращения: 8 февраля 2023. Архивировано 8 февраля 2023 года.
- ↑ 1 2 Kubeflow 0.1 - Release Tag (англ.). Дата обращения: 8 февраля 2023. Архивировано 8 февраля 2023 года.
- ↑ 1 2 Kubeflow 1.6 - Release Information (англ.). Дата обращения: 8 февраля 2023. Архивировано 8 февраля 2023 года.
- ↑ Kubeflow Website - Kubeflow Notebooks (англ.). Дата обращения: 8 февраля 2023. Архивировано 8 февраля 2023 года.
- ↑ Kubeflow Website - Kubeflow Pipelines (англ.). Дата обращения: 8 февраля 2023. Архивировано 8 февраля 2023 года.
- ↑ 1 2 Kubeflow GitHub - Kubeflow Training Operator (англ.). Дата обращения: 8 февраля 2023. Архивировано 8 февраля 2023 года.
- ↑ Kubeflow Website - KServe (англ.). Дата обращения: 8 февраля 2023. Архивировано 8 февраля 2023 года.
- ↑ Kubeflow Website - Katib (англ.). Дата обращения: 8 февраля 2023. Архивировано 8 февраля 2023 года.
- ↑ Kubeflow Website - Installing Kubeflow (англ.). Дата обращения: 8 февраля 2023. Архивировано 8 февраля 2023 года.
- ↑ "Hot Dogs or Not" - At Scale with Kubernetes [I] - Vish Kannan & David Aronchick, Google (англ.). Дата обращения: 8 февраля 2023. Архивировано 8 февраля 2023 года.
- ↑ Introducing Kubeflow - A Composable, Portable, Scalable ML Stack Built for Kubernetes (англ.). Дата обращения: 8 февраля 2023. Архивировано 8 февраля 2023 года.
- ↑ Kubeflow Website - History (англ.). Дата обращения: 8 февраля 2023. Архивировано 8 февраля 2023 года.
- ↑ Google-led Kubeflow, machine learning for Kubernetes, begins to take shape (англ.). Дата обращения: 8 февраля 2023. Архивировано 8 февраля 2023 года.
- ↑ Announcing Kubeflow 0.1 (англ.). Дата обращения: 8 февраля 2023. Архивировано 8 февраля 2023 года.
- ↑ Kubeflow 1.0: Cloud-Native ML for Everyone (англ.). Дата обращения: 8 февраля 2023. Архивировано 8 февраля 2023 года.
- ↑ Kubeflow Website - Kubeflow Notebooks Overview (англ.). Дата обращения: 8 февраля 2023. Архивировано 8 февраля 2023 года.
- ↑ Kubeflow Website - Kubeflow Pipelines Introduction (англ.). Дата обращения: 8 февраля 2023. Архивировано 14 сентября 2022 года.
- ↑ Vertex AI - Building a pipeline (англ.). Дата обращения: 8 февраля 2023. Архивировано 8 февраля 2023 года.
- ↑ 1 2 3 KServe: The next generation of KFServing (англ.). Дата обращения: 8 февраля 2023. Архивировано 8 февраля 2023 года.
- ↑ KServe GitHub (англ.). Дата обращения: 8 февраля 2023. Архивировано 21 февраля 2023 года.
- ↑ The journey to build Bloomberg’s ML Inference Platform Using KServe (formerly KFServing) (англ.). Дата обращения: 8 февраля 2023. Архивировано 10 мая 2022 года.
- ↑ Merlin: Making ML Model Deployments Magical (англ.). Дата обращения: 8 февраля 2023. Архивировано 8 февраля 2023 года.
- ↑ KServe Website - Adopters of KServe (англ.). Дата обращения: 8 февраля 2023. Архивировано 8 февраля 2023 года.
- ↑ Kubeflow GitHub - Katib (англ.). Дата обращения: 8 февраля 2023. Архивировано 8 февраля 2023 года.
- ↑ Kubeflow 0.2 - Release Tag (англ.). Дата обращения: 8 февраля 2023. Архивировано 8 февраля 2023 года.
- ↑ Kubeflow 0.3 - Release Tag (англ.). Дата обращения: 8 февраля 2023. Архивировано 8 февраля 2023 года.
- ↑ Kubeflow 0.4 - Release Tag (англ.). Дата обращения: 8 февраля 2023. Архивировано 8 февраля 2023 года.
- ↑ Kubeflow 0.5 - Release Tag (англ.). Дата обращения: 8 февраля 2023. Архивировано 8 февраля 2023 года.
- ↑ Kubeflow 0.6 - Release Information (англ.). Дата обращения: 8 февраля 2023. Архивировано 8 февраля 2023 года.
- ↑ Kubeflow 0.7 - Release Information (англ.). Дата обращения: 8 февраля 2023. Архивировано 8 февраля 2023 года.
- ↑ Kubeflow 1.0 - Release Information (англ.). Дата обращения: 8 февраля 2023. Архивировано 8 февраля 2023 года.
- ↑ Kubeflow 1.1 - Release Information (англ.). Дата обращения: 8 февраля 2023. Архивировано 8 февраля 2023 года.
- ↑ Kubeflow 1.2 - Release Information (англ.). Дата обращения: 8 февраля 2023. Архивировано 8 февраля 2023 года.
- ↑ Kubeflow 1.3 - Release Information (англ.). Дата обращения: 8 февраля 2023. Архивировано 8 февраля 2023 года.
- ↑ Kubeflow 1.4 - Release Information (англ.). Дата обращения: 8 февраля 2023. Архивировано 8 февраля 2023 года.
- ↑ Kubeflow 1.5 - Release Information (англ.). Дата обращения: 8 февраля 2023. Архивировано 8 февраля 2023 года.
Ссылки
[править | править код]- kubeflow.org — официальный сайт Kubeflow
- Проект Kubeflow на сайте GitHub
![]() | На эту статью не ссылаются другие статьи Википедии. |