FfDL上的H2O.ai:让深度学习和机器学习更加紧密
2018年06月25日 由 荟荟 发表
186585
0
像TensorFlow,PyTorch,Caffe,MXNet和Chainer这样的深度学习框架减少了培训和使用深度学习模型所需的工作量和技能。但对于AI开发人员和数据科学家来说,以一致的方式为分布式模型培训和服务设置和使用这些框架仍然是一个挑战。深度学习的
开源结构(FfDL)项目为AI开发人员和数据科学家提供了一种一致的方式,可以将深度学习作为服务用于Kubernetes,并使用Jupyter笔记本对使用这些多个框架编写的模型执行分布式深度学习培训。
现在,FfDL宣布了一项新的补充,将深度学习培训能力与最先进的机器学习方法结合在一起。
利用同类最佳的机器学习功能,加强深度学习
对于任何想要使用FfDL尝试机器学习算法的人,我们很高兴将H2O.ai作为FfDL堆栈的最新成员。H2O-3是H2O.ai的开源平台,一个内存中,分布式,可扩展的机器学习和预测分析平台,使您能够在大数据上构建机器学习模型。H2O-3提供了广泛的算法库,如分布式随机森林,XGBoost和Stacked Ensembles,以及AutoML,这是一种强大的工具,适用于数据科学和机器学习经验较少的用户。
在数据清理或“修改”之后,训练强大的预测模型的最基本部分之一是正确调整模型。例如,非专家正确地调整深度神经网络是非常困难的。这就是AutoML成为极具价值的工具的地方。它提供了一个直观的界面,可以自动化训练大量候选模型的过程,并根据用户首选的评分方法选择性能最高的模型。
FfDl云硬件
结合FfDL,H2O-3使各种经验用户都能高度访问数据科学。您只需将FfDL部署到Kubernetes集群并向FfDL提交培训作业即可。在幕后,FfDL设置H2O-3环境,运行您的培训工作,并流式传输培训日志,以便您监控和调试模型。由于FfDL还支持具有H2O-3的多节点集群,因此您可以在所有Kubernetes节点上无缝地水平扩展H2O-3培训作业。模型训练完成后,您可以将模型本地保存到FfDL或云对象存储,稍后可以在此处获取服务推断。
立即在FfDL上试用H2O吧!
您可以在开源FfDL自述文件和指南中找到有关如何在FfDL上训练H2O模型的详细信息。使用您认为有用的任何功能部署,使用和扩展它们。我们正在等待您的反馈并提出请求!
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com