加入收藏 | 设为首页 | 会员中心 | 我要投稿 网站开发网_马鞍山站长网 (https://www.0555zz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 电商 > 正文

北京大学计算机系教授博士生导师崔斌:以机器学系统Angel支持大数据所带来的挑战

发布时间:2017-10-01 10:12:16 所属栏目:电商 来源:财经网
导读:副标题#e# 2017年9月27日,第二届大数据产业应用协同创新峰会于北京隆重召开。在会上,北京大学计算机系教授博士生导师崔斌发表了有关“支持大数据的分布式机器学习系统Angel”的演讲。 2017年9月27日,第二届大数据产业应用协同创新峰会于北京隆重召开。在

然后我们的系统不单单是自己做了很多的一些算法,同时它也能够支持现在,融合现在的系统,现在已经做到把11:50(英)已经做上去了。我们不去具体修改11:53(英)里面的一些代码,只是在参数部分做一些修改,然后性能大概提高了一倍。这是我们提供的一些算法,像逻辑回归、12:03(英)做分类的、12:04(英)做主题模型的、矩阵分解、12:07(英)做决策数的等等这些我们都已经支持。

然后我们对这个系统也跟很多系统做了对比,包括跟12:16(英)然后测试了不同的算法,然后不同的集训环境,包括我们自己实验室比较小的集群;然后在腾讯的工业环境里面,又是几千台服务器这样的集群。然后不同的数据集,基本上这个性能都得到了几倍,或者十倍以上的一个提升。这个大家有兴趣的,可以在网上去看。

然后这个系统也在腾讯的实际业务上面,做了很多的部署跟应用。像视频推荐、微信里面的推荐、点击率预估、应用建模基本上性能都提高了一个量级以上。

最后简单做一些总结,我们这个系统,是我的课题组和腾讯的数据平台部共同来联合开发的。它同时考虑的工业界的可用性跟我们学术的创新性。那现在已经在getup上面已经开源了,你如果在这面搜素angel你就能搜到我们这个系统。

然后这个系统到目前已经有2400多个Star。然后也很多人提供了,提出了很多的问题,像包括13:30(英)有些相关系统的作者也来到上面提问。如果大家有兴趣的话,可以去看看,你觉得你需要什么样的功能,也可以在上面提,我们看到的话,如果有需要,我们自己可以再加上去。你需要什么算法支持,我们就可以去加。

这个工作我们也在我们领域的相关顶级会议上,发表过多篇的文章。然后目前也是作为第三代计算平台,在腾讯上在使用。

好,最后简单做一下总结。过去几年,我们跟腾讯合作,做一个分布式学习的系统,这是能够支持非常大规模的数据,非常高维。这样的计算任务都能做,接下来我们希望利用现有的系统,通过参数服务器的一个服务的架构,能够把其他的包括流处理的、包括深度学习系统都整合进去。另外就是基于对开源的设计,我们对这个系统做进一步的开发。能够(在)保证系统稳定性的基础上,能更好的提高算法的性能。

好,这是我的一个基本的介绍,谢谢大家。

(编辑:网站开发网_马鞍山站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读