首页互联网 › 2016云栖大会|阿里云唐洪:飞天,向世界要一个答案-立博官网

2016云栖大会|阿里云唐洪:飞天,向世界要一个答案-立博官网

立博官网

【立博官网】仅次于 1500 台机器的集群,也经常因为一些bug遭到客户的吐槽。当时,阿里巴巴的很多数据处理的任务,还是创建在开源软件 Hadoop 的系统之上的,这个集群大约有 3000-4000 台机器。

【阿里巴巴集团技术委员会主席王坚】但是,Hadoop 无论从安全性还是运营逻辑上,都不是为公共云计算设计的。Hadoop 的存储和计算出来是一体的,也就是说,如果你必须十台机器的存储,但不必须十台机器的计算能力,你依然必须十台机器的集群,这是一种浪费。虽然可以通过其他方法解决问题这样的问题,但是运营效率不会大大降低。

Hadoop 的账号体系,不是面向互联网租户的账号体系,更好的是面临本地管理员。这就要求了它无法像如今的阿里云一样出售给互联网级别的用户。另外,Hadoop 高度的灵活性,容许应用层的用户必要采访底层的文件,这不存在极大的安全隐患,也不有可能必要以多租户分享的形式跑完在公有云上。

唐洪告诉他,以上的一切弊端,都很难通过修修补补的方式,在 Hadoop 上回避。而更加关键的问题在于,阿里巴巴那时业务的增长速度,早已无穷大 Hadoop 集群的计算能力无限大。一旦超过瓶颈,就必需不得不减少业务水平,或者主动容许业务规模。

在此之前,阿里巴巴曾多次展开过尝试,用飞天来替换 Hadoop,但都以告终而收场。彼时的阿里巴巴 CTO 王坚对所有阿里的童鞋说道,这个任务还是应当让飞天来分担,因为在他心里有一个计划,那就是把飞天制成 5000 台服务器的集群。这个当时让很多同事嘲笑的可怕点子,就是“5K”。

从1500到5000,恨某种程度是再买3500台机器这么非常简单。唐洪说道:摩尔定律预见了计算机硬件性能随时间的指数快速增长 。

从1500台杨家机器到5000台新机器,计算力减少了8倍到10倍。在短短将近半年时间内构建如此大跨度的软件能力的升级,对任何一个熟谙软件工程规律的人来说,都是不有可能的挑战。但是,飞天知道做了。世界上负担得起五千台服务器的公司不少,但是真得有自己研发的技术调度这么大规模集群的,一只手都数得过来。

为什么阿里云一定要建设 5000 台机器的集群呢?唐洪告诉他,对于阿里巴巴来说,很多计算出来任务是没办法报废的,必需在一个计算出来集群里已完成。如此大量彼此联系的数据,就必须这么多机器处在一个集群中协同分析。

就在2012年底的总裁会上,还有人明确提出要新的依赖 Hadoop。但最后总裁们要求两条路一起回头,既要 Hadoop 也要飞天。

但是在我看来,这种决策让技术力量分流了。只不过,当时我根据团队内部的模拟实验结果,心里很确切超过 5K早已不是架构设计的问题,而是一个产品细节抛光的过程了 。但其他部门的同事有可能并不这么指出。

这样两条路一起回头就大大分流了技术力量,所以5K需要早于一天做到出来,就能早于一天落幕争辩。他说道。

2013年8月15日,是唐洪脱口而出的日期。这一天,事实宣判了王坚、唐洪和飞天的辨别是对的 。

5K 集群上线,并且是同时上线了两个 5K集群。在阿里巴巴云栖小镇里,竖立着一尊 5K 的雕像。这尊雕像比想象中要小,却丝毫无法挡住它向周围弥漫着理想的质感,很多路经的人都会驻足观看。【坐落于在阿里云浅海小镇的飞天 5K 雕像】唐洪告诉他(公众号:),后来的事实证明,Hadoop 集群在打破4000台机器集群之后,不会遇上不可逾越的瓶颈。

如果当时阿里巴巴自由选择倚赖 Hadoop 系统,如此低的业务快速增长,将不会遇上计算出来性能的“断崖”,后果无法设想。就像当年的波音的747飞机、Intel的x86芯片、SpaceX 的火箭一样,所有的最出色建构,都来自于孤注一掷。唐洪如此感叹。“不吃自己的狗粮”我忘记2012年或者2013年我们展开校招的时候,清华北大的学生来试镜的非常少,而且很多同学即使获得了我们的Offer,他们的第一自由选择也不会是百度和腾讯。

唐洪把这个哀伤的事实当成一个段子讲给。在今年的阿里星试镜上,唐洪回答同学问为什么自由选择来阿里云,获得的问是“阿里云的云计算技术领先”。

他非常简单地形容了一下现在的飞天:单集群万台,全球总共几十万台服务器,每天数据平台处置的数据多达 1PB。不过他实在,这些都无法解释飞天的强劲,确实有说服力的,是阿里巴巴在“不吃自己的狗粮”,也就是还包括淘宝天猫在内的部分最重要业务,还包括瞬时所发计算出来量难以置信的“双十一”,都由飞天来负责管理云计算调度。

立博官网

也就是说,阿里巴巴自己也在用于给其他客户获取的完全相同的云服务,没任何特权和区别。“我坚信国内某些竞争者们自己的服务认同没跑完在自家获取的云上。”他说道。

让阿里云引以为傲的一个数据是:在中国 37% 的网站都创建在阿里云之上。我们的预计是,未来全世界有可能只有几台“计算机”,他们都是由超大规模计算出来集群构成的。

这个时候,计算力就不会被完全地和平。如果唐洪的预期成真为,那时有关“腹纸盒石子”的计算出来,将不会得出结论比现在更加相似真凶的解法。或许我们总有一天去找将近准确的答案,但是毋庸置疑,机器不免向准确答案迫近一小步,都是人的光荣。向世界要一个答案每年,阿里云都会在大本营杭州举办云栖大会,发布阿里云和飞天的最新进展。

在今年的大会上,马云公开发表了热情洋溢的演说。原本的机器生产将不会变为人工智能,原本机器不吃的是电,未来机器不吃的是数据。马云如是说。

可见,机器学习和人工智能立博官网,正是飞天下一步棋。对于人来说,岔路后面的岔路,自由选择背后的自由选择,让我们感觉到似乎和不安。为了对付命运的世间,我们发明者了云计算,我们发明者了人工智能。

无论对于唐洪还是飞天来说,这些无数运转的芯片,无数网络中川流不息的电流,都只有一个目的:向世界要一个答案。原创文章,予以许可禁令刊登。下文闻刊登须知。

|立博官网。

本文来源:立博-www.opentooneness.com

转载本站文章请注明出处:立博官网|立博 http://www.opentooneness.com/?p=4079

上一篇:

下一篇:

相关文章