9月18日,在云栖大会上,AlibabaCloud正式发布大数据平台新一代框架“湖仓一体”,通过数据仓库和数据湖两个体系,使数据和计算在湖与仓之间自由移动, 为公司提供兼具数据湖灵活性和数据仓库成长性的新一代大数据平台,降低公司构建大数据平台的整体价格。
大数据技术从本世纪初的快速发展到现在发展了数据仓库和数据湖两大趋势。 前者一般是基于云厂商提供的大数据技术的一体化服务,后者一般是由一系列云产品或开源组件构成的大数据处理方案。
公司处于最初阶段时,灵活性很重要,数据湖的结构更合适。 一旦公司成熟,成长性成为最重要的因素,数据仓库的体系结构就不是最佳的。 那么,数据仓库和数据湖只是一个选择题吗? 有兼顾数据湖灵活性和云数据仓库成长性的方案吗?
阿里巴巴集团副总裁、阿里巴巴云计算平台负责人贾扬清指出,maxcompute湖仓一体化方案打破了数据湖与数据仓库的分割体系,提高了数据湖的灵活性、生态系统的丰富性和数据仓库 maxcompute湖仓一体方案不仅支持超大规模的机器学习和深度学习,还有助于公司有效提高自身的大数据能力,实现敏捷运营,降低本插件。
maxcompute将存储计算一体化的数据仓库和云中的存储计算分离的数据湖结合到传统的数据仓库体系结构中,最终实现湖仓一体化的整体体系结构 该体系结构中共存着多个底层存储系统,但通过统一的存储访问层和统一的元数据管理提供与高级引擎集成的封装接口。 客户可以联合数据仓库和数据仓库两个表,并在整个体系结构中提供统一的数据安全、管理和治理等中端功能。
在技术融合过程中,maxcompute不仅实现了高速访问、统一数据/元数据管理、统一开发体验、自动数仓4个关键技术点,还持续提高了核心性能。 在tpcx-bigbench上,如果maxcompute基于英特尔至强可扩展解决方案以100tb的规模维持性能,则在30tb的规模上,性能比去年下降了40%,则性能提高了50%以上,价格提高了30%
微博是享受“湖仓一体”味道的人。 迄今为止,微博拥有hadoop数据湖、阿里云大数据和ai两个异构大数据平台,而且两个平台在集群层面完全分割,数据和计算无法自由移动。 为了应对这些难题,微博基于AlibabaCloud (阿里巴巴云)构建了湖仓一体化的ai计算中心,摆脱了大量的数据传输。 这样,微博的数据工程师和算法工程师就可以简单、无缝地利用阿里巴巴成熟的超大规模计算力和算法力来提高业务效率。 然后,通过将maxcompute云数据仓库(结构化数据)和数据湖)非结构化数据)设为闭环,大大提高了ai类的工作效率,产生了巨大的商业价值。
AlibabaCloud (阿里巴巴云)自研云数据仓库maxcompute经过近十年的技术沉淀,不仅稳定支持阿里巴巴集团的数据存储和数据计算业务,也是云上的客户大数据平台。 此次湖仓一体发布为公司提供了更灵活、高效、经济的数据平台处理方案,对新构建大数据平台的公司和现有大数据平台的公司进行了架构升级,并以技术实现了公司数字化
在此次云栖大会上,贾扬清首次发布阿里云原生数据湖系统,基于目标存储oss、数据湖,打造了data lake formation和云原生开源大数据产品e-mapreduce的强大组合。 发现提供了涵盖湖泊存储、湖泊加速、湖泊管理和湖泊计算的公司级数据湖泊处理方案。 然后推出maxcompute和hologres产品的融合升级,提供离线、实时、分解、服务一体化的数据仓库。
温馨提示:尊敬的[]站点管理员,将本页链接加入您的网站友情链接,下次可以快速来到这里更新您的站点信息哦!每天更新您的[“业内首次融合数据仓库与数据湖 阿里云推出下一代大数据平台“湖仓一体””]站点信息,可以排到首页最前端的位置,让更多人看到您站点的信息哦。
将下面的代码插入您网页中,让网友帮您更新网站每日SEO综合情况
-
2021年深圳执业药师考试时间通知,近几年执业药师考试政策都有哪些变动?题 -
不知道大家有没有注意过,现在许许多多的考试,都对于报考的条件有了严格的限制,对于报考的人员有着更严格的要求,那么,对于 药师 的考试报名需要具备的条件有哪些呢? 202
-
“天生BUFF ROG游戏手机2(腾讯游戏深度定制)重磅发布” -
锦纶 【科技在线】 7月23日,rog玩家国度在北京凯迪拉克m空之间天生召开了buff rog 2019新产品发布会,正式发布了备受期待的rog游戏手机2 (腾讯游戏深度定制)。 基于rog和腾讯游戏的战术
-
“以工业网络赋能产业转型升级” -
动漫知识数据库 【科技在线】 目前,世界范围内正在兴起新的科技革命和产业变革。 产业网络作为新一代新闻技术与制造业深度融合的产物,日益成为新产业革命的关键支撑和网络深
-
“华为正在用科技助力上海打造一座智慧之城” -
手机赚钱 【科技在线】 一个城市的快速发展,取决于城市建设的理念、基础和结构。 站在数字时代的入口前,华为正在用科技在上海建造智慧之城。 城市的管理像刺绣一样细致 华为
-
高级班和研修班哪个好 -
工业工控机主板 高级班和研修班哪个好呢?其实两者的特点和人们的生活方式更有联系,这也是我们通常所说的一部教学课程:比较系统地理解知识,教授的知识会深深的渗透到我们的社会