作者 | Renato Losio译者 | 平川策划 | Tina 最近,Apache 软件基金会宣布 Apache Hudi 1.0 正式发布。这是一个支持近实时分析的事务型数据湖平台,最初于 2017 年推出。Apache Hudi ...
在数据驱动的时代,Apache软件基金会于2025年1月正式发布了Apache Hudi 1.0。这一新版本的推出,标志着Hudi项目的发展进入了一个全新的阶段。Apache Hudi作为一个支持近实时分析的事务型数据湖平台,旨在优化增量数据的处理和查询性能。自2017年首次推出以来,Hudi已经成为数据湖技术的重要玩家,尤其是在处理大规模数据集时展现出了卓越的能力。
在数据驱动的时代,如何高效处理和分析海量数据一直是科技领域的重要课题。最近,Apache软件基金会正式发布了Apache Hudi ...
本指南将从开放表格式和对象存储在构建现代化数据湖仓中的作用与演变出发,深入探讨 Apache Iceberg、Delta Lake 和 Apache Hudi三种顶级的表格式的特征比较,进而介绍如何为你的数据湖仓选择合适的开放表格式。 近年来,开放表格式(Open table formats)和对象存储 ...
在目前的市场中,主要有以下三种开放表格式(Iceberg、Delta Lake 和 Hudi): Apache Iceberg Apache Iceberg 是一种高性能表格格式,专为海量数据集而设计。
它作为数据文件之上的元数据层运行,促进跨各种处理引擎的无缝数据管理和访问。在目前的市场中,主要有以下三种开放表格式(Iceberg、Delta Lake 和 Hudi): Apache Iceberg 是一种高性能表格格式,专为海量数据集而设计。其架构优先考虑高效的读取操作和可扩展 ...
京东零售技术的2024,始终和用户在一起。
在京东集团内部,数据湖技术也在迅速迭代,为业务数据实时化转型提供强有力的支持。京东数据湖选型 Apache Hudi,结合独特业务模式,聚焦 IO 性能、特性丰富度、生态等开展大量自研,实现多项内核特性领先开源社区。2024 年实现京东千亿规模流量数据资产入 ...
与数据仓库不同,数据湖通常构建在Delta Lake、Apache Hudi等开源工具和框架之上,这些工具为数据湖提供了强大的数据管理和处理能力。 一些大型科技公司,如Uber和Netflix,更是凭借内部的专业知识,定制了专属于自己的数据湖解决方案。Uber开发的具有增量ETL ...