0
点赞
收藏
分享

微信扫一扫

Hudi 的元数据表(Metadata Table)

young_d807 2022-02-28 阅读 109

使用元数据表的原因

Apache Hudi 元数据表使得读取/写入操作可以获得更好的性能。使用元数据表的主要目的是为了避免 “list files” 的操作。

没有元数据表的支持,在读取和写入数据时,通过文件的 “list” 操作来获取当前文件系统的视图。当数据数据集非常大时,列出所有的文件会成为性能的瓶颈,使用元数据表会预先维护文件系统的视图,如果所有文件的列表,可以避免递归地进行"list files"操作。

开启元数据表情况下,进行TPCDS benchmark p50 “list” 操作的时延测试:

文件的个数1001K10K100K
时延50ms131ms1062ms9932ms

从上表可以看出,“list” 操作的时延并没有随着文件个数的增加而线性地增长,即使在有大量文件的情况下,每次读取的时延也能保持在100 -500ms。并且由于 timeline server 可以缓存一部分元数据信息(目前仅支持 writer),性能可以进一步达到10ms的级别。

开启Hudi 元数据表

Hudi 元数据表默认是没有开启的,通过配置以下参数可开启:
hoodie.metadata.enable

该参数需要在读写两端同时开启

举报

相关推荐

0 条评论