使用元数据表的原因
Apache Hudi 元数据表使得读取/写入操作可以获得更好的性能。使用元数据表的主要目的是为了避免 “list files” 的操作。
没有元数据表的支持,在读取和写入数据时,通过文件的 “list” 操作来获取当前文件系统的视图。当数据数据集非常大时,列出所有的文件会成为性能的瓶颈,使用元数据表会预先维护文件系统的视图,如果所有文件的列表,可以避免递归地进行"list files"操作。
开启元数据表情况下,进行TPCDS benchmark p50 “list” 操作的时延测试:
文件的个数 | 100 | 1K | 10K | 100K |
---|---|---|---|---|
时延 | 50ms | 131ms | 1062ms | 9932ms |
从上表可以看出,“list” 操作的时延并没有随着文件个数的增加而线性地增长,即使在有大量文件的情况下,每次读取的时延也能保持在100 -500ms。并且由于 timeline server 可以缓存一部分元数据信息(目前仅支持 writer),性能可以进一步达到10ms的级别。
开启Hudi 元数据表
Hudi 元数据表默认是没有开启的,通过配置以下参数可开启:
hoodie.metadata.enable
该参数需要在读写两端同时开启