openmetadata pipelineservice client 处理机制

阅读 134

2022-10-15

pipelineservice client 实现了pipeline的创建以及调度处理

机制

  • 通用schema 生成通用实体
  • 包装抽象通用pipelineclient 基于通用实体进行pipeline 处理
  • 实现具体的client 比如airflow
  • IngestionPipelineRepository 会使用client 进行实际上的创建,IngestionPipelineResource 提供rest api

接口定义

openmetadata pipelineservice client 处理机制_java

 

 

说明

目前openmetadata pipelineservice 主要还是集成其他外部的pipeline 调度服务,没有开发自己的,核心是进行包装,预计后边会支持更多的pipeline 服务

参考资料

​​https://github.com/open-metadata/OpenMetadata/blob/fdf216aaddff912647f9d84fd70d034f17d9a144/openmetadata-service/src/main/java/org/openmetadata/service/util/PipelineServiceClient.java​​

精彩评论(0)

0 0 举报