Spark 集成 Lucene

阅读 76

2022-07-27


研究 https://github.com/agile-lab-dev/sparksearchengine 发现,
似乎在每个worker节点进行全局的search似乎是不可能的,
只能建立全局index后在driver节点进行search。

一个rdd的map里,不能搜索另一个rdd,
比如

rdd.map({row =>
row.match(otherRdd)
})

因为rdd是分布在多机存的


精彩评论(0)

0 0 举报