0
点赞
收藏
分享

微信扫一扫

Spark 集成 Lucene


研究 https://github.com/agile-lab-dev/sparksearchengine 发现,
似乎在每个worker节点进行全局的search似乎是不可能的,
只能建立全局index后在driver节点进行search。

一个rdd的map里,不能搜索另一个rdd,
比如

rdd.map({row =>
row.match(otherRdd)
})

因为rdd是分布在多机存的


举报

相关推荐

0 条评论