研究 https://github.com/agile-lab-dev/sparksearchengine 发现,
似乎在每个worker节点进行全局的search似乎是不可能的,
只能建立全局index后在driver节点进行search。
一个rdd的map里,不能搜索另一个rdd,
比如
rdd.map({row =>
row.match(otherRdd)
})
因为rdd是分布在多机存的
微信扫一扫
研究 https://github.com/agile-lab-dev/sparksearchengine 发现,
似乎在每个worker节点进行全局的search似乎是不可能的,
只能建立全局index后在driver节点进行search。
一个rdd的map里,不能搜索另一个rdd,
比如
rdd.map({row =>
row.match(otherRdd)
})
因为rdd是分布在多机存的
相关推荐