0
点赞
收藏
分享

微信扫一扫

R语言--并行计算包(parallel、foreach)

拾光的Shelly 2021-09-19 阅读 63

本文采用R语言中的parallel包与foreach包实现并行计算,并针对单变量并行和多变量并行计算这两个常用场景做了函数封装。

安装包

install.packages("foreach")
install.packages("parallel")
install.packages("doParallel")

单变量并行

单变量并行计算,是最常见的应用场景,函数的动态参数只有一个,对动态参数进行遍历计算。采用parallel包实现。

# 单变量并行计算
single_parallel <- function(func,iterable,...){
  "
  :param func:被并行函数
  :param iteralbe:func的1个动态参数(vector、list)
  :param ...:func的静态参数
  :return list,与iterable等长
  "
  #1.加载包
  library(parallel)
  #2.计算计算机内核数
  cores <- detectCores(logical = FALSE)
  #3.打开并行计算
  cl <- makeCluster(cores)
  #4.给每个单独内核传递变量,函数等
  clusterExport(cl,deparse(substitute(func)))
  #5.开始并行计算(用法与sapply类似)
  result <- parSapply(cl,iterable,func,...)
  #6.关闭并行计算
  stopCluster(cl)
  return(result)
}

其中,第4步比较重要,表示向每个进程的R session传入被并行函数和一些全局变量

多变量并行

多变量并行,是另一个常见的应用场景,是单变量并行的一个拓展,可以理解为mapply函数的并行版本,多变量并行允许传入多个动态参数,采用foreach包实现。

# 多变量并行计算
multi_parallel <- function(func,...,MoreArgs=NULL){
  "
  :param func:被并行函数
  :param ...:func的多个动态参数
  :param MoreArgs:func的静态参数(list)
  :return list
  "
  # 加载包
  library(foreach)
  library(doParallel)
  library(parallel)
  # 内核数
  cores <- detectCores(logical = FALSE)
  # 打开
  cl <- makeCluster(cores)
  # 注册
  registerDoParallel(cl)
  # 并行计算
  dots <- list(...)  # 动态参数list
  result <- foreach(i=seq(length(dots))) %dopar% 
    do.call(func,c(lapply(dots,`[`,i),MoreArgs))  # 数据与参数组成list传入函数
  # 关闭
  stopCluster(cl)
  return(result)
}

结果展示

测试single_parallel和multi_parallel函数,代码以及结果如下。

# 单变量并行测试代码
single_parallel(log,1:10)
##  [1] 0.0000000 0.6931472 1.0986123 1.3862944 1.6094379
##  [6] 1.7917595 1.9459101 2.0794415 2.1972246 2.3025851
single_parallel(round,runif(10),digits=1)
##  [1] 0.4 0.5 0.9 0.9 0.2 0.7 0.3 0.6 0.7 0.8
# 多变量并行测试代码
multi_parallel(paste,c("a","b"),c("c","d"),MoreArgs = list(sep="_"))
## [[1]]
## [1] "a_c"
## 
## [[2]]
## [1] "b_d"
举报

相关推荐

0 条评论