文章提出了一种名为MetaRLEC的新方法，其基于元强化学习（Meta-Reinforcement Learning，MetaRLEC）来发现脑有效连接（EC）网络。该方法采用编码器-解码器框架，其中编码器利用变换器将噪声较大的功能性磁共振成像（fMRI）数据转换为状态嵌入，解码器使用双向长短期记忆网络（BiLSTM）从中发现脑区间的依赖关系并生成EC网络。通过引入批评者网络来评估生成的行动并激励演员学习更高奖励的行动，此外，元批评者框架则帮助在线学习历史状态-行动对，以提高模型对小样本fMRI数据的适应能力。实验结果表明，MetaRLEC在模拟和真实数据集上的性能优于现有方法，展示了其在脑连接研究中的潜力。
1 MetaRLEC框架
演员（Actor）
- ·负责从编码后的fMRI数据中提取特征并生成脑有效连接（EC）网络。
批评者（Critic）
- ·评估演员生成的动作（即EC网络），并提供反馈，以优化学习过程。
元批评者（Meta-Critic）
- ·在高噪声和小样本环境中提高演员的学习效率，通过在线学习历史状态-动作对，帮助模型快速适应新任务。
编码器-解码器框架
- ·编码器：采用变换器（Transformer）模型，将高噪声fMRI数据转换为状态嵌入。
- ·解码器：使用双向长短期记忆网络（BiLSTM），从状态嵌入中发现脑区间的因果关系，生成相应的EC网络。
2 结语
这篇文章提出了一种基于元强化学习的脑有效连接发现方法MetaRLEC，旨在通过处理高噪声和小样本的功能性磁共振成像（fMRI）数据，提高脑区域之间因果关系的发现能力。
论文题目： MetaRLEC: Meta-Reinforcement Learning for Discovery of Brain Effective Connectivity
论文链接： https://ojs.aaai.org/index.php/AAAI/article/view/28892
PS: 欢迎大家扫码关注公众号_，我们一起在AI的世界中探索前行，期待共同进步！
精彩回顾
1. 大语言模型能通过求解器提示进行路径规划吗？
2. 用于文档理解的局部特征
3. 用于无监督域适应的提示分布对齐