教AI模型识别未知领域
像ChatGPT这样的人工智能系统能够对任何问题提供看似合理的答案，但它们并不总是揭示知识空白或不确定领域。随着AI系统日益应用于药物研发、信息合成和自动驾驶等关键领域，这一问题可能产生严重后果。
某中心衍生公司Themis AI正在通过量化模型不确定性和纠正输出来解决这一问题。该公司的Capsa平台可与任何机器学习模型配合使用，在数秒内检测并修正不可靠输出。其工作原理是通过修改AI模型，使其能够识别数据处理过程中表明模糊性、不完整性或偏差的模式。
"该方法是将模型封装在Capsa中，识别模型的不确定性和故障模式，然后增强模型，"Themis AI联合创始人表示，"这项解决方案能够改进模型并提供模型正确运行的保证。"
技术原理与应用场景
研究团队多年来一直致力于模型不确定性研究。2018年获得了某汽车机构的资助，研究基于机器学习的自动驾驶解决方案的可靠性。"这是一个安全关键场景，理解模型可靠性非常重要。"
在另一项工作中，研究人员开发了能够检测面部识别系统中种族和性别偏见的算法，通过重新加权模型训练数据来消除偏差。该算法通过识别底层训练数据中不具代表性的部分，并生成新的相似数据样本来实现重新平衡。
2021年，研究团队展示了类似方法可用于帮助制药公司使用AI模型预测候选药物特性。目前Themis AI正与多个行业的企业合作，许多公司正在构建大型语言模型。通过使用Capsa，这些模型能够量化每个输出的不确定性。
"许多公司有兴趣使用基于自身数据的LLM，但担心可靠性问题，"技术负责人表示，"我们帮助LLM自我报告置信度和不确定性，从而实现更可靠的问答并标记不可靠输出。"
边缘计算与药物研发创新
该公司还在与半导体公司讨论，在其芯片上构建可在云环境外工作的AI解决方案。"通常这些在手机或嵌入式系统上运行的较小模型相比服务器运行的模型准确性较低，但我们可以两全其美：在保持质量的同时实现低延迟、高效的边缘计算。"
制药公司也可使用Capsa改进用于识别候选药物和预测临床试验表现的AI模型。"这些模型的预测和输出非常复杂且难以解释——专家需要花费大量时间和精力来理解它们。Capsa可以立即提供见解，帮助判断预测是否有训练集中的证据支持，还是只是没有太多依据的推测。"
技术演进与未来展望
研究团队认为该公司处于改进不断发展的AI技术前沿的有利位置。例如，公司正在探索Capsa在改进链式推理技术准确性方面的能力，这是一种LLM解释其得出答案步骤的技术。
"我们已经看到Capsa有助于指导这些推理过程，识别最高置信度的推理链。这对于改进LLM体验、降低延迟和减少计算需求具有重大意义。"
