在用语言模型解决定量推理问题中我

ditihekhatun16

们提出了一种能够使用逐步推理解决数学和科学问题的语言模型。我们表明通过专注于收集与定量推理问题相关的训练数据大规模训练模型以及采用一流的推理技术我们在各种困难的定量推理任务上取得了显着的性能提升。通过生成包含数值计算和符号操作的解决方案来解决此类问题而无需依赖计算器等外部工具。该模型结合使用自然语言和数学符号来解析和回答数学问题。结合了多种技术包括少样本提示思维链或草稿本提示以及多数投票以在推理任务上实现最先进的性能。您可以使用我们的交互式示例浏览器探索的输出解决多步骤问题来自数据集的问题和的解决方案。

该模型写下一个直线方程将其简化代入一个变量然后求解。为多步骤定量推理构建的模型为了促进定量推理以语言模型为基础对来自预印本服务器的科学论文数据集和包含使用或其他数学  格鲁吉亚电话号码列表 排版格式的数学表达式的网页进行进一步训练。标准文本清理程序通常会删除对数学表达式的语义至关重要的符号和格式。通过在训练数据中维护这些信息模型学习使用标准数学符号进行交谈。每年有近万打算学习工程和类似领域的印度高中生参加年联合入学考试主要数学考试的示例问题左以及大约万高中生参加的波兰国家数学考试年月。每年学校学生右。用于定量推理的数据集仔细的数据处理保留了数学信息使模型能够在更高水平上学习数学。



还结合了最新的提示和评估技术以更好地解决数学问题。其中包括思路链或草稿本提示——在提出新问题之前提示密涅瓦对现有问题提出几个逐步的解决方案——以及多数投票。与大多数语言模型一样将概率分配给不同的可能输出。在回答问题时不是将单个解决方案得分视为最有可能而是通过从所有可能的输出中随机采样来生成多个解决方案。这些解决方案是不同的例如步骤不相同但通常会得出相同的最终答案。对这些抽样解决方案进行多数投票将最常见的结果作为决定性的最终答案。多数投票为每个问题生成多个解决方案并选择最常见的答案作为解决方案从而显着提高性能。