1. 目的と背景
Few-shot Chain-of-Thought (CoT) 提示は、大規模言語モデル（LLM）の推論能力を向上させる強力な手法として知られています。これまでは、逐次的に分離された推論（Stepwise ICL）が主に使われていましたが、一貫した推論（Coherent CoT）によるモデルの改善が提案されています。
2. 提案する理論と手法
Coherent CoTは、以前の推論結果を統合し次のステップに反映させることで、エラーの訂正能力を向上させるとされています。
- 逐次的推論（Stepwise ICL）: 各ステップが前のステップの結果のみを基に予測を行う。
- 一貫した推論（Coherent CoT）: 過去のすべてのステップの情報を活用し、最終的な予測の精度を高める。
主なポイント:
- 推論精度の向上: Coherent CoTにより、モデルは以前のステップの誤差を考慮し、自己修正が可能になる。
- エラーの感度分析: Coherent CoTでは、中間推論ステップのエラーに対してより敏感であることが示されました。これにより、推論全体の改善において中間ステップの正確性が重要であることがわかります。
3. 実験と結果
改善手法として、正確な推論と誤った推論の両方をデモに含めることを提案。
中間推論の精度を高めることで、全体的な推論性能が向上することが実験で確認されました。
| 手法 | 精度の向上 |
|---|---|
| Coherent CoT | 高い精度と自己修正能力を持つ |
| Stepwise ICL | 過去の推論ステップを考慮しないため精度が低い |
以上
