为了避免模型谢绝有效的乞求，咱们从差异的起源（譬喻，符号的消费数据，人类的红队，模型生成的提示）聚集多样化的数据集，并正在允许和不允许的类别上使用安宁奖励信号（存正在正值或负值）。依据咱们最近的博文，咱们的目的是使建设的人工智能系统具有折法的默许止为，以反映宽泛的用户价值不雅观，允许那些系统正在宽泛的领域内被定制，并与得公寡对那些领域的定见。最重要的是，它依然不是彻底牢靠的。那些数据是来自于极大范围的语料库，蕴含数学问题的准确和舛错的处置惩罚惩罚方案，弱的和强的推理，自相矛盾的和一致的声明，以及品种繁多的意识状态和想法。
