Openrlhf的DPO源码

Openrlhf的DPO源码 之前只看过trl的dpo，今天看了下openrlhf的dpo的实现逻辑：跟想象中差不多，毕竟dpo公式很简单，所以实现都大差不...