本篇持续记录想法以及实验。

1. 信息瓶颈的矩阵（被训练过的有挑选需要的信息能力的矩阵）之间直接做各种处理（只是用来挑选信息，有点可惜？）
2. 生成很多candidates然后再对比学习算loss的这个BRIO训练范式，在生成式的任务里非常受用吗？做实验。那是不是也可以生成很多信息瓶颈，对信息瓶颈对比学习，避免学习的偏颇，一下子学到最好的。再加上强化学习的内容，求生成的最好的那个信息瓶颈。

对2展开讨论：要么是BRIO配合强化学习，要么也可以单独用强化学习，但设立一个什么样的目标？BRIO多个candidates的目的就是为了，避免只从概率最大的那个里面学习知识，因为往往其他的里面关于一个任务的知识也很多。所以适合针对某一种问题有多个解答，并且其他的解答里知识还不少的这种情况。所以还是比较合适这样生成很多信息瓶颈矩阵的任务的。但是也有个缺点，我们是否真的需要对这个矩阵的生成尝试太多次？需要做实验验证，是不是大多数任务训练不完美的原因，是不是本身的数据就不好训练，而不关信息瓶颈太多p事？
如果因为数据本身就不好训练的话，确实可以在预训练的阶段就给他设立多种多样的训练方法。跟这个人似的TASK1,2,3,4随机抽取来提高模型的随机应变能力。当然正着来反着来在大多数任务中没必要。如果要用信息瓶颈来解决的话，可以考虑发明一个自动筛选数据的算法。针对的是数据正负样本平衡，非结构特征和结构特征之间平衡，针对目前对数据的理解能力（想一个指标量化）等等
第二个想法着重想解决的信息瓶颈的问题是在小问题，少数据，上的快速且深度的理解能力（跟神经网络比起来要更强的理论支撑和性能）。BRIO可以做的事情是避免了偏颇？但是我的想法是矩阵可以小，总会有用的，但必须做到 完美（现在来看其实与这个词最沾边的东西就是强化学习）。 需要做实验看看是否真的有用。以及要区分出这个BRIO与集成学习，并做好非常好的理论分析

Q.E.D.