【水蓝石】关于信息瓶颈的IDEAR记录

2023-09-01   214 次阅读


本篇持续记录想法以及实验。

  1. 信息瓶颈的矩阵(被训练过的有挑选需要的信息能力的矩阵)之间直接做各种处理(只是用来挑选信息,有点可惜?)
  2. 生成很多candidates然后再对比学习算loss的这个BRIO训练范式,在生成式的任务里非常受用吗?做实验。那是不是也可以生成很多信息瓶颈,对信息瓶颈对比学习,避免学习的偏颇,一下子学到最好的。再加上强化学习的内容,求生成的最好的那个信息瓶颈。

对2展开讨论:要么是BRIO配合强化学习,要么也可以单独用强化学习,但设立一个什么样的目标?BRIO多个candidates的目的就是为了,避免只从概率最大的那个里面学习知识,因为往往其他的里面关于一个任务的知识也很多。所以适合针对某一种问题有多个解答,并且其他的解答里知识还不少的这种情况。所以还是比较合适这样生成很多信息瓶颈矩阵的任务的。但是也有个缺点,我们是否真的需要对这个矩阵的生成尝试太多次?需要做实验验证,是不是大多数任务训练不完美的原因,是不是本身的数据就不好训练,而不关信息瓶颈太多p事?
如果因为数据本身就不好训练的话,确实可以在预训练的阶段就给他设立多种多样的训练方法。跟这个人似的TASK1,2,3,4随机抽取来提高模型的随机应变能力。当然正着来反着来在大多数任务中没必要。如果要用信息瓶颈来解决的话,可以考虑发明一个自动筛选数据的算法。针对的是数据正负样本平衡,非结构特征和结构特征之间平衡,针对目前对数据的理解能力(想一个指标量化)等等
第二个想法着重想解决的信息瓶颈的问题是在小问题,少数据,上的快速且深度的理解能力(跟神经网络比起来要更强的理论支撑和性能)。BRIO可以做的事情是避免了偏颇?但是我的想法是矩阵可以小,总会有用的,但必须做到 完美(现在来看其实与这个词最沾边的东西就是强化学习)。 需要做实验看看是否真的有用。以及要区分出这个BRIO与集成学习,并做好非常好的理论分析

Q.E.D.

知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议

无论在未来前做什么,未来都会普通的到来