AI文摘

blog-thum
大Batch训练大语言模型的探索与实践

©作者 牛信尧研究方向 大语言模型写在前面最近在训练languagemodel的时候发现了一个问题,在有很多卡的情况下,最有效提高训练效率的办法就是提高数据并行不论是提高batchs

read more
blog-thum
大模型badcase修复方案思考

【点击】加入大模型技术交流群随着现在算法的版本更新,进入了大模型时代,当然也要面临类似的问题,即我们是需要解决badcase的,这次给大家介绍一下大模型在这块的修复方案策略。懒人目录:微调和结构升级

read more