专利名称：神经网络模型训练方法、装置、设备及存储介质专利类型：发明专利发明人：张鹏国,李一力申请号：CN201811284663.5申请日：20181031公开号：CN111126555A公开日：20200508
摘要：本申请实施例提供一种神经网络模型训练方法、装置、设备及存储介质，涉及计算机技术领域。其中，所述方法通过计算预训练得到的第一模型相对于待训练的第二模型的第一KL距离，以及待训练的第二模型相对于预训练得到的第一模型的第二KL距离，然后将所述第一KL距离与所述第二KL距离之和作为所述第二模型的损失函数，最后根据所述损失函数对所述第二模型的神经网络参数进行调整，使所述第二模型获得所述第一模型的泛化能力。通过本申请实施例提供的方法，放大了所述第二模型与第一模型之间的不同，从而为所述第二模型提供更大的梯度回传，提高了所述第二模型在训练过程中的收敛速度和收敛状态。
申请人：浙江宇视科技有限公司
地址：310000 浙江省杭州市滨江区西兴街道江陵路88号10幢南座1-11层、2幢A区1-3楼、2幢B区2楼
国籍：CN
代理机构：北京超凡志成知识产权代理事务所(普通合伙)
代理人：王文红
更多信息请下载全文后查看
因篇幅问题不能全部显示，请点此查看更多更全内容