一般来说batch size越小，越接近实际推理变化丰富的实际情况，小bs训练出的模型在val set上分数更高。 可以一开始尽可能的大bs训练，然后再在bs=1下继续收敛。 learning rate使用cosine退火策略可能有2%左右的提升。但是耗费的时间多得多，属于最后考虑的策略。 在实验开
Midnight Margins
欢迎来到我的个人博客！这里记录着我的想法、学习和生活。
文章发布热力图
一
三
五
少
多
从用了近十年的wordpress切换到HALO，体验不错😀
Previous
4 / 4