背景 通常我们会选择连续若干个epoch后train loss不下降时就降低lr（为方便讨论，这里统一选择减半lr）的策略。具体来说，train的时候通过计算eval分数判断best weight，同时记录last weight。但是在发现train loss无法下降时其实已经不是最好的时机，通过实
一般来说batch size越小，越接近实际推理变化丰富的实际情况，小bs训练出的模型在val set上分数更高。 可以一开始尽可能的大bs训练，然后再在bs=1下继续收敛。 learning rate使用cosine退火策略可能有2%左右的提升。但是耗费的时间多得多，属于最后考虑的策略。 在实验开
