一般来说batch size越小，越接近实际推理变化丰富的实际情况，小bs训练出的模型在val set上分数更高。 可以一开始尽可能的大bs训练，然后再在bs=1下继续收敛。 learning rate使用cosine退火策略可能有2%左右的提升。但是耗费的时间多得多，属于最后考虑的策略。 在实验开
从用了近十年的wordpress切换到HALO，体验不错😀
