ついでにTransformerの部分の再学習をさせてるので、もうちょいかかりそうです。
もう少しのところで微妙に精度が上がらないので苦しんでいるところです。