>>93
勘と妄想で答えるけど、
テキストの描画が終わってない段階だと
内部で高さが正確に求まってないんじゃない？
参照してる高さが、改行か何かで暫定的なものとか。
Swift触ったことないから知らないけど、Objective-CのUILabelのsizetofit的なものはないのかね。
sizetofitみたいなやつで描画後の正確な高さが分かってからスクロールするとか。

とりあえずスクロールしようとしてるとの高さと、最終的な実際の高さをログに出してみなよ。
その高さが違えば上記問題の可能性が高い。