メモリキャッシュ有効だと、上限設定してあってもプロセス上では際限なく増えてくんだな。
バグなのか仕様なのかわからんが、とりあえずメモリキャッシュを無効にすれば治まった。