起源については>>336の書いてるとおり
中世（江戸時代以前）の非人の集住地が非人宿
中世非人の中核はライ病者

そこの管理人のような集団の後裔が江戸時代の夙