それこそ汚れを気にするならOperaでいいんじゃない？
Opera公式が正式なPortable化法をちゃんと公開してるし

スタンドアロンインストール - Opera Wiki
http://ja.opera-wiki.com/USB%E3%83%A1%E3%83%A2%E3%83%AA%E3%81%AB%E5%85%A5%E3%82%8C%E3%81%A6%E6%8C%81%E3%81%A1%E9%81%8B%E3%81%B3%E3%81%9F%E3%81%84