手元のマシン(VISTA and 7)でレジストリを書き換えて実験してみました。

HKEY_CLASSES_ROOT\.txt の(既定)を確認 > "txtfile"
HKEY_CLASSES_ROOT\textfile\shell の(既定)を確認 > 設定なし
HKEY_CLASSES_ROOT\textfile\shell\openex キーを作成
HKEY_CLASSES_ROOT\textfile\shell\openex\command キーを作成
HKEY_CLASSES_ROOT\textfile\shell\openex\command の(既定)に任意のエディタのパス等を設定。
HKEY_CLASSES_ROOT\textfile\shell の(既定)を"openex"に設定。

私の環境ではエクスプローラとAvestaのどちらもテキストファイルを
ダブルクリックすることで任意のエディタで起動できました。