俺は30で造園業やったけど体できるまでの半年くらいはきつかったな。5.6年は夏が来る度うんざりした。人によるだろうがデスクワークから植木屋は覚悟してかからないとキツイと思うよ。
質問者はメンタル面では一兵卒から始めることに問題なさそうだけど体力的に大丈夫かは別問題。
街路樹剪定なんて夏場は地獄だと思うよ。