桃源地处戴云山西侧，属中亚热带季风气候，四季分明，温暖适中，夏无酷暑，冬无严寒，日照充足，雨量充沛，年平均降水量1551.0mm，年平均气温17.7℃，一月平均气温7.9℃，七月平均气温25.8℃，最高气温达36℃，无霜期264天。

全镇地势北高南低，平均海拔约665米。镇区为一个河谷小平原，面积2.5平方公里，为桃源溪冲击而成，海拔约530米。