教育行政部门有权力开除学生，因为教育行政部门是教育机构中最高的行政管理部门，有权力处理学校中的一切事务。

如果一名学生通过各种方式批评教育，且屡教不改，性质恶劣，也通过司法部门的教育不改的学生，可以开除，由司法部门用法律法规去管教。