临沂大学历史悠久，最早是1941年5月成立的滨海中学师范部。

1945年8月，滨海中学改名为滨海建国学院。1950年2月，滨海乡村师范学校改称山东省临沂师范学校。1958年8月25日，山东省人民委员会批准成立临沂大学。1958年8月临沂大学改为临沂师范专科学校。1999年3月25日，教育部批准临沂师范专科学校与临沂教育学院合并，建立临沂师范学院。

2001年10月，临沂农业学校和临沂工业学校并入临沂师范学院。

2007年6月，沂水师范学校和费县师范学校并入临沂师范学院，成为临沂师范学院的分校。

2010年11月，经教育部批准，临沂师范学院更名为临沂大学。