芒砀山形成于燕山中晚期，面积16平方公里，共有大小山丘20余座《砀山县志》记载，永城芒砀山是上古时期著名的采石场，黄帝曾到芒砀山巡视，蚩尤曾在此活动。

墨子曾隐居在芒砀山北周狄山。秦始皇置砀郡，治砀县，位于今芒砀山麓，至今有砀郡遗址。