早在3600年前，古埃及人写在草纸上的数学问题中，就涉及了方程中含有未知数的等式。

公元825年左右，中亚细亚的数学家阿尔·花拉子米曾写过一本名叫《对消与还原》的书，重点讨论方程的解法。方程中文一词出自古代数学专著《九章算术》，其第八卷即名“方程”。“方”意为并列，“程”意为用算筹表示竖式。数学家刘徽注释《九章算术》时说：“程，课程也，二物者二程，三物者三程，皆如物数程之，并列为行，故谓之方程。”这里所谓的“如物数程之”，是指有几个未知数就必须列出几个方程，一次方程组各未知数的系数用算筹表示，好比方阵，所以叫作方程。他还创立了比“遍乘直除”更简便的“互乘相消”法来解方程组。