1、两者的犯罪对象不同，诽谤罪的犯罪对象可以是任何自然人，而“虐待罪”的犯罪对象只能是家庭成员；
2、主观过错要求不同，诽谤犯罪的主观方面必须是直接故意，虐待罪，情节恶劣的才构成犯罪，情节一般的不构成犯罪。
法律依据
《中华人民共和国刑法》第二百六十条
虐待家庭成员，情节恶劣的，处二年以下有期徒刑、拘役或者管制。犯前款罪，致使被害人重伤、死亡的，处二年以上七年以下有期徒刑。第一款罪，告诉的才处理。
《中华人民共和国刑法》第二百四十六条
以暴力或者其他方法公然侮辱他人或者捏造事实诽谤他人，情节严重的，处三年以下有期徒刑、拘役、管制或者剥夺政治权利。前款罪，告诉的才处理，但是严重危害社会秩序和国家利益的除外。