向人民法院起诉离婚的,双方都不到庭是不可以的。离婚案件有诉讼代理人的,本人除不能表达意思的以外,仍应出庭;确因特殊情况无法出庭的,必须向人民法院提交书面意见。人民法院对必须到庭的被告,经两次传票传唤,无正当理由拒不到庭的,可以拘传。
法律依据
《中华人民共和国民事诉讼法》 第六十五条离婚案件有诉讼代理人的,本人除不能表达意思的以外,仍应出庭;确因特殊情况无法出庭的,必须向人民法院提交书面意见。第一百四十六条
原告经传票传唤,无正当理由拒不到庭的,或者未经法庭许可中途退庭的,可以按撤诉处理;被告反诉的,可以缺席判决。第一百四十七条被告经传票传唤,无正当理由拒不到庭的,或者未经法庭许可中途退庭的,可以缺席判决。