诽谤罪只有人证没有物证还可以告。被害人对侵犯其人身、财产权利的犯罪事实或者犯罪嫌疑人,有权向公安机关、人民检察院或者人民法院报案或者进行控告。
法律依据

《中华人民共和国刑事诉讼法》第五十五条对一切案件的判处都要重证据,重调查研究,不轻信口供。只有被告人供述,没有其他证据的,不能认定被告人有罪和处以刑罚;没有被告人供述,证据确实、充分的,可以认定被告人有罪和处以刑罚。证据确实、充分,应当符合以下条件:

(一)定罪量刑的事实都有证据证明;(二)据以定案的证据均经法定程序查证属实;(三)综合全案证据,对所认定事实已排除合理怀疑。