Grad Grm je največji novomeški grad oziroma dvorec. Stoji na vrhu griča Grm, preko katerega je nekoč vodila osrednja cesta iz Novega mesta čez Gorjance v Belo Krajino.
Do gradu vodi kostanjev drevored. Krištof Mordax, prvi lastnik gradu, ga je postavil konec 16. stoletja. Najstarejša dela gradu sta stolp in zahodni del severnega trakta. V nadaljnjih desetletjih in stoletjih se je grad razvil do današnje podobe s štirimi enonadstropnimi trakti, ki obdajajo atrij. Ob atriju so s treh strani potekali arkadni hodniki, ki so bili kasneje zazidani, a jih v aktualnem času spet odpirajo. Notranjost gradu je bila nekoč bogato dekorirana, danes pa je ohranjena le osrednja sobana v prvem nadstropju grajskega stolpa z bogatimi poslikavami in štukaturami iz druge polovice 17. stoletja. Še nekaj deset let nazaj je služila kot poročna dvorana.
Od leta 1886 je v objektu skoraj stoletje gostovala slavna Kmetijska šola Grm, zatem so bili tu prostori velike sosednje tovarne IMV (Revoz), danes pa imata v njem prostore Zavod za varstvo kulturne dediščine in Zgodovinski arhiv Ljubljana.
Ob gradu Grm poteka urejen drevored, pred glavnim pročeljem je tudi manjši park, kjer najdemo bazen, kamniti vodnjak in zanimive drevesne vrste, med katerimi izstopajo divji kostanji v drevoredu, visoki kleki, debeli cigarovci in mogočen hrast.