Grad Grm je največji novomeški grad oziroma dvorec. Stoji na vrhu griča Grm, prek katerega je nekoč vodila osrednja cesta iz Novega mesta čez Gorjance v Belo krajino, od Glavnega trga pa je oddaljen dober kilometer. Ob gradu sta urejena drevored in manjši park s kamnitim vodnjakom.
Do gradu vodi kostanjev drevored. Krištof Mordax, prvi lastnik gradu, ga je postavil konec 16. stoletja. Najstarejša dela gradu sta stolp in zahodni del severnega trakta. V nadaljnjih desetletjih in stoletjih se je grad razvil do današnje podobe s štirimi enonadstropnimi trakti, ki obdajajo atrij. Ob atriju so s treh strani potekali arkadni hodniki, ki so bili pozneje zazidani, a jih v aktualnem času spet odpirajo. Notranjost gradu je bila nekoč bogato dekorirana, danes pa je ohranjena le osrednja sobana v prvem nadstropju grajskega stolpa z bogatimi poslikavami in štukaturami iz druge polovice 17. stoletja. V preteklosti je služila kot poročna dvorana.
Od leta 1886 je v objektu skoraj stoletje gostovala Kmetijska šola Grm, zatem so bili tu prostori velike sosednje tovarne IMV, danes pa imata v njem prostore Zavod za varstvo kulturne dediščine in Zgodovinski arhiv Ljubljana.
Pred glavnim pročeljem gradu je tudi manjši park, kjer najdemo bazen, kamniti vodnjak in zanimive drevesne vrste, med katerimi izstopajo divji kostanji v drevoredu, visoki kleki, debeli cigarovci in mogočen hrast. Grad ni odprt za javnost, je pa grajski park kot nalašč za preživljanje sproščenih uric v naravi sredi mesta.