上林苑地跨长安、咸阳、周至、户县、蓝田五县县境,有灞、浐、泾、渭、沣、镐、牢、橘八水出入其中。据《关中记》载,上林苑中有36苑、12宫、35观。
36苑中有供游憩的宜春苑,供御人止宿的御宿苑,为太子设置招宾客的思贤苑、博望苑等。上林苑中有大型宫城建章宫,还有一些各有用途的宫、观建筑。如演奏音乐和唱曲的宣曲宫;观看赛狗、赛马和观赏鱼鸟的犬台宫、走狗观、走马观、鱼鸟观;饲养和观赏大象、白鹿的观象观、白鹿观;引种西域葡萄的葡萄宫和养南方奇花异木如菖蒲、山姜、桂、龙眼、荔枝、槟榔、橄榄、柑桔之类的扶荔宫;角抵表演场所平乐观;养蚕的茧观;还有承光宫、储元宫、阳禄观、阳德观、鼎郊观、三爵观等。