玉泉觀創建于元朝(1206-1368年)，曾經被稱為城北寺、崇寧寺、卦山寺等，后由于它附近的山上有一處水質很好的山泉，名為玉泉，當時地方官向朝廷上書要求下令修建道觀時，曾稱贊這里的風景是

"名山有玉泉"，后來就逐漸被人們稱為玉泉觀，并成為天水地區的道教勝地。

玉泉觀的主要建筑包括玉皇閣、三清宮，以它們為中心形成規模宏大的道教宮觀建筑群，總體上坐北朝南，倚山就勢。玉泉觀位于山坡上，山門前有長長的石級;進入山門后有太陽和太陰小廟;再上有青龍、白虎(青龍 和白虎都是道教傳說中的神仙)殿;穿過這兩座大殿，上面是牌坊式的玉皇閣大門，上面懸掛著寫有"人間天上"幾個大字的匾額;玉皇閣的兩旁有為道教神仙雷祖和三官大帝修建的大殿。核心建筑是正殿三清宮，也叫老君殿，里面供奉著道教主要神仙元始天尊、靈寶天尊、道德天尊的雕像，制作藝術很高。大殿前有一眼玉泉，傳說這里的泉水能夠治療眼病，所以又被稱為"明眼泉"