观音山山体高峻，风景秀丽，秦代史书称“拐杖山”，唐时称“观音山”，后相传抗元将领余思铭在此观阵布兵，当地群众称为“观阵山”。明德宣德年间，周围群众自发捐款捐物，在山顶上建了一座寺庙，内供观音像，始称“观音山”。