该书院位于府谷县城南门下，建筑占地面积3500平方米，始建于清乾隆三十四年（1770）。

　　书院分上、中、下三进院落。革命时期为府谷南门第一高小。1926年8月，李维勤（又名李精予）受绥德党组织派遣，以教员身份在府谷南门第一高级小学（简称“南高”）立足，开展府谷地下党的创建工作。他首先在南高发展了曹桂芳、高仰先、刘应成为中共党员，并联络在绥德、榆林、太原、上海等地上学的部分回府探亲的学生党员在县城建立起中共府谷特别支部，李维勤任书记，高仰先、曹桂芳、刘应成为委员。

　　1926年12月，特支在南高发动学生闹学潮，驱赶反动校长尤青芝（又名尤天乙）。1927年6月，张子栋、严念祖、柴培桂等12名党员在五虎山玉帝楼召开会议，决定成立“南门第一高级小学党支部”。1927年12月下旬，随着府谷革命形势的不断发展、南高党支部力量的不断增强，李维勤遵照上级指示，于月底在南高成立了中共府谷县委，严念祖任县委书记，柴培桂任县委副书记，郭天锡任组织部长，刘子安任宣传部长，苏建勋、赵同芝、柴培桂、刘世英、韩锋、赵希贤为县委委员。同时成立共青团府谷县委，书记由柴培桂兼任。接着在七个地区建立了区委，一区（刘家川）书记张世清；二区（镇羌）书记刘德昆；三区（清水）书记苏子秀；四区（木瓜）书记刘晋升；五区（沙梁）书记刘祖太；六区（盘塘）书记高宏轩；七区（他儿坝）书记李文成。

　　荣河书院是府谷少有的规模宏大、保存较完整的书院，它依傍千佛洞、文庙，是府谷有名的旅游区。1996年，同府州城、千佛洞、文庙一并被评为全国重点文物保护单位。