山西省图书馆建于1919年10月9日，馆址在太原文庙，最初的馆名为山西省立教育图书博物馆。

　　山西省图书馆的创办人为柯璜，毕业于京师大学堂，后来到山西大学堂任教。期间，他结识了当时在校担任军事教官的阎锡山。阎锡山对柯璜十分信任，就连密谋响应辛亥革命的计划都全盘相告。辛亥革命后，阎锡山主政山西多年，在文化方面很多事情都仰仗柯璜。到了民国六年（1917），柯璜受阎锡山委托，正式在山西省立文庙旧址创办山西省立教育图书博物馆。文庙坐落于太原市文源巷，虽为旧建筑，但实际建造时间只有三十几年。

　　柯璜受命以文庙建馆，在经费、人员方面都遇到了问题。柯璜除自己亲自筹措外，还利用自己的名声，广泛发动社会名流捐书捐物。在柯璜的号召下，一时间山西各界社会贤达、政府官员争先送匾、送书、送物，馆内庭柱挂楹联者不下数百处，更有山西著名学者及书画大家如郭象升、常赞春、赵铁山等人将大批书籍寄存馆内供群众阅览，这带动了社会各界争相捐款。在柯璜的努力下，图书博物馆很快便呈现出规模，并成为山西学子向往的“琅嬛福地”,而山西的文化事业也因为图书馆的建成和使用而有了长足的发展。

　　抗战爆发后，柯璜去了重庆，以书画为生。抗战胜利后，他曾任蜀中艺术专科学校校长。1957年，年已81岁高龄的柯璜回到山西太原，担任山西省美协主席。后来，柯璜又推举为全国政协第二届和第三届委员以及山西省政协副主席。1963年11月柯璜于太原无疾而终，享年87岁。