山西大学初名山西大学堂,是我国成立最早的三所国立大学之一,与京师大学堂、北洋大学堂一同开辟了中国近代高等教育的先河。1901年,根据清政府的谕令“著各省所有书院于省城均设大学堂”令,山西巡抚岑春煊将令德堂书院与晋阳书院合并成立山西大学堂。1902年5月8日,山西大学堂在贡院临时校址开学。
山西大学经历了“学堂初创,学科奠基;国立山大,学术兴盛;烽火岁月,薪火传继;调整办学,奋力前行;改革前进,蓬勃发展”几个时期。为庆祝山西大学120周年华诞,学校重新修建了校史馆,并于2023年1月1日正式开馆。