山西大学档案馆的前身是1965年党委办公室牵头建立的山西大学档案室，主要负责对文书档案进行整理、登记，重点保存上级文件、本校文件及部分学籍档案。1988年档案工作划归行政，档案室成为校长办公室的内设机构。1992年学校筹备设立档案馆，1993年5月山西大学档案馆成立，为处级建制，由副校长直属分管。1999年获国家档案局颁发的“科技事业单位档案管理国家二级标准”称号。

档案馆既是学校档案的管理部门，又是永久保存和提供利用本校档案的服务机构，下设党政办公室、教工档案室、学生档案室、综合档案室、档案编用室、信息技术室六个科室，同时负责“山西大学校史展”、“姚奠中艺术馆”的服务管理工作。占地面积1000平米，馆藏档案达十余万卷（件），分为党群、行政、教学、科研、产品生产与科技开发、设备、出版、外事、财会、基建、声像、实物、名人十三个一级类目。馆藏档案反映了山西大学百余年厚重的办学历程，具有极其重要的史料价值和学术价值。

“为党管档、为国守史、为民服务”是档案馆工作的宗旨与核心。为更好的保存和利用档案，山西大学档案馆大力推进档案材料的数字化工作，特别是率先在全省完成了教职工档案的数字化工作，为建立档案资料数据库奠定了坚实的基础。

档案馆位于学校西北门内，一层设有学生档案及综合档案办理窗口及教工人事档案查阅室，提供档案查询服务。