上海国立音乐专科学校（现为上海音乐学院）始建于1927年，是中国所有音乐院校中历史最为悠久的一所。在国立音乐院成立之前，中国近代专业音乐教育的创建，经历了近八、九十年时间的漫长的探索之路，直至国立音乐院的诞生，才正式建立起中国近代历史上的第一所高等音乐学府，揭开了中国专业音乐教育史的新页，开辟了由高等音乐学校来培养音乐专门人才的道路。

1927年10月1日蔡元培就任南京政府大学院（后改为教育部）院长。在他的奔走下，政府通过了萧友梅提出的创立国立音乐学院的计划。萧作为“音乐院筹备员”，制订了极为详尽的办学计划（包括招生人数、筹建校舍、经费使用等）。

萧友梅原为国立北京大学"音乐研究会"导师。1922年，经萧友梅提议，"音乐研究会"正式改建为"北京大学附设音乐传习所"，并担任此该所教务主任。

在北京时期，萧友梅便有一个的愿望，就是在中国建立一所契合国际标准的音乐学院，为此他还多次向教育部提出计划。但遗憾的是，好消息没有等到，却等来了奉系军阀接管北京政权；其时的教育总长刘哲更以一句音乐“有伤社会风化”、“浪费国家钱财”，下令停办北京国立院校的所有音乐系科，萧友梅苦心经营了5年的北大音乐传习所也被迫解散。　

好在随着1927年10月1日蔡元培就任南京政府大学院（后改教育部）院长，萧友梅也毅然南下。后经蔡元培力争，政府终于通过了萧友梅创办国立音乐院的计划。　

1927年，蔡元培支持他筹建中国第一所专业高等音乐教育机构：国立音乐院。1929年9月，他把音乐院改组为国立音乐专科学校(1949年改"上海音乐院")，并且担任校长，直到病逝。他亲自设了"旧乐研革"课程(即中国古代音乐史)，并自行编写教材。

萧友梅在11月27开学典礼上鼓励学生说：“伦敦皇家音乐院1823年成立时，只有20个学生，80年后增加到500人以上。大家共同努力，10年后就可以有500个同学了……这是对音乐院的唯一希望。”　

萧友梅曾设想以后每年招收50名学生，10年500人，这也是萧友梅对中国音乐教育事业前景的期待。此时蔡元培终因公务繁忙，遂于这年12月13日，任命萧友梅为国立音乐院代院长，第二年9月10日被聘为院长。　

萧友梅上任后，按照自己的理想推进中国现代专业音乐教育，经数年殚精竭虑的努力，终于不负众望，使国立音专成为达标水准的中国最高音乐学府。培养了大批在中国现代音乐史上大名鼎鼎的人物，如冼星海、贺绿汀、朗毓秀、温可铮、周小燕等。