1928年南京国民政府教育部指令成立国立山东大学筹委会，第二年改称青岛大学筹委会，接收在济南的原省立山东大学和私立青岛大学校产，于1930年9月在私立青岛大学旧址正式成立国立青岛大学。青岛本部设文、理两个学院，文学院下分中文、外文、教育3个系，理学院下分数学、物理、化学、生物4个系，在济南设农事试验场和实习工厂。1932年经过调整，教育部将学校改名为国立山东大学，文、理两学院合并成文理学院，增设工、农两学院，工学院设土木工程系和机械工程系，农学院在济南，设研究、推广两部。1936年在校学生411人。1937年“七七”事变后，学校迁往四川，后停办，学生转入中央大学等校。1946年，国立山东大学在青岛复校，设文、理、工、农、医5个学院，下设中文、外文、数学等14个系，以后又增设历史学系。至1949年青岛解放前夕，全校教师达220人，在校学生1132人。1947年6月2日，山东大学地下党员和爱国进步学生为反对南京国民政府统治，举行反饥饿、反内战游行示威，遭国民党当局镇压，造成“六·二惨案”。山东大学在青岛时的校址包括鱼山路（今青岛海洋大学）、泰山路（今青岛医学院二院）、武定路（今青岛警备区司令员）等处。

1951年，山东大学与华东大学合并，组成新的山东大学，仍设文、理、工、农、医5个学院，连同新增加的政治、艺术两个直属系共18个系，另外还有历史语言和海洋物理两个研究所。从1951年始，中文、历史两个专业招收研究生，之后又相继增设了数学、物理、动物、植物、微生物等研究生专业。当时教师、学生分别达到486人和2366人，学校初步形成以文史见长而又重视研究和开拓海洋学科的特色。1952年全国高等院校进行院系调整，山东大学调出工、农两学院和地矿、政治、艺术3个系。除工学院的土木工程系与原山东工学院的土木、纺织两系合并成立青岛工学院而留在青岛外，其余均迁至外地，青岛工学院于1956年迁至武汉。院系调整后，学院除暂保留医学院外，取消院一级的建制，设中文、外文、历史、数学、物理、化学、生物、海洋、水产9个系。至此，山东大学定型为一所中央教育部直接领导的、文理为主的综合性大学。

1956年山东大学医学院独立建院，成为青岛医学院。1958年山东大学迁址济南，随迁的有中文、历史、数学等6个系，所留海洋、水产和地质3个系于1959年从学校正式分出，独立建成山东海洋学院。

山东大学在青岛期间，先后由杨振声、赵太侔、华岗、晁哲甫、成仿吾等人任校长。许多著名的专家学者曾在该校任教，如闻一多、老舍、梁实秋、游国恩、洪深、沈从文、任之恭、童第周、王统照、陆侃如、冯沅君、萧涤非、赵纪彬、杨向奎、曾呈奎、沈福彭、王淦昌、赫崇本等。

1952～1956年山东大学举办过5次科学讨论会，进行哲学、社会学、马列主义的理论建设、古典文学、现代文学、中国古代史的学术讨论。学术上山东大学主要是以文史见长。这一时期，陆侃如和冯沅君的《中国文学史简编》、高亨的《老子正诂》、萧涤非的《杜甫研究》、童第周的《鱼类胚胎学》、童书业的《先秦七子研究》等，在全国学术研究中占有一定地位。