1897年11月德国侵占青岛以后，对青岛先是实行军法统治，随后因其军事和经济发展的需要，改为实行司法治理，除原有的军事法院外，又于1897年12月13日设立了胶州帝国法院。1898年7月，在青岛、李村两区设立了区法院（又称华民审判厅），分别审理胶澳租界内的华人案件。1908年1月1日，在青岛设立胶州帝国高等法院，为二审终审法院。1914年11月，日本第一次侵占青岛以后，当月16日对青岛实行军管。1916年日本在青岛设立守备乍法院，审理青岛的刑事、民事案件，实行一审终审制。1917年1月，日本在青岛增设民政署，刑事案件和较大的民事案件仍由日本守备军法院审理，较小的民事案件概由青岛各区宪兵派出所处理。

1922年北洋政府收回青岛后，接收了日本守备军法院，并于12月14日成立了青岛地方审判庭。1923年10月又成立了青岛地方审判庭李村分庭。

1929年4月，南京国民政府接收原青岛地方审判庭及其分庭，并改称青岛地方法院及青岛地方法院李村分庭，胶县、高密、安丘、即墨、诸城、日照、平度、昌邑、潍县、昌乐等10县审判事务统归青岛地方法院管辖。1932年成立了胶县、即墨、安丘、高密、潍县5个分庭。1935年7月，青岛地方法院分为山东高等法院第二分院和青岛地方法院。1937年抗日战争爆发后，法院机构自行解体。

1938年1月日本第二次侵占青岛后成立了日伪“青岛治安维持会”。3月27日成立了治安维持会所辖的青岛临时法院，专门审理青岛地区刑事案件，实行一审终审制。1938年12月成立青岛地方法院和青岛高等法院。

1946年1月，南京国民政府恢复山东高等法院第二分院和青岛地方法院。山东高等法院第二分院管辖青岛、即墨、胶县、高密、潍县、平度、安工等7个地方法院和诸城、日照、昌邑3个县司法处。

1948年7月1日，青岛高等特种刑事法庭成立，是国民党政府用以迫害共产党人和进步人士的专门刑事审判机关。同年9月17日，该法庭以“共产党嫌疑分子”为由，逮捕山东大学学生15人。1948年1月17日，山东高等法院第二分院改为山东高等法院青岛分院。

青岛解放后，中共胶东区委调配干部30余人，由廖弼臣、刘椿、张四维负责，接管了青岛地区所有的司法机构。中国人民解放军接管小组进入青岛市第三天即设立问事处，解答市民在诉讼方面的疑难问题，设立代缮室，免费为诉讼当事人缮写书状；建立值日组，简化诉讼手续，调解或裁判轻微的民、刑事案件。同年7月11日，青岛市人民法院宣布正式成立，廖弼臣为青岛市人民法院第一任院长。

建国初期，青岛市人民法院依据《中华人民共和国惩治反革命条例》对现行反革命分子予以严惩，同时，调处了大量的民事纠纷，为社会安定提供了保障。1956年1月3日，青岛市人民法院改为山东省青岛市中级人民法院。1957年，极少数资产阶级右派分子借“整风“运动之机，向共产党和社会主义制度发起进攻，一些反革命残余势力也纷纷出笼进行犯罪活动，法院根据上级指示，对历史上有问题的右派犯罪分子两罪俱罚予以惩处。对其他刑事犯罪分子坚决打击。

1959～1965年，少数新生的反革命分子组成反革命集团，预谋推翻中国共产党的领导，法院对此类案件依法予以严惩。

“文化大革命”时期，由于受无政府思潮干扰，法院机构被迫解体。1973年9月26日，青岛市中级人民法院恢复办公。法院广大干警顶住江青反革命集团的干扰，惩处了一大批刑事犯罪分子，调处了大量民事纠纷。

1978～1986年，青岛市中级人民法院清除“左”的影响，纠正了冤、假、错案5163件。

1979年7月，为健全审判机构，依法处理各类案件，法院在原有刑事、民事审判庭的基础上，筹建经济审判庭。1982年10月，建立执行庭。1984年11月，成立了法医技术处。

1983年8月，青岛市中级人民法院根据中共中央和全国人大常委会的决定，依法从重从快严惩严重危害社会治安的犯罪分子，改变了社会治安不安定的状况。

1985年开始，为提高法院在职干警的业务素质，法院按照《全国法院干部业余法律大学章程》规定，在青岛设立全国法院干部业余法律大学山东省分校青岛分部，负责对青岛两级法院学员的教学组织工作和辅导工作，提高了法院在职干警的业务素质。

青岛市中级人民法院成立40多年来，法院干警按照中华人民共和国法律、法规、政策的规定，判处了大量的刑事案件，调处了大量的民事纠纷，为维护社会主义法制做出了积极贡献。