清朝末年，清政府实行君主立宪政体，于1909年建立检察制度。

1922年北洋政府收回青岛后，接收了日本守备军法院。并于同年12月1日，成立青岛地方检察厅，管辖当时胶澳商埠局辖区内刑事案件的实施侦查、提起公诉、实行公诉、协助自诉、担当自诉及指挥刑事裁判执行等检察事务。检察厅附设看守所一处，收押未决人犯。检察厅内部设侦查、总务、执行3个处。侦查处设首席检察官一人，检察官若干人。首席检察官承担检察长之责，总理本处事务，侦查事件由各检察官分办，对于无领事裁判权囟的刑事诉讼案件，由首席检察官主办。总务、执行两个处不设专人，总务由值日检察官轮流办理，执行事件由主办该案件的检察官及书记官轮流办理。行政事务方面设总务科，由书记官长兼科主任，承办本厅文牍、会计、统计等项事务。

1923年12月10日，青岛地方检察厅李村分庭成立。分庭只设检察官一人，负责李村警察署辖区内的地方一审事件及初级上诉事件之检察事务，遇有无领事裁判权国的刑事诉讼案件，呈送地方检察厅办理。1925年7月1日，胶县、即墨、高密、安丘、诸城、日照、平度等7县的刑事初级上诉事件的检察，归青岛地方检察厅办理。

1927年南京国民政府改革司法体制，决定将审、检两厅合并设立法院，并公布了《地方法院检察官办事权限暂行条例》。1929年南京国民政府统治青岛后，接收青岛地方审判厅和青岛地方检察厅，重新组建了青岛地方法院，设立了青岛地方法院检察处，承办原地方检察厅办理的检察事务，原青岛地方检察厅检察长称青岛地方法院首席检察官，检察机关相对独立行使其职权。首席检察官的职责主要是对本院检察官、办理检察事务的书记官以及对看守所内由裣察官羁押之被告人等进行指挥监督。地方法院首席检察官受最高法院首席检察官指挥监督。检察官的职责是：（一）实行侦查，提起公诉，实行公诉，协助白诉及指挥刑事判决之执行；（二）其他法令所规定职务之执行。此外，青岛地方法院检察处设书记官长l人及书记若干人，掌管记录、编案、文牍、统计及其他事务，另设检验员1～2人掌管尸伤检验事项（注：检察官职责中所谓的“协助自诉，担当自诉”，是指自诉人无故不到庭或未经许可而退庭时由检察官干预自诉案件）。

1929年3月，昌邑、昌乐、潍县的刑事初级上诉检察事务划归青岛地方法院检察处办理。1932年，胶县、即墨、高密、安丘、潍县成立分庭，分庭内设检察处，称“青岛地方法院××分庭检察处“。分庭检察处配检察官2人（其中学习检察官1人），配书记官2人（其中学习书记官l人），其中潍县分庭仅配检察官l人。各分庭的检察事务受青岛地方法院首席检察官监督。

1932年10月南京国民政府公布新《法院组织法》，实行三级三审制。从1935年7月起，青岛地方法院分设为山东高等法院第二分院和青岛地方法院。原青岛地方法院首席检察官任山东高等法院第二分院首席检察官兼青岛地方法院首席检察官。改组后的青岛地方法院检察处，管辖青岛市行政区域内初级刑事案件的检察事务。1937年抗日战争爆发后，原有法院及检察机构自行解散。

1938年1月日本第二次侵占青岛后，成立了日伪“青岛治安维持会”，并在原法院旧址成立了日伪临时法院，临时法院设主任检察官。1938年12月，青岛高等法院及青岛地方法院同时成立，青岛高等法院设检察处和首席检察官。1939年2月，青岛特别市成立，即墨、胶县两县划归青岛特别市管辖。1939年12月，即墨、胶县两地方法院重新建立。青岛高等法院检察处只管辖青岛、即墨、胶县3个地方法院二审刑事案件的检察事务。

1943年7月1日，南京国民政府行政院根据各地存在各级法院院长与首席检察官相互间权限不清等问题，决定扩大检察制度，审判、检察机构各自独立，各地检察机构改称检察署。全国检察机构由最高检察署、高等检察署、地方检察署三级组成，原首席检察官改称检察长。1943年12月1日，青岛高等检察署成立，管辖青岛、即墨、胶县3个地方检察署。青岛高等检察署检察长的职责是指挥本署及所属地方检察署的检察事务，并监督监狱及看守所。青岛高等检察署内设侦讯处及书记室。侦讯处负责受案后的搜集证据、传讯人证、侦查、第一审公诉、第二审上诉出庭及指挥执行等事宜。审、检分开后，检察机关除了行使原有职责外，监狱、看守所一律归检察机关监督，法院不再设监狱科。1944年，南京国民政府司法行政部强调检察官应厉行自动检举案件。并明令规定了对检察官自动检举案件考核办法，将检察官每年自动检举案件的成绩作为年终考核成绩内容之一。

抗日战争胜利后，1946年2月，丁书恪奉令就任青岛地方法院首席检察官，并着手接收日伪法院检察处，筹备青岛检察机构的恢复建立工作。月余后，青岛地方法院检察处正式成立，负责全市初审刑事案件的检察事务。

1949年6月2日青岛解放，代表着资产阶级利益的反动专政机构被彻底摧毁。1951年3月，青岛市人民检察署成立，地址在青岛市江苏路12号。初建时，青岛市人民检察署设办公室和民刑科，工作人员19人。年底增设刑事科，人员增至26人。1953年，设人民来信来访接待组，隶属办公室。1952年2月，设立青岛市人民检察署崂山分署。1954年2月，改称青岛市崂山郊区人民检察署。

建国初期，青岛市人民检察署主要参加了镇压反革命、“三反”（反贪污、反浪费、反官僚主义）、“五反”（反对行贿、反对偷税漏税、反对盗窃国家资财、反对偷工减料、反对盗窃国家经济情报）、司法改革与新“三反”（反对官僚主义、反对命令主义、反对违法乱纪）运动。初步开展了检察工作，主要内容有：对人犯的逮捕与不逮捕参与审查，对部分刑事案件向法院提起公诉、出庭支持公诉；对这一时期处理的反革命案件和其他刑事案件参与复查，纠正偏错；初步开展了对监管场所的法律监督工作；接待和处理了一些来信来访案件；配合公安机关侦查或自行侦查了一些刑事犯罪案件，其中包括部分经济犯罪案件和法纪犯罪案件。

1954年12月青岛市杏民检察署改称青岛市人民检察院，设一般监督科、侦查科、劳改监督科和办公室，工作人员29人。1955年初，机构调整为一般监督科、侦查监督科、审判监督科（兼劳改监督）和办公室，工作人员42人。

《中华人民共和国人民检察院组织法》颁布后，1956年7月，青岛市所辖市南、市北、台东、台西、四方、沧口6个区人民检察院相继成立：随着行政区域的调整，台西区人民检察院于1962年2月撤销，其检察业务由市南区人民检察院办理。1957年7月，济南铁路运输检察院青岛分院撤销，其业务由青岛市人民检察院受理。1958年10月至1961年6月，即墨、胶县、胶南3县人民检察院先后划归青岛市人民检察院领导。1961年10月，崂山郊区人民检察院改为崂山县人民检察院。

根据《中华人民共和国宪法》和《中华人民共和国人民检察院组织法》规定的职权和工作程序，青岛市检察机关围绕中国共产党的各项工作和国家建设这一中心，依法开展检察工作，逐步全面担负了审查批捕、审查起诉（出庭支持公诉工作；对公安机关的侦查活动和人民法院的审判活动实行监督，对刑事判决、裁定的执行以及监管场所的监管活动实行监督；接待和处理群众来信来访；对经济犯罪案件和对法纪犯罪案件的侦查工作有了程序性、制度性的规定，案件查处工作有了进一步的进展。1957～1959年，“左”的思想冲击，给检察工作造成了十分严重的后果。检察机关法律监督的职能和各项工作原则受到错误批判，检察机关的组织、业务建设受到严重挫折和削弱，各项监督工作一度流于形式，侦查工作也限于狭小范围，出现了错捕、翁诉案件。

1966年“文化大革命”开始后，全市检察机关陷于瘫痪。各项工作被迫中断。

1978年6月，青岛市检察机关开始重新筹建。7月28日，青岛市第八届人民代表大会第一次会议选举产生青岛市人民检察院检察长。1979年1月2日，重建后的青岛市人民检察院正式对外办公。开始只设批捕起诉处、法纪检察处、劳改监所检察处、办公室，工作人员24人。1980年1月，机构调整为刑事检察一处、刑事检察二处、法纪检察处、经济检察处、监所检察处、政治处、办公室，工作人员64人。同年12月，增设信访处，1982年3月改为控告申诉检察处。1984年11月，增设研究室、技术处。

青岛市人民检察院重建后，所属市南、市北、台东、四方、沧口、黄岛6区人民检察院也于1979年2月成立。随着行政区划的调整，1983年10月，平度、莱西两县人民检察院划归青岛市人民检察院管辖。

青岛市检察机关重建后，监督职能得到较好的发挥，各项工作有了很大发展。1979年2月《中华人民共和国逮捕拘留条例》公布后，根据最高人民检察院的指示，青岛市检察机关承担起审查批捕、审查起诉工作。1980年1月，《中华人民共和国刑法》、《中华人民共和国刑事诉讼法》施行，青岛市检察机关开始全面承担了侦查监督和审判监督工作，与公安、法院密切配含，积极投入了打击严重刑事犯罪斗争。在审查批捕和审查起诉工作中，坚持基本犯罪事实清楚，基本证据确实充分，对已构成犯罪的罪犯即做出批捕和起诉的决定，坚持按法定程序和时限办案，充分保证了严厉打击严重刑事犯罪斗争顺利进行。通过对监管场所监督，保障判决、裁定的执行和配合劳改劳教部门整顿监管秩序，及时纠正了劳改劳教机关中某些违法行为，促进了监管场所的文明管理，打击了劳改劳教人员中的重新犯罪活动，促进了劳改劳教人员的思想改造。通过加强接待群众来信、来访和控告申诉检察监督工作，依法纠正了一批冤假错案，保护了公民的民主权利和合法权益，并提供了一批案件线索。

1982年3月8日，全国人大常委会作出了《关于严惩严重破坏经济的罪犯的决定》，同年4月13日，中共中央、国务院又作出了《关于打击经济领域中严重犯罪活动的决定》以后，青岛市两级检察机关在绝不放松打击刑事犯罪的同时，坚持把打击经济犯罪作为主要任务来抓，依法查处了党政机关和企事业单位中一批大的贪污、受贿案件；同时还积极开展了法纪检察工作，依法查处了一批触犯刑律，需要依法追究刑事责任的违法乱缉案件，为保护社会主义经济建设，促进廉政建设，端正党风，克服官僚主义，起了积极作用。

青岛市检察机关的工作紧紧围绕党的中心工作，严格依法办案，为青岛市的改革开放创造良好的社会治安秩序和经济秩序，为争取社会风气的根本好转做出了重要贡献。