1865年东海关在青岛设分卡，开始形成并保存了一批海关档案。
德国侵占青岛时期，胶澳总督府在办公厅下设档案室，管理总督府档案；总督府的职能部门也各自建立档案室，管理本部门的档案文件。档案室除管理档案外，还兼管收、发文件等工作。档案的种类有文书档案、城建档案等。
日本第一次侵占时期，侵占青岛的日本青岛守备军各机关秘书部门负责档案的管理。随着一些规模较大企业的建立，企业也相应建立了档案。日本撤离青岛时，掠夺了大量德日侵占时期档案，致使青岛早期档案所剩无几。
北洋政府统治时期，胶澳商埠历届政府都设立了档案机构。各机关档案机构的设置没有统一的规定，有的以科为单位管理档案，有的由各股办事员负责保存，有的由总务部门统一管理。1924年8月20日，《胶澳商埠督办公署办事规则》规定，在各处科设专门管理档案的管卷室，指定专人，负责保管各股汇交的档案。由于实行有文必档的做法，档案数量增长较快。但档案管理仍处于分散状态，各科、股均有自己的档案，管理方法上自行其事，工作极不统一。
南京国民政府统治青岛后，政府机关仍设科、股管理档案，区街的档案管理也得到加强，各区公所设置文卷室。档案工作制度有所健全，出现了《青岛市财政局管理档案简则》、《青岛市区公所保存文卷简则》等专门的档案管理制度。1933年随着南京国民政府“提高行政效率”运动的开展，青岛市也开始酝酿改革档案工作，青岛市政府秘书处于11月18日提出《整理本府卷宗办法》，决定将第一科管卷室改为总管卷室，统一管理市政府秘书处各科、股档案。工作方法也由以前按机关管理改为分类管理，实行“类”、“组”、“宗”、“案”、“件”五级编档方法，档案管理分散的状态有了较大的改变。
日本第二次侵占青岛前，青岛市政府档案有的内迁重庆，有的就地隐藏，有的随军撤退，致使大批档案散失损毁。日本侵占后，伪青岛特别市公署档案初为各部门自行保存，1942年8月伪青岛特别市公署规定，公署档案由总务局文书科负责保存。这一时期，青岛档案工作被“日化”，连档案工作术语也改用日称。日军除直接插手政府档案工作外，还搜集了一大批山东等地的经济档案，以日本商工会议所为据点，利用这批档案制定掠夺中国经济的所谓“开发计划”。
南京国民政府第二次统治时期，青岛市政府及所属各机构立即恢复档案工作，同时还从重庆等地迁回档案，以维持行政工作的需要。这一时期，青岛市档案工作出现了两种不同的体制，青岛市政府秘书处以第一科文书股管卷室管理档案；青岛市财政局则成立了专门的档案管理机构，在第一科设置专门管理档案得档案股，财政局还采取了文书处理部门立卷归档等办法。1949年国民党政权撤离青岛时，掠走、烧毁了部分档案，造成难以弥补的损失。
青岛解放前夕，中国人民解放军青岛市军事管制委员会执行1949年4月25日发布的《中国人民解放军布告》（即约法八章）将档案列入接收计划。军管会入城后，迅速封存、接收了国民党政权遗留的所有档案。
建国以后，青岛市档案工作在中共青岛市委、市政府的领导下，逐步走上了规范化、专门化、科学化管理的轨道。1950年6月，中共青岛市委设专职档案管理人员，列入编制序列。此后，不断地充实完善档案管理机构。
1956年，中共中央办公厅召开全国档案工作会议，国务院发布《关于加强国家档案工作的决定》，中共青岛市委、市人民委员会加强对档案工作的领导，分别设置档案科。1959年8月，青岛市贯彻中共中央《关于统一管理党、政档案工作的通知》，集中统一管理全市党和政府系统的档案工作。在此期间，全市完成了清理建国以来积存档案任务，推行了文书处理部门立卷制度。1963年5月，青岛市制定了《各级机关文书立卷归档工作的几项规定》和《市级机关档案材料保管期限参考表》，第一次在全市实行了统一的档案工作标准。科技档案工作初步发展，企业、科研和城市建设等单位普遍建立了科技档案机构，制定了科技档案管理办法。
“文化大革命”时期，青岛市档案王作受到严重冲击，档案机构严重削弱，规章制度遭破坏。
中共十一届三中全会以来，青岛市档案事业进入全面发展的新时期。加强了业务建设和制度建设，档案设备亦不断更新，档案管理水平不断提高，全市已经形成了以档案馆为主体，遍及各行各业、多层次的档案工作网络。
档案工作成为社会主义建设的一项专门事业。档案工作摆脱了单纯围绕机关服务的小圈子，面向社会，面向各项建设事业，发挥了重要作用。档案工作已经渗入工业、农业、科研等各个领域。科技档案为越来越多的人所重视，会计、教学、艺术等专门档案逐步建立。各单位开始重视收集、管理声像档案等不同载体的档案。档案馆接收、征集档案的范围也更加广泛。
1987年《档案法》公布后，档案开放范围进一步扩大，不仅开放建国前档案，还开放满30年的建国后档案；公民个人可持合法证明到档案馆查阅开放档案。利用档案的人次和卷次进一步增加。各级档案室也主动开展服务，为本机关的业务工作提供了依据。