Museum ini didirikan pada tanggal 4 Oktober 1964 yang peresmiannya dilaksanakan oleh Gubernur A.M.N. pada waktu itu dengan nama Museum Dharma Bhakti Taruna. Pada tanggal 5 Oktober 1966 diganti dengan nama Museum Taruna, baru pada tanggal 10 November 1975 menjadi Museum Abdul Djalil, dengan tujuan untuk mengenang jasa-jasa almarhum Abdoel Djalil (seorang taruna yang meninggal pada waktu latihan).

Museum Abdul Jalil menempati bangunan baru dengan gaya arsitektur modern, yang dibangun di atas areal tanah seluas 4000 m2. Koleksi Museum Abdul Djalil terdiri dari beberapa jenis persenjataan, baik senjata ringan maupun senjata berat, beberapa macam tanda pangkat, tanda jasa dan lain sebagainya yang berhubungan dengan kemiliteran.