Museum Lukis Affandi dibangun untuk menyajikan karya agung sang maestro semasa  hidup serta kehidupan Affandi. Di samping menyajikan koleksi karya sendiri juga menampilkan lukisan teman-teman seprofesi seperti Sugijono, Bandi, Hendro Gunawan, Popo Iskandar, Muchtar Apur dll. Selain itu juga terdapat alat transportasi yang dipakainya dahulu, rumah yang ditinggali, hingga sebuah sanggar yang kini dipakai untuk membina bakat melukis anak-anak. 

Bangunan museum terdiri dari 3 buah galeri yang dibuat secara bertahap. Galeri I dibangun secara pribadi tahun 1962, dan diresmikan pada tahun 1974 oleh Dirjen Kebudayaan Prof. Ida Bagus Mantra. Galeri ini memuat sejumlah koleksi lukisan Affandi, lukisan tersebut umumnya berupa lukisan sketsa dan karya reproduksi. Di samping lukisan juga terdapat sejumlah barang berharga semasa Affandi hidup antara lain sebuah mobil Colt Gallam tahun 1976, serta sepeda ontel kuno. Galeri II dibangun atas bantuan pemerintah tahun 1987 dan diresmikan pada tanggal 9 Juni 1988 oleh Menteri Pendidikan dan Kebudayaan Prof. Dr. Fuad Hasan. Ruang ini menyajikan lukisan hasil karya pelukis senior maupun pemula. Galeri Ill dibangun oleh Yayasan Affandi tahun 1997 dan diresmikan pada tanggal 18 Mei 2000 oleh Sri Sultan Hamengku Buwono X. Konsep dan desain bangunan menyerupai pelepah daun pisang dan dibuat sendiri oleh Affandi. Galeri berlantai tiga ini multi fungsi, lantai pertama berfungsi sebagai ruang pamer sekaligus lokasi “Sanggar Galeri Wong” tempat anak-anak mengasah bakat melukis, lantai dua sebagai ruang perawatan dan perbaikan lukisan. Sementara lantai bawah tanah sebagai tempat menyimpan koleksi lukisan. Di dekat Galeri Ill terdapat menara yang bisa melihat panorama seluruh bagian museum. Di sebelah baratnya adalah rumah tern pat tinggal Afandi dan keluarganya. 

Koleksi museum berjumlah 300 buah sebagian besar berupa lukisan kertas, cat air, pastel dan cat minyak. Koleksi lukisan tersebut selain hasil karya sendiri juga hasil karya ternan-ternan seprofesi seperti Sugijono, Popo Iskandar dan lain-lain. Koleksi selain lukisan adalah mobil sedan Mitsubishi Gallant tahun 1975, sepeda Reliegh tahun 1975, lukisan Maryati, Kartika, Rukmini, Juki Affandi dan sebagainya.