Museum Affandi yang terletak di sebelah barat Sungai Gajah Wong, memiliki area seluas 3500 are. Dulunya merupakan rumah Affandi. Bentuk permukaan tanah yang tidak lazim memberikan inspirasi kepada Affandi untuk merancang bangunan yang unik dan lingkungan yang mengitarinya.
Hasilnya, sebuah lingkungan terpadu yang sangat unik hasil dari rancangan Affandi sendiri.Galeri I diselesaikan pada 1962 dan digunakan sebagai aula pertunjukan hasil karya beliau yang cukup besar. Galeri I ini secara resmi diresmikan pada 1974 oleh Prof. Ida Bagus Mantra yang saat itu menjabat sebagai Direktur Kebudayaan Umum. Galeri I memiliki bentuk yang uniktidak seperti museum biasanya.
Galeri I Museum Affandi ini sangat sederhana tetapi mengandung cita rasa seni yang tinggi. Apalagi di dalamnya terdapat hasil karya Affandi yang legendaris.Pada 1987 Presiden Soeharto memberikan bantuan pembangunan Galeri II seluas 351,5 are. Lalu pada 9 Juni 1988, Galeri II ini diresmikan oleh Menteri Pendidikan dan Kebudayaan saat itu, Prof. Dr. Fuad Hassan. Arsitektur Galeri II ini tidak jauh berbeda dibandingkan dengan arsitektur Galeri I, dan akhirnya arsitektur inilah yang nantinya digunakan sebagai arsitektur khas kawasan Museum Affandi.
Galeri II ini berisi hasil karya Affandi beserta pelukis terkenal lainnya.Sedangkan galeri III dibangun oleh Yayasan Affandi dan berhasil diselesaikan pada tahun 1999. Galeri ini kemudian diresmikan oleh Sri Sultan Hamengkubuwono X pada Mei 2000. Galeri ini didirikan untuk memenuhi permintaan terakhir Affandi yang ingin memiliki tempat yang cukup untuk menyimpan hasil kerja dan seluruh koleksinya. Arsitekturnya pun tidak jauh berbeda dengan bangunan-bangunan sebelumnya yaitu memiliki atap berbentuk daun pisang.