Cumhuriyet’in ilk yıllarında müzik öğretmeni sıkıntısı çekiliyordu. 1 Kasım 1924’te Maarif Vekilliğine bağlı Musiki Muallim Mektebi kuruldu. Okul Müdürü, Riyaset-i Cumhur Musikî Heyeti Şefi Zeki (Üngör) Bey, ilk öğrenciler Erkek Muallim Mektebi ile Balmumcu Öksüzler Yurdu’ndan gelen çocuklar. Okulun bulunduğu yere gelince, Hamamönü’nde Şakir Ağa’nın yaptırdığı kerpiç bir otel.
Okulun öğrencilerinin sayısı artınca yeni bir binaya ihtiyaç duyuluyor. Ernst A. Egli’nin yeni bina projesi 1929 yılında tamamlanıyor. Egli’nin anılarında, inşaat bittikten sonraki günlere dair şu satırlar var:
“Müzik okulunun inşaatı bittiğinde Kemal Paşa’nın okulu görmek için geleceğini, benim de orada bulunmamı istediğini bildirdiler. Kemal Paşa tarafından çok titiz ve ayrıntılı bir denetime tabi tutuldum. Tuvaletler hariç her şeyden memnun kaldı. Tuvaletleri Avrupa tarzında yapmıştım. Bu konudaki Avrupalı anlayışla Türk-Şark anlayışı arasındaki farka dikkatimi çekti. Ve temizlenmek için kâğıt değil su ve her tuvalete de bir bide istedi. Kısa zamanda Kemal Paşa’nın ne kadar haklı olduğunu anladım. Öğrenciler de lavabodaki duran suyla yıkanmak istemiyorlardı. Burada da akan suyun kullanılabilmesi için giderlerdeki tapaların kaldırılması gerekli oldu. Türkler için sadece akan su temiz ve sağlıklıdır.” Musikî Muallim Mektebi, ileride kurulacak Devlet Konservatuarı’nın çekirdeğidir. Bina, Konservatuar’a yuva olacaktır.