Od zgrada u okviru dvora kneza Miloša izvajao se "Šareni konak" ili "Harem" (Konak kneginje Ljubice), kako se u to vreme nazivao, jer su u njemu, pored kneginje i dece, stanovale i dvorske dame. Naziv Šareni konak dobio je po slikama na zidovima, kojima je bio ukrašen spratni deo konaka.
Spratna građevina izgrađena je u turskom stilu, sa podrumom i tremom. U prizemnom delu konaka nalazilo se pet soba, a na spratu četiri sobe i dve odžaklije. Sobe na spratu bile su, prema svedočenju očevidaca toga vremena, "osobito ukrašene s moleraji".
Tekst, uz saglasnost autora, preuzet iz knjige "Stari Kragujevac" Boriše Radovanovića.
Na zidu u hodniku spratnog dela bili su naslikani srpski i turski grbovi, a urađena je i slika Carigrada. Na spratu su se još mogle videti slike: "Paun", "Dvoboj", "Marko Kraljević i vile"...
U sobi kneževića Milana bila je velika slika na kojoj je prikazana dadilja kako u kolevci ljulja malog kneževića, koji na glavi ima zelenu čalmu. Na slici je on predstavljen većim od dadilje. Ispod i iznad slike bili su natpisi u pobožnom duhu, što ukazuje da je konak "malao" neki pobožni majstor, samouk.
Kada je kneginja Ljubica 1825. godine sa decom prešla iz Kragujevca u Požarevac, sobe u Šarenom konaku služile su za prijem gostiju, koji su tih godina dolazili knezu Milošu u prestonicu.
Staranje o Šarenom konaku preuzela je na sebe Miloševa milosnica i miljenica, "mala gospođa" Jelenka, koja je na dvoru u Kragujevcu izgradila važnu ulogu. Poreklom Turkinja, koju je Milenko Stojković zarobio u Prvom ustanku i pokrstio, ona je od služavke na dvoru postala dvorska dama, i zahvaljujući Miloševoj naklonosti trošila iz Narodne kase više novca nego kneginja Ljubica.
U donjem delu konaka, u dve sobe, bila je smeštena blagajna (Glavno koznačejstvo). Godine 1822. u Šarenom konaku rodio se Mihailo Obrenović, kasnije knez i vladar Srbije.
U jednom požaru 1885. godine Konak je izgoreo do temelja.