El acceso al harem estaba rigurosamente prohibido a los extraños. En su interior vivían mujeres ligadas por lazos 
de parentela al sultán (la madre), las esposas, las concubinas y las esclavas. Algunos sultanes llegaron a instalar su dormitorio en el interior de complejo, Ahmed III llegó a instalar un comedor.
El primer patio muestra las celdas de los eunucos, los más ancianos ocupaban las plantas bajas y los jóvenes las superiores. Los que intentaban huir eran castigados con golpes con bastones en las plantas de los pies.
La sala de los guardias está decorada con espejos de Murano.
Las mujeres que daban un hijo varón al sultán estaban separadas del resto.
Dentro del harem había tres baños: uno para la madre del sultán, la valide, otro para el propio sultán y sólo uno para todas el resto de habitantes del complejo. El del sultán contaba con todas las comodidades de un hamman, además del propio baño.
Tras él se llega a las estancias del sultán.
La primera de ellas es un gran salón con una curiosa alfombra que representa un proverbio que reza que hay que mirar a una persona con tres ojos antes de hablar de ella. Los ojos no son muy fáciles de reconocer, pero los labios son evidentes. Con esto el sultán quería decir que había que conocer muy bien a la gente antes de emitir un juicio sobre ellos. Una llamada a la prudencia.
La belleza de esta parte del harem es espectacular, suponemos que sería todavía más chocante si se pudieran visitar las celdas y las estancias de las esclavas y los eunucos, lo que provocaría un choque más visible. Una de las salas más bellas es la biblioteca de Ahmet I, construida entre 1.608 y 1.609. Sus paredes están cubiertas de azulejos y está decorada con madreperla.
Capítulo aparte merecen todas las puertas, tanto las que cierran ventanas como las que cierran habitaciones.
Tras pasar por las habitaciones gemelas, en las que los jóvenes sultanes estudiaban, se llega al patio de las concubinas. Las ventanas de esas habitaciones estaban orientadas a la piscina y se mantenían siempre cerradas para evitar peligrosas tentaciones.
