El Castillete Óptico, denominado en su origen como el “Telégrafo de la Elefanta”, fue erigido en 1850 con la finalidad de albergar el primer telégrafo óptico, dependiente entonces del Observatorio Astronómico; su emplazamiento en la parte más alta del Parque del Retiro permitía enlazar visualmente con las líneas de Levante y Andalucía. Entre 1868 y 1888 pertenecía al Ayuntamiento de Madrid, aunque ya no cumplía con su finalidad primitiva, pues la telegrafía óptica se había sustituido por la telegrafía eléctrica en 1857, año en que se desmantelaron las líneas. Fue cedido el 2 de noviembre de 1888 al recién creado Instituto Central Meteorológico y hasta 1963 constituyó su sede oficial.