En este Colegio-Seminario se escribió también una página gloriosa en el inicio y desarrollo de los estudios científicos en Puerto Rico. Aquí fue que se instaló, en el 1843, el primer laboratorio de física y química, donado por el Padre Rufo Manuel Fernández, educador gallego con quien tenemos una gran deuda de gratitud.
El Colegio se convirtió en un importante centro de enseñanza pública cuando la Reina Isabel Segunda aprobó la incorporación de las cátedras de fisica, química, literatura, gramática, retórica, aritmética, geometría plana, lógica, cosmografía, metafísica, clases de francés y de inglés. Estas cátedras fueron costeadas por la Real Sociedad Económica de Amigos del País.
El colegio-Seminario San Ildefonso constituyó, por lo tanto, una piedra angular en el desarrollo de la educación pública en Puerto Rico, bajo la larga tradición magisterial de la Iglesia Católica.
En 1900, el Obispo Jaime Blenk cerró el Seminario. En el desocupado edificio funcionó durante algunos años el Colegio de San Pablo dedicado a la enseñanza de niños. En 1915, el Obispo Mons. Guillermo Jones devolvió el edificio a su primitivo destino, poniéndolo bajo la dirección de los Padres Paúles. Esta situación duró hasta 1948, en el que el Obispo Jaime Davis trasladó el Seminario a Aibonito. El antiguo edificio fué por varios años sede de la escuela de Santo Tomás de Aquino y Convento de Religiosas Dominicas.
En 1972, dado el estado ruinoso que presentaba, el edificio fue clausurado. En el año 1984, y con la aprobación de S.E.R. Mons. Luis Aponte Martínez, Cardenal Arzobispo de San Juan, se creó la Comisión para la Restauración del Edificio del Seminario, presidida por el Dr. Ricardo E. Alegría, quien dirigió las obras de restauración. Esta labor y la habilitación del edificio se terminaron en 1986.
Desde entonces, mediante acuerdo con S.E.R. Mons. Luis Aponte Martínez, este histórico edificio es la sede del Centro de Estudios Avanzados de Puerto Rico y el Caribe, donde continuamos aquella gestión educativa y cultural, adaptándola a las necesidades de la sociedad puertorriqueña de hoy, pero con el mismo empeño en el desarrollo de los valores éticos, estéticos y humanísticos de nuestro pueblo, libre de discriminación racial, política o religiosa.
Su localización, próxima a la Escuela de Artes Plásticas y Diseño, y a la sede central del Instituto de Cultura Puertorriqueña, facilita a los profesores y estudiantes del Centro el disfrutar de los frecuentes actos culturales (conferencias, exposiciones, conciertos) que se llevan a cabo en la zona, en la que se hallan ubicados, además, el Museo de las Américas, el Museo de Arte e Historia de San Juan, el Museo del Indio Puertorriqueño, el Museo Pablo Casals y de Farmacia, así como varias galerías de arte. Relativamente cerca del Centro quedan el Teatro Municipal Tapia y la Casa del Libro, centros de continuas manifestaciones artísticas, y, ya fuera del recinto murado, pero dentro de la misma isleta de San Juan, el Ateneo Puertorriqueño, la Biblioteca Carnegie, la Biblioteca de las Cámaras Legislativas, la Biblioteca del Tribunal Supremo de Puerto Rico, y por último, el edificio que es sede del Archivo y la Biblioteca General de Puerto Rico.