Estuvo situado junto al Arco de San Martín, en el lugar que actualmente ocupa un hotel y la Universidad Isabel I de Castilla. Las primeras inhumaciones se hicieron el 1 de octubre de 1834. Hasta entonces, los enterramientos se hacían en el interior de los templos o en los patios contiguos a los mismos. Ese cementerio se clausuró en 1906, año en el que se inauguró el actual de San José.