presencia del presbítero Sr. D. Andrés Villaroya y Cano, se dio principio a la lectura de las bases o proyecto de reglamento para la formación de una sociedad o Hermandad que se titulará Cofradía del Santísimo Cristo del Calvario y María Santísima de los Dolores ... "
Es la fusión de ambas cofradías (la Stmo. Cristo del Calvario y la de la Virgen de los Dolores), la que genera el surgimiento de la actual Hermandad, que conserva la denominación de sus imágenes titulares. La Hermandad
es erigida canónicamente en la parroquia de Santa María la Mayor el 18 de Septiembre de 1924. Se pasa de representar pequeños actos sacramentales y de procesionar pequeñas imágenes en andas (de genuino sabor rural) a un mayor deseo por dignificar las procesiones.
La Hermandad realizaba cinco estaciones de penitencia, Domingo de Ramos, Miércoles Santo o del silencio, Jueves Santo o del Crucificado, y dos el Viernes Santo. Esta circunstancia motiva que sea ésta una Hermandad con superávit de pasos que, salvo cesión a alguna Hermandad surgida con posterioridad del seno del Calvario (como es el caso de la Real Hermandad y Cofradía Infantil) mantiene siete pasos.
La conocida imagen de “ La Burrita” fue cedida a la Cofradía Infantil el año 1962. La cesión se hizo definitiva en 1974 con la condición de que el grupo escultórico volvería al Calvario en el momento en que la Cofradía Infantil dejase de procesionarlo.
Durante el siglo XX, la ermita queda rodeada por un barrio de corte humilde de artesanos, ferroviarios y agricultores. Hacia la segunda década del siglo XX, cuenta con 34 hermanos, cuya media de edad roda los 35 años. Su ilusión y aportes de mecenas, les lleva a adquirir en 1930 a los afanados talleres Meneses (hoy desaparecidos), la urna de plata del Cristo yacente.
En los años 40 se adquieren grupos escultóricos como la Flagelación de Jesús, venida desde Olot, Jesús en la Oración en el Huerto de Gesetmaní, la entrada de Jesús en Jerusalén, y las imágenes de Ntro. Padre Jesús Nazareno y María Stma. de la Amargura, inspiradas, todas ellas, por el escultor Pineda En 1962 se abre al culto dominical la Ermita del Calvario, que es adecentada por los hermanos. El 22 de marzo de 1966, se traslada la sede canónica de la Hermandad a la nueva Parroquia Cristo Rey, creada par dar cobertura al barrio, aunque se le sigue conociendo popularmente como El Calvario. Las imágenes titulares, se les sigue rindiendo culto y tienen sus salidas procesional desde la antigua sede, la parroquia de Santa María la Mayor.
En 1969, el Vicario General, don Aquilino Camacho Macías, que había estado varios años de coadjutor en la parroquia de Santa María la Mayor, solicita del Ayuntamiento la demolición de la Ermita para construir en el solar la nueva parroquia. El permiso fue concedido, y al derribarse la Ermita fueron hallados los restos arqueológicos del Castelum Aquae, lo que supuso la imposibilidad de construir. La Ermita desaparece para siempre después de más de 300 años de culto y devoción.
Desde 1981, la Virgen de la Amargura es sacada en procesión durante las fiestas del Barrio, ya no faltará ningún año a esta cita. Se solicita permiso para adecentar el entorno de las ruinas romanas y renovar los barracones, creando una nave para albergar las dependencias de la Hermandad. Todo ello, conlleva que en 1988, la Estación de penitencia del Martes Santo, comienza y termina en El Calvario, manteniéndose desde entonces como norma. Es el acercamiento definitivo a la parroquia en la que esta inscrita y el establecimiento de la sede de la Hermandad en los terrenos que ocupaba la antigua ermita.