La ermita de la Escarihuela fue construida en la primera mitad del siglo XVII, tras construirse la capillita de la Cruz del Milagro, 400 metros más adelante en memoria del milagro que supuso, un 17 de mayo, la desaparición de la plaga de peste que asolaba la ciudad de Ronda.
La ermita adquirió ese nombre al situarse en el inicio del llano tras culminarse la escarihuela de subida al puerto de este antiguo camino a Ronda.
La capilla está presidida por un cuadro de la Virgen de la Concepción también llamada Virgen de la Escarihuela desde entonces.
Existe una gran devoción por la Virgen de la Escarihuela. Cuenta la tradición que Ronda padecía una gran epidemia de peste, y los vecinos de Ronda, conociendo los milagros de la patrona de los montejaqueños, pidieron a éstos que la llevasen en procesión.
Cuenta la leyenda, que mientras los procesionantes se alejaban de Montejaque, el peso de la Virgen aumentaba más y más. Hasta que llegó un momento donde ya no pudieron avanzar más y tuvieron que regresar, pero no fue su esfuerzo en vano, sino que al día siguiente llegó un correo de Ronda diciendo que la epidemia había remitido.
La Virgen de la Escarihuela se procesiona también como Virgen de la Concepción.
