В данном случае отсутствует существительное, согласующееся с прилагательным "престарелых". Правильный вариант звучал бы так: "В своё время мы ездили в дом для престарелых."