V lednu 1995 vnitřní průzkumy Liberální strany ukázaly, že s Downerem jako vůdcem měla koalice malou šanci udržet si v příštích volbách své okrajové mandáty, natož aby vyhrála vládu. V polovině ledna Downer začal vyjednávat s bývalým vůdcem, nyní back-bencherem Johnem Hewsonem , ale to mělo za následek, že Hewson veřejně prohlásil, že chce stínové portfolio Treasury, což znamenalo, že Downer bude muset z pozice vyhodit zástupce vedoucího Petera Costella . Dne 30. ledna 1995 rezignoval na post liberálního vůdce.