Dne 5. října 1954 Evatt přednesl agresivní projev proti „ neloajálním živlům “ uvnitř Labouristické strany, jehož cílem bylo „odvrátit Labouristické hnutí od sledování stanovených labouristických cílů a ideálů“. Řeč způsobila rušení uvnitř ALP, což vedlo mnoho lidí k pochybnostem o Evattově postavení.
Labouristický správní výbor zamítl 52 až 28 hlasů návrh na únik, který podali senátoři George Cole a James Fraser . Zástupce vůdce Arthur Calwell a Allan Fraser by v případě úniku kandidovali do funkce vůdce a zástupce vůdce. Po hlasování Evatt trval na počítání jmen pro a proti, což jen podporovalo nepřátelství jeho oponentů.
