После ухода
Бонара Лоу с поста премьер-министра в мае 1923 года Керзон уступил место
Стэнли Болдуину , несмотря на его рвение к этой работе.
Это решение было принято по частному совету ведущих членов партии, включая бывшего премьер-министра Артура Бальфура. Бальфур сообщил монарху, что в демократическую эпоху премьер-министру неуместно быть членом
Палаты лордов , особенно когда
Лейбористская партия , у которой было мало равных, стала главной оппозиционной партией в палате общин. В частном порядке Бальфур признал, что у него предубеждение против Керзона, чей характер вызывал некоторые возражения.
Георг V разделял это предубеждение.
...
Керзон, вызванный Стэмфордхэмом, помчался в Лондон, предполагая, что его назначат. Он расплакался, когда узнал правду. Позже он высмеивал Болдуина как «крайне ничтожного человека», хотя он служил под началом Болдуина и предложил его на пост руководителя Консервативной партии. Керзон оставался министром иностранных дел при Болдуине до падения правительства в январе 1924 года. Когда Болдуин сформировал новое правительство в ноябре 1924 года, он назначил Керзона
лордом-президентом Совета .
Провал Керзона стал поворотным моментом в политической истории страны. Отныне лордам было запрещено возглавлять политические партии и становиться премьер-министрами. Сейчас наступила эпоха демократии, в которой премьер-министру было неприемлемо находиться в неизбираемой и в значительной степени бессильной палате.