Тем не менее, у Деспенсера существовала проблема в лице королевы Изабеллы.
Она ненавидела безжалостность Хью и его манеру вертеть по собственному капризу ее супругом. Изабелла испытывала отвращение к тираническому правлению, навязанному стране, особенно к заточению в темницу такого внушительного числа знатных дам. У жены Эдварда вызывали презрение мстительность, с которой Деспенсер пытался отыграться на противниках, и степень, до какой он, в дуэте с монархом карал целые общины, включая лондонцев. Въехав в столицу Англии юной и испуганной принцессой, Изабелла прежде всего с их стороны увидела встречу со стягами и народным веселым гостеприимством, поэтому до конца дней полюбила жителей этого города. Теперь они страдали от растущего налогообложения, измененного королем по совету Хью. Что до попавших в заточение детей, Изабелла с болью наблюдала за их разлукой с семьями. Деспенсер регулярно подрывал уважение к ее положению и власти. В конце 1322 года она решила, — не осталось иного выхода, кроме как выступить против любимца мужа, что казалось Изабелле справедливым.
Поворотной точкой в глазах королевы стала английская летняя кампания в Шотландии после сражения при Боробридже. Как и все остальные шотландские походы Эдварда, этот оказался полностью провальным. Как бы то ни было, в отличие от прежде совершавшихся его кампаний, Изабелла находилась там лично, ближе к границе, в аббатстве Тайнмут. Когда шотландцы застали Эдварда и Деспенсера врасплох у болота Блэкхау Мур, король с фаворитом бежали, оставив Изабеллу на милость Роберта Брюса. Зная о том, сколь мало драгоценного милосердия оказал Эдвард Первый возлюбленной и сестре Брюса, выставляя их в деревянных клетках на стенах замков Бервик и Роксбург в течение трех лет, это можно рассматривать в качестве на редкость черствого поступка. Лишь благодаря способности королевы быстро ориентироваться в создавшемся положении и ее решимости, той удалось выскользнуть. Хотя прибрежные дороги пребывали под надзором фламандских союзников шотландцев, Изабелла сумела найти готовый отвезти ее в Англию корабль. Во время отчаянного бегства из Тайнмута погибли две фрейлины королевы.
Снова ступив на английскую почву, молодая женщина наметила себе план действий на будущее: труд освобождения Роджера Мортимера и ниспровержение Деспенсеров. Она прекрасно сознавала грозящие опасности и понимала, каждое движение следует совершать в обстановке строгой секретности. Даже передача Роджеру сообщения прошла достаточно сложно. Прямые шаги являлись еще более опасными. В конце 1322 года Робер Ле Ивер подвергся казни через задавливание до смерти в одной льняной рубахе под грузом железа, длившееся несколько дней. Ле Ивер участвовал в нападении на Деспенсера-старшего (сейчас носящего титул графа Уинчестера), куда, как считалось, были вовлечены также Мортимеры. Однако, Изабелла слышала, — Эдвард направился в лондонский Тауэр, поэтому догадывалась, — скоро у нее появится возможность действовать.
Таковая представилась уже через пару месяцев. В январе 1323 года, когда королевский кортеж достиг Лондона, лорду Беркли не хватило лишь малости для совершения побега из замка Уоллингфорд. Некоторые члены его свиты добились права посетить лорда с целью устроить пир. Заточенный Беркли пригласил присоединиться к ним своих тюремщиков. С поразительным недостатком заботы о безопасности стражники легко попали в западню. Люди из свиты Беркли вытащили спрятанное оружие и стали угрожать убить их. В замок впустили еще двадцать человек. Но план потерпел крах. Живший во внешней сторожке мальчишка догадался о сути происходящего и поделился своими подозрениями с мэром города, осадившим крепость и предупредившим находящихся поблизости графов Кента и Уинчестера. Лорда Беркли схватили в часовне твердыни.
Эдвард и Деспенсер поспешили к Уоллингфорду, чтобы лично помешать Беркли, оставив Изабеллу в Тауэре. Она была там как 3 февраля, когда обедала в замке с сыном, так и 17 февраля. Хотя ученые прошлого спорили, доказывая, что не существует доказательств взаимодействия Изабеллы и Роджера именно на этом конкретном этапе, не обязательно, что их убеждение верно, ведь позднее королева отправила казначею письмо от имени леди Мортимер, супруги заключенного, подвергающейся дурному обращению. В то время Джоан находилась под опекой шерифа Хэмпшира. Таким образом, у королевы существовал доступ к внутренней информации, прямо связывавшей ее с женой лорда Мортимера, тогда как она пребывала с Роджером в одном замке. Хотя из других источников ясно, — обычно лорд Мортимер содержался строго под замком, также понятно, что у него имелась возможность тайком высылать из крепости письма. Пусть мы не можем хранить уверенность в получении Изабеллой сообщения о судьбе леди Мортимер напрямую от Роджера, это является наиболее вероятным объяснением того, как она узнала о плохом обращении с Джоан. Поэтому еще более достоверно вступление королевой в сговор с пленником именно в феврале 1323 года.
Тут появляются вопросы относительно природа отношений Роджера и Изабеллы. Встреча 17 февраля 1323 года или ровно накануне не доказывает ничего, кроме их разговора. Однако, Мортимер передал королеве письмо, в соответствии с которым она принялась действовать, а это уже предполагает взаимопонимание. То, что их по-человечески потянуло друг к другу, что они произвели друг на друга впечатление, неоспоримо, учитывая ход дальнейших событий. Оба отличались высоким происхождением, умом, жизненной искушенностью. Но единственное доказательство превращения сегодняшних собеседников в соратников связано с преемственностью Изабеллы от Роджера защиты попавшего в немилость канцлера Северного Уэльса десятью годами ранее. Несмотря на отсутствие доказательств, не следует полагать, что они не общались, или думать, что их связь являлась чем-то большим, нежели политический союз. Что до вопроса, чем могла Изабелла оказать Роджеру помощь, на него легко ответить, приведя в пример ее скорое возвращение ко двору. Видимо, Мортимер попросил королеву понаблюдать за супругом и сообщать об осведомленности Эдварда касательно заговоров по его освобождению.
Изабелла не единственная прилагала усилия к спасению Роджера. Лорд Беркли на допросе признался, что попытка устроить ему побег — это лишь начальная часть тщательно разработанного плана по выпуску Мортимера из Тауэра. Томас де Ньюбеггин был задержан в Южном Уэльсе по обвинению в заговоре в пользу Мортимера. Роджер и сам разрабатывал план побега. Он убедил помочь себе младшего лейтенанта Тауэра, Джерарда Д, Алспея. Вероятно, Д, Алспей и являлся человеком, тайно выносившим письма Мортимера из Тауэра и передававшим их адресатам из среды монастырского духовенства и лондонского купечества, наиболее заметными из которых оказались Джон де Жизор и Ричард де Бетюн. Таким образом, Роджер