Неизбежно эти записки превратились в привязанность друг к другу. Гарриет написала Миллю в 1832 году: «Если бы я могла быть Провидением для мира на какое-то время, с целью возвысить положение женщин, я должна была бы прийти к пониманию средств - цель заключалась бы в том, чтобы удалить все помехи, связанные с привязанностью или чем-либо, что ... демонстративно относится к любви». Это было открытым приглашением Миллю заявить о себе. Что он и сделал. Гарриет подтверждает это: «Я рада, что вы это сказали, я счастлива, что вы ... Я всегда жаждала вашей уверенности ... единственное существо, которое когда-либо вызывало все мои способности к привязанности, - это тот единственный, в чьем присутствии я когда-либо испытывала скованность. Иногда, когда это сильно ощущалось, я сомневалась – остался ли повод для разочарований и вернутся ли еще сомнения».
Гарриет призналась мужу, Джону Тейлору, о существовании этой привязанности. Тейлор поставил Гарриет ультиматум: она должна прекратить свои отношения с Миллем, пока не перешло в скандал. В августе 1832 года она согласилась, и впоследствии Милль тоже сделал это. Милль был опустошен, но он благородно перенес разрыв, передав записку через Элизу Flower: «Надеюсь, она не откажется от этого небольшого букета цветов, которые я принес ей из глубин Нового леса. Дайте их ей, если нужно, скажите как будто они пришли от вас».
Но вскоре Гарриет и Милль восстановили свою связь. Гарриет придумала такой разумный компромисс, который стал одним из самых обсуждаемых дел девятнадцатого века. Она была уверена в том, что нужна Миллю, чтобы он мог внести свой большой вклад в мир. Гарриет была заинтересована в том, чтобы помочь ему. В то же время она останется верной и преданной Джону Тейлору и тем самым избежит скандала. Эта двойная преданность должна была быть достигнута путем отказа от сексуального контакта с обоими мужчинами!
В то время Миль и Тейлор считали это чем-то вроде временного компромисса, который просто откладывал неизбежный жесткий выбор. Тейлор предложил шестимесячное отделение, в течение которого Гарриет должна была забрать детей в Париж, чтобы пересмотреть свое положение. Тейлор был уверен, что в дороге она поймет ошибку. Во время этого шестимесячного пребывания Милль посетил ее в Париже и пробыл там шесть недель, все происходило с предельным приличием, например, Милль был в сопровождении его младших братьев, которых познакомили с детьми Гарриет. Милль полностью ожидал, что Гарриет попросит развода и начнет с ним новую жизнь. В конце концов, они заговорили о том, чтобы сбежать вместе в Австралию, учитывая работу Милля стал думать с планами Уэйкфилда по колонизации.
Эмоционально Миллю было сложно справиться со всем этим. Еще раз он испытал искушение отчаяться, но, написав Карлайлу, он показал свою способность преодолевать это. Вспоминая как ранее его парализовал чрезмерный самоанализ, он с отвращением вспомнил свой страх и пришел к тому, чтобы поделиться с Карлайлом. «Я буду и должен ... овладеть этим, или это, несомненно, овладеет мной».
К большому удивлению и огорчению обоих мужчин, Гарриет поступила по-своему. И Тейлор, и Милль наконец оказались втянутыми в этот треугольник отношений. Чтобы избежать скандала и свести к минимуму связь с Фокс и Элизой Флауэр, Тейлор перевел свою семью в Террасу Кент, 17, вдоль Regent парка. Миллю было разрешено посещать Гарриет почти каждый день, а два раза в неделю, по вечерам, когда Тейлор ужинал в своем клубе, он обедал с ней. Миллю было разрешено сопровождать Гарриет публично для участия в концертах или лекциях. Гарриет также была заселена в Кенте на выходные и праздничные дни. У Милля был доступ даже туда. Милль и Тейлор были холодно вежливы друг с другом. Наконец, Гарриет продолжала управлять домашним хозяйством Тейлора и быть верной женой во всех отношениях, кроме совместного использования кровати Джона Тейлора. С этого момента, Дочь Гарриет Элен сопровождала ее всюду, чтобы выполнить ряд практических заданий и даже спала в одной комнате. Гарриет, Милль и маленькая Хелен образовали треугольники отношений.
Некоторые, возможно, осудят Гарриет жестко за то, что она поставила двух человек в очень неприятные и неудобные обстоятельства, казалось бы, чтобы создать видимость приличия и на благо детей. Поскольку она раньше заявляла Миллю: «Да, эти обстоятельства требуют большей силы, чем любой другой - величайшей - которая у вас есть, и если бы у вас не было, я бы никогда не полюбила вас, и я не любила бы вас сейчас». Милль страдал от всего этого, как заметил его тогдашний друг Карлайл, который сказал, что «он [Милль] был самым неудачливым человеком, который, казалось, был очень счастлив». Но в конце концов, Гарриет сдалась и в форме близости. Кроме того, важно помнить о судьбе замужних женщин с детьми, которые сбегали с любовниками в девятнадцатом веке – обычная и трагическая тема литературы того времени. Также важно помнить в этом контексте о репутации другой феминистки, Мэри Уолстонкрафт. Уолстонкрафт вышла замуж за политического писателя Уильяма Годвина в 1797 году, а затем умерла через пять месяцев во время родов. Ребенком, а точнее дочерью, была Мэри Шелли. Но важнее мемуары Годвина, опубликованные в 1798 году, подробно описывающие любовные отношения в жизни его бывшей жены. Мемуары создали скандал, который все еще продолжался в 1830-х годах.