房玄龄活着时，家中还融融和和，父慈母爱儿孝顺，，一俟房玄龄仙逝，家中便呈现出破败的景象，先是太宗怜房家一族，让房遗直承袭其“梁国公”爵位和房家偌大门庭。www.tsxsw.com高阳公主心中不平，便让房遗爱提出与哥哥分家，房遗直不肯分出家产，还拿出家长的身份将房遗爱痛骂了一通。一气之下，高阳公主到父亲唐太宗处告房遗直，说他常对皇帝口出怨言，心怀不轨。太宗命长孙无忌调查此事，发现是高阳公主任性胡为的诬告。太宗不禁大为恼怒，将高阳公主训了一顿并不准她再进宫中。房遗直害怕，自己写奏折要求将爵位让给房遗爱，唐太宗并没答应。太宗驾崩，高宗即位后，高阳公主又让遗爱与遗直相互诉讼分财产，房家兄弟因此遭到贬谪，房遗爱降职出任房州刺史，遗直为隰州剌史。房遗爱因高阳公主故，虽领房州刺史之职但仍留在京城，因任所在房州，故而在京城里就格外清闲，那段时间，房遗爱时常与丹阳公主的驸马薛万彻交往。薛万彻当时也被贬职宁州，因丹阳公主故没有前往就任，同病相怜的两人聚在一起，时常谈起贬滴之事，怨气冲天，薛万彻时常拿荆王李元景与太宗相比，又牵线将李元景的女儿给房遗则做了媳妇。房遗则当时不过二十来岁，与郡主成婚后也只在家中读书求识求智，很少过问岳父荆王的事情。房遗爱却因此与李元景、薛万彻，以及巴陵公主及驸马柴令武过往甚密。几人虽对朝里时有忿怼，常有“假如朝廷有变化，应当尊奉司徒荆王李元景为君王。”的议论，所谓‘朝廷变化’是指太宗皇帝驾崩。这些议论只不过是略抒胸怨，公子哥儿们无事可干时说说而已，几个人没有谁真想做什么改变唐朝命运的大事，也没有谁真能挑起大唐的重任。

却说那高阳公主，因恨房遗直害她被父皇下令不得进入皇宫，以至于父皇驾崩时都没有见上一面，又将那图谋罢免遗直官职、夺掉他的封爵念头提了起来，她让人去高宗皇帝处诬告房遗直对自己无礼，房遗直为辩清白，便上书将房遗爱与高阳公主谋反的罪状呈了上去，奏折中，房遗直列举了房遗爱与李元景、薛万彻等人的话语，并说：“为怕牵累到臣下的家门，所以举告。”高宗接到房遗直的奏折，吃了一惊，便下诏令长孙无忌审问其事。长孙无忌本与房玄龄因立太子之事有隙，得到审理此事的诏令后，心中大快，想正好报当日房玄龄的一箭之仇了。不过，对付房玄龄这几个笨头笨脑的儿子他是游刃有余，他更想借此将太宗皇帝与随炀帝的女儿杨妃所生的儿子李恪置之死地。太宗在时，常有立李恪为储君之心，而长孙元无忌却打定主意要将自己妹妹的儿子李治推上帝位。太宗驾崩后，李治果然登上皇位，但李治与酷肖太宗的李恪相比，无论从体质还是从治国平天下来说都要要略逊一筹。因此，李恪活着一天，长孙无忌就不能心安。得知房遗直诉其弟房遗爱与高阳公主谋反之后，长孙无忌觉得是一个对付吴王李恪的约佳机会。那高阳公主自小与李恪兄妹情深，无论嫁与未嫁，只要李恪回京，他俩必成天厮守在一起，高阳公主谋反，李恪定难脱干系。但经过调查，没有一桩事情指向李恪，这让长孙无忌有些不甘，思量再三，他到天牢里找到房遗爱，对他说如果你想活下来，你就得检举吴王恪参与了这次谋反。贪生怕死的房遗爱为了自保，不仅把他的好友亲人全部出卖，还违心的称与李恪是自己谋反的同谋，并在供词上画了押。

此案审结，长孙无忌将审事结果告诉高宗李治时，李治流泪说：“荆王是朕的叔父，吴王是朕的兄长，高阳是朕的妹妹，想求他们不死，可以吗？”兵部尚书崔敦礼说：“亲情故然重要，可是大唐的社稷更为重要，对谋反之人都施以宽刑，以后谁还会为了在唐去出生入死？又如果面对大唐的臣子黎民？”

那一年二月初二，高宗诏令将房遗爱、薛万彻、柴令武处斩，李元景、李恪、高阳公主、巴陵公主一并赐其自尽。二月初三，下诏令因侍中兼太子詹事宇文节，特进、太常寺卿江夏王李道宗，左骁卫大将军、驸马都尉执失思力，均因与房遗爱交结串通而获罪，流放到岭表。其实，宇文节与李道宗与房遗爱案并无牵连，只因宇文节与房遗爱关系亲密，遗爱关在狱中时，宇文节为他开罪辩护，江夏王李道宗平时即与长孙无忌、褚遂良不和睦，故而都有罪过。二月初六，高宗又下旨将与李恪同母的弟弟蜀王李废为平民，安置在巴州；薛万彻的弟弟薛万备流放交州。并罢黜房玄龄在太宗庙陪祭的殊荣。房氏一族包括高阳公主的两个儿子，全数流放岭南。吴王李恪的四个幼子也被流放到岭南。