第二日，杨豫之带杨悦、武照一起到霍国公府去找巴陵公主。
霍国公柴绍出身将门，自幼以任挟之气出名，专好打报不平、抑强助弱。娶李渊的三女儿为妻，妻子平阳公主（注1）也是见识不凡，向有侠风，夫妇二人夫唱夫随十分恩爱。当年李渊起兵，柴绍奔太原跟随丈人一同造反，有勇有谋，立下不少功劳，功封霍国公。
霍国公府便在东宫附近的永昌坊。
不凑巧的是，三人到了霍国公府，巴陵公主不在家，她陪着婆母兼姑母平阳长公主去弘福寺听玄奘法师讲经去了。巴陵公主的驸马柴令武到是在家，但他一向对杨豫之不屑一顾，见杨豫之引着人来，连带将杨悦与武照一同待慢。见到杨豫之，打趣道：“‘浪荡子’怎么有闲没去斗鸡玩狗？”“浪荡子”乃是李世民对杨豫之的戏称，一班公子哥儿也时常拿此打趣杨豫之。
若在平日，杨豫之或许不去理他，只是今日有武照同在，见柴令武讥讽自己，心中大怒，便反唇相讥道：“你怎么有闲没去跟在魏王身后侍候？”
魏王乃是李世民的第四子李泰，自小聪慧异常，文武兼备，才华横溢，最受李世民宠爱，常对之大加夸赞。说者无心听者有意，李泰渐渐地竟然生出野心，想要谋夺太子之位。当时太子还不是现在的太子李治，而是李世民的大儿子李承乾。李泰与太子各自拉帮结派，明争暗斗。以至于李承乾铤而走险，阴谋早日篡位，结果事败。李世民斥问他为何造反，李承乾回答说是李泰所逼，若真让李泰做了太子，死也不甘心。李世民听了恍然大悟，心知若让李泰果真当了太子，只怕日后子孙们更要有样学样，以阴谋而夺位争权，因此废了太子李承乾，却也贬了魏王李泰，另立晋王李治为太子。柴令武正是李泰一党，撺掇李泰争太子之位的首号“功臣”。
魏王是李泰过去的封号，如今已被贬为“东莱郡王”，幽禁在将作监。杨豫之这样说，自然是故意讥讽柴令武。
果然，柴令武听了大怒，一把揪住杨豫之的前襟，当胸便是一拳。杨豫之也不示弱，飞起一脚踢向柴令武左腿，二人你一拳我一脚，便在厅堂中打了起来。
杨悦知道这段历史，但并不知道杨豫之所说的“魏王”便是李泰，李泰最初封为宜都王，后来改封卫王，后来又改封过越王，再后来又改封魏王。也不知道李世民瞎捣鼓啥，如果不是搬着历史书，谁能记的清楚李泰到底封了什么王。见二人没说两句已打在一起，一时也手足无措。武照更是骇得躲在杨悦身后，不知如何是好。
杨悦见杨豫之虽然“不要命”的硬拼，却不如柴令武。柴令武明显武艺不错，有路数章法，比杨豫之高明了许多，虽然一时对杨豫之的死缠烂打无可奈何，却明显占了上风。时间一长，杨豫之便要落败。
见杨豫之吃亏，杨悦岂能袖手旁观，不过真要下手去打，只怕也是白搭，就是拉架，估计也会被柴令武一块狂凑。当下，便哈哈冷笑起来。
听到杨悦的笑声，二人一愣，果然暂时停住，一齐向杨悦看去。兀自一人抓住对方的头发，一人扭着对方的胳膊，如同斗鸡一般。
见二人停住，杨悦收住笑，冷哼一声道：“素闻霍国公柴老英雄急公好义，乃是赫赫有名的好汉，最爱结交朋友。没想到却原来如此待客，真真是胜名之下，名不副实。”
柴令武见他提到自己父亲，他向来以父亲为搒样，以英雄自居。见杨悦讥讽，心中虽然不服，却被杨悦拿理封住。古语云：有朋自远方来，不亦乐乎。人来是客，自己今日的行为的确有欠考虑，当下向杨豫之狠狠地瞪了一眼，收回拳头，说道：“我柴府对待英雄好汉，自然以礼相待，对待”扫了杨豫之与杨悦一眼，露出一脸不屑，言下之意，你们算什么英雄好汉！
杨悦见二人不再打，趁机一拉杨豫之，惜字如金，向柴令武拱手，说道：“告辞！”昂然而出。显然是在告诉柴令武，你不把我们当朋友，我们也不把你当什么好汉。
双方话不投机，柴令武也惜字如金，只说两个字：“不送。”
杨豫之本待还要理论，已被杨悦携着走出柴府。三人悻悻而出，兴致全无。杨豫之头上淤清了一大块，嘴角也被打破，流出血来。杨悦便劝他先回家休息，有事以后再说。武照悄悄地将手绢塞到杨豫之手中，低头不语，显然是为杨豫之痛惜。杨豫之原本在心上人眼前跌了面子，正气得不打一处来，见武照关心自己，一时激动，忘了伤痛，不肯就此离开。非要到弘福寺再去找巴陵公主。杨悦指指他的衣衫，好说歹说，才将他劝住。杨豫之见自己衣衫不整，不想将自己的负面形象给武照看去，便乖乖回去。
却说杨悦等人各自回家。没有注意到走出柴府的时候，恰好被一人看到。此人不是别人，正是被杨悦几次三番戏耍的无赖子。无赖子姓柴名进，属柴姓族人，不过家道中落，只是个落破子弟。他的哥哥柴荣在霍国公府上当总管。那日与杨悦分手后，第二日，柴进按照杨悦所说的路线，向东向西向南向北一路折腾，最后走到的地方却是皇城。才猛然醒悟，又被杨悦耍了。暗暗恨道：“秦业啊秦业，看我不”又意识到“秦业”正是“亲爷”，连姓名都是在耍自己。从前的“王八蛋”王大哥，不用说也是在骂自己。明白过来怎么回事后，越想越气，柴进这个恨呀，恨不能立刻将杨悦揪住生啖其肉。却又不知去哪里找杨悦，便到霍国公府来找大哥商量。
没想到冤家路窄，他刚进柴府，恰好遇到杨悦与杨豫之、武照从柴府出来。别人他不认识，杨豫之却非常认识，这得益于杨豫之这个纨绔少年，每日架鸡斗狗，于市井之间乱混，混出不小的名气。加上他是皇亲国戚，正经的皇上外甥，谁人不给点面子，哪个敢去招惹于他。因此柴进见杨悦与杨豫之在一起，心中一惊，道：“莫非这小子也是皇亲国戚？”忙闪身避开，不敢让杨悦看到。
柴荣见兄弟来找自己，问他有什么事儿。柴进长叹一声，心想：看来这仇是报不了了，自己再怎么混也不敢跟杨豫之这等皇亲国戚较劲啊。当下将来龙去脉给哥哥说了。柴荣闻听大怒，道：“谁瞎了狗眼，敢在咱兄弟头上动土，也不瞧瞧咱柴府是什么地方。”
柴进说道：“只怕这仇不好报，正是刚才与杨豫之一起出去的那小子。”
柴荣听了喜道：“如此真是太好了。此事定能让柴二公子为咱做主。”便将刚才杨豫之与柴令武打架的事儿详细地说于兄弟。