忽一日，有丐帮的弟子传来消息说襄阳的情势有变，郭靖夫妇不得不暂时中断对杨过他们的教导，要赶回襄阳。岛上所有人到海边给他们夫妇送行。
眼见大船就要开走了，黄蓉招手叫杨过到他身边，对杨过到：“过儿，现下岛上就只有你柯公公和你能照看局面了。岛上机关密布，尤其是沿海桃花林大阵，我刚才已经启动了杀阵，也叮嘱过你们好几遍了。虽然有哑仆们看着，但你要也看好武家兄弟和芙儿，千万不能让他们调皮靠近。”
黄蓉对杨过的信任，让杨过如沐春风，当下笑着道：“你们不在，我自然懒得像平时哪般欺负他们。不过黄岛主留下的那个书房，小侄可是一直想进去瞻仰一番的。”黄蓉啐笑道：“你个小猴儿！我爹爹的书房，我都不敢随便进出的。不过我爹已经十几年没有回来过了。那里面也没有什么紧要的东西。好吧，既然你答应不欺负芙儿她们，进去就是了。我现在也懒得一点点教你，自己看吧。”
她又想起一事，肃然到：“过儿，你千万记住了，切不可让你柯公公发现你练习蛤蟆功。更不能让他知道你是欧阳峰的义子——当年欧阳峰杀了柯公公六位义兄妹，这等深仇大恨……总之我的话你千万要记住了。”杨过点头：“过儿醒得。”忽一笑道：“郭伯母要是不放心，大可以把杨过带在身边。我其实也很乐意到外面游历游历的。”黄蓉笑而不应。她知道杨过机灵似鬼，在外面一个不小心被他溜了，岂不会愁死郭靖？她又叮嘱了些别的东西，登船走了。
回到大厅中，杨过叫仆人招来了三个小鬼。他们自然不敢不来。郭芙毕竟脾气刚硬些，叫道：“坏杨过，你和我妈妈说些什么？”杨过说道：“郭伯母教我在他们不在的这段时间里面好好调教调教你们。就是说，除了柯公公，这里现在我最大，你们都要听我的。”
郭芙大怒，骂道：“你个小乞丐，天天在我家讨饭吃，现在还敢对我这么说话！”杨过双眼一瞪，郭芙不由得打了个寒颤，但一双秀眼仍固执的瞪着杨过。杨过知道他的大小姐脾气，心中并不真的生气，却冷冷得说道：“本来我叫你们来时告诉你们我答应郭伯母这些天不打你们了，但是看起来某些人皮肉做痒，还是不打不快啊。”狠狠地扫视了三人一眼。大武低下了头，武修文怪叫道：“杨大哥，不关我的事，我可没有顶撞你啊。你打妹妹一个人好了。哥哥你说是不是！”武敦儒低不可闻的嗯了一声。郭芙见同盟者出卖了自己，大感委屈，哇的大声哭了起来。跑到外面找柯公公去了。武家兄弟看看杨过没有出手的意思，跟着溜走了。
杨过不想杨过自己居然这么有威望，仰天哈哈大笑一番，收拾了一番，搬到了岛上的半禁地——黄药师的书房中去了。这间书房中藏书甚丰，甚至有不少绝版。尤其是对天下各种内力，拳脚，兵刃等的概述，融合了黄药师一生在武学上的成就和见识，更是他全面的俯观天下午学的一个不二去处。
杨过先急不可耐的花了三四天工夫通览了所有武学秘录，自觉终于开了眼界，只怕现下自己的见识，大可比得多数所谓武林名宿了。而同龄的大小武三人，还只知道一些最基本的武功招式如偷梁换柱，孔雀开屏什么的。
其实这里的每一本藏书，都值得一般人钻研个十天半月，甚至一年半载的才能有所成。但杨过很有点“不求甚解”的意思，对于各本武功密录只去理解其精华要义之所在，并不研习，所以速度极快。各门武功涉及的领域五花八门，这时候他和黄蓉学习的各种杂学派上了用场。这些算不上顶尖的武学秘笈高深有限，所谓一窍通，百窍通。第一本书他足足看了一整天，别的书总共加起来他却也就几天之内通览了一遍。
杨过很快进入了第二次的通览。这个书房有极大的空地，四周有武器架，遍布十八般兵器和各种外门器械，正中还有一个铜鼎炉，估摸是黄药师研究药理的时候所用。杨过每有所感，就在空地中演练书中的武学。虽都不是什么精奥无比的绝学，但杨过颇有融会贯通的感觉。除了内力太差，杨过对天下武功的领悟，比得上不少人一生所学。偶尔有些许不懂的地方，杨过做了标记。柯镇恶天天调教三小武功，杨过拿所疑之处问他，他大多目瞪口呆，不知所以。老头子练了一辈子的死招式，虽然颇见功力，但是难有寸进。
这一日柯镇恶督促着三个徒孙练功，郭芙只是不动，大小武也盯着郭芙，唯她马首是瞻。柯镇恶感到孙女儿正在发脾气，柔声道：“怎么了？爹爹不在，就敢和大公公尥蹶子了？”
郭芙扔掉练功的木剑，道：“练这些劳什子破武功有什么用？我们天天练的好辛苦，还不是打不过杨过？三个都打不过他一个！”她朝大公公腻道：“大公公，你教我们一套厉害的功夫，让我们打的杨过趴在地上求饶！”
柯镇恶摇头道：“没用。教你们上乘武功，你们这么懒，根本没有坚持住的毅力。难道就能打过杨过了？”他不由的第几万次的重新罗嗦起来当年郭靖如何如何勤奋，如何阿如何认真，如何如何不怕吃苦……当然当年郭靖如何如何笨他早就忘记了。
郭芙难得聪明了一次，她听出来似乎大公公口气中并非没有“克制杨过的武功”，便牵着他的手一阵猛摇。柯镇恶沉声道：“你们真的要学？”三人顿时提起来了十分的劲头，脑袋点的小鸡啄米一般。柯镇恶道：“那个……嗯……我……这里有一套三个人合使的上乘剑法，是，那个……上古流传下来的。你们练好了，杨过自然不会是你们的对手。”
郭芙等三人只觉得战胜杨过有望，眼中露出了饥渴的神色。柯镇恶虽然看不见，却感觉到了。他喝道：“你们如果想学，至少每天好好练习五个时辰以上。你们如果同意，我就传给你们！”
郭芙踌躇了良久。禁不住武修文在一边撺掇，咬牙道：“五个时辰就五个时辰。我们答应了。”她平时练功随心所欲，多让她练一小会儿她都会杀猪宰羊般的号叫不已，丝毫没有女儿家的风度，柯镇恶拿她一点办法都没有。能答应的这么爽快，看得来她多么急切的想打败杨过。
柯镇恶终于能看到孙女儿好好的练几天功夫了。他心中惭愧：“蓉儿果然妙算，临走前留下了这套三才阵，叫我要挟三小好好练功。只是要托言是上古阵法，不然知道是她妈妈留下的，芙儿肯定又懒得练习。能让这个野丫头静下心来练功，也多亏了杨过这个浑小子！”他对杨过很不喜欢，甚至有点类似郭芙的想法，觉得杨过身份明明低人一等，却骄横跋扈，不服管教。
黄蓉留下的三才剑阵是她夫妻二人结合全真教的北斗七星阵要旨创出来的一套当世一等一的剑阵。黄蓉创这套剑法，多少有点让三小对付杨过的意思。毕竟自己三个弟子被杨过这个旁听的半吊子打的束手无策，她脸上也没有光彩。
这套三才剑阵融至繁于至简，三个草包弟子固然穷一生之力也未毕能学全其中奥妙，但是只要半个月左右，也能使的七八分形似。只要三人略有配合，就能发挥至少四五个郭芙的威力，或许能够打败杨过。
眼见打败杨过在望，郭芙等三人激动的拼命练功。不过四五天就将全套剑法的基本套路学全了。以郭芙的脾气，马上就要向杨过动手，还是武敦儒沉稳，认为报仇不急于一时，最好练的更加熟悉了，才能十拿九稳，生道出其不意的效果。不然万一没有打过他，又让他看到了他们联手的威力，想出了克制之法，岂是不妙？
其实杨过此时的修为，即使见识过一遍，第二遍也未必能够做的更好。三才剑阵实在是当世一流的联击剑阵，不是他能破解的。当然，看是谁在使了。
过了十来天，郭芙的耐心到了极至，三小也自我感觉大有进步了，便收拾停当，舍却了平日练剑的木剑不用，径自从郭靖黄蓉房中找了三柄精铁宝剑，雄纠纠的向杨过潜修的地方去了。
这一日杨过看到了黄药师笔记中对西毒欧阳峰白驮山一脉功夫的描述，其中对蛤蟆功推崇备至，认为那和降龙十八章可以并称当世两大刚猛掌法，在少林金刚伏魔掌和铁掌门铁掌功之上。杨过盘算着自己也算身怀一门当世绝顶的功夫，不由得意非凡。又想起了义父一个人头脑不清，在江湖中闯荡，一时间颇是思念，便在厅中以逆九阴运行蛤蟆功，好好的练习了一会儿。
蛤蟆功威力奇大，但是练习的时候也是危险无比，稍有差错，就很可能走火入魔。杨过的见识，眼光，心理和内力，都远胜于同龄时期的那个杨过。虽然只学了不到半年，但一套蛤蟆功已经能打得虎虎生风了。打完了最后一掌，杨过一手撑地，口中哇的叫了一声，击出掌力，整个身子到着飞起来一丈，头下脚上定在了厅中炉顶上，缓缓收功。忽的房门被人推开，郭芙等三人一头冲了进来。郭芙大叫道：“杨大哥练得什么武功，像个蛤蟆似的。”
他们冒冒失失的闯进来，差点害得杨过经脉错乱。幸好杨过定力极深，强自镇住了体内的真气，不动声色的喝道：“谁让你们进来的？不知道这个地方你们是不能进来的么？”
郭芙不想到大半个月没有见，杨过还是这么恶声恶气的对他说话，气恼的道：“这是杨过外公的书房，我们怎么就不能进来了？”他们毕竟没有弄得杨过走火入魔，杨过最近见识大长，心情不错，就点了点头，道：“说的有道理。不过你们现在功夫不够，这里面的书最好不要看，白白乱了章法。”
忽听得小武尖叫到：“杨过，你不要以为你能打过我们就很了不起了。凭什么你能看我们就不能看？”杨过见他今日这么有骨气起来了，不由得觉得好玩，向他瞪了一眼。武修文在杨过积威之下，小脸陡的白了。
郭芙也诧异的看了看小武，然后耀武扬威的对杨过说：“姓杨的，你别嚣张。我们这半个多月练了一套三才剑阵，是上古剑阵，现在你可不是我们的对手了。今天我们来找你报仇的。我们也不希罕看外公的笔记，等妈妈回来，我自会再求她让我们看。”杨过才注意到他们每人手里都握着一柄刚剑，摆出了一套合击的架势。郭靖黄蓉在岛上的时候是不许四人用真剑过招的。而且三人的架势看起来颇有气度，似乎不凡。他顿时起了兴趣，笑道：“那敢情好，杨过最近也手痒得狠，正要找人松松骨。”从炉顶上正回身体，跳了下去：“动手吧！”
大武倒是没有忘记郭靖的叮嘱：“杨过，你去挑拣兵器。”杨过扬了扬手，：“不必”三人互望了一眼，一起奔了上来，郭芙主攻正面，二武在旁协从。杨过向前错了一步，反手一推，轻松的破了郭芙的一招玉女投梭，正要开口嘲笑，忽然武修文的长剑无声息的走道了杨过左肋下，差点让杨过挂了彩。正要向后跳开，杨过忽然心中一动，作了个虚招，向相反的方向移动，果然武敦儒的剑堪堪划过。
这几下发生在弹指之间，若不是三人执着与原来的招式，杨过肯定要受伤。杨过大败而回，很是没有面子。三小喜气盈盈，大呼小叫得又冲了上来。杨过静静心神，把轻视的心思放下来，展开空收入白刃的手法再三柄长剑中纵横。
这时以杨过的眼光，江湖上的一般的招数对杨过已经没有什么奥秘可言，然而三小的这套剑阵却比杨过想象中有威力多了，堪堪抵到十招之外才稳住颓势。这时候杨过已经立于不败之地了，三个小鬼自以为威力无比的一些招式，由于配合不够默契，在杨过眼中破绽处处。从三人的配合，杨过看得出来他们还是下了不少功夫的。看他三人由狂喜到低落的表情，他不忍心这么快将他们击败，便徐徐收回了攻势，让他们站着上风。
三人还以为杨过已经黔驴技穷了，压力大减之下，原来不是很熟练的招式渐渐配合的默契了起来。他们的这套阵法极是精妙，一旦拉开了架势，就绵绵不绝。杨过内力不济，经常看到那一闪即逝的破绽，却没有能力化解，三十招之后居然真地给他们站到了上风。三人呼喝这一阵抢攻，杨过凭着一双肉掌无法抵挡，步步后退。眼见后背就要抵到墙上了，杨过大叫到：“好了，我认输，我投降。”以他的脾性，本来就是被人打死，也不会心甘情愿的认输的。不过他从来没有把这三个小鬼当成过对手，向他们投降只当哄小孩子，并不当真，也没有什么心理负担。
郭芙等三人一起叫道：“不许投降”。连郭芙也把平时那本就不多的淑女风范也全部丢到了脑后，大呼小叫的飞身上来，运足了功力一剑斩向杨过的左半身。杨过只顾后退，不想撞在了书架上，一时反应不过来，身上顿时受了三处剑创。郭芙那一剑刺的尤其深，差点见骨了。杨过又惊又怒，贴地滚到外面，叫道：“好了，别太过分，我已经受伤了。”郭芙哈哈大笑着仍然像向过狠刺。她做事不知轻重，不经过大脑。如果杨过武功还是半个月之前的水平，只怕三人收不住自己的剑势，很可能会把他一剑刺死。二武稍一犹豫，也举着剑跟来。
他们这个时候剑阵运行起来了，剑势绵绵密密，只怕他们想收手都不得了。杨过若还不反击，今天大概要落个残废。他心中恨道：“这些混蛋既然这么没有轻重，那就别怪我全力以赴了。”匆忙中杨过运起逆九阴，拣郭芙剑势中一个破绽，蛤蟆功掌力狂吐而出。三柄剑还没有递到杨过的身上，他们的主人就都倒飞了出去，正中的郭芙首当其冲，干脆晕了过去。倒不是杨过不手下留情，实在是蛤蟆功太过玄奥，杨过远不能收发由心。
大小武大哭着扑到郭芙身上，只当她已经死掉了。武修文干脆向外跑去，便大叫道：“杨过把芙妹打死了！”杨过不去睬他，先把身上伤口稍稍处理一下，走到郭芙身边，一把搡开武敦儒，到郭芙身边又是掐人中，又是打耳光，终于把她弄醒了。杨过现在的功力太浅，还不能把真气渡到别人体内给他疗伤。
郭芙醒来的第一件事情就是大哭，朝杨过拳打脚踢。杨过不愿意对她动手，就纵身到丹炉上，自己脱了上衣，撕了衣服重新包扎渗血的伤口。郭芙对接近一丈高的丹炉显然无能为力，哭喊着找她柯公公去了。