到达桃花岛之后，武家兄弟与郭芙很快打成了一片，终日里玩些小孩子的游戏。杨过当然没有那种闲心思。在郭芙学会了外面孩子们的多种玩法，还没有生厌前，杨过就基本上逛遍了岛上的每个角落。当然，一些禁地，险地，还有寰岛的桃花大阵，都不是现在的杨过能企及的。
很快郭靖就准备开坛收徒了。他将杨过们四个小孩子叫在他面前，将柯镇恶请来，随即叫杨过们向江南六怪的灵住磕过了头，向柯镇恶道：“大师父，弟子要请师父恩准，跟你收四个徒孙。”柯镇恶喜道：“那再好不过，我恭喜你啦。”郭靖命杨过与武氏兄弟先向柯镇恶磕头，再对他夫妇行拜师之礼。郭芙笑问：“妈，我也得拜麽？”黄蓉道：“自然要拜。”郭芙笑嘻嘻的也向三人磕了头。
杨过并没有和武家兄弟一起拜下，说道，“郭伯伯，我可不愿意拜你为师。”郭靖露出了怪异的神色，问道：“那是为何？”杨过看了看笑嘻嘻的黄蓉，道：“杨过若拜郭伯伯为师，那么那天在船上的话，岂不是白说了”。郭靖苦笑道：“你这个孩子古怪的很。我是不懂你，倒是你郭伯母料到了你会这么说。你不愿拜我为师，那么怎么学习我的武艺？”
杨过笑道：“就算不是师父，郭伯伯也大可以教授我武艺的啊。或者大小武学习的时候我在一边看看就好拉。如果郭伯伯不愿武艺外传，我不学就是。”郭靖叹气到：“我自然愿意你把我一身的本事都学了去，长大后行侠仗义。那有害怕外传之说。”杨过既然不愿意，他自然不能强迫他。
黄蓉眉头一挑，说道：“过儿似乎不太乐意学武。桃花岛上藏书甚丰，经史子集，占卜星象等等不所不包，过儿大可以和我学习学习我爹爹的这些本领，也不比一个只会打架的武夫强！”杨过盯着她，她没有像原著中提出不许郭靖教杨过武功的说法来，杨过不由得大喜，郭靖也是称善。
杨过其实不知道，黄蓉对他的防备比他想象中还要厉害的多，因为这个杨过比原本那个杨过厉害阴沉的多。不过黄蓉对杨过的孝顺却极为喜欢。当日在嘉兴，她曾在嘉兴街头上到处打听过杨过的生平。她贵气貌美，问话又极有技巧，旁人自然知无不言，言无不尽。
尽管多数人对杨过都颇多指责讥讽，但是对他对母亲穆念慈的孝顺，却没有人能有多余的话说。郭靖黄蓉打听之下，才知道看起来瘦弱倔强的少年杨过这几年为了病重的穆念慈受到过那么多委屈和苦难。黄蓉虽防备于他，却不由的为他的经历动容心伤不已。所以从来没有想过不让杨过学得防身之技。她自己所学极杂，大大的分了她练武的精力，以至于有当世最好的武功和老师，武功却总达不到郭靖等人的境界。她只希望杨过能将兴趣和精力大多放在那些经史子集，占卜星象上面。那样的话武功很难练到绝顶。武功差一点，就算有什么变故，以她夫妇二人的武功智慧，也能把握得住。
第二日杨过先随黄蓉学习了些三字经之类的基本识字课程，又看着郭靖教郭芙三兄妹练了一会儿的武功。所有的课程对杨过而言都过于简单，无聊之下，一个人又跑回书房，在黄蓉看书的隔壁练习义父欧阳峰的看家绝技蛤蟆功和逆九阴真经。功行九转后，朝四面拍出几掌，顿时全身一阵舒坦。
直起身来看见黄蓉就在一边，神色复杂的看着杨过，缓缓道：“过儿，你义父是什么样的人，你知道的，对么？”
杨过仰视着她的双目，看得出来他现在把杨过当成了大人在对话，杨过也不愿意故装不懂。老实的点头：“我知道他就是西毒欧阳峰，在江湖上有大大的恶名。我练得是他的成名绝技蛤蟆功。”
黄蓉道：“过儿，西毒不是好人，你怎么能认他为义父，还学习他的毒功？让你郭伯伯担心的很。”杨过笑道：“郭伯母如果还用这种哄小孩子的语气和杨过说话，只怕今天就听不到什么真心的答案了。郭伯母乃东邪一系，难道对所谓正邪之分还这么看不开么？欧阳峰是什么人，我并不在乎。他真心对我，收我当义子，我为什么不能接受？蛤蟆功威力无比，我如何不能用，何来邪功之说？正邪不在武功而在乎人心而已。
“杨过自认不是正人君子，这十余年来受尽人生苦楚，心胸狭窄，不能如郭伯伯那般舍己为人。但我既然受够了旁人的欺辱，推己及人，我也不会无缘由的欺辱旁人。所谓人不犯我我不犯人，人若犯我，我必十倍还之。杨过不愿受郭伯伯节制，同样不会让义父影响我的判断和决定。郭伯母不必对我说教。”
黄蓉沉吟着道：“你的话很有道理，我也不是不知。只是郭伯母很难相信一个小孩儿能理解得这么透彻而已。我们终究怕你年少，误入歧途。你比我当年十五六岁初出江湖时候更懂得这人世间的险恶，郭伯母非常欣慰。既然今日我们坦诚相待，我便直问了，你百般推托，不愿你郭伯伯担当抚养你的重任，又不愿拜他为师。到底为何？若说你生性高傲，不愿受我们恩惠，那也不象，毕竟你在这里生活，又学文学武，这恩惠也受了的啊！”
黄蓉的话说完，杨过也是一阵迷惘。最后苦笑道：“我自己也多是不懂。大概……这么说罢，像杨过如今这般，郭伯伯伯母对杨过打大有恩，杨过日后若寻思着报答，还可以度量。但如若受了养育大恩或师徒大恩，却无可度量了。杨过欲逍遥一生，不想有太多牵制”
黄蓉笑道：“你义父疯疯癫癫的，不能牵制与你。难道郭伯伯就会故意与你为难？只要你无大恶，我们也是懒得管你的。”杨过笑道：“杨过自认不是坏人，但肚子中颇多坏水，又多有怪僻之处，为人处世，虽未必与人有害，却也未必能为人所容。那样岂不是让郭伯伯伤心难做？”
杨过有这样的想法，当然是想起了自己日后会娶师父小龙女为妻，如今有了这样的安排，郭靖就没有处置自己的立场了。这种匪夷所思的想法，饶是黄蓉决定聪明，也无法窥及。她只能把那归结到杨过脾性怪僻上来了。
这一日两人谈了许多不管紧要的事情，谈到江湖中事情，或是当年的不少恩怨，杨过都托词是母亲没死之前告诉杨过的。黄蓉并不疑心。两人也算得上交心而谈了。黄蓉固然惊讶于杨过的思路之敏捷和见闻之广博，杨过更对黄蓉的渊博学识和玲珑七窍拜服不已。
杨过知道黄蓉有个心结仍是不能和他坦白，就是杨过父亲间接死在她手中之事。黄蓉哪里知道杨过清楚当年的是非，而且也对他们没有丝毫的怨怼。杨过并不揭穿，这个问题太过于敏感，而且对日后而言，没有坦白比坦白更有魅力。
然后呼呼数月，杨过大部分的精力都放在和黄蓉学习那些杂学之上了。杨过颇有过目不忘之能，虽都所学不精，但涉猎极广。郭靖这几个月中因为几个弟子资质太差，没能教会他们什么高深的功夫，不过一些基本的拳脚招式和用力之法。他现在已经是一代宗师的修为了，即使讲解的是最基本的原理，也总直指武学经奥要职。郭芙和武家兄弟大多当作了耳边风，杨过在一边旁听，却总多有受益，一生受用。
虽没能接触到他最高深的武学如降龙十八章和九阴真经等，但是杨过们都学了一套基本的玄门正宗心法。这套心法是郭靖和黄蓉结合了全镇教玄门内功和九阴真经上的根本法门，简化后创出来，给弟子们奠基用的。虽不高深，却最为纯正。如果有谁能有三四百岁的寿命，一心修炼此功的话，肯定比那些所谓的高深心法威力大得多，也纯得多。这一点比较象西域的龙象般若功。后世的老寿星张三丰一生练习的都只是半部残缺的九阳神功，但年老之后，内力之纯之强，旷古烁今，史上鲜有人及。其理相同。杨过对这套功法极其喜欢，为之命名为“玄清气劲”并勤加习练。杨过日后估计所学会很杂，以这玄清气劲为根基，是再好不过了。
杨过由于身兼两头，郭靖传授徒弟们的精妙招式杨过只学了三分之一不到。然而那三个草包哪里懂得招式的妙用，只战战兢兢，一丝不苟的学了些架势而已。郭靖不许他们学错任何细节，只等他们日后长大了，功力渐深，自然就懂得其中的妙用了。这就像小童学字，知其然不知其所以然。长辈总要求他们学的一丝不苟。杨过则不同，杨过的见识眼光怎是他们能比，招式或记或忘，但其中奥妙却净数领会了，还常常有举一反三的领悟，让郭靖教起来心喜不已，爽利自在。相比之下他对三个弟子就不由地要求高了起来。
三人本来资质就差，又远不如当年的郭靖踏实肯干，不忿于杨过收到的表扬，把自己受到的批评归因于郭靖的偏爱，对杨过妒嫉得咬牙切齿。三人都不是胸怀宽广的主，自以为杨过所学大大少于他们，又多不标准，以为可以轻松打败杨过，于是便常常故意找杨过的茬，想借机教训杨过一番，抗议师傅的偏心。
其中郭芙尤其过分。她是郭黄二人独女，不到一岁便已顽皮不堪。郭靖有时看不过眼，管教几句，黄蓉却着意护持，郭靖每管一回，结果女儿反而更加放肆一回。到郭芙五岁那年，黄蓉开始授她武艺。这一来，桃花岛上的虫鸟走兽可就遭了殃，不是羽毛被拔得精光，就是尾巴给剪去了一截，昔时清清静静的隐士养性之所，竟成了鸡飞狗走的顽童肆虐之场。郭靖一来顺着爱妻，二来对这顽皮女儿确也十分爱怜，每当女儿犯了过错，要想责打，但见她扮个鬼脸搂着自己脖子软语相求，只得叹口长气，举起的手又慢慢放了下来。待得郭芙渐渐长大，外人知道她是郭靖和黄蓉的女儿，多数对她恭敬不已，竟从无一人训斥过她一句。这更加助长了她的骄横。大小武和杨过来到桃花岛，在她想来就是多了三个陪玩的伙伴，无形中就拿出了主人家的那种优越感和自觉。大小武唯唯诺诺，对她巴解讨好。杨过哪里会有这种心情？从来都是对她爱理不理。于是郭芙对他最是不喜欢，又妒忌他受她爸爸妈妈的宠爱，不断教唆大小武和杨过打架。于是三小很快形成了对付杨过的战线。
杨过内力虽突飞猛进，但修行时日太短，也只有武家兄弟现下的水平。不过他们只会写花花架子，杨过总能在不着痕迹之下，轻松的袢他们一跤或把他们推开老远。开始时候三人只当是杨过运气，但十试十败之后终于承认不如杨过了。他们当然坚信是由于师父师母给杨过开了小灶，妒忌怨恨不已。于是开始二打一，扰得杨过不胜其烦。杨过大怒之下，找机会一个人挑翻了他们三个，并天天追着他们打。
三人开始时候很硬气，咬着牙跟想尽一切办法想打败杨过。哪知道饶是他们自许聪明，却从没有胜过一场。几天之后，三人都开始向师父师母哭诉了。黄蓉本就是唯恐天下不乱的性格，见杨过显露了少有的童心，又很有分寸，从不下重手，便嘻笑旁观。甚至还在一边煽风点火。郭靖本来是要管的，但是杨过信誓旦旦的告诉他，这样的压力有利于他们消化郭靖所传授的武功。而事实上三人被杨过追打的三天中的确突飞猛进了——尤其是防守的招式。他便也默许了杨过的调教方式。杨过觉得日子过得无聊，就爱上了用各种手段折磨着三个小鬼这种消遣方式，对郭芙也没有丝毫留情。由于她是三人之首，对她尤其不善。三人对杨过由七分怕三分恨渐渐变成了三分怕七分恨。杨过全当不知。