杨过自离桃花岛后，心中气恼，绝口不提岛上之事，这时忍不住道：“郭伯伯，这处所倒有点像我们桃花岛。”郭靖听他说“我们桃花岛”五字，不由怃然有感，道：“过儿，此去终南山不远，你在全真教下好好学艺。数年以后，我再来接你回桃花岛。”杨过甚一撇，道：“我这一辈子永久不回桃花岛啦。”郭靖不料他小小年纪，竟说出这等断交的话来，心中一怔，一时无言可对，隔了半晌才道：“你生郭伯母的气么？”杨过道：“侄儿那边敢？不过侄儿惹郭伯母活力罢啦。”郭靖拙于言辞，不再接口。
不一日，两人度过黄河，来到陕西。此时大金国已为蒙古所灭，黄河以北，尽为蒙前人天下。郭靖少年时曾在蒙古军中做过大将，只怕碰到蒙古旧部，招惹费事，将良马换了两匹极瘦极丑的驴子，身穿陈旧衣衫，打扮得就和乡间庄汉类似。杨过也穿上粗布大褂，头上缠了块青布包头，跨在瘦驴之上。这驴子脾气既坏，走得又慢，杨过在道上整日就是与之拗气。
柯镇恶道：“明儿我回嘉兴去。”郭靖与黄蓉对望了一眼，自都明白他的意义，他决不肯跟欧阳锋的传人同处一地。黄蓉道：“大师父，这儿是你的家，你何必让这小子？”
杨过此时已豁出了性命不要，大声道：“他不是奸贼！他是好人。你打死我好了，我一句话也不说。”柯镇恶大怒，挥杖怒劈。郭靖大呼：“大师父，别……”只听啪的一声，铁杖从杨过身侧掠过，击入沙岸。本来柯镇恶心想打死这小小孩童毕竟不当，铁杖击出时准头略偏。
武敦儒怒不成遏，扑上去拔拳便打，杨过一闪避开。武修文想起师父曾有警告，师兄弟不成打斗，这事闹了起来，只怕为师父责备，忙拉住兄长手臂，笑吟吟的对杨过道：“杨大哥，你跟师娘学技艺，我们三个跟师父学。这几个月下来，也不知是谁长进得快了。我们来过过招，比划比划，你敢不敢？”
杨过吐出嘴里沙土，抹去眼中沙子，只觉满身半点力量也无，便欲挪动一步也艰巨非常，见武修文躺着不动，又听得武敦儒大呼：“我弟弟死了！”心下一片茫然，不知到底出了甚么事，明知事情大大不妙，却有力逃脱。
当天早晨，郭靖把杨过叫进房来，说道：“过儿，畴昔的事，大师也不提了。你对师祖爷爷无礼，不能再在我门下，今后你只叫我郭伯伯便是。你郭伯伯不善教诲，只怕反迟误了你。过几天我送你去终南山重阳宫，责备真教长春子丘真人收你入门。全真派武功是武学正宗，你好幸亏重阳宫顶勤奋，修心养性，盼你今后做个君子君子。”
这一天到了樊川，已是终南山地点，汉初建国大将樊哙曾食邑于此，因此得名。沿途冈峦缭绕，松柏森映，水田蔬圃连缀其间，宛然有江南风景。
杨过心下气苦，本想说：“我没你们的运气，师娘可没教过我武功。”但一听到他说“你敢不敢”四字，语气中充满了轻视之意，那句泄气的话顿时忍住了不说，只哼了一声，冷冷的斜睨着他。武修文道：“我们师兄弟比试武功，非论谁输谁赢，都不成去跟师父、师娘说，就是突破了头，也说是本身摔的。谁打输了向大人赞扬，谁就是狗杂种、王八蛋。杨大哥，你敢不敢？”
郭芙鼓掌笑道：“你在这里捣甚么鬼？”杨过扶着岩石，渐渐支撑着站起，向她白了一眼，回身走开。武修文叫道：“喂，郭师妹问你哪，怎得你这般无礼，也不睬睬？”杨过冷冷的道：“你管得着么？”武敦儒大怒，说道：“我们自管玩去，别去招惹疯狗。”杨过道：“是啊，疯狗见人就咬，人家好端端的在这里，三条疯狗却过来乱吠乱叫。”武敦儒怒道：“你说三条疯狗？你骂人？”杨过笑道：“我只骂狗，没骂人。”
几个月畴昔，黄蓉始终不提武功，杨过也就不问。自那日与郭芙、武氏兄弟打斗以后，再不跟他们三人在一起玩耍，独个儿越来越孤介，心知郭靖虽收他为徒，武功是决计不肯教的了。本身本就不是武氏兄弟敌手，待郭靖教得他们一年半载，再有争斗，非死在他们手里不成，盘算主张，一有机遇，便偷上一艘船去，设法逃离桃花岛。
柯镇恶厉声道：“你必然不说？”杨过大声道：“你有种就打死我，我怕你这老瞎子吗？”郭靖纵身上前，重重打了他个耳光，喝道：“你胆敢对师祖爷爷无礼！”杨过也不抽泣，只冷冷的道：“你们也不消脱手，要我性命，我本身死好了！”反身便向大海奔去。
郭靖瞧瞧师父，又瞧瞧老婆，问道：“如何办？”黄蓉道：“他这工夫是来桃花岛之前学的，欧阳锋如来到岛上，我们决不能不知。”郭靖点点头。黄蓉问道：“小武的伤如何样？”郭靖道：“只怕要将养一两个月。”
郭靖这日一夙起来，带备银两行李，与大师父、老婆、女儿、武氏兄弟别过，带着杨过，乘船到浙江海边登陆。郭靖买了两匹马，与杨过晓行夜宿，一起向北。杨过从未骑过马，但他手脚矫捷，习练数日，已控辔自如。他少年功德，常驰在郭靖之前。
也不知过了多少时候，见郭靖、黄蓉飞步奔来。郭靖抱起武修文，在他胸腹之间按摩。黄蓉走到杨过身边，问道：“欧阳锋呢？他在那边？”杨过茫然不答。黄蓉又问：“这蛤蟆功他甚么时候教你的？”杨过仿佛闻声了，又似没有闻声，双眼失神落魄的望着前面，嘴巴紧紧闭住，恐怕说了一个字出来。黄蓉见他不睬，抓住他双臂，连声道：“快说！欧阳锋在那边？”杨过始终一动不动。
他暗自修练，郭靖与黄蓉毫不晓得。黄蓉教他读书，不到三个月，已将一部《论语》教完。黄蓉教书早感烦厌，但想：“此人聪明才干似不在我下，如他为人和他爹爹普通，学了武功，将来为祸不小，不如只让他学文，习了圣贤之说，于己于人都好。”当下耐着性子教读，《论语》教完，跟着再教《孟子》。杨过记诵极速，对书中经义却常常不觉得然，不住提出疑问。黄蓉常自感觉：“这孩子读圣贤书，有些设法跟我爹爹非常类似，如我爹爹教他，二人谈起来倒必投机。”
武敦儒抢将畴昔，见兄弟一动也不动的躺着，双眼翻白，只道已给杨过打死，大骇之下，大呼：“师父，师父，我弟弟死了，我弟弟死了！”连叫带哭，奔归去禀报郭靖。郭芙心中惊骇，也急步跟去。
过未几时，武修文在郭靖内力按摩下醒转，接着柯镇恶也随郭芙赶到。柯镇恶听郭芙说了杨过倒回身子的情状，又听得他如何“打死”武修文，想到这小子本来是欧阳锋的传人，满腔仇怨顿时都转到了他身上，听得黄蓉连问：“欧阳锋在那边？”而杨过全不睬睬，当即走上前去，高举铁杖，厉声喝道：“欧阳锋这奸贼在那边？你不说，一杖就打死了你！”
杨过悄悄感喟，心道：“郭伯伯若肯教我，我岂能如他们这般笨拙。”闷闷不乐，自回房中睡了。晚餐后读了几遍书，但感百无聊赖，又到海滩中间，学着郭靖所授的拳脚，使将开来，一招反覆使得几遍，便感烦厌，忽想：“我如去偷学武功，保管比武氏兄弟强很多，就不怕他们来打死我了。”一喜以后，傲心登生：“郭伯伯既不肯教，我又何必偷学他的？哼，这时他就是来求我去学，我也不学的了。最多给人打死了，好稀少么？”想到此处，傲气登长，又感凄苦，倚岩静坐，竟在浪涛声中迷含混糊的睡着了。
武修文见他咬牙切齿的冒死，心下倒也怯了，归正已大占上风，不肯再斗，叫道：“你已经输啦，我们饶了你，不消再打了。”杨过叫道：“谁要你饶？”冲上去劈面猛击。武修文伸左臂格开，右手抓住他胸口衣衿向前急拉，便在此时，武敦儒双拳同时向杨过后腰直击下去。杨过站立不稳，向前跌倒。武敦儒双手按住他头，问道：“你服了没有？”杨过怒道：“谁服你这疯狗？”武敦儒大怒，将他面孔向沙地上直按下去，叫道：“你不平，就闷死了你。”
杨过眼睛口鼻中满是沙粒，顿时没法呼吸，又过半晌，满身如欲爆裂。武敦儒双手用力按住他头，武修文骑在他头颈当中，杨过始终挣扎不脱，窒闷难当之际，这些日子来所练欧阳锋传授的内力俄然崩涌，只觉丹田中一股热气激升而上，不知如何，满身蓦地间精力充分，他猛跃而起，眼睛也不及展开，双掌便推了出去。
次日凌晨，杨过不去吃早餐，也不去书房读书，在海中捞了几只大蚝，生火烧烤来吃，心想：“不吃你郭家的饭，也饿不死我。”瞧着岸边的大船和小艇，深思：“那大船我开不动，小艇却又划不远，怎生逃脱才好？”烦恼了半日，无计可施，便在一块巨岩以后倒转了身子，练起了欧阳锋所授的内功来。
正练到血行加快、满身镇静之际，俄然间身后有人大声呼喝，杨过一惊之下，顿时跌倒，手足麻痹，再也爬不起来，本来是郭芙与武氏兄弟三人适于此时到来。这巨岩以后本来非常僻静，向无人至，但桃花岛上门路树木的安插皆按五行生克之变，郭芙与武氏兄弟不敢到处乱走，来来去去只在岛上门路熟谙处玩耍，可巧见到了他练功情状。幸亏杨过此时功力甚浅，不然给三人齐声呼喊，惊得经脉庞杂，非当场瘫痪不成。
黄蓉对丈夫道：“我们定个端方，你不能教过儿，我也不能教他们三人。这四个孩子之间，更加不得相互传授，不然庞杂了工夫，有损无益。”郭靖道：“这个天然。”黄蓉道：“过儿，你跟我来。”杨过厌憎郭芙与武氏兄弟，听黄蓉这么说，得以不与他们同场学艺，正合情意，当下跟着她走向内堂。
黄蓉领着他进了书房，从书架上拿下一本书来，道：“你师父有七位师父，人称江南七怪，大师父就是柯公公，二师父叫作妙手墨客朱聪，现下我先教你朱二师祖的工夫。”说着摊开书籍，朗声读道：“子曰：学而时习之，不亦说乎？有朋自远方来，不亦乐乎？”本来那是一部《论语》。杨过心中奇特，不敢多问，只得跟着她朗读识字。
连续数日，黄蓉只教他读书，绝口不提武功。这日读罢了书，杨过单独到山上闲走，想起欧阳锋现下不知身在那边，思念甚殷，不由双手撑地，倒回身子，学着他模样扭转起来。转了一阵，遵循欧阳锋所授口诀逆行经脉，只觉愈转愈顺利，翻身跃起，咕的一声叫唤，双掌拍出，登觉遍体舒泰，快美非常，立时出了身大汗。他可不知只这一番练功，内力已有停顿。欧阳锋的武功别创一格，原是短长之极的上乘工夫，杨过悟性甚高，虽那日仓促之际所学甚少，但如此练去，内力也有进益。
郭靖喝道：“过儿返来！”杨过奔得更加急了。郭靖正欲上前拉他，黄蓉低声道：“且慢！”郭靖当即留步，只见杨过直奔入海，冲进浪涛当中。郭靖惊道：“他不识水性，蓉儿，我们快救他。”又要入海去救。黄蓉道：“死不了，不消焦急。”过了一会，见杨过竟不返来，也不由佩服他的傲气，纵身入海，游了出去。她精熟水性，在近岸海中救小我自是视作等闲，潜入水底，将杨过拖回，将他搁在岩石之上，任由他吐出肚中海水，自行渐渐醒转。
这一下正中武修文的小腹，武修文“啊”的一声大呼，飞摔而出，仰跌在地，顿时晕去。这掌力是欧阳锋的绝技“蛤蟆功”，能力固不及欧阳锋神功半成，杨过又不会应用，但他于危急之间自发而生的使将出来，武修文却也已抵受不起。
武修文眼上中拳，本已大怒，见兄长又遭摔跌，当即扑将上来，左拳虚晃，杨过向左遁藏，却不知这是拳术中甚为浅近的招数，先虚后实，武修文跟着右拳实击，砰的一声，杨过右边颧骨上重重中拳。武敦儒爬起家来，上前夹攻，他两兄弟武功本有根柢，杨过先前就已抵敌不过，再加上郭靖这几个月来的教诲，他如何再是敌手？厮打半晌，头脸腰背已连中七八下拳脚。杨过发了狠：“就是给你们打死了，我也不逃。”发拳直上直下的乱舞乱打，全然不成章法。
他这“你敢不敢”四字第二次刚出口，面前一黑，左眼上已重重着了杨过一拳，武修文一个踉跄，几乎跌倒。武敦儒怒道：“你这般打冷拳，好不要脸。”发挥郭靖所教的拳法，向杨过腰间打去。杨过不识闪避，顿时中拳，目睹武敦儒又飞脚踢来，脑海中灵光一闪，想起明天郭靖传授武氏兄弟的招数，当即右腿微蹲，左手在武敦儒踢来的右脚小腿上一托。这恰是“闹市侠隐”全金发所擅擒特长法中的一招“托梁换柱”，虽非极高深的武功，临敌之时却也颇切合用。昨日郭靖反覆叫两兄弟试习，武氏兄弟本已学会，但当真使将出来，却远不及杨过偷看半晌的机巧矫捷。武敦儒给他这么使力一托，顿时远远摔了出去。
自此以后，他每日跟黄蓉朗读经籍，凌晨晚间有空，自行到僻静山边练功。他倒不是发愤习武，想今后练成一身惊人技艺，只每练一次，满身便说不出的温馨，到厥后已不练不快。
杨过应了一声：“是，郭伯伯！”当即改了称呼，不再认郭靖作师父了。
这日下午，杨过跟黄蓉读了几段《孟子》，辞出版房，在海边漫步，望着大海中白浪滚滚，心想不知何日方能脱此窘境，目睹海面上白鸥来去，好生欣羡它们的来去安闲。正自神驰，忽听桃树林别传来呼呼风响。他猎奇心起，悄悄绕到树后张望，本来郭靖正在林中空位上教武氏兄弟拳脚，教的是一招擒特长“托梁换柱”。郭靖口中指导，手脚比划，命武氏兄弟跟着照学。杨过只看了一遍，早就体味到这一招的精义地点，但武氏兄弟学来学去始终不得方法。郭靖赋性鲁钝，深知此中甘苦，毫不腻烦，只反覆教诲。