杨振宁在7岁的时候来到清华园，在这里一共住了8年。当时的附小叫成志小学，里面有两个“大头”，一个是杨振宁杨大头，一个是俞平伯的儿子俞大头。
杨振宁小时候，至少不是一个最守规矩的孩子。据他自己说，清华的每一棵树他都爬过。
中学是在绒线胡同上的，就是现在的北京市第31中。那个学校当时只有不到300个学生。这时候，当北大数学教授的父亲杨武之已经知道儿子学数学的能力很强。他当时如果教儿子解析几何和微积分，儿子一定学得很快，会使他十分高兴。可是他没有这样做，而是在初一与初二之间的那个暑假，请雷海宗教授介绍一位历史系的学生教杨振宁学《孟子》。所以在中学时代杨振宁就可以背诵《孟子》全文。
杨武之喜欢围棋和京剧，但并不去培养儿子这些方面的兴趣，下棋可以让儿子17颗子，唱也只教他唱一些民国初年的歌曲如“上下数千年，一脉延”，“中国男儿，中国男儿……”等。
对于父亲书架上的许多英文和德文数学书籍，杨振宁常常翻看。因为外文基础不够，所以看不懂细节，每次去问，杨武之总是说：“慢慢来，不要着急。”
上课念书的时候，杨振宁喜欢东翻西看，一次看了艾迪顿写的《神秘的宇宙》，那里面讲的是20世纪到那个时候为止，所发现的一些新的物理学的一些现象与理论。他顿时被激发出了极大的兴趣，所以回家以后就跟父亲、母亲开玩笑，说将来要得诺贝尔奖金。
杨振宁在抗战胜利的1945年夏天离家赴美国求学。那天清早的细节至今历历在目：“父亲只身陪我自昆明西北角乘黄包车，到东南郊拓东路等候去巫家坝飞机场的公共汽车。离家的时候，四个弟妹都依依不舍，母亲却很镇定，没有流泪。”
“到了拓东路父亲讲了些勉励的话，两人都还镇定。话别后我坐进很拥挤的公共汽车，起先还能从车窗往外看见父亲向我招手，几分钟后他即被拥挤的人群挤到远处去了。车中同去美国的同学很多，谈起话来，我的注意力即转移到飞行路线与气候变化等问题上去。等了一个多钟头，车始终没有发动。突然我旁边的一位美国人向我做手势，要我向窗外看，骤然间发现父亲原来还在那里等!他瘦削的身材，穿着长袍，额前头发已显斑白。看见他满面焦虑的样子，我忍了一早晨的热泪，一时崩发，不能自已。”
“1928年到1945年这17年时间，是父亲和我常在一起的年代，是我童年到成人的阶段。古人说父母对子女有‘养育’之恩，现在不讲这些了，但其哲理我认为是有永存的价值的。父亲介绍我接触了近代数学的精神，给了我不可磨灭的印象。”
40年以后杨振宁这样写道“我的物理学界同事们大多对数学采取功利主义的态度。也许因为受我父亲的影响，我较为欣赏数学。我欣赏数学家的价值观，我赞美数字的优美和力量;它有战术上的机巧与灵活，又有战略上的雄才远略。而且，奇迹的奇迹，它的一些美妙概念竟是支配物理世界的基本结构。”
无论如何，父亲与儿子的分别，是人生之中最顺理成章、最令人惆怅，最刻骨铭心的分别。
此一去，三叠阳关，唱到千千遍。23岁的杨振宁也许没有想到，他真的应验了12岁时的戏言，为中国人拿回了第一个诺贝尔奖。