少林寺在金庸小说中的设定就是，台面上的高手虽则道德高尚，武功一定都未到顶级。但是少林寺有诸多的隐世高手，都是那种武痴级别的，武功也达到当世罕见的级别。代表的人物有扫地僧，斗酒僧，觉远大师，苦头陀，红叶禅师，度远禅师等等，然而佛教又是西来的外国产品，因此天下最精妙的武功又都不会出自于少林，大多数是黄裳，前朝太监，独孤求败，王重阳，逍遥子这样跟道教有联系的中原不世高手所创的，这个是金庸小说的一个潜在规则。
少林寺则是天下英雄的避难所，卧虎藏龙，每当寺遭遇危机的时候总有隐世高手挺身而出，少林寺拥有天下第一的可怕底蕴，如慕容博和萧远山、谢逊之流甘愿拜服，扫地僧这样看似不起眼的绝顶高手在少林寺也绝非孤例。为何天龙时期的少林寺高手如云，而射雕三部曲时期相对没落呢？个人觉得主要是历史原因，射雕时期是金兵南侵的时期，南宋小朝廷偏安东南一隅的半壁江山，而新建立的金朝后来以汴京开封作为首都，整个中原大地是他们的核心区域，毗邻中原重镇洛阳的少林寺肯定被严加监控，是不可能培育出一支反金的革命力量的，而这个时代的主旋律又是驱除鞑虏，恢复中华。
有一个有意思的事实是五绝中的中神通竟然已经西偏到陕西终南山了，西毒到西域，北丐在襄阳一代，东邪在东海桃花岛，南帝僻居大理，而当时的两只江湖抗金主力也是洪七公的丐帮和王重阳的全真派。事实上来说，终南山只应该是西岳华山的地理范围，而中岳嵩山是在少林寺一代的，由于金兵入侵，所有的方位都西偏南移了，因此会出现少林寺没什么存在感的情况。
就算一个火工头陀偷学武功，但是完全不足以撼动少林寺的千年根基，主要原因还是少林寺为了保持寺庙存在和收留中原落难豪杰，不得不低调起来，要不然少林寺早就不存在金朝朝廷了。到了蒙古整个占领了中原大地，武当兴起，少林武当已经成为了泰山北斗，因为这个时候大家都被占领了，首都又在北京，少林寺才有了重新活跃的条件。从神雕的默默无闻到最后直接蹦出来一个可以和五绝一较长短的觉远大师，这绝对不是偶然，并且少林寺的千年基业完全不可能因为一个人而消失，它依然藏龙卧虎，高手如云，因为它就是中原高手退休中心呀，只是它为了保全自身低调了罢了。
英雄所见略同——少林寺当时面临一个非常尴尬的困境——从道义上面，它理当承担领头羊的责任，率领天下武林共同抗击外敌——但是此时它已经身处外敌统治区域，那势必被外敌所灭！所以，它不敢出风头，也没颜面去当天下武林的代表。天下武林代表，必须是担任国家大义的，比如全真教王重阳，丐帮洪七公，镇守襄阳的郭大侠。
回答那么费劲，原因在倚天屠龙记第二章有说明，火工头陀一事导致少林达摩堂首座身亡，然后因为这件事少林寺内部矛盾，一支去了西域建了西域少林，导致少林寺元气大伤。到了倚天阶段，其实已经很强了，三渡加空见都是超玄冥级别的，其他三大神僧都掌门级别的，除了二张和阳顶天，没人是三渡对手
金庸小说中，明面上的也就是江湖人口中绝顶高手往往在中后期就是一流水准了。扫地僧 天山童姥 黄裳 独孤求败 古墓创始人 等等。但你说少林弱吧，他并不弱、你仔细看会发现少林中高层高手层出不绝，但是最牛叉的那个吧差不多不会是少林
金古梁小说里，金庸算是把少林写得比较多的，毕竟他们的小说主要完成于二十世纪50-80年代，在少林寺电影红起来以前，少林寺可没这么大IP，经过八九十年代功夫热，无数小说影视给我们洗脑了
射雕前两部里吧，南宋没啥能耐。都是金国和蒙古在招选贤能，，少林寺能去吗？而且王重阳不是也输给斗酒神僧了嘛，无色虽然没有五绝水准，但也能跟上觉远的轻功，倚天里空见更是仅次于二张。。
