1980年2月19日,马琳出生在沈阳市沈河区。在马琳入选中国队两年后,他的父母相继下岗。为了不影响马琳在中国队的训练,夫妻俩决定暂时对他保密。马琳父母向亲戚借了几万元,在市区里开了一家小饭馆,为了节省开支,他们既当老板,又当服务员,每天都累得腰酸背痛。
1992年,汕头一位民营企业家出资赞助组建汕头市乒乓球学校和少年乒乓球队,主教练就是刘铭水。第二年,全国少年赛上,马琳及另外几名选手均被引进到汕头,汕头队还从全国其他地方引进了多名小选手,包括刘国正、谭瑞午、张钰、李潮、丁颖。
刘铭水教练说,汕头市乒乓球学校一名运动员的训练时间至少是一天7个小时,训练量大概要比其它地区的运动员多出1/3。而马琳的训练态度非常认真,尤其是备战广东省九运会期间,训练量大,训练时间长。采用直板打法的马琳除了苦练发球外,更苦练多球来回,这需要大范围的跑动,所以他练得相当刻苦,一周就练坏一双运动鞋。
1994年,在广东省运会上,马琳一口气为汕头队拿下乒乓球单打、双打和团体3枚金牌。后来,14岁的马琳在全国青少年比赛中就夺得了他人生中第一个男单冠军。在那场比赛中,他被蔡振华教练相中,开始了他的国家队生涯。