1920年8月8日生于黑龙江省哈尔滨市。 1943年，毕业于燕京大学物理系，获学士学位。 1947年，赴美留学。 1948年，获加州理工学院硕士学位。 1951年，获美国斯坦福大学物理系博士学位。随即启程回国，船到檀香山被以所学专业与军事有关，遭到扣留，重返美国。然后在俄勒冈州立大学，斯坦福大学微波及高能物理实验室，芝加哥麦卡瑞斯医学研究中心从事教学和加速器研制方面的工作。主要从事加速器物理和技术方面的研究，领导过数项加速器建造工程，取得了一些重要成果。50年代初在美国领导建成当时世界上能量最高的一台医用电子直线加速器。 1951年夏天，谢家麟获得了美国斯坦福大学的物理学博士学位，那年他31岁，风华正茂。他谢绝了美方的挽留，登上了一艘名叫克利夫兰总统号的邮轮，拟归国。但抵达美国旅游胜地夏威夷时，美国移民局的官员和联邦调查局的特工登船，并仔细核对每位中国学生的身份，以及所学专业和目的地。之后，他们向每位中国学生出示了一封信件，内容是根据美国1918年一项立法，美国政府有权禁止交战国学习科技专业的学生离境，与此同时，联邦调查局的特工，突然提出要检查谢家麟的行李。幸运的是，检查的箱子里是谢家麟携带的书籍，由于行李搬动不方便，检查暂时中断。检查结束后，谢家麟和其他几位中国学生被押下了轮船，下船后谢家麟气愤地给白宫打了一个电话，以示抗议。不久，他们被送回美国旧金山。不能回到中国，让谢家麟心情郁闷。 1952年夏末，被限制的行李终于托人领回，谢家麟重新回到了斯坦福大学微波与高能物理实验室，担任助教。半年后，他受学校委派，来到了芝加哥一家医学中心，用一百万美金，开展一项世界首创的科研项目，研制一台当时世界上能量最高的医用加速器，用它产生的高能电子束来治疗癌症。他登报招聘了一名退伍兵，带着一位50多岁的机械工程师，用三年的时间完成了这一创举，这台独特的治疗癌症装置的诞生，成为了芝加哥的重大新闻，在美国高能物理界产生了轰动。也就在这时，谢家麟接到了美国移民局的来信，要他在做美国永久居民还是限时离境回到中国上作选择。谢家麟再次选择了回国。 1955年，谢家麟登上了美国总统轮船公司的威尔逊号邮轮，开始了他渴望已久的回乡之旅。 1960年，成功研制我国肪冲功率最大的速调管和我国最早的一台可向高能发展的30MeV电子直线加速器，国内第一台电子回旋加速器等，均获全国科学大会奖。并在此时期领导国防任务中子管的研制。 1972年，中国科学界发生了一件大事，著名物理学家张文裕牵头、18位科学家参与撰写了一个报告。那一年，作为中国首屈一指的加速器专家，谢家麟刚刚度过了50岁生日，这份报告很快被送往中南海，当时身患重病的国务院总理周恩来看过报告后非常兴奋，随即写下了这样的一句话:这件事不能再延迟了。 而"这件事"指的就是建造高能加速器，进行高能物理研究。 1973年初，在周恩来总理的指示下，中国科学院高能物理研究所成立。1977年文革结束，使中国获得了有利的发展契机，对国际形势，特别是发达国家情况的了解，无不强烈感受到中国同发达国家之间的差距，增加了中国提升科学技术水平的急迫感。这一年，一项规模巨大的科研工程在中国拉开了序幕，工程提出的日期是那年的八月七日，因此叫"八七工程"。工程完工后，将在北京郊外出现一座当时世界上规模巨大、技术先进的高能加速器。 1980年，当选为中国科学院学部委员(院士)。由于该工程性能优异，获 国家科技进步奖特等奖。后来从事高科技术863自由电子激光的研制，担任课题负责人，建成继美，欧之后，在亚洲第一台出光饱和的红外自由电子激光设施，获中科院科技进步奖特等奖，国家科技进步奖二等奖。以上各奖均排名第一。 1995年，获胡刚复实验物理奖及何梁何利科技进步奖。通过在加速器领域的研究和建造，培养了一批有实践经验的人才，为中国实验核物理，加速器物理及技术和电真空工业的发展，起了推进的作用。发表过研究论文数十篇，并与赵永翔合著《速调管群聚理论》一书、主编《北京正负电子对撞机和北京谱仪》一书、与杜祥琬合编《1997自由电子激光国际会议论文集》、另著有《加速器-创造发明的故事》一书。 2012年2月14日，谢家麟荣获2011年度国家最高科学技术奖。中共中央总书记、国家主席、中央军委主席胡锦涛为他们颁奖。 2016年2月20日，中科院院士、国际著名加速器物理学家、2011年国家最高科技奖获得者谢家麟先生因病在京逝世，享年96岁。
他擅于把握国际加速器发展动向，不断拓展新领域。90年代，他基于国内的工业基础，领导建成亚洲第一台自由电子激光装置，研制总投资只是国外同类装置的十分之一。这是亚洲第一台产生激光并实现饱和振荡的装置，多项技术指标达到国际先进水平，使中国成为继美国及西欧之后实现红外自由电子激光饱和振荡的国家，奠定了我国自由电子激光光源发展的基础。这一重大突破受到国内外科技界的广泛重视，被列入当年全国十大科技新闻。
2000年，谢家麟院士突破加速器设计原理，将电子直线加速器几十年沿用的三大系统精简为两个系统，简化了加速器结构，大大降低制造成本。经过四年努力，研制成功世界上第一台简易结构加速器样机，验证了设计理论的可行性，并申请了国际专利。
他发表科研论文40多篇并出版数部专著，其中《速调管聚束理论》已成为是我国加速器方面的经典著作。他兼任清华等多所大学教授，培养了一大批加速器技术专业人才，极大地提升了我国加速器研究水平，为相关技术在我国国防和科学工程中的应用做出重大贡献。
