他出身台湾台中望族雾峰林家,诞生于阿罩雾(今台中市雾峰区),为雾峰林家顶厝支系中5位堂兄弟的老三,因此又被人称阿罩雾三少爷。父亲林文钦是清末举人与林朝栋同辈。
7岁时,林献堂于自家开设的家塾蓉镜斋接受汉学教育。14岁时,台湾依《马关条约》被割让给日本,家族在林献堂祖母罗太夫人的命令下,迁往福建泉州,不过几年后又决定返台。
1899年(明治32年),专心于经营外销樟脑的父亲林文钦于香港病逝。林献堂于19岁时接掌家庭事业,之后台湾总督府为拉拢他,委任他担任雾峰参事、区长(1902年),并于1905年授予绅章,同年出任台湾制麻株式会社取缔役(相当于董事)。
1902年,林献堂曾任雾峰参事、区长,并于1905年被授绅章。
1907年,于日本奈良旅行时与中国戊戌变法领袖大将梁启超会面,而受到爱尔兰争取自治的影响,因二人方言有碍交流,遂以笔交谈,留下大量珍贵史料。
1910年,加入诗社“栎社”。
1913年,与台湾北、中部士绅向总督府请愿,表达台湾人出钱成立台中中学的意愿。
1915年5月,公立台中中学(即台中一中前身)成立。
1914年3月,曾邀请板垣退助伯爵来台访问,12月成立“同化会”(1915年即遭解散)。
1919年,与蔡惠如等人成立“启发会”,翌年改为“新民会”,林担任会长,成立于东京。
1921年1月起,林献堂开始向日本国会提出设立台湾议会的要求,此为第一次台湾议会设置请愿运动。
1921年10月,台北大稻埕成立台湾文化协会,仿效中国国民党的制度,推举林献堂为总理;蒋渭水为专务理事;林幼春等人为常务理事。
1923年,为激起台湾人的民族意识,文化协会以《台湾民报》做为宣传,林担任社长。
1927年2月,成立大东信托株式会社,由林献堂等人还花了2年筹设,为了打破日本人及御用绅士控制银行、信托、保险等金融业的状况,由林出任董事长,陈缘H巫芫理。
1927年1月,台湾文化协会分裂,转向由左派控制,林献堂也退出文化协会。同年7月,另组台湾民众党。
1930年8月,林献堂等人组建台湾地方自治联盟,担任顾问,自治联盟以设立民选的地方各级议会为宗旨。
1937年7月15日,在日本殖民当局的压力下,台湾地方自治联盟宣告解散。
1946年5月当选第1届台湾省议员。10月下旬蒋介石来台巡查时与之会面。四个月後,台湾发生二二八事件,加上林献堂被列入指为“台省汉奸”的黑名单,幸得友人相助才免去牢狱之灾。
1949年9月林献堂以养病为由黯然离开台湾,寓居日本,留下了“异国江山堪小住,故国花草有谁怜”伤感的诗句。
1956年病逝东京,年七十六岁。