公大存社稷，建不世之勋，然天下之心实有未达。若能朝天子，使君臣释然，万物之心于是乃服。杖众望以顺群情，尽冲退以奉主上，如斯则勋侔一匡，名垂千载矣。
听完谢鲲的一番说辞，王敦丝毫不以为然，认为这是典型的书生之见，说：“君能保无变乎？”你能保证不会发生变故吗？谢鲲却信誓旦旦地保证说：“鲲近日入觐，主上侧席，迟得见公，宫省穆然，必无虞矣。公若入朝，鲲请侍从。”话都说到了这个份上，王敦依旧执拗不听，勃然大怒，还说出了这样的狠话：“正复杀君等数百人，亦复何损于时！”最后，王敦玩了个任性，返回武昌，遥控朝政。
尽管如此，谢鲲虽然多次与王敦对着干，可说来也怪，王敦唯独拿谢鲲这个狂士没有一丁点儿办法，既不能用他，也不能杀他，只好将他外放到地方。谢鲲于是又重新回到了原先的工作岗位——豫章太守。谢鲲在豫章太守的任上，政绩斐然，《晋书·谢鲲传》记载“涖政清肃，百姓爱之。”由此可见，谢鲲不是一个只会叛逆轻狂的玄学疯子，还是有两把刷子的，一直到病逝于豫章。
文献中有着不少关于谢鲲的趣事、轶闻，比如，《晋书·谢鲲传》和干宝《搜神记》中共同记载了一个有关谢鲲捉妖的玄幻故事，以《搜神记》为例：
陈郡谢鲲，谢病去职，避地于豫章，尝行经空亭中，夜宿。此亭，旧每杀人，夜四更，有一黄衣人呼鲲字云：“幼舆！可开户。”鲲澹然无惧色，令申臂于窗中。于是授腕。鲲即极力而牵之，其臂遂脱，乃还去。明日看，乃鹿臂也。寻血取获。尔后此亭无复妖怪。
这个故事讲的是，谢鲲以身体有病为由，辞去官职，回到了豫章。在返回豫章的途中，谢鲲路过了一个无人居住的空亭子，便在那里暂时留宿。关于这个亭子，曾经有过这样的传言，说这个亭子闹鬼，有妖怪出没，只要有人在此居住都会死于非命。在众人眼中，这个亭子就是一间“鬼屋”，然而谢鲲就是不信这个邪，不屑一顾。
果然，到了半夜四更，也就是拂晓时分，睡眼惺忪的谢鲲，隐隐约约，看到一个穿着黄色衣服的人，在呼唤着他的字“幼舆”，并且让他开门。也许是幻觉所致，谢鲲一点儿没有表现出慌张，反而镇定地将手伸出窗外，一下子拧断了那人的肩胛。结果仔细一看，发现竟然是一只鹿的胛骨。然后，谢鲲顺着留下的血迹，抓住了那头鹿。从此以后，那座亭子再也没有发生过所谓的“闹鬼”事件。
太宁元年(324年)十一月，谢鲲病逝在了豫章太守的任上，时年四十三岁，一代狂士到了另外一个世界，去寻找属于他的一方乐土。谢鲲的一生，傲岸、狷狂、淡泊，他不贪慕荣华富贵，不执着于功名利禄，而是向往远离尘嚣，归隐山林。
在这一点上，他与年轻时的谢安极为相似，谢安四十岁以前，高卧东山，寄情山水，啸咏山林，与大伯是何其相似。晋明帝曾经让谢鲲与庾亮进行比较，谢鲲回答了一番非常经典的话，堪称他一生的真实写照：
端委庙堂，使百僚准则，鲲不如亮。一丘一壑，自谓过之。
谢衡、谢鲲父子两代，他们是谢氏家族的奠基者，也是谢氏家风的奠基者，是他们开创了“内儒外玄”的家风。谢衡一生，以儒治学治家，营造出了敦厚守正的家风，为后世子弟树立了正确的人生观与价值观；而谢鲲则是将魏晋玄学中所具备的精神品质，培养了谢氏子弟对于个性追求的洒脱，又是另外一番风光。父子二人，一儒一玄，共同缔造了“内儒外玄”的谢氏家风。
陈郡谢氏家族，之所以能够成为绵延江左三百年的诗书簪缨之族，仅靠谢衡、谢鲲父子两代还是远远不够的，这之后还要好长的路要走。一直到了谢安那一代，谢氏家族才真正意义上成为了一个叱咤风云的大家族。是因为谢安看到了祖父与大伯身上的伟大精神，同时也继承了他们的精神。在谢安的眼中，祖父和大伯是两座不可逾越的山峰，只可仰望，不可攀越，殊不知日后的他，成为了一座比祖父谢衡、大伯谢鲲更加高耸的山峰，成为了整个谢氏家族的精神领袖。