謝公在東山，朝命屢降而不動。後出為桓宣武司馬，將發新亭，朝士鹹出瞻送。高靈時為中丞，亦往相祖。先時，多少飲酒，因倚如醉，戲曰：“卿屢違朝旨，高臥東山，諸人每相與言：‘安石不肯出，將如蒼生何？’今亦蒼生將如卿何？”謝笑而不答。

　　宣武集諸名勝講易，日說壹卦。簡文欲聽，聞此便還。曰：“義自當有難易，其以壹卦為限邪？”

　　諸葛瑾為豫州，遣別駕到臺，語雲：“小兒知談，卿可與語。”連往詣恪，恪不與相見。後於張輔吳坐中相遇，別駕喚恪：“咄咄郎君。”恪因嘲之曰：“豫州亂矣，何咄咄之有？”答曰：“君明臣賢，未聞其亂。”恪曰：“昔唐堯在上，四兇在下。”答曰：“非唯四兇，亦有丹朱。”於是壹坐大笑。