三义客家书院是文林国中校长吴景丰位在双潭社区内的老宅．建于民国五十年，是一幢楼板面积达六十余坪的两层式楼房，琉璃瓦、白墙搭配沿着墙壁伸展的绿色藤蔓，展现出质朴的古典雅趣．在社区多元的现代建筑群中，显得格外醒目。
这座吴家古厝早期是广东梅县秀丁吴秉睿(日据时代栗社诗人)的老宅，改建后，由吴秀才之子于民国廿六年起经营「精米所(日语)」，是三义客家聚落的集谷中心，也是旧时经济活动的互动环节，在富时曾开创出金店面的时代格局，最为当地人津津笑道。一直到民国六十年吴秀才之子去世后，「精米所」才结束营业。
目前三义客家书院以展示、典藏客家文物为主，未来将派驻社区规划团队推动客家三生园区的社造工程，发挥教育研究、推广等功能，例如办理客家歌谣、诗词等研习．或以田野调查方式，搜集当地客家文史，为客家文化挹注新的活力。

吴校长对客家文化的传承有春深切的使命执着与文化包容，他表示一只要是和护持客家文化有关的，他都会义不容辞地积极参与．希望穷毕生之力为客家文化有所贡献。