《十二楼》之卷三,书叙明朝嘉靖年间,四川成都人虞素臣不求闻达,只喜构造园亭,终年为之不倦。天长日久,欠债渐多,只得将亭园贱价卖于邻居唐玉川,只留下唯一一座书楼,是他一生最得意的构造,不肯出卖,自己居住。此楼下层是接客之所,题匾“与人为徒”;中层为读书之所,题匾“与古为徒”;上层为避俗之所,题匾“与天为徒”;又合来总题一匾,曰“三与楼”。素臣有远方好友,轻财任侠,愿为赎楼,而素臣辞谢。好友临别,暗示楼下地里有财,而素臣未能领会。素臣六十岁才得子,庆贺之后,穷困难堪,又将“三与楼”卖与唐家。后素臣亡故,其子中试得官,衣锦还乡。此时,唐氏后人被人告发,家中窝藏盗金。县官在“三与楼”下掘得元宝,将唐氏后人下狱。其后县官来虞家细析案情,又得素臣旧友实情相告,方知元宝为友埋于楼下。于是将掘得元宝作为赎产之资,楼阁园亭交还虞家所有。