张士衡，瀛州乐寿县人。父亲张之庆，为齐朝国子助教。士衡九岁时母亲去世，他哀悼思慕超过礼仪，父亲的朋友齐朝国子博士刘轨思见到他，常常掩面而泣，对他父亲说：“从前伯饶号‘张曾子’，又岂能远过于此！我听说君子不亲自持教，我当为你成就他。”待士衡长大后，轨思给他讲授《毛诗》、《周礼》，士衡又跟熊安生和刘焯学习《礼记》，都能精研深究其中的主要论旨。此后，遍读《五经》，尤注意攻读《三礼》。在隋朝做官任余杭县令，后以年老辞归乡里。
贞观年间，幽州都督燕王李灵夔准备了黑色的束帛作为礼物，到士衡家去迎聘他，拜他为师。庶人承乾在太子宫，又对他加以表扬征召。待到洛阳宫谒见皇上，太宗请他登上殿前台阶，赐给他食物，提拔授官朝散大夫、崇贤馆学士。承乾看见他，问他齐朝灭亡的原因，回答道：“齐后主昏悖暴虐无度，亲近小人，以致像高阿那..、骆提婆、韩长鸾等人，都是些奴仆下等之才，凶狠险恶无赖之辈，他却相信他们任用他们，把他们当作心腹。他们诛杀迫害忠臣良将，疏远猜忌骨肉至亲。穷奢极欲，伤害百姓。因此当北周的军队兵临城下时，没有人为齐朝效力，以至于灭亡，实在的原因正在于此。”承乾又问道：“以布施的方法来求取功德，真有因果报应不？”回答道：“侍奉佛法在于清净无欲，怀有仁恕之心。如果贪婪无厌，骄纵暴虐，虽然倾尽财力侍奉佛法，也不能拯救眼前的灾祸。况且善与恶的报应，如影随形，这是儒家典籍上的话，哪里只是佛经上说的。因此为人君父的，应该仁慈；为人臣子的，当尽忠孝。能做到仁慈忠孝，则福祉帝位长久；如果与此相反，那么灾祸就要降临。此中道理昭然若揭，愿殿下不要为此忧虑。”到承乾太子位被废除后，诏敕车马给他，让他回归本乡。贞观十九年(645)去世。
士衡以礼学为最优秀，当时跟随他受业而大有名望于一时的，其中以贾公彦最为著名。