在汉武帝执政时，张汤是个赫赫有名的人物。他最早有办案能力，是其父发现的。
张汤的父亲曾任长安丞，一日回家，见家中的肉被老鼠吃了，鞭笞张汤。张汤掘开地洞抓住偷食的老鼠，对其审讯，并将老鼠处以磔刑。其父发现小孩子办案居然如老狱吏，大为惊叹，便让儿子学习断案文书。
张汤后继承父职，为长安吏，办事干练。汉武帝刘彻命他处理陈皇后巫蛊一案，张汤探知汉武帝已宠新欢卫子夫，对陈皇后很冷淡，便审查严密，追查其党羽。陈皇后被废，汉武帝晋升他为太中大夫，命其与赵禹共同制定各种律令。他们搞了一个“见知法”，让官吏互相监督，相互检举。两人成为当时热门的法律专家。赵禹性孤傲廉洁，公卿大臣邀请他赴宴，赵禹一律拒绝。张汤却擅长结交各界人士，尤与九卿、达官贵人关系密切，并以智谋驾驭他人。
汉武帝好附庸风雅，张汤决断案件亦附会古人之义，命其弟子研习《尚书》《春秋》，参考古代文献，作为断案的法律依据，并揣摩主子意图，显示汉武帝决策英明。由于张汤办案结果与刘彻所思吻合，虽执法严峻却大获汉武帝赞誉。张汤每次上朝奏事，谈论国家各项论断办案之事，汉武帝都专心听其详述，决策之前也会听取张汤的看法，张汤声誉与日俱增。
由于张汤执法严峻，引出众多仇家，但他擅长结交有势力有权的大人物，仍获汉武帝的看重与青睐。汉武帝欲制白鹿皮币，与张汤商量，张汤极力支持。汉武帝询问大司农颜异的看法，颜异反对，正好有大臣告发颜异，说他对朝廷颁布新法持反对意见。汉武帝命张汤审问，张汤再次问颜异对新法令的意见，颜异微动嘴唇而不出声。张汤冷笑一声，向汉武帝奏道：“颜异身为九卿，听到他人评论法令有不适当之处，他不向朝廷进言而进行腹诽，如此大逆不道，应判处死刑。”汉武帝便以“腹诽”之罪，处死颜异。“腹诽”亦称“心谤”，指其人对某事不发表公开意见，心里却认为不对，此罪名始于张汤创立。
张汤因审案有功，官至御史大夫，更为汉武帝看重，原因是他办案获皇上表扬时，张汤表示：“此乃皇上圣明，我只是办事认真而已。”如果汉武帝不满意此案的结果，张汤自我责备：“陛下责备得对，其实圣上早已提醒过我，我没有很好采纳，我办事愚蠢，是我错！”正因如此，张汤进入三公九卿之列。
后来，有盗贼挖了汉文帝陵墓，丞相庄青翟与御史大夫张汤商量，一起上朝谢罪，张汤一口应允。翌日，庄青翟向汉武帝叩头谢罪，张汤却突然说：此事与己无关。汉武帝便将庄青翟交张汤审处。
这事惹怒了朱买臣、王朝、边通三位长史，他们都是庄青翟的好友，知道庄青翟是老实人，便联合起来告发张汤，说张汤的亲信田信早知盗墓一事，此外还囤积货物，预先把汉武帝提高物价的主意告知大商人。汉武帝最恨泄密，命人审问张汤，张汤这才认罪，但辩白说阴谋陷害我的是三位长史。
汉武帝处死了张汤，发现其家财不过五百，深感懊悔，便杀了三个长史，丞相庄青翟被迫自杀。汉武帝提拔了张汤的儿子张安世，间接鼓励和表扬了张汤。