唐德宗贞元十九年(公元803 年），杜牧出生在长安朱雀门东安仁坊，他家世代显赫，祖父杜佑是“三朝宰相”，曾编成讲述历代典章制度的《通典》200卷。父亲做过谏官。杜牧的《冬至日寄小侄阿宜诗》说：“旧第开朱门，长安城中央，第中无一物，万卷书满堂！”《上刑部崔尚书状》说自己“唯好读书，多忘。为文，格卑”，自述喜读书，但文章并不好。
父亲为他取名“牧”（牧，治理），少年时即胸怀大志，抱有家国情怀！当时，有感于朝廷讨伐藩镇，深感用兵的重要，因此注释了《孙子兵法》13篇。后来他官至“中书舍人”，起草诏书、接触机要，地位十分显要。
在“尘世难逢开口笑”（《九日齐山登高》）的晚唐，唐敬宗李湛接位了，但他才16岁，还很贪玩，喜击球、手搏，还在深夜捕捉狐狸，后来，皇帝更加穷奢逸乐了！杜牧的《上知己文章启》说：“宝历（唐敬宗年号）大起宫室，广声色，故作《阿房宫赋》。”是想提醒皇帝秦亡的教训，但据考古学家多年发掘，事实上，阿房宫并没有建成，而他却能绘影绘色，让人产生对皇宫壮丽、巍峨广大的印象，说明他有很强的想象力。赋成，杜牧23岁，凭这，被推选为进士（据西川《唐诗的读法》）。
施蛰存先生说：杜牧是个“罗曼蒂克”的人。《丽情集》书上说，他在湖州游览时，邂逅一位风姿绰约的美少女，令他惊艳，为了娶她，打算十年后来此当官时办婚事，他预先送了家长彩礼。谁知过去了14年，杜牧才好不容易争取到去那儿任刺史（太守），但是，那女子却已是两个孩子的母亲了。杜牧万分遗憾懊恼，他写《叹花》诗：“自是寻春去校迟，不须惆怅怨芳时。狂风落尽深红色，绿叶成荫子满枝。”施先生说，这个故事很可能是真有的。
毋庸讳言，杜牧在扬州是有过一段留连青楼的荒唐生活，但到了晚年回首时有了悔意，甚至感到辜负了对他付出过真情的青楼女子而留下了“十年一觉扬州梦， 赢得青楼薄幸名”的诗句。
杜牧自言：“某苦心为诗，惟求高绝！”（《献诗启》）据说晚年他曾焚毁作品，仅留下十之二三。他写过许多咏春、伤春和惜春的诗，笔下留传千年的是自然界的美丽！他的《山行》“远上寒山石径斜，白云生处有人家，停车坐爱枫林晚 ，霜叶红于二月花”，那山路、斜径、白云、人家，都没有使他心动，使他停车不再前行的是深秋红枫树的晚景！看出诗人对大自然的深爱。
杜牧写下的美丽诗篇，复活了早已逝去的唐人生活的烟火气，乃至思想、民俗、欢乐、愁苦，成为一份珍贵的文学遗产，十分难能可贵。