公元770年，即唐代宗大历五年四月，湖南兵马使臧玠作乱，杀潭州(今湖南长沙)刺史兼湖南都团观察使崔瓘。杜甫正客居潭州，他本因避乱入蜀，由蜀地漂泊到湖南，原想在这里“强移栖息一枝安”。不料到湖南不久，又要避臧玠之乱了。这时他的二十三舅崔伟正以湖南录事参军出摄郴州刺史，屡次有书来招他去，他便携了全家乘船南下，不料船过衡州，恰值湘江水涨，被阻泊舟于耒阳县北的方田驿，一连五天不能前进，也得不到食物。
耒阳聂县令闻讯，派人携书问候，并馈送牛肉白酒。杜甫非常感激，写了一首十四韵的长诗代怀，遣人到县呈聂令，但因水势未退，无法前行，书未能送到，只好掉转船头，重新折回衡州。等到水退，县令派人在江上寻找杜甫，遍寻无着，以为杜甫一定死在水里了，便在耒阳县北代杜甫建了个衣冠冢，以为纪念。
由于这衣冠墓的建造，就产生一种传说，说是县令送牛肉白酒给杜甫，杜甫吃得太多，挨了五天饿的饥肠不能容纳，一夕而卒。
自唐中叶以后，这一传说流行很广，新、旧《唐书》杜甫传都是如此记载，正如李白醉后捉月落水而死的传说同样无稽。这传说的来源有二：
一是郑处诲的《明皇杂录》，
一是李观的《杜传拾遗》，
二者都和事实不符。《明皇杂录》云：“杜甫客耒阳，游岳祠，大水遽至，涉旬不得食，县令具舟迎之。令尝餽牛灸白酒。移漂寓湘潭间，羁旅憔悴于衡州耒阳县，颇为令长所厌。甫投诗于宰，宰遂致牛灸白酒以遗甫，甫饮过多，一夕而卒。”
这记载的错误是一目了然的。杜甫并没有抵达耒阳，而是被大水阻于方田驿，方田离耒阳陆路有四十里，舟行须一日始达。时值江涨，被阻于方田不能前进，县令虽致书并餽酒肉，但并没有具舟迎他。杜甫送诗于县令不达，就折回衡州，重返潭岳，一次都未到耒阳，怎么会有第二次羁旅憔悴于耒阳县的事?令长就是县宰，怎么既为令长所厌，又投诗于宰?县宰也没有第二次餽送杜甫牛灸白酒。
其实，杜甫是死于潭(今长沙)岳之间的舟中，旅殡岳阳，归葬偃师。