淮南牛肉汤始于汉，名传于宋。《淮南子》卷十一《齐俗训》曰：“今屠牛而烹其肉，或以为酸，或以为甘，煎熬燎炙，齐味万方，其本一牛之体。”记载了牛肉的不同烹饪技艺和方法，其中的“熬”就是指熬制牛肉汤。
据传五代十国年间（公元957），赵匡胤据兵淮南八公山南塘地，攻打寿春（今安徽寿县）,寿春守将刘仁瞻军纪严明，守城如命，尽管赵部顽强作战，仍屡攻不下。久之，外无援兵，内无粮草，赵匡胤反被兵困南塘。淮南老百姓看在眼里，急在心中，最后在头领的带领下，把自家耕牛纷纷宰杀掉，熬成大锅汤送进赵营，官兵喝后士气大振，一鼓作气攻破寿春城。公元960年陈桥兵变，赵匡胤登了龙基，始终忘不了淮南牛肉汤，后来在民间把淮南牛肉汤传为“神汤”，又传为“救驾汤”。
清乾隆年间,翰林大学士张政曾任宫廷御膳官员，告老还乡回到淮河岸边后，研制了淮南牛肉汤制作技艺和配料秘方，传于后世，,淮南牛肉汤成为淮南地方历史名吃。