1937年10月升任第二十一集团军总司令，率部参加了著名的淞沪八一三抗日战役。1938年10月兼任安徽省政府主席，兼保安司令、豫鄂皖边区游击兵团总指挥。1939年10月23日因脑溢血猝死于立煌县金家寨,终年仅50岁。

　　　　廖磊逝世后，停柩响山寺。其墓为穹窿形，所需石材均由廖磊所部第七军从七军军部驻地六安县独山开凿块石运至响山寺。墓前树有华表，刻有手书挽联。正面挽联为蒋中正行楷，北面挽联系于左任草书。国民政府主席林森题写墓碑是“豫鄂皖游击总司令陆军上将兼安徽省政府主席廖磊之墓”，落款“林森”。“0”时，廖墓被-扒毁。森林题写的墓碑和墓冢封土周围独山运来的石块，被移作修筑小水库之用，以后没有寻获。石刻挽联被巧妙地保存下来，地下墓室完好无损。2000年春，金寨县委-部和槐树湾乡人民政府出资修葺一新。现在墓冢径约8米，正八边形围墙土丘。

　　　　蒋中正的挽联是：求治至诚，见危授受，耿耿精忠能贯日；杀敌争先，尽瘁以死，芸芸黎庶载丰碑。”落款“蒋中正”。

　　　　于右任的挽联是：“坠泪读碑文，惠政难忘羊太傅；破胡留战绩，英风常想岳家军。”石刻书法为时代精品，具有极高的艺术价值。