張煌言要“十三家兵”出征，“使之擾湖廣”清軍，牽制敵人，“以緩雲南”，挽救永曆政權即將覆亡的軍事危局。
但“十三家兵”終因兵力“衰疲”，加之勢單力薄，而未能出戰
康熙元年（永曆十六年、1662年），張煌言又將義軍移駐沙堤。
其時，鄭成功收復臺灣後，建立鄭氏政權。
而魯王則身居金門，故鄭成功對其衣食供奉“禮數日薄”。
張煌言雖對魯王仍忠心不貳，且“歲時供億”不絕，但又“慮成功疑”，故“十年不敢入謁”魯王。
待到張煌言“及聞桂王敗亡”後，便“上啟魯王，將奉以號召”。
但沒有得到鄭成功的支援。
五月，鄭成功突然病逝於臺灣，致使抗清鬥爭形勢更為嚴峻。
張煌言則轉戰於寧海臨門村一帶。
這時，清廷浙江總督趙廷臣趁張煌言義軍處境艱難之際，再次寫信招降，張煌言不為所動，並回信拒絕。
十一月，魯王薨於金門。於是，張煌言只得轉戰於寧海縣臨門村一帶。
還師臨門，更使張煌言感慨萬千。
這時，清廷浙江總督趙廷臣乘張煌言義軍處境艱難之際，再次寫信招降，張煌言不為所動，仍然回信拒絕。
義軍此時雖多次奮戰，然孤懸海上，被迫孤軍作戰，日漸勢單力薄。
為此有人提議將義軍隊伍拉上雞籠島駐紮，張煌言認為此議不可行，雞籠小島，四面環海，易攻難守，若遭致清軍突襲有全軍覆沒的危險。
康熙三年（1664年）六月，張煌言見覆明無望，在南田的懸嶴島解散義軍，隱居海島不出。
七月十七日，清軍透過叛徒找到張煌言隱居地，夜半渡島，張煌言同部屬羅子木侍僮楊冠玉等人被執。
九月七日，張煌言被清軍殺害於杭州弼教坊。
當他赴刑場時，大義凜然，面無懼色，抬頭舉目望見吳山，嘆息道：
“大好江山，可惜淪於腥羶！”
就義前，賦《絕命詩》一首，臨刑時，他拒絕跪而受戮，“坐而受刃”，時年僅四十五歲。
監斬官見楊冠玉年幼，有心為他開脫。
楊冠玉卻斷然拒絕道：“張公為國，死於忠；我願為張公，死於義。要殺便殺，不必多言。”
言罷跪在張煌言面前引頸受刑。
張煌言死後由鄞縣萬斯大等人與和尚超直收屍，並由張煌言外甥朱湘玉到總督衙門買回首級殯斂。
並遵照他在《入武林》詩品所表示的願望，把他葬於杭州南屏山北麓荔枝峰下。
張煌言便成為與岳飛、于謙一同埋葬在杭州的第三位英雄，後人稱之為“西湖三傑”。
生前的友人葉振名登越王嶺遙祭忠魂，撰祭文將張煌言與羅綸二人並稱為“張司馬二客”。