宋鹹淳年間，臨安府錢塘門外有一間破舊的竹器鋪子，鋪中住著一個窮困潦倒的樂師，姓沈名牧之，字子期，年三十有二，原籍江陵府。沈牧之少時家境尚可，父親沈明遠做過一任縣學教諭，在任上頗得人心。後因戰亂頻仍，沈明遠辭官歸鄉，途中染了時疫，不到半月便病故了。沈牧之變賣家產，北上臨安投親不遇，盤纏用盡後流落街頭。幸而他自幼隨父習得一手好笛，便在錢塘門外擺了個小攤，替人吹奏些曲子換些銅錢，又兼修竹笛、制簫管，勉強餬口。
這一年初冬，臨安城下了第一場薄雪。沈牧之收攤後往住處走，路過眾安橋時，看見橋頭蹲著一個滿臉皺紋的老乞丐，面前擺著一堆破破爛爛的舊物，有碎瓷片、斷簪子、幾本殘破的書冊和一支看起來極老的竹笛。沈牧之本是制笛之人，目光不由自主便落在那支笛子上了。笛身通體烏黑，像是多年的老竹，被歲月磨得油亮光滑，笛尾用銀絲嵌著一行極小的字，風雪中看不太分明。沈牧之蹲下身，將那笛子拿起來細看，入手沉重，不像尋常竹笛那樣輕飄，倒像是竹管中灌了什麼。他對著笛孔吹了口氣，笛聲竟然沒有發出，像是被什麼東西堵住了。那老乞丐見他端詳得仔細，便啞著嗓子說：這支笛子在我手裡十幾年了，吹不響，換不了錢，你若中意，五十文拿走。沈牧之猶豫了一下，從袖中掏出五十文遞了過去，將那支啞笛收入懷中。
回到住處後，沈牧之將笛子反覆擦拭，又用細籤通了通笛孔，確認竹管內沒有堵塞物。他再次湊到唇邊吹氣，依然只有氣流聲，沒有任何音調。他翻來覆去地看那笛尾的銀絲嵌字，擦去積垢後，終於看清了那行小字：遺音笛·守心人。沈牧之不知道遺音笛是什麼意思，但他隱約覺得這東西有些不尋常。那夜他睡前將笛子放在枕邊，睡到半夜時，忽然被一陣極輕極細的笛聲驚醒了。那笛聲像是從枕邊傳來的，又像是從很遠的地方飄來的，曲調嗚咽哀婉，一句一句地重複著同一段旋律，像是一個人在反覆說著同一句話。沈牧之側耳聽了片刻，那笛聲忽然停了，隨即一個蒼老的聲音從笛身中幽幽地透出來，像是被風吹散的枯葉：……江陵……沈家巷……第三間……埋著……一隻鐵匣……替我……交到應天府……那聲音說到最後便斷了，像是被什麼東西掐住了一般。沈牧之坐在黑暗中握著那支笛子，只覺得一股涼意從掌心直竄到後背。江陵——那是他的家鄉。沈家巷第三間，他小時候常去那裡玩耍，那裡住著一位姓胡的老先生，是他父親生前的至交。多年過去了，那位胡老先生想必早已不在人世了。而鐵匣中的東西，要交到應天府去。應天府如今是元軍佔領的地界，他一個流落臨安的窮樂師，如何能將一隻鐵匣千里迢迢送到應天府去？
那夜之後，沈牧之反覆將笛子湊到耳邊細聽，但再也沒有聽到任何聲音。他幾乎懷疑那夜只是一場夢，可笛尾的遺音笛三個字又清晰地提醒他那是真的。他終於在一個月明的夜裡，鼓起勇氣將笛子湊到唇邊，心中默唸著江陵沈家巷五個字，緩緩地吹了一口氣。這一次笛子竟然發出了聲響——不是尋常的音調，而是一段極長的嗚咽聲，像是一個人在隔著深谷喊話，迴音在笛管中盤旋了許久才散去。笛聲落盡之後，那個蒼老的聲音又一次響了起來，比上一回清晰了許多：沈家巷第三間灶臺下面，青磚第三排第六塊，下面是空的。鐵匣中的東西，是當年胡伯遠託我保管的舊證，關乎一樁被掩埋了三十年的貪墨案，苦主家破人亡，就為那捲賬本。你替我送去應天府，交給城南甜水井巷的劉氏後人。那人姓劉名子安，是我故人之子。
那聲音說完了這段長長的話後，徹底沉寂了下去，再也沒有響過。沈牧之握著笛子坐到了天明。天亮之後，他將家中僅有的幾百文錢和幾件舊衣收拾好，鎖上竹器鋪的門，動身南下。走了二十餘日，他回到了江陵。沈家巷的舊宅早已破敗不堪，第三間的灶臺也塌了大半。他依言翻開了第三排第六塊青磚，下面果然有一個極小的暗格，裡面放著一隻鐵匣，匣子上的銅鎖已經鏽死，但匣身完好，沉甸甸的，不知裝了些什麼。他沒有開啟，直接將鐵匣用油布包好，貼身系在腰際，又從江陵啟程，一路向北，取道襄陽、南陽，歷時兩月有餘，終於到了應天府。他在城南甜水井巷中找到了劉子安，那是一個五十多歲的中年人，開著一間小小的筆墨鋪子。沈牧之將鐵匣遞到他手中時，劉子安接過匣子時手指微顫，像是等了很久很久的東西終於等到了。他沒有當場開啟，只是對著沈牧之長揖到底，說了一句話：家父等了二十六年，我也等了十一年，今日終於到了。沈先生此恩，劉某沒齒難忘。
沈牧之沒有問鐵匣裡是什麼，他送完東西便告辭離去了。後來他聽人說，那鐵匣中的舊證被劉子安呈到了朝廷，翻出了一樁牽涉極廣的貪墨舊案，當年被冤屈抄家的苦主終於得了清白。那些事情都與他無關了。他回到了臨安，重新支起他那個小攤，繼續替人修笛制簫。那支遺音笛他一直貼身帶著，雖然再也沒有吹出過任何聲音，但他知道這東西還會再響的——只要還有走投無路的人將未了的話、未了的事託付給了那支笛子。
果然，第二年春天的一個月夜，那支遺音笛再次自鳴了。這一次從笛中傳出的聲音比上一回輕柔許多，是一個年輕女子的聲音，怯怯的，像是怕驚擾了什麼人：……柳家巷……井邊……那封休書……不是我寫的……是他騙我按的手印……我要見他……當面問一句……後面的話便含混了。沈牧之記下了柳家巷，又仔細辨認那聲音中提到的名字——宋子安。他次日去了柳家巷，向街坊打聽宋子安這個人。一個賣菜的老婦人告訴他，宋子安原是巷中一間雜貨鋪的少東家，三年前娶了城西的孫家女為妻，不到半年便休了妻，那孫家女被休後投了井，死在了宋家後院的井中。宋子安後來搬走了，鋪子也關了，沒人知道他去了哪裡。沈牧之站在柳家巷中，望著那口已經用石板封死的舊井，心中泛起一陣酸楚。那女子在笛中說的話——那封休書不是我寫的，是他騙我按的手印——分明是一樁被掩蓋的騙局。孫家女被誣陷，被休棄，被逼投了井，而宋子安卻拍拍身上的灰塵搬走了，連一句解釋都沒留下。沈牧之打聽了數月，終於在南邊一處小鎮上找到了宋子安，他已經改名換姓，開了一間小小的布莊，日子過得安穩。沈牧之沒有當面質問他，只是在他鋪子門口放了一封沒有署名的信，信中只寫了一句：柳家巷井邊，有一個人在等你一句話。那信送出去之後，沈牧之便離開了那個小鎮，再也沒有回頭過。他不知道宋子安看了那封信之後會怎麼做，但他知道那井邊的冤魂想要的，不過是一句真話。他能做的就是把這句話遞到該遞的人手中，至於那個人接不接、認不認，他已經管不了了。
此後沈牧之依然帶著那支遺音笛在臨安城中生活，每隔數月，笛子便會在月明之夜自鳴一次，有時是一段急促的笛聲，有時只是一聲嘆息似的長音，有時是一段含混不清的說話聲。他把那些能辨清的記下來，能去查的去查，能替人傳的話去傳。那些聲音大多來自已故之人，有被誣陷致死的工匠、有被遺棄後病死的孤女、有戰亂中失散的兄弟、有臨死前沒能見上最後一面的母子。每一樁都輕得像一片落葉，卻又沉得壓在他心上，讓他無法視而不見。那支笛子像一個沉默的郵差，把那些被永訣截斷的話，一份一份地遞到了他手中，再由他轉寄給活著的人。
最讓他動容的一樁舊事，傳自一個老士兵的聲音。那天夜裡笛聲忽然變得激越悲壯，像是有千軍萬馬在曠野上奔跑，隨後一個粗獷的男子聲音壓過笛聲，一字一頓地說：襄陽城外，西坡，老槐樹下，埋著我兄弟的遺骨。他是替我擋箭死的，我欠他一條命。我如今……也要死了。你若能去替我把他遷回老家，把他孃的那句話帶到——娘不怪你，你回來就是那聲音說完便斷了，笛聲也戛然而止。沈牧之知道襄陽城早已陷落多年，西坡長滿了荒草，老槐樹不知是否還在。但他還是去了。他在襄陽城外西坡的荒草叢中找了整整三日，終於在一棵枯死的老槐樹下挖出了一副疊放整齊的骸骨，旁邊還壓著一面鏽蝕的銅牌，牌上刻著一個名字——趙大勇。他按著那老士兵在笛中所說的地址，將趙大勇的骸骨送回了他的老家，一個淮北的小村子。趙大勇的母親早已去世了，但趙家還有侄子活在世上。那侄子聽沈牧之說完來意後，將骸骨重新安葬在了趙家的祖墳中，又替那老士兵立了一塊碑，碑上刻著：義士趙大勇，捨命救同袍。魂兮歸來。沈牧之在趙大勇的墳前站了一會兒，將那支遺音笛湊到唇邊吹了一段極短的旋律，沒有曲名，只是一句像是回應的話。
那支遺音笛陪著沈牧之從三十二歲走到了五十五歲。二十年裡，他替它傳了二十七樁舊話，南下北上，走了不知多少路。他始終沒有用那支笛子去聽過任何活著的人的心事，他只替死人傳話。因為他覺得，活著的人還有機會自己開口，而那些已經嚥了氣的人，再不說就永遠沒有機會了。他願意做那個替他們最後說一次的人。
沈牧之年過半百之後，漸漸有些力不從心了。他的腿腳不似從前靈便，吹笛時氣息也短了許多。那支遺音笛自鳴的次數也越來越少了，有時半年才響一次，且聲音比從前輕了許多，像是笛身中的什麼東西也在漸漸枯竭。他沒有因此覺得失落，反而鬆了一口氣——那些未了的話終究是有數的，說完了，也就沒有了。這世上雖然總有新的悲歡離合，但並不是每一樁都要由他來遞。他做了他能做的，餘下的，該由別的人來接棒了。
五十七歲那年秋天，沈牧之在錢塘門外的小攤前遇到一個年輕後生，約莫十七八歲，衣衫襤褸，站在他的攤前盯著那支舊笛看了很久。沈牧之問他看什麼，那後生說：我小時候我爹也有一支這樣的笛子，黑漆漆的，也吹不響。後來打仗，我爹死了，那支笛子也不知丟到哪裡去了。沈牧之看了那後生一眼，不知怎的，心中忽然湧起一陣衝動，他將那支遺音笛遞了過去，說：你吹吹看。那後生接過去湊到唇邊，深吸了一口氣吹了進去——笛聲忽然響了起來，清澈悠遠，像是空曠的山谷中迴盪著的風。那是沈牧之擁有這支笛子二十多年來，第一次聽到從它身上發出真正屬於音樂的聲音。後生自己也被嚇了一跳，放下笛子怔怔地看著沈牧之。沈牧之笑了，他拍了拍那後生的肩膀說：這支笛子跟了我許多年，如今它願意跟你說話，你帶它走吧。好好待它。那後生捧著遺音笛，愣了好一會兒，最終深深鞠了一躬，轉身走進了人群中。沈牧之坐在攤後，看著那年輕的身影消失在暮色裡，手中沒有了那支沉甸甸的舊笛，忽然覺得掌心空了一小塊。但那空位很快被一種說不清的安然填滿了。
那支遺音笛跟著那年輕後生去了哪裡，沈牧之再也沒有打聽過。他繼續在錢塘門外擺他的小攤，替人修笛制簫，偶爾有人請他吹奏一曲，他便隨意吹幾段自己編的小調，不悲不喜，清清淡淡。他偶爾會想起那些透過笛聲傳到他耳中的聲音——程玉娘、孫三、柳碧雲、老士兵、還有許許多多他記不全名字的人。他們都已經不在了，但他們的話都已經被送到了該去的地方。那支笛子替他完成了這些事，然後從一個沉默的信使變回了一支會唱歌的竹笛，跟著一個年輕後生重新回到了人間。
沈牧之活到六十三歲，在一個春日的午後坐在攤前曬著太陽，閉著眼像是睡著了，再也沒有醒來。他的鄰居替他料理後事時，在他枕下發現了一張紙，紙上寫著一行字，字跡已經有些顫抖，但依然清晰：笛能傳音，不能傳心。心若不願聽，縱有萬語千聲，亦如空谷迴風。願後來者，先做聽者，再做傳者。那頁紙被他的鄰居夾在了一本舊曲譜中，連同他那些修笛制簫的工具一起，被一個路過的年輕樂師買走了。那年輕樂師後來在杭州一帶漸漸有了些名聲，人們都說他吹得一手好笛子，尤其擅長那種像是替什麼人傳話的曲風，一音一頓，像是在說什麼故事。有人問他那些曲子都是哪裡來的，他只說是從一本舊曲譜中抄的，那本曲譜的扉頁上寫著四個字：遺音·聽心。
那支遺音笛後來輾轉到過很多人的手中，有時會響，有時不會。沒有人說得清它到底有沒有，但那些在深夜中聽過它聲音的人都說，笛聲裡有一種特別的東西，不像尋常的曲子那樣只讓人耳朵舒服，而是讓人心裡那些藏了很久的、沒說出口的話也跟著微微顫動起來，彷彿想要應和什麼。那種感覺像是一個人坐在空蕩蕩的廳堂中，忽然聽見有人在外面叩門，聲音不急不緩，像是在說——我知道你在裡面。你沒事，我就是路過，替人帶一句話。
那一聲叩門傳到今天，也許還在某個不知名的門環上輕輕震著，等著有人起身去開。
正是：
一管竹笛通冥語，數聲嗚咽度遺音。
莫道死生無可寄，人間自有遞書人。
