最早把揚(yáng)雄的“書(shū)，心畫(huà)也”語(yǔ)用于評(píng)述書(shū)法的是宋人朱長(zhǎng)文。他在《續(xù)書(shū)斷》中說(shuō)：“其(指顏真卿)發(fā)于筆翰，則剛毅雄特，體嚴(yán)法備，如忠臣義士，正色立朝，臨大節(jié)而不可奪也。揚(yáng)子云以書(shū)為心畫(huà)，于魯公信矣。”而揚(yáng)雄此語(yǔ)的原義，并非是講書(shū)法的。
此語(yǔ)出自《法言·問(wèn)神》?！把圆荒苓_(dá)其心，書(shū)不能達(dá)其言，難矣哉！唯圣人得言之解，得書(shū)之體，白日以照之，江河以滌之，灝灝乎其莫之御也。面相之，辭相適，捈中心之所欲，通諸人之嚍嚍者，莫如言。彌綸天下事，記久明遠(yuǎn)，著古昔之???,傳千里之忞忞者，莫如書(shū)。故言，心聲也；書(shū)，心畫(huà)也；聲畫(huà)形，君子小人見(jiàn)矣。聲畫(huà)者，君子小人之所以動(dòng)情乎！”這里的“言”指口頭語(yǔ)言，“書(shū)”指書(shū)面語(yǔ)言。
“書(shū)”,西漢之前可能并不包含書(shū)法、書(shū)體的意思?！蹲髠鳌贰皶x靈公不君”篇里曾用“書(shū)法”語(yǔ)，“孔子曰：‘董狐，古之良史也，書(shū)法不隱。趙盾，古之良大夫也，為法受惡。惜也，越竟乃免?！边@里的“書(shū)”是指記載、寫(xiě)史，“法”是原則。《周禮·地官·保氏》中說(shuō)：“養(yǎng)國(guó)子以道，乃教之六藝：一曰五禮，二曰六樂(lè)，三曰五射，四曰五馭，五曰六書(shū)，六曰九數(shù)?！弊鳛榱囍坏摹皶?shū)”是指識(shí)字教育，包含著寫(xiě)的意思，但不是書(shū)法藝術(shù)。至東漢，“書(shū)”才有書(shū)法藝術(shù)的含義，《說(shuō)文解字》里說(shuō)“篆，引書(shū)也”,“自爾秦書(shū)有八體……”。趙壹 《非草書(shū)》一篇，更能說(shuō)明作為書(shū)法含義的 “書(shū)”,已十分明確了。
“書(shū)，心畫(huà)也”作為書(shū)面語(yǔ)言表達(dá)的要義，何以會(huì)轉(zhuǎn)換為書(shū)法美學(xué)觀的呢？書(shū)面語(yǔ)言當(dāng)然離不開(kāi)書(shū)寫(xiě)，而士人的書(shū)寫(xiě)往往是經(jīng)過(guò)書(shū)法訓(xùn)練的書(shū)寫(xiě)，書(shū)法是士人的基本素養(yǎng)之一。所以，書(shū)法藝術(shù)是跟書(shū)面語(yǔ)言的表達(dá)緊緊聯(lián)在一起的，從某種程度上講書(shū)法是書(shū)面語(yǔ)言表達(dá)的物質(zhì)外殼，書(shū)面語(yǔ)言是書(shū)法藝術(shù)的內(nèi)容之一。書(shū)法和書(shū)面語(yǔ)言不可分離的一體關(guān)系，是“書(shū)，心畫(huà)也”語(yǔ)意轉(zhuǎn)換的關(guān)鍵原因。此語(yǔ)意轉(zhuǎn)換的觀念原因是一個(gè) “心”字。
“心”和 “言”、“書(shū)”三者的關(guān)系是古人十分關(guān)切的課題。莊子認(rèn)為 “言”、“書(shū)”是無(wú)法準(zhǔn)確表達(dá) “心”和“意”的，只能以 “心”會(huì) “心”、以 “意”會(huì) “意”。他在 《天道》篇說(shuō)：“世之所貴道者書(shū)也，書(shū)不過(guò)語(yǔ)，語(yǔ)有貴也。語(yǔ)之所貴者意也，意有所隨。意之所隨者，不可以言傳也，而世因貴言傳書(shū)。世雖貴之，我猶不足貴也，為其貴非其貴也。故視而可見(jiàn)者，形與色也；聽(tīng)而可聞?wù)撸c聲也。悲夫，世人以形色名聲為足以得彼之情！夫形色名聲果不足以得彼之情，則知者不言，言者不知，而世豈識(shí)之哉！”孟子的觀點(diǎn)與此相反，提出了“知言養(yǎng)氣”說(shuō)，認(rèn)為通過(guò) “養(yǎng)吾浩然之氣”可以達(dá)到 “知言”的程度：“诐辭知其所蔽，淫辭知其所陷，邪辭知其所離，遁辭知其所窮”。( 《孟子·公孫丑上》)
跟孔子儒學(xué)審美觀有密切關(guān)系的《周易》、《樂(lè)記》中，也講到 “心”和 “言”、“書(shū)”的命題。“子曰：書(shū)不盡言，言不盡意。然則，圣人之意，其不可見(jiàn)乎？子曰：圣人立象以盡意，設(shè)卦以盡情偽，系辭焉以盡其言，變而通之以盡利，鼓之舞之以盡神?！?《周易 ·系辭上》)“凡音之起，由人心生也。人心之動(dòng)，物使之然也。感于物而動(dòng)，故形于聲。聲相應(yīng)，故生變，變成方，謂之音?！?《樂(lè)記·樂(lè)本》)揚(yáng)雄的美學(xué)思想繼承了這一儒學(xué)淵源，以 “言”“書(shū)”“聲”“畫(huà)”為 “心”之 “形”,由形而可見(jiàn)君子小人之心。