李家勛的未婚妻姓楊，海寧(在今浙江海寧)人。楊家富裕而李家貧窮，李家勛的父親是楊家的佃戶。
一天，楊父從田間經(jīng)過，見家勛很聰明，就問他多大了。家勛回答說9歲，楊父便把他送到當(dāng)?shù)氐乃桔又腥プx書，并替他交納學(xué)費(fèi)。家勛15歲時，入學(xué)成為諸生，家勛父親前來楊家拜謝。這年楊氏女14歲，楊父叫她出來拜見李父，兩家訂下婚約。楊母和楊兄都非常惱火，暗暗責(zé)罵楊父說：“這真是個老糊涂，難道還擔(dān)心自己女兒嫁不出去，竟把她許配給佃戶的兒子。”不久楊父去世。楊家的人都看不起李家勛，時常怠慢他。李家勛雖然覺得屈辱，但仍默默忍受著。
一天晚上，李家勛要讀書，叫人點(diǎn)燈，但連喊數(shù)聲也沒人答應(yīng)。楊氏女早就看不慣家里人蔑視家勛的做法，同時也對家勛這樣沒志氣不滿。她抓住這個機(jī)會，從帷帳后用言語激家勛道：“大丈夫為什么不努力讓自己登上又高又亮的地位，而偏要處在黑暗中依賴別人，甘心受這種窩囊氣呢？”家勛于是就辭別楊家，發(fā)憤讀書去了。
清乾隆十五年(公元1750年),家勛在浙江鄉(xiāng)試中中舉。