相傳，凈飯王聽了阿私陀仙人的預(yù)言之后，非常擔(dān)心悉達(dá)多太子長大成人后會(huì)放棄王位，出家修行。為此對他進(jìn)行了嚴(yán)格的教育和管制。教給他各種婆羅門知識(shí)、禮儀以及“治國”之術(shù)；建造幾處宮殿供他單獨(dú)居住，禁止他隨便出宮，接觸平民百姓；又于17歲時(shí)，替他娶了一個(gè)非常漂亮的女子，并選送幾百名藝女，弦歌笙舞，希望以聲色籠絡(luò)住他的出家之心。
凈飯王的良苦用心是徒勞的。有一天，佛陀想出城游玩，向凈飯王提出懇請。凈飯王以為太子出城游玩，是去尋求世俗之樂，不會(huì)引發(fā)出家之念，便同意了。于是太子命御者套上馬車，出城游覽。據(jù)史書記載，最終引發(fā)悉達(dá)多太子義無反顧出家修行念頭的是他的“四門出游”。
據(jù)說，悉達(dá)多太子先出東城門，遇上了一位龍鐘老者，白發(fā)蓬亂，牙齒落盡，雙目昏暗，兩耳聵聾，拄杖而行。太子吃了一驚，忙問這是什么人。御者說是老人。太子問：“我是否也會(huì)成為老人呢？”御者回答：“不但是你，天下的人都會(huì)有老的一天。”太子立即郁悶不樂，心想：人生過得真是太快了，就像山水一樣，流過之后便再無回期，真是太苦了啊。太子失去了游玩的雅興，便駕車郁郁返回了宮中，去思考人生易老的問題。

悉達(dá)多太子出家與白馬惜別(北魏趙安香造像背陰)

接著出南城門，遇上了一個(gè)病人，腹部水腫，形銷骨立，氣喘呻吟躺在道旁。御者告訴太子：“這是病人，已經(jīng)活不了幾天啦！”太子說：“一切都是無常的。我顯然也會(huì)這樣，有生病的那天?！毙闹胁豢欤泷{車回到了宮中。后來，太子再出西城門，看到了一個(gè)死人，家屬在邊上號啕悲啼，狀極悲慘。一連目睹人老、病、死的磨難，而且誰都免不了這一遭，悉達(dá)多太子開始思索解脫世人痛苦的辦法。又一天，他們出北城門，遇上了一位衣服整齊，手持法器叫比丘的人。比丘自稱一生絕情去欲，心地慈悲，以救度眾生為己任。太子聞之，豁然開朗：“我也要過這樣的生活。”
據(jù)傳，釋迦牟尼當(dāng)時(shí)所見到的老人、病人、死人和僧人，都是天神所化，目的是要激發(fā)釋迦牟尼的出家決心。天神成功了！當(dāng)釋迦牟尼四門游觀之后，便下定了出家修道拜師尋法的決心。他向凈飯王提出請求。凈飯王心中十分不舍，千方百計(jì)勸阻他，但太子矢志不渝。一天深夜，他終于聽到了天神的召喚：“菩薩出家時(shí)刻已到！”悉達(dá)多于是潛出寢宮，喚醒車夫車匿，套上白馬健陟，悄悄來到城門腳下。天神早已來此接應(yīng)，托起白馬，轉(zhuǎn)眼便躍到城外，太子讓車匿回宮稟告父王，自己獨(dú)自一人出家修道去了。
佛教徒相信，四門游觀的所見所聞，是佛陀出家的直接原因。然而研究表明，四門游觀的故事文學(xué)性多于歷史真實(shí)性。早期的佛典沒有這方面的記載，極可能是后人為了詮釋佛教的“八苦”教義而臆造出來的。