按照密教自身的說法，密教的歷史與佛教同樣久遠。傳說，它是由法身佛大日如來直接宣化的，大日如來傳給金剛薩埵。金剛薩埵又名金剛手、執(zhí)金剛、持金剛等，是大日如來的部屬，他親受大日如來的教誨而結(jié)集經(jīng)典，傳持密乘，為密教傳法體系的第二祖。此后，密教未獲傳人，密教典籍封存在南天竺鐵塔之中。佛陀滅后八百年，龍樹出世，他不僅弘揚大乘佛教中觀思想，而且開啟南天竺鐵塔，見到了金剛薩埵，從金剛薩埵處親受密教，請出許多密教經(jīng)典，成為密教的第三祖。龍樹傳給弟子龍智，為第四祖。傳說龍智活了七百歲，后傳法給金剛智，是為第五祖。金剛智是唐開元年間來華的“開元三大士”之一，他生活的年代是公元669至741年，又被尊為漢地密宗的初祖。
當(dāng)然，這是漢地佛教的說法。西藏密教則認為，龍樹護持教法時，密教的方法就已流行。當(dāng)時，歐提毗舍國有紋阇王，他與部屬們修成了持明身。西方摩臘婆國兜陀訶梨地方有菩至提婆王，也與部屬們獲得了隱身等各種密教的成就。龍樹本人也是密教大師，他請出多種陀羅尼咒，在南方曾與兩名婆羅門摩度和須缽羅摩度進行斗智。龍樹教他們明咒，使前者得到“妙音天女成就”,后者得到“財流天女成就”。龍樹有位朋友叫婆羅流支，在摩揭陀?xùn)|邊的羅羅國念誦觀音菩薩的陀羅尼咒十二年，最后獲得藥丸等八種成就，后去西方傳播密教的修持方法。龍樹的弟子龍智，又叫龍覺，出生于東方潘迦羅國的婆羅門家庭，早年生活貧困，因龍樹的傾囊接濟，倍生信心，出家做了龍樹的弟子。龍樹去世后，他住在吉祥山山壁的一個深窟中，專心修觀十二年，獲得大手印的殊勝成就。自此之外，大乘佛教的許多著名論師都修持了密教。但自大乘教法流布以來，雖然修行密教的人有千千萬萬，由于他們的修行非常秘密，人們并不知道他們修的是密教。后來到了提婆波羅王父子時代，密教才公開流行起來。
考據(jù)以上的種種傳說，雖多有荒誕不經(jīng)之詞，卻反映了密教的一些歷史情況，即密教的思想和修持方法確實有著悠久的歷史。佛陀在世時，各種方術(shù)神咒雖是他反對的東西，卻沒有杜絕使用。在初期佛教經(jīng)典《阿含經(jīng)》中，佛陀不時使用一些神秘咒語。后到部派佛教、大乘佛教時期，咒語、密儀的采用逐漸增多。尤其是大乘佛教后期，許多經(jīng)典都被加上了咒語的內(nèi)容，如《般若心經(jīng)》出現(xiàn)了“即說咒曰”;《法華經(jīng)》出現(xiàn)了《陀羅尼品》;《仁王經(jīng)》、《理趣經(jīng)》等原本無咒的經(jīng)典，后來也增加了密咒內(nèi)容。這足以說明，密教的修持方法在印度佛教史上經(jīng)歷了一個由隱而顯，由疏散而集中，由零碎而統(tǒng)一的發(fā)展過程，并終于在公元七世紀后成為獨立的思想體系，出現(xiàn)了《大日經(jīng)》、《金剛頂經(jīng)》等密教經(jīng)典，取得了印度佛教的主導(dǎo)地位。
密教的興起，其原因可說是大乘佛教思想發(fā)展的必然產(chǎn)物。佛教發(fā)展到大乘階段，教理上可以說是達到了頂峰。中觀學(xué)派以空為世界萬物的最高真理，認為它超越一切語言分別，沒有一切差別特性；瑜伽行派雖然把世界萬物歸結(jié)為“識”的變現(xiàn)，但對所變事物的性質(zhì)，則通過“三自性”、“三無性”的學(xué)說而歸結(jié)為空無。所以，無論是中觀，還是唯識，其教理的極處可說是完全相同，都是要在超越事物個性特征、超越人類語言思維的境界上把握佛教的絕對真理。這就造成了與修行和傳教直接相關(guān)的一些現(xiàn)實問題。問題之一是真理何處存在及其語言如何表達。按照大乘佛教的說法，空的真理超越語言和思維，人的認識活動不能認識真理，卻為真理的顯現(xiàn)帶來了障礙和束約，阻止了它的自由表達。人的日常語言所表達的不過是一些世俗偏見、錯誤理解，而不是真理，這樣，神秘主義就成了佛教徒認識佛法真理的唯一選擇。既然理性思維不能顯證真理，他們就只能采用瑜伽的悟證，既然語言不能表達真理，他們就只能使用神秘的咒語、手印和圖像。所以，大乘教理的發(fā)展，實際上為密教的修道方法提供了理論依據(jù)，暗示出密教方法的可能性與必然性。大乘佛教發(fā)展造成的另一問題，是眾生與最高境界之間的關(guān)系問題。按照大乘教理，空或無是一種最高境界，它超越一切差別，渾然一體。既然超越一切差別，就意味著理想與現(xiàn)實、最高境界與蕓蕓眾生之間也不能有任何差別，否則，最高境界就不是超越一切差別的。這種思想，勢必導(dǎo)致密教“即身成佛”理論的提出。所以，密教的興起，無論是教理方面還是修持方法方面，都與大乘佛教的發(fā)展有必然聯(lián)系。佛教自身將密教的歷史追溯到龍樹甚至更早，并非毫無根據(jù)。