中国的五经当时被视为是「珍贵的国外科学与技术」；而善于运用「阴阳道」的人，乃是推古王朝的圣德太子。根据《日本书纪》记载，推古天皇十年（西元六○二年）「百济僧侣观勒来此」、「历本、天文地理书、遁甲方术书也一并带来」。圣德太子懂得汲取这些外来学说的养分，并且运用在政治层面开启了阴阳道的历史。因为阴阳道不仅可以观天象，知历法，还可以进行占卜，上至国运昌隆、天皇适任与否？下至庶民之事，都可以运用阴阳的知识来解释。
从公元794年日本京都由长罔迁至平安开始，垂天下以治四百余年的平安时代缓缓拉开序幕。但京城平安都却不是乐土，魔影纵横、怨灵交错——妖魔鬼怪不呆在水远山遥的森林或深山中，而是屏气敛息地与人类同居于京城，甚至是同一个屋檐下。平安京被妖异蚕食着，成为魑魅魍魉的巢穴，也成为阴阳师活跃的舞台。
对于阴阳道几近狂热的天武天皇，非常了解阴阳道的利用价值为避免被反政府势力所用，于是成立了「阴阳寮」（类似古代的国子监、今日的中央研究院）让阴阳道成为律法制度的一部份，并且严令禁止一般百姓拥有《河图》、《洛书》、《太乙》等阴阳道的专门典籍，目的就是想要让阴阳道成为国家的独占工具。
很多人都说平安时代的大阴阳师安倍晴明是被神化的了，那式神如何解释？在那个时代，安倍晴明拥有式神是人尽皆知的。式神到底是什么？在日本的忍术里面，还真找到一个关于式神的操纵术。就像是一个契约，施术者与式神缔结契约，在一定情况下可以通过咒语召唤，甚至还有召唤过程。
谁控制了「阴阳寮」就等于握有诠释一切的能力。于是奈良时期，天皇决定以阴阳道作为统治人民的手段之一，将其相关的技术与人才收编国家管理，并近距离监视其发展。一般百姓严禁拥有《河图》、《洛书》、《太乙》等阴阳道的专门典籍，阴阳道成为国家的独占工具。
不过阴阳师的饭碗可不是好捧的，在尔虞我诈的宫廷中生存，他们必须熟稔一切风雅事，和歌、汉诗、琵琶、笛，还有香道或者茶道，样样都要涉猎。此外，还必须有看穿人心的本事及不泄密的职业道德。所以能成为阴阳师的，俱是当时一等一的俊彦之才。
