东方Project的故事主要发生在虚构世界“幻想乡”中。起初,幻想乡仅仅被称为“东之国中远离人里的边境之地”。幻想乡是以日本东北及四国为原型的地区,而各种非人生物住在这里,亦有少数人类居住于此地。于古代,幻想乡并未以结界将内外分离。到了《东方红魔乡》故事发生的500年前,人类急速发展,迫使幻想乡用结界孤立自己,以平衡妖怪与人类的势力。
在幻想乡,偶然发生的异常事件被称为“异变”。异变会对整个幻想乡的秩序造成影响,因此博丽神社的巫女会前往解决异变。通常情况下,妖怪们一时兴起或出于好奇就会引发异变,随后异变会被博丽的巫女退治,而异变的元凶也会受到惩罚。东方Project的游戏剧情主要集中于异变的解决,不过也有异变之外的事件,例如《东方风神录》讲述了外来者意图夺取幻想乡信仰的故事。
在东方Project的设定中,为了维持人妖力量的平衡,巫女博丽灵梦创造了“符卡规则”,使得力量较弱的一方也能有机会打败力量较强的一方。此外,当大的异变发生之后,幽灵、妖精等也会受环境的影响而变得强大,因此也存在博丽灵梦被妖精打败的案例。除了博丽灵梦之外,魔法使雾雨魔理沙等角色也会参与异变的解决,并且人类村庄也有专门退治妖怪的人。