异装症的发病可能与心理因素、环境因素、教育因素等多种因素有关，在生长发育过程中，受这些因素的影响，患者可能从儿童期表现为强烈迷恋异性服饰，发展到青春期通过变装来获得性兴奋的感觉，出现异装症。
有的患者对两性关系有惧怕、忧患心理。部分患者会在不穿异性服装情况下，出现明显的勃起功能障碍，而穿了异性服装则无此性功能障碍。这大概是因为患者潜意识中，对正常性活动有忧虑情绪或罪恶感，而装扮成异性可以帮助患者解除这种心理状态。
患者在幼年时，认知本身性别受到环境的影响，如父母本来想要个女孩，却偏偏生了个男孩，或者想要男孩却生了女孩，为了填补心理上的缺憾，把孩子打扮成异性并给予更多的关注和爱抚。再如有些家长受封建迷信思想的影响，为求孩子平安成长，便将孩子打扮成异性形象，取异性名字。儿童在这种家庭环境下成长起来后，就有可能发展成异装症。
多出现于男性患者身上，有些父母总认为女孩子温顺听话、讲卫生，在日常生活中教育孩子时，总爱把男孩当女孩来对待，还常拿邻居家的女孩作榜样进行教育。或者把女孩当男孩来教育，使孩子在儿童和青少年期性别认同不当，缺乏正常的社会交往，养成异性化的气质性格，就有可能演变为异装症。。
