恋物癖的成因非常复杂，目前没有明确的定论，一般认为与患者的生物学特点以及心理社会因素有关。
心理因素在恋物癖的形成中占重要作用。
该理论认为，性心理障碍者在性心理发展过程中遭受失败，特别是可能与儿童早期遭受某些心理应激有关，如看到父母的亲密性行为、自身生殖器遭到玩弄等，患者因此退行到儿童早期幼稚的性心理发育阶段。
恋物癖患者童年时性心理发育受阻，容易将性对象泛化或用象征物代替异性性对象。
该理论认为，一些无关刺激通过某种偶然的机会引起性兴奋，这些性快感的强烈体验会不断强化这些无关刺激，因此形成了条件反射。
行为主义心理学家曾做过一个实验：让一位男性志愿者看一系列图片，实验中反复出现一种女靴的图片，紧接着放出一种易于引起性兴奋的妇女图片。重复数次后，男性志愿者在只出现女靴图片时也产生了性兴奋。
综合来看，恋物癖通常是童年时性心理发育受阻，出现性对象泛化或以象征物代替异性性对象。同时，在青春发育期，又习得了以某种物品或人体的某部分作为性对象，从而获得性快感满足的行为，通过条件反射形成了恋物癖。
恋物癖的产生与文化背景有关，受社会道德文化和家庭教育的影响。若性教育缺失或教育不当，儿童最初的性欲被过分压抑，性心理发育异常，以致出现异常性行为。
媒体（包括电视、游戏、网络）将色情图片或视频暴露于青少年面前，有些因自制力不好，会在产生性兴奋时采取性幻想而手淫，若在此过程中借助异性的东西增强性刺激，很有可能形成恋物癖。
有研究发现，颞叶等脑区出现病变可出现恋物癖，同样在精神分裂症、精神发育迟滞等一些病例报道中发现恋物癖表现。
