进厂时交了押金但没签合同，想要退回押金，首先得明确这种收取押金的行为本身就不合法。根据《劳动合同法》第九条规定，用人单位招用劳动者，不得扣押劳动者的居民身份证和其他证件，不得要求劳动者提供担保或者以其他名义向劳动者收取财物。所以不管有没有签合同，工厂收押金都是违法的，这是你维权的重要法律依据。
接下来，你可以先尝试和工厂协商解决。找工厂负责招聘或者财务的人员，态度友好地说明情况，强调自己是来工作的，不是来交押金的，而且法律不允许收押金，希望他们能把押金退给你。协商的时候最好带上交押金的凭证，比如收据、转账记录等，这些都能证明你确实交了押金。如果工厂愿意协商，那就最好了，能快速解决问题。
如果协商不成，你可以向当地的劳动监察部门投诉。劳动监察部门是专门负责监督用人单位遵守劳动法律法规的机构，他们有权力对工厂的违法行为进行调查和处理。你可以准备好相关证据，比如押金收据、和工厂工作人员的沟通记录、工作证或者考勤记录（如果有的话），然后去劳动监察部门填写投诉表格，详细说明情况。劳动监察部门受理后，会进行调查，督促工厂退还押金。
另外，你也可以申请劳动仲裁。如果劳动监察部门处理后工厂还是不退押金，或者你对处理结果不满意，就可以向当地的劳动争议仲裁委员会申请仲裁。申请仲裁需要提交仲裁申请书、身份证复印件、相关证据材料等。仲裁委员会会根据双方提供的证据和陈述进行审理，做出裁决。如果工厂不履行裁决，你还可以向法院申请强制执行。
在整个过程中，一定要注意保留好相关证据，比如押金收据、转账记录、与工厂的沟通记录等，这些都是你维权的重要依据。同时，要了解自己的权利，不要因为没签合同就觉得没办法，法律是保护劳动者的，只要你能证明和工厂存在劳动关系（比如工作证、考勤记录、工资条等），或者能证明交了押金，就有权利要回押金。
最后，提醒大家，找工作的时候一定要注意，凡是要求交押金、保证金、体检费等费用的，都要提高警惕，很可能是骗局。如果遇到这种情况，最好不要交，避免后续麻烦。如果已经交了，就要及时采取措施维护自己的合法权益。