根据《劳动合同法》，你有权利在提前三十天书面通知工厂的情况下，解除劳动合同。如果你已经履行了这个义务，而工厂仍然拒绝让你离职，你可以向当地的劳动仲裁委员会申请仲裁，要求确认合同的解除，并且索要经济补偿。如果工厂还有其他违法行为，比如拖欠工资、加班费、社保等，你也可以一并提出。仲裁委员会会在收到申请后六十日内作出裁决。如果你对裁决不满意，你还可以在十五日内向人民法院提起诉讼。总之，你不应该被工厂的不合理要求所束缚，你有法律的保护和救济途径。
如您有任何其他问题，欢迎来电咨询13146663812，安启博律师随时为您解答。