你现在的感受我能理解，离婚之后还被要求回老家，确实让人心里不舒服。你说他这些年对你和孩子没尽到责任，听起来他好像一直在逃避问题。那现在他突然说让你回去，是不是有什么别的原因？比如他想重新跟你联系，还是说他其实有其他打算？
首先，你要明确自己的立场。你不是必须听他的，尤其是他之前已经离开过你，现在又提出这种要求，你怎么能放心？你有权利问清楚他的真实想法。你可以直接问他：“你为什么突然让我回老家？你打算怎么处理我们之间的关系？还有你欠我妹妹的20万，到底有没有打算还？”
接下来，如果你真的不想回去，那就坚定地拒绝。但也要考虑现实情况，比如你和女儿的生活安排、经济状况等。如果你们现在住的地方比较稳定，没有必要轻易改变。你可以告诉他：“我现在生活挺好的，我不想因为你的想法就改变一切。”
另外，关于他欠你妹妹的钱，这个事情你得认真对待。没有欠条的话，以后追讨可能会很麻烦。你可以建议他补上欠条，或者通过法律途径解决。如果他一直不还，你也可以考虑让妹妹找律师咨询。
你现在最需要的是冷静下来，理清自己的情绪和需求。你可以先问问自己：我真的想回去吗？如果回去，我能接受他的态度吗？如果不想回去，那你有没有准备好独立生活？
你也可以考虑找一个信任的朋友或家人聊聊，听听他们的意见。有时候换个角度看问题，会更清楚该怎么做。
你有没有想过，他为什么会突然提出这样的要求？是不是他最近遇到了什么困难？或者他只是想重新拉近和你的关系？这些都需要你亲自去问清楚。