你这情况，听起来确实挺难的。你说他总说你不顾家，但你自己又真的忙，这种情况其实挺常见的。不过咱们得先理清楚问题到底出在哪。
首先，他为什么会觉得你不顾家呢？可能是因为他在家里待着，看到你回来晚了，就容易联想到你是不是在外面跟别人玩，或者不关心这个家。这种想法其实有点像“偏执型人格”的表现，就是容易怀疑别人，尤其是在亲密关系里。但你要知道，这种怀疑一旦出现，就很容易把原本的感情消耗掉。
那你有没有想过，为什么他会这么想？是不是平时你们之间沟通不够？比如他可能觉得你总是忙，没时间陪他，所以才会产生不安全感。这时候，不是说你要放弃工作，而是要学会在有限的时间里，和他建立更多的情感连接。
你可以试着每天晚上哪怕只花十分钟，跟他聊聊天，哪怕只是问问他的工作、孩子的情况，或者简单地表达一下对他的感谢。这样他就会感觉到你在乎这个家，而不是只在乎外面的世界。
还有，你提到自己下班晚，朋友吃饭打球，这些都没错，但关键是让他知道你这样做是为了放松，而不是逃避家庭责任。你可以主动告诉他：“我今天下班晚，是跟朋友吃个饭，不是去玩，我是想让自己轻松一下，回家才能好好陪你。”这样他就能明白你的用心。
另外，你们可以一起制定一个家庭计划，比如每周安排一次“家庭日”，不管多忙，都要抽出时间一起做点什么。这样既能增进感情，也能让他感受到你的重视。
你有没有想过，他是不是也有自己的压力？他下岗后在家带孩子，可能也会有失落感，觉得自己没有价值。这种情况下，他更容易把情绪发泄到你身上。你可以试着理解他的感受，同时也要让他明白，你并不是不关心他，只是生活节奏不同而已。
如果你们之间的沟通一直不好，或许可以考虑找专业的心理咨询师聊聊，两个人一起面对问题，比一个人扛着要好得多。
你觉得现在最困扰你的地方是什么？是他的不信任，还是他自己内心的不安？有时候，解决一个问题，其实就是要从了解对方开始。