你现在的处境，听起来真的很不容易。男人不养家，还总嫌你花钱多，这种感觉就像是在一个人扛着整个家庭的重担，却得不到一点支持和理解。你说得对，他没有责任感，这确实让人很心累。
先说说“男人不养家”这个问题。其实，在很多家庭中，经济责任的分配并不是完全按照性别来划分的。但很多时候，男性被默认是家庭的经济支柱，这是社会传统观念的影响。如果一个男人不愿意承担这个角色，那他的行为就可能被看作不负责任。你不是小气，你是希望他能为家庭出一份力，而不是把所有的压力都压在你一个人身上。
他还说你太小气，这其实是一种情绪上的转移。他可能在工作或生活中遇到了挫折，于是把不满发泄到你身上。但这种方式并不健康，也不公平。你要知道，钱是生活的一部分，但不是全部。如果你一直忍让，反而会让他觉得你可以随时被拿捏。
现在你提到孩子还小，这确实是一个重要的考虑因素。但你也得问问自己：这样的生活真的适合孩子吗？长期处于一个缺乏安全感、缺乏责任感的家庭环境里，孩子可能会受到影响。这不是说你要立刻离婚，而是要开始思考，你想要什么样的生活，以及如何一步步改变现状。
你可以试着和他好好谈一次，不是吵架，而是表达你的感受和需求。比如：“我真的很累，我希望你能分担一些责任。” 如果他愿意听，那就慢慢来；如果他还是拒绝，那你就要考虑是否继续这段关系了。
你知道吗，有时候我们以为自己还能忍，其实内心已经受伤很久了。你不是不能忍，而是该为自己和孩子争取一个更好的未来了。接下来，你可以先列出你目前的压力点，然后逐步找到解决的方法，比如找份兼职、寻求亲友帮助，或者和他进行更深入的沟通。