你现在的处境真的很复杂，也很痛苦。发现丈夫和下属有了孩子，这不仅仅是感情上的背叛，还牵扯到孩子的未来和家庭责任的问题。首先，我需要确认一下，这个孩子是否已经出生？你是怎么知道的？是通过什么方式了解到的？这些信息对你接下来的决定非常重要。
如果你想要领养这个孩子，法律上是可以的，但前提是你要有合法的抚养权。不过，现在孩子在你丈夫单位附近住，他每天去那边，说明他对这个孩子还是有一定关心的。但他说不想负责，这可能是因为他不想承担法律责任，或者他觉得你不会真的去领养。
你有没有考虑过和他好好谈一次？不是为了挽回这段婚姻，而是为了孩子的未来。你可以告诉他，你愿意承担起这个孩子的责任，但希望他也能尽到父亲的义务。如果他不愿意，那你可能需要通过法律途径来争取抚养权。
另外，如果你打算走法律程序，一定要注意收集证据。比如，你们之间的聊天记录、照片、视频等，这些都是非常重要的证据。但要注意的是，不能采取侵犯他人隐私的方式获取证据，否则可能会适得其反。
你有没有想过，如果孩子真的被你领养了，他会怎么看待你？你有没有准备好面对他的情绪和反应？这些都是你需要提前思考的问题。
你现在的心情一定很乱，但请记住，你不是一个人。可以找专业的心理咨询师聊聊，也可以找律师咨询一下具体的法律流程。你值得一个健康、稳定的生活，而不是被过去的错误所束缚。