每周和前妻孩子一起吃饭打球

我和男朋友在一起一年多，感情很好，双方家长也见面了，已到谈婚论嫁的阶段。他是离婚有个男孩是给了母亲，男孩每周五来奶奶家，我们一起玩到周六，我和孩子的感情也非常好。但是他必须每个星期天上午会和前妻一起带孩子打球和一起吃饭，我表现出吃醋不愿意的时候他很反感。这正常吗？我应该大度 不计较 还是应该制止。可我制止也没有用，现在不知道该怎么办了