我到底错在哪？

我外出办事，需要把公章带走。到了银行，那里说办事的人员临时出去，三小时后回来。我就把公章放在了工作人员那，让他等办事人员来了签好单子替我盖章，放在传达室，我三个半小时后过来取。我手头没什么任务，就去欢乐谷玩了一会儿。回来之后发现公章，单子都不见了。回单位后才知道是领导去银行盯我，把公章收走了，还给了我处分。
我不太明白我错在哪。我只是不想浪费时间坐在那等，有这时间做点自己的事，并不耽搁单位的事啊。这么多年一直是这样的，从来没耽误过任何事。