换科的烦恼

我是一名高二的学生，我选的科是历史化学地理，高一的时候在历史和物理之间犹豫，因为高一历史分高一点，我选的历史。但是上了高二，我发现我学不进去历史，考试前背的东西就没想起来过，于是我想换成物理，求建议。