Wenn du noch ein Zwischenjahr machst würde ich das Zeugs schon noch genauer anschauen ( vor allem Differential/Intergral und Komplexe Zahlen imo).
Prinzipiell möglich ists sicher, und sooo viel mehr Mathe hat man auch nicht, vor allem Sachen die eher nicht so wichtig sind für die Physik (Grund-/Aufriss, Kugelgeometrie, Stochastik/Kombinatorik (wird evtl. doch gebraucht) usw.)
Wenn nicht, dann hast du halt im ersten Jahr einen rechten Stress, aber wenn der Wille da ist, dann kann man "den Rückstand" sicher aufholen.