Ojeh - Ulmen und Spinnmilben gehören irgendwie zusammen. Das liegt nicht an dir und nicht am Standort, die Viecher mögen Ulmen einfach.
Ich hab andernorts schon erwähnt, dass ich da kurzen Prozess mache, um schneller zu sein als die Milben. Ich behandle die Bäume mit einem gut pflanzenverträglichen Insektizid und aus. Dass sie wiederkommen liegt daran, dass du die vorhandenen Gelege der Milben kaum vernichten kannst. Die schlüpfen dann nach einigen Tagen aus und machen fröhlich weiter. Darum sollte man bei allen diesen Viechern zweimal bezandeln (etwa wie bei Kopfläusen auch.)
Ficus und Ulme sind beide nicht ungern draussen. Beide mögen aber keine pralle Mittagssonne. Sollte das ein Problem sein, kannst du mit einer spanischen Wand oder einem Sonnensegel Abhilfe schaffen.