Interpretadas literalmente, são expressões que podem suscitar reservas.

No primeiro caso, porque poderá entender-se como «erro escrito corretamente», o que é contraditório. Mas «erro ortográfico» é também interpretado como «erro relativo à ortografia», o que está correto.

Quanto a «bonita caligrafia», não há redundância, porque caligrafia é comummente usado no sentido de «letra manuscrita». Mais informalmente, também se empregam expressões «letra bonita».