Também não encontrei estes vocábulos nas obras que possuo.
As palavras terminadas em -ção significam, via de regra, `acto ou efeito de´ (ex.: absorção, de `absorptione-´: acto ou efeito de absorver). Por outro lado, as terminadas com o sufixo nominal -mento, em substantivos derivadas de verbos, exprimem a ideia de acção, resultado de acção (ex.: absorvimento, de absorver + mento = absorção). Nota: termos registados em Rebelo Gonçalves e Aurélio.
Assim, no meu ponto de vista, tabulação e tabulamento, ambas bem formadas, podem ser consideradas legítimas na língua, com o mesmo significado.
No entanto, desde que existam os dois termos, frequentemente acontece em Portugal ser preferida a terminação -ção. Por exemplo, `além de absorção, também absolvição, não obstante se poder usar absolvimento (mas o que não é regra geral porque, por ex., prefere-se internamento a internação e incitamento a incitação).
Neste caso, para acto ou efeito de tabular (verbo), eu escolheria tabulação.
Ao seu dispor,