処理不足なら円で内径が小さくなるけど、正方形では起きないはず
思いつくのはmach3の設定でバックラッシを設定しているとか（円が歪むはず）
あとは機械的にガタがあってアップカット・ダウンカットの違いで差が出てるとか・・・ちょっと大きすぎる気がするが。