はじめまして、電動初心者の私が書き込むのも気が引けましたが、あくまでも一般論として参考にされてください。
まず、ベアリングの内径が規格より小さいということは非常に考えにくいので、シャフト側が大きい、あるいは切断時の歪で先端のみ変形している。
切断直後で熱による膨張がある。
等が考えられると思います。
先端のみ、ヤスリ・サンドペーパなどで整形してみてダメだったら、ベアリングを暖め・シャフトを冷やす。
最後の手段で、おっしゃるように磨くしかないでしょうか、ドリルのチャックに固定して回しながらやれば、偏芯は避けられそうですね。

こんにちは。
yam-jinさんのおっしゃるように、シャフト切断時のひずみが出ているものがあります。
荒い（150番くらい）サンドペーパーで先端部分を削ってください。
シャフトはベアリングで支えられていてこすれる部分はありませんから、傷はきれいにする必要はありません。
かえってコレットの抜け止めになっていいかもです。
私の場合、延長サドルのベアリングは一度はずしてリーマーで取り付け穴を軽くさらえ、スーパーＸで柔らかく接着しています。
こうしたほうが振動を吸収し、音が静かになるようです。

先日、グラチャンにてＥ研に教えてもらいました。電動ドリルで磨いてみると、すんなりと入る様になりました。ありがとうございました。