望まない臨時職員（事務補佐)の異動、断り退職できますか?

近いうちに公募があると思いますが、まだ知らされていません。
同じ課の臨職が辞めるので（部署は同じだが仕事内容は違う)そこへの異動の希望を聞かれました。異動は希望しないと答えました。

10年ぐらい勤務していますが、いつ更新がなくなってもおかしくないので周りや後の人の事も考えて、わたしのできる範囲で引き継ぎの書類も作成中です。
今まで辛い体験も幾度もしながら何とか勤務してきました。
しかし、もし異動になるなら今の職場に勤務する意味が見いだせません。辞めるつもりでいるくらい異動は考えれません。
理由は幾つかあります。

他の課に臨職が数名います。異動の希望は、おそらく様々な様です。

応募してきた人でふさわしい人がいたり希望してる人が異動になれば問題ないのですが今まで色々見てきたので、いろんな事を考えてしまいます。

臨職の場合、全く異動を希望してない事を伝えても異動を命じられる場合がありますか?
また異動の場合は退職を考えています。

みなさんの周りで今まで、そう言ったパターンはありますか?