産休代替です。更新の継続を断った場合、役所での採用不利になりますか

産休代替で働いています。職員のもとで事務補助の仕事をしてもらうと面接で言わたため給料はアルバイト程度です。

働き始めると仕事は、責任が重い大きな仕事を丸ごと任され、職員に尋ねてもお任せしますと言われます。
残業した場合でも残業代はでませんと言われました。
また、東京出張もあったり、定時過ぎからの懇親会の出席もお願いされており、これはひどいのではないかと思うようになりました。
契約更新の話も持ち上がっていますが、お断りしようかと思っています。
仮に、違う課の応募した場合、更新できるにも関らず断ったことが理由で不利になりますか？
今度は産休代替は選びません。もうこりごりです。