つながってるの

教えてほしいのですが、私は4月から庁舎の臨時で仕事していましたがやむをえない理由で12月末で退職しました。それまでも色々退職したい理由は多々ありましたが残り3ヶ月という所で家庭の事情で退職しました。それについては後悔はしていません。ただその事は関係者以外知らないはずなのですが、3月まで財団で臨時をしていた時の方とたまたま出会い「仕事退職したの知ってるよ」って言われびっくりしています。そういう公務の仕事というのは何かつながりの様なものがあるのでしょうか。何か入り込んでほしくないプライベートの事まで監視されている様でとても不愉快です。さらに働けるようなら4月からまた財団で働いてくれないかとも言われました。とりあえずあいまいな返事をしておきましたが・・・財団は任期満了で退職したのですが、出戻りは嫌です。それに公務関係すべてつながっているのなら4月からの職場の事もすべてお見通しって事ですよね。きっといいように言われてないと思います。一体どんな連絡網があるのでしょうか。御存知の方教えて下さい。それと私はどの様な対処をすればいいでしょうか。