借り換えへのアドバイスお願いします。

[ばにら]

主人：年収580万円、39歳
私　：年収120万円、37歳
子供：5歳

新築物件価格：4000万円
借入額：3200万円（頭金800万円）
現在月々11万6千円ほどの返済。（ボーナス払いなし）（延滞歴なし）
貯金：約300万円
その他ローンなし

３年前の新築時（一戸建て）の借り入れ審査で主人の事故情報が発覚しました。
詳しくは長くなるので省きますが、
主人自身の借り入れではなく当時の恋人が主人のキャッシュカードで
勝手に借り入れていたらしいです。（12年以上くらい前）
その後スグ主人は他県へ引っ越しを重ねたため、督促などなく全く気づかなかった借金です。
（全く無知な主人のため、郵便の転送手続きや銀行の解約など全くしていなかったようです）

完済していない状態で事故になっており、JA、ろうきん、静岡中央銀行で落ちました。
結局、静岡在住という事もありスルガ銀行で借りる事に・・・。（兄弟も勤務してます）
でも金利高いんですよね・・・。現在変動金利で2.6%くらいです。

事故になっていた借金は三井住友銀行だったのですが、
新築時の審査の数々で主人の所在が分かったからなのか返済を求める通知が来ました。
借金額は３０万円程だったのですが、無知な主人へお説教の気持ちもこめて
月々こずかいから返済させ、先月一括完済させて完済証明ももらいました。
今となっては早急に完済しておけばよかったと悔やまれます。本当に後悔してます。
しかも、月々返済中度々延滞もしていたようで、ほんと情けないです・・・。

前置き長くなりましたが、
こんな状況ですが、なにゆえスルガ銀行の高金利の為、早い借り換えを望んでいます。
まだまだ期間はかかるのは覚悟して、私も一生懸命働いていますが
信用情報開示し始めたりする時期としては何年後あたりを考えればよいのでしょうか？
三井住友の債権回収担当者は「半年後には大丈夫」と言ってましたが、
こちらで案外厳しいようなご意見が多いのでかなり落ち込んでいます。
とにかく借り換え目指してがんばりたいのでアドバイスいただければ嬉しいです。

現在貯金の中で100万円余裕資金があるので繰り上げ返済しようと思うのですが、
とりあえず繰り上げ返済はしておいた方が良いですよね？