何かアプリの通知音でしょうか。
変化点を探る必要がありそうですね。

5G (Android13)ではスタート画面音を設定するとロック解除後に小さくコツンと音がします。

G06をお使いだったと思います。自分は5Gですのでアドバイスにならないかも知れませんが参考までに。

設定→音とバイブレーション→スタート画面音をOFFでどうでしょう？
G04です。

再起動時はお約束の音が鳴るだけで、他の音が鳴ったことはありません。
その音を止める設定はわからないです。G04です。