AndoridAutoが繋がらない件につき、原因と対処方法が概ね解りましたので報告します。（長文で失礼します。）
最終確認は現在、TOYOTAに依頼中です。

対処方法
車側（Navi側）のデータ通信コネクタ部分（おそらく、Type-Cになってるはずです。）にType-CからType－Aの変換アダプタを付けます。この際にこのアダプタが、USB3.0以上の規格でないとダメです。
そして、片側がUSB　Type－A、もう片側がUSB　Type－Cで、通信規格がUSB3.0以上（自分が実験したのは、Type－C側がUSB3.1GEN２のもので実験）の50㎝以下のケーブルで繋ぎます。（ケーブルが一定以上の長さになるとケーブル内の通信速度で挙動がおかしくなることが確認できました。50cmで実験すると、完璧に安定しました。2m以上のものだと不安定になることは解っていますが1mなら大丈夫ということまで検証できていません。）
この際に、変換アダプタは車側（Navi側）で、必然的にケーブルのUSB　Type－Aが車側（Navi側）になり、スマホ側がUSB　Type-Cになります。
これで、自分のTOYOTA　アルファード40系純正Naviと知人のプリウスXVW60の純正Naviでは、走行中でも正常作動しました。
自分のアルファードでは、AndoridAuto起動状態で2時間程度走行しましたが、不具合は発生せず、Spotifyの音楽もノイズ等もなく、Googleマップも正常作動しました。

原因
G兄さんが書かれている様に、スマホとNaviのホスト権限の奪い合いが原因です。
したがって、OTGケーブル（A-Cケーブル）を使うことによって、Navi側にホスト権限を固定することで解決できます。

他のTORQUE以外のスマホ（iPhoneは除く）でも、同様の現象が起こっていますが、これも概ね原因が判明しました。
まず、スマホのCPUの性能がNavi側よりも、圧倒的に劣っているとAndoridAutoの起動がNavi側で先に発生します。追随して、スマホのAndoroidAutoの起動が完了します。
この場合、普通にAndoridAutoが起動したかに見えますが、データ通信が一定量を超えると、やはり、どちらがホストか解らなくなって、挙動がおかしくなります。そこで、ケーブルの抜き差しなどをすると、繋がらなくなってしまいます。
TORQUEG05以前のモデルで最初はつながっていたのに、いつの間にか繋がらなくなったというのはこれが原因です。
この場合、スマホ側のAndoroidAutoのキャッシュデータとユーザーデータを「設定」→「アプリ」からAndoridAutoを探して消去して、Navi側も再起動して繋ぎ直すことで元にもどりますが、やはり、一定データ転送量を超えると挙動がおかしくなり、使えなくなります。

次に、皆さんがよく起こっている現象で、一瞬、スマホ側もNavi側も認識はするけど、AndoroidAutoが起動するに至らないで、認識したりしなくなったりを繰り返すという現象です。
これは、NaviのAndoroidAutoの起動中にスマホのAndoridAutoが起動を始めてしまい、双方の起動中にホスト権限に奪い合いを始めてしまします。
そうすると、認識するしないを繰り返すという現象が生じ、一定回数を超えるとNavi側に「AndoridAutoが接続されませんでした。」というメッセージが出ると思われます。
また、この状態だと、一応、スマホが充電されている様に見えますが、実際には接続と非接続を繰り返しているので低速充電になり、さらに、AndoridAutoの起動を繰り返すのでスマホが過熱したり、充電の消費量が大きく、充電速度よりも消費速度が上回っている様です。これは、スマホの電池を劣化させるし（TORQUEは電池交換が容易にできますが）、スマホそのものへの影響もあるので、この状況は放置しない方が良いと考えられます。

そして、全く反応しないというパターンです。
これは、Navi側とスマホ側が完璧にAndoridAutoの起動が同時に起こると、ホスト権限の奪い合いすらできずに、双方認識しないという形になります。

6月26日に掲載させて頂いた通り、A-Cケーブル（OTGケーブル）で、かなりの確率で繋がるが100%ではないと書きましたがその原因も特定できました。
まず、自分の使っていた変換アダプタ、A-CケーブルともにUSB2.0の物を使っていました。この場合、一定の通信量を超えるようなことをさせると、通信速度の問題でGoogleマップがついてこれなくなったり、音楽にノイズが入ったりします。

実際にNaviではなく、パソコンにAndoridAutoのテストモードを入れて（これは普通にはできないので、真似はしないでください。また、決して、スマホのAndoroidAutoのプログラムを書き換えたりしないでください。責任は取れません。）、C-Cケーブルで繋ぐと、ホスト権限の奪い合いを始めます。これはパソコンにホスト権限を与えることで、正常作動ができるようになりました。パソコンだから、できるのであって、Naviだと自分でいじれないので、ここまでが限界でした。
おそらく、多くのNaviはOSがLinuxでその上にAndoroidAutoを起動させていると考えられます。自分がPCで行ったのはWindows上にAndoroidを立ち上げて行ったのですが、おそらく、条件は一緒なので、ホスト権限の固定と通信速度の確保ができれば、解決します。

一応、このことをTOYOTAに話して、実際にそうなのかを確認して貰っています。

もっとも、これが原因だとすると、Naviメーカーや車メーカー、スマホメーカーもキャリアも誰も悪くないので、どこのサポートにお願いしても直せないということになります。
結局はGoogle社が改善してくれないとということになりますが、NaviがLinux上で動いていると、そこはGoogle社も手が出しにくいのかもしれません。