「逆」なのです。会話が苦手であることの第一の原因は単語力と熟語力が貧困であるためです。
又、読書量が足りないため英文の構成に不慣れで、言葉がうまくつながりません。
会話に上達する最良の方法は、逆説のように思えますが、多く読むことです。
そして単語力を増やし、自分で音読することによって聴き取る力もつきます。
あとは慣れと度胸だけです。