プロジェクト内の各オブジェクトをツリー状の一覧で表示し操作できるものです。

Windowsの「エクスプローラー」のように操作できるという意味でしょうか

「プロジェクトエクスプローラー」はここ(赤枠)の部分です。
これは「Visual Basic Editor」では初期的な配置であって、ドラッグさせることで移動もできます。



画像の状態はサンプル用ワークブックを１つ開いた状態です。
太字の行(VBAProject)がプロジェクトの行ですが、VBAではワークブックの単位となり、カッコ内にワークブック名が表示されます。 プロジェクト名の「VBAProject」はワークブック作成時の初期値ですが任意名に変更可能です。
プロジェクトに従属したアイテム(オブジェクト)がプロジェクトの下にツリー状に表示されますが、 上の画像のような単純表示の他、下の画像のようにオブジェクトの種類のグループ別の表示も可能です。(グループ別がデフォルト)





このワークブックはワークシートが１つだけですが、ワークシートの行は実際のシート数分表示され、カッコ内にワークシート名が表示されます。
「ThisWorkbook」とワークシート(Sheet1等)はワークブックによって自動的に作成されますが、 この画像にある「clsSample1(クラスモジュール)」と「Module1(標準モジュール)」は このプロジェクトで追加したものです。ユーザーフォームの追加もここに表示されます。



プロジェクトに従属したアイテム(オブジェクト)の右クリックではこのようにメニューが表示され、所望する操作ができます。
「挿入」ではさらに選択サブメニューが表示され「ユーザーフォーム」「標準モジュール」「クラスモジュール」のいずれかを選択して挿入させることができます。
作成済みのオブジェクト(ユーザーフォーム、標準モジュール、クラスモジュール)についてはドラッグ操作でもインポートやエクスポートができます。