[プログラム]−>[アクセサリ]−>[エクスプローラ]でエクスプローラを起動させます。 　　

[ツール]−>[フォルダオプション]で設定画面を開きます。

[表示]タブをクリックして設定画面を切り替えます。

「登録されているファイルの拡張子は表示しない」という項目のチェックが入っているのでこれをはずして右下の「適用」ボタンをクリックしたら設定が変わります。

ＯＫボタンで画面を閉じて、終了します。
ちゃんと設定が変わったか確認してみましょう。
　

マイコンピュータをダブルクリックします。

（たぶん）ローカルディスク（：Ｃ）という箱の絵のアイコンをダブルクリックします

画面をスクロールさせて、ここでconfig.sysという名前のファイルがあったら　ＯＫです。（ＸＰもこのファイルがあるのかちょっと不安だけど(^^;）