直接に pip install pytorch は CPU 版であり、GPU を使用することはできません。以下のコマンドを使用してインストールしてください。
pip3 install torch==1.4.0+cu100 torchvision==0.5.0+cu100 -f https://download.pytorch.org/whl/torch_stable.html
1.4.0 はバージョンですが、ここで間違えて入力しても問題ありません。利用可能なバージョンが表示されます。
cu100 は CUDA バージョン 10.0 を表します。