2 posts tagged with "PyTorch"

リモートサーバーからデータセットをwgetすると、403 Forbiddenが出ました。 (wget <URL> -dで確認すると、You don't have permission to access <URL> といわれていました)。 いつもはsshでデータを送っていたのですが、今回は600GBを超えていました. (ローカルはあと5GBしかない...)

データセットを自動setupしてくれるscriptが、最近試したnvidiaのサンプルコードにあったので、 参考にして、Pythonで何とかしようとしました。 (メモリがあふれていたのとデータが大きすぎて途中で止めていたことに気づかず結構はまりました。)

requests.Sesssionの.iter_contentでメモリを分けてダウンロードし、 tqdmでプログレスバーを表示させるとうまくいきました。

自分用のメモです。英弱なので、ざっくり読んで、 重要そうな部分をひたすらgoogle先生に聞いて読んでます。 GAN全く詳しくないので間違ってる箇所多いと思います。