msdd’s blog

deep learning勉強中。プログラム関連のこと書きます。

Githubのトレンドを取得するGithub Unofficial Trending API

はじめに Github Unofficial Trending API ブラウザで試してみる 使い方 リポジトリのトレンドを取得 開発者のトレンドを取得 pythonで実行 まとめ はじめに GithubのTrendingをコードから取得したいと思いAPIがないか探した。 Github API v4のドキュメント…

Github API v4を使ってみる(1)動かしてみる

はじめに 使ってみる 1. GraphQL Explorerを使う方法 2. アクセストークンを使う方法 おわりに 参考サイト はじめに Githubの情報(リポジトリやスター数など)をコードから取得できる、Github APIがある。 Github APIのバージョンにはv3とv4がある。v3はREST …

PyTorchでの学習の進み具合をプログレスバーで表示してみる

はじめに 学習時にバーを表示させる バージョン import文とパラメータ データセットの用意 モデル、optimizer、ロス関数を用意 学習でプログレスバー表示 まとめ はじめに 前回、tqdmを使って、プログレスバーを表示してみた。 msdd.hatenablog.com 今回は、…

ニューラルネットワーク学習時に進み具合を表示する簡単な方法

はじめに tqdmとは プログレスバーの表示 使用ライブラリとバージョン 試してみる まとめ はじめに ニューラルネットワークの学習で、進行度合を文字ではなく、 プログレスバーのような目で見える形にするとわかりやすい。 tqdmというライブラリを使い、学習…

Google Colab Proを使いたかった(使えなかった)

はじめに Google Colab Pro使いたかった おわりに はじめに Google ColabでGPU付でニューラルネットワークの学習を行っていたら、 約6時間ぐらいの所でプログラムが止まってしまった。 その後、再実行使用とすると下のようなGPUバックエンドに接続できません…

PyTorchでOne Hotに変換する

はじめに 変換方法 使い方サンプル まとめ はじめに PyTorchでOneHotに変換する方法がわからなかったので調べた。 変換方法 One Hotに変換するには、torch.nn.functionalにあるone_hot()という 関数を使うことで変換できる。 PyTorchのバージョンは、v1.1.0…

imgaugでbounding boxを表示

はじめに imgaugとは bounding boxの表示 使用ライブラリのバージョン データの用意 bounding boxの描画 おわりに 参考 はじめに 物体検出では、物体の位置を表示する方法として、検出した物体を矩形(bounding box、バウンディングボックス)で囲む方法がある…

TorchvisionでIoUの計算

はじめに IoUとは IoUを求めてみる バージョン 使った関数 Google Colabで試した 一方の矩形にもう一方の矩形が含まれている例 2つの矩形が重ならない例 一部が重なる例 入力のboxesが複数ある例 つまった点 まとめ 参考サイト はじめに 物体検出の評価指標…

PyTorchでPascal VOCデータセット を使ってみた

はじめに Pascal VOCとは VOCDetectionクラス 試してみた バージョン Google Colabで実行 つまづいた点 まとめ はじめに Object DetectionのデータセットPascal VOCデータセットをPyTorchで使ってみた。 Pascal VOCとは Pattern Analysis, Statistical Model…

TensorBoardにおけるデータのSmoothingのアルゴリズム

はじめに smoothingのアルゴリズム stack overflowでの回答 tensorboardでの実装 コードで試す メモ まとめ 参考サイト はじめに tensorboardでスカラー表示のグラフのところに、smoothingを変更するスライダーがある。 名前的に滑らかさを調節するスライダ…

AI最先端技術を調べられるサイト

紹介 どんなの 分野ごとのページ タスクページ データセットページ 個人的に気になった研究 Lipreading Face Generation Code Generation おわりに 紹介 どんなの Papwers With Code というサイト。現在のAI研究がどんな研究がされているのか見れる。 AI研究…

Safebooruからアニメ画像ダウンロード

はじめに 画像ダウンロード 今後 コード置き場 参考サイト はじめに GANでアニメ画像生成したい。そのためには、データとして大量のアニメ画像を集める必要がある。 スクレイピングするのと、動画のSSとる方法があるが、今回は、楽そうな方のスクレイピング…

PyTorchのネットワーク構造を可視化できるものを探してみた

はじめに 可視化手法 1. onnxに変換してnetronで見る 2. tensorboard 3. pytorchvizで見る 参考サイト はじめに PyTorchでネットワーク構造を見たいけど、何使えばいいかわからなかったので、探した。 import torch import torch.nn as nn import torch.nn.f…

Google Colab上でTensorBoardを使う

はじめに 環境 実行 ログファイルの準備 tensorboardを起動する準備 tensorboard起動 気になる点、今後 参考サイト はじめに google colab上でtensorboardを使えるみたいだったので、試してみた。 環境 使用ブラウザ: Firefox 71.0 torch 1.3.1 torchvision …

Google Colabで使われているgpuの種類の調査

はじめに gpuの調査 gpuの種類 GeForceシリーズと比較 nvidia-smiで取得したSS おわりに はじめに Google ColaboratoryにはGPUガチャがあるよという話 - Qiita この記事読んで、google colabのgpuでも色々な種類のものがあることを知った。 画像や動画でdeep…