はじめに pythonを用いてモノラル音源から、擬似的な立体音響音声を生成してみます。 立体音響とは 人間は、目をつむっていても周囲の音が何処からなっているのか判断する事が出来ます。 これは、音が空気を伝搬する際にかかる時間や音の減衰などを、両耳の…

やりたいこと pydubで読み込んだ音声信号に対し、Sliding Windowしながら周波数スペクトラムを表示したい。

やりたいこと pydubで読み込んだ音声信号に対し、Sliding Windowをしながら波形をプロットしたい。 音声信号処理を行う場合は、読み込んだ信号全体に対して一気に処理を施すのではなく、短い時間の区間ごとに処理を施すそうです。 Computer Visionで言うなら…

やりたいこと pythonで音声ファイル(mp3, wav)を読み込み、時系列情報(numpy array)にしたい。

はじめに 今までは画像処理や画像認識ばっかりやってきたのですが、ふと音声も画像と同じパターン認識技術の一つだなぁと思い、ここは一つ音声も触れるようになりたいなと思いました。 一昔前は音声信号処理を頑張るにはC言語の開発環境とライブラリ群をイン…

やりたいこと opencvの画像は縦(Height)×横(Width)×チャンネル(Channel)のいわゆるHWC形式になっています。 それとは異なり、pytorchの画像ではチャンネル(Channel)×縦(Height)×横(Width)のCHW形式になっています。 numpy arrayとtorch tensorにおいて、HWC…

はじめに 前回、液体レンズの仕組みと基本構成について考えてみました。 nsr-9.hatenablog.jp 今回から実際に作っていきたいと思います。

はじめに 液体レンズとは、透明な液体で構成されたレンズの事で、電圧や力学的な力を加える事で屈折率を変えるレンズです。 少ないエネルギーで焦点距離を自由に変更できる為、産業用カメラやスマートフォン、次世代のメガネ等々への応用が期待される面白い…

はじめに 前回、位相限定相関法によるImage Registration手法で遊んでみました。 nsr-9.hatenablog.jp Image Registrationの一つの応用先として、外観検査装置があります。 外観検査装置は、工場のラインで流れてくる製品を高速度カメラで撮影し、傷や付着物…

はじめに 画像の位置合わせ（Image Registration）とは、異なる視点で撮影された2枚の画像の位置をいい感じにフィッティングする事です。 以下にサーベイ論文[1]にわかりやすい画像があったので、参照させてもらいます。 左上と右上の画像について、それぞれ…

はじめに pytorchでGANをやっているのですが、乱数源から顔画像を生成するtutorialを繰り返すのも芸がないので、白黒画像（グレースケール）からカラー画像を復元するタスクをやろうと思いました。 今回は、GANで取り組む前にPix2Pixという教師ありの画像生…

GAN GAN(generative adversarial networks)[1]とは、2014年に登場したNeural Networkの学習スキームです。 一般的なNeural Networkは入力ベクトルとそれに対応する正解ベクトルの写像（対応）関係を回帰する学習を行うのですが、GANでは敵対的学習という画期…

はじめに nsr-9.hatenablog.jp PytorchによるU-NetのImage Segmentationの続きです。 前回はDataLoader部分を実装したので、今回はLoss Functionを実装して実際に学習、推論をやっていきます。

はじめに nsr-9.hatenablog.jp この記事の続きです。 Pytorchを用いてU-NetのImage Segmentationをやっていきます。 前回はU-Netのモデルを定義したので、今回はDataLoader部分を作っていきます。

やりたいこと Image Segmentationはpixel単位でカテゴリIDを予測するタスクです。 教師画像の形式はLoss関数の関係上、カテゴリIDをそのまま扱うのではなく、One-Hot-Vectorで扱います。 One-Hot-VectorはカテゴリIDを2進数の様に扱うデータ表現であり、Neur…

はじめに Image Segmentationは画像を領域ごとに分割する技術であり、Conputre Vision技術の中でも特に汎用性の高い技術です。 応用範囲は非常に広く、医療画像解析や自動運転技術、工場の自動化、ロボティクス等々の様々な分野に応用されています。 以下に…