Leaky ReLU 関数 計算
入力 x と傾き α から Leaky ReLU の値 f(x) と微分を計算します。x が負のとき αx、正のとき x を返し、グラフでも確認できます。
入力
x と負側の傾き α を入力すると、Leaky ReLU の値 f(x) と微分を計算します。
活性化関数に通す入力値です。
x が負のときの傾きです。一般に 0.01 が使われます。
計算結果
f(-2) =
-0.02
微分 f''(x)
0.01
傾き α
0.01
適用範囲
x ＜ 0（f = αx）
Leaky ReLU のグラフ
計算方法・使い方
- Leaky ReLU は f(x)=x（x≥0）、f(x)=αx（x<0）と定義される活性化関数です。α は負側の傾き（既定 0.01）です。
- 微分は x>0 で 1、x<0 で α です。x=0 は不連続点で、本ツールでは慣例として f'(0)=1 を採用します。
- 標準 ReLU は負側が常に 0 になり勾配も 0 になるため、学習が止まる dying ReLU が起きやすいです。Leaky ReLU は負側に小さな傾き α を残すことでこの問題を緩和します。
- α を学習可能なパラメータにしたものは PReLU と呼ばれます。
関連する計算ツール
ソフトプラス関数 計算機
数学ソフトプラス関数 softplus(x)=ln(1+eˣ) とその微分（シグモイド）、ReLU との差を計算。機械学習の活性化関数をグラフ付きで可視化します。
計算する →ReLU関数 計算ツール
数学ReLU関数 relu(x)=max(0,x) の値と微分を計算します。ニューラルネットワークの活性化関数を直感的に確認できます。
計算する →ソフトサイン関数 計算機
数学ソフトサイン関数 softsign(x)=x/(1+|x|) と微分を計算。ML活性化関数として tanh と比較できます。
計算する →シグモイド関数 計算機
数学x を入力してシグモイド関数 σ(x)=1/(1+e^(-x)) と1次・2次微分を計算。曲線グラフ付き。
計算する →
お客様の声
このツールを使った感想をお聞かせください。
レビューを投稿する
- ホーム
Leaky ReLU 関数 計算