カテゴリー

Python基礎

【python&フィッティング】polyfitとcurve_fitでfitting

2021年7月15日

こんな人にオススメ

pythonを使ってデータを関数とか既存の他のデータにフィットさせたい(フィッティング)。どうしたらいい?

ということで今回はpythonを使ってデータをフィッティングする方法について解説する。pythonでのフィッティングの方法はいくつかあるが、今回はnumpypolyfitscipycurvefitにフォーカスする。

python環境は以下。

  • Python 3.9.4
  • numpy 1.20.3
  • scipy 1.6.3
  • plotly 4.14.3
  • plotly-orca 3.4.2

運営者のメガネです。YouTubeTwitterInstagram、自己紹介はこちら、お問い合わせはこちらから。

運営者メガネ

下準備

import sys
import numpy as np
import scipy.optimize
import plotly.graph_objects as go
import plotly.io as pio

sys.path.append('../../')
import plotly_layout_template as template

まずは今回使用するモジュールのimportplotly_layout_templateは自作関数で、2つ上のディレクトリに置いているので../../で移動している。詳細は以下参照。

【随時更新 備忘録】plotlyのグラフ即席作成コード

続きを見る

1, 2次関数をfit(np.polyfit

まずはnumpypolyfit。これは1次関数や4次関数などの多項式をfitするための関数で、多項式なら簡単にfitすることができる。一方で複雑な関数には対応できないので、その場合は後述のscipy.optimize.curve_fitを使用する。

グラフ作成の準備

def scatter(mode, x, y, name, symbol):
    """plotlyのScatterの雛形関数

    Parameters
    ----------
    mode : str
        プロットの種類
    x : array
        横軸の値
    y : array
        縦軸の値
    name : str
        プロットの名前
    symbol : str
        プロットのマーカー

    Returns
    -------
    plotly.graph_objs._scatter.Scatter
        plotlyのScatterデータ
    """

    d = go.Scatter(
        mode=mode,
        x=x, y=y,
        name=name,
        marker=dict(symbol=symbol),
        hovertemplate=f"{name}<br>"
        + 'x: %{x} <br>'
        + f"{name}" + ': %{y} <br>'
        + "<extra></extra>",
    )

    return d

今回はfitさせたのち、元のプロットとfit後のプロットをグラフ化する。そのために関数を2種類用意する。ますはデータのプロットを表すscatter関数。データ配列x, yを入れるだけでplotlyのプロット配列を作成することができる。

また、グラフ自体を作成するためにgraph関数も定義した。

def graph(x, y, fit, title: str, save_name: str):
    """fitしたい、fit後のプロットをグラフ化

    Parameters
    ----------
    x : array
        横軸の値
    y : array
        fitしたいデータ
    fit : array
        fit後のデータ
    title : str
        グラフタイトル
    save_name : str
        ファイル保存名
    """

    y_dct = {'y': y, 'fit': fit}
    m_dct = {'y': 'markers', 'fit': 'lines+markers'}
    s_dct = {'y': 'circle', 'fit': 'triangle-up'}

    plot = []
    for name, val in y_dct.items():
        d = scatter(
            mode=m_dct[name],
            x=x, y=val, name=name,
            symbol=s_dct[name],
        )
        plot.append(d)

    layout = go.Layout(
        template=template.plotly_layout(),
        title=dict(text=f"{title}",),
        xaxis=dict(title='x',),
        yaxis=dict(title='y',),
    )

    fig = go.Figure(data=plot, layout=layout)
    fig.show(config=template.plotly_config())

    pio.write_html(
        fig, f"{save_name}.html",
        auto_open=False, config=template.plotly_config()
    )
    pio.write_image(fig, f"{save_name}.png")

y_dctで元のデータとfitしたデータを1つのdictに入れてそれをプロットする。ここでさっきのscatter関数を使用してコードを短めにしている。

データの作成

x = np.arange(20)
print(x)
# [ 0  1  2  3  4  5  6  7  8  9 10 11 12 13 14 15 16 17 18 19]

横軸の値は上に示すように0から19までを1刻みの合計20データ。縦軸の値は多項式なので、以下のget_polyfit関数でデータを作成、さらにfitまで行う。引数のpowerは何次関数のデータを作成するのか、orderはそれを何次関数でfitするのかを示す。

また、c_tfはfitの共分散行列を、f_tfはランクなどのデータをfit時に取得するかどうかを表す。なお、c_tff_tfは同時に使用することができない。

def get_polyfit(power: int, order: int, c_tf=False, f_tf=False):
    """線形関数を引数で作成
    作成したデータをnumpyのpolyfitで線形fit

    Parameters
    ----------
    power : int
        作成データの次数
    order : int
        fitの次数
    c_tf : bool, optional
        分散行列を出力するか否か, by default False
    f_tf : bool, optional
        パラメータ、残差、ランク、
        特異点の値?、特異値のカットオフ比?を出力するか否か, by default False

    Returns
    -------
    [type]
        tuple
            作成データ
            fitパラメータ
            fit結果
    """

    # データの作成
    y = []
    for i in range(20):
        np.random.seed(seed=i)  # 各データでseedを変更する
        val = i + np.random.rand()  # 乱数によるズレを大きくする
        y.append(val ** power)
    y = np.array(y)

    # numpyで線形fitし係数を係数を計算
    if c_tf:  # パラメータ、共分散を出力
        par, cov = np.polyfit(x, y, order, cov=True)
        fit = np.poly1d(par)(x)  # 係数からfit配列を作成
        return y, par, cov, fit

    elif f_tf:  # パラメータ、残差、ランク、特異点の値?、特異値のカットオフ比?を出力
        par, res, rank, singular, rcond = np.polyfit(x, y, order, full=True)
        fit = np.poly1d(par)(x)
        return y, par, res, rank, singular, rcond, fit

    else:  # パラメータだけ出力
        par = np.polyfit(x, y, order)
        fit = np.poly1d(par)(x)
        return y, par, fit

多項式データはxごとに乱数を別に作成して一定の乱数値にならないようにしている。また、今回はf_tfは使用しないが、何かしら必要な時は使用するといいだろう。

1次関数っぽいデータを1次関数でfit

# 1次関数っぽいのを1次関数でfit
y, par, fit = get_polyfit(power=1, order=1)
print(f"y: {y}")
# y: [ 0.5488135   1.417022    2.4359949   3.5507979   4.96702984  5.22199317
#   6.89286015  7.07630829  8.8734294   9.01037415 10.77132064 11.18026969
#  12.15416284 13.77770241 14.51394334 15.8488177  16.22329108 17.294665
#  18.65037424 19.0975336 ]
print(f"par: {par}")
# par: [0.99143382 0.55671386]
print(f"fit: {fit}")
# fit: [ 0.55671386  1.54814769  2.53958151  3.53101533  4.52244916  5.51388298
#   6.50531681  7.49675063  8.48818446  9.47961828 10.47105211 11.46248593
#  12.45391975 13.44535358 14.4367874  15.42822123 16.41965505 17.41108888
#  18.4025227  19.39395653]

まずは1次関数っぽいデータ配列を1次関数でfitする。既に関数を定義しているので、引数に1次関数のデータを作成、1次関数でfitという情報を入れると完成。実際にグラフ化する時は以下のコードでグラフ化する。

# グラフ作成
graph(
    x=x, y=y, fit=fit,
    title='linear', save_name='linear_polyfit',
)

2次関数っぽいデータを1次関数でfit

# 2次関数っぽいのを1次関数でfit
y, par, fit = get_polyfit(power=2, order=1)
print(f"y: {y}")
# y: [3.01196262e-01 2.00795136e+00 5.93407116e+00 1.26081657e+01
#  2.46713854e+01 2.72692127e+01 4.75115211e+01 5.00741390e+01
#  7.87377494e+01 8.11868424e+01 1.16021348e+02 1.24998430e+02
#  1.47723674e+02 1.89825084e+02 2.10654551e+02 2.51185022e+02
#  2.63195173e+02 2.99105438e+02 3.47836459e+02 3.64715790e+02]
print(f"par: {par}")
# par: [ 19.74311333 -55.28141636]
print(f"fit: {fit}")
# fit: [-55.28141636 -35.53830303 -15.7951897    3.94792362  23.69103695
#   43.43415028  63.17726361  82.92037694 102.66349026 122.40660359
#  142.14971692 161.89283025 181.63594357 201.3790569  221.12217023
#  240.86528356 260.60839689 280.35151021 300.09462354 319.83773687]

お次は2次関数っぽいデータだが、初めは1次関数でfitすることとする。2次関数っぽいからといって必ず2次関数でfitする必要はない。時と場合によっては1次関数でfitするのが正しい時もあるかもしれない。グラフ化以下。

graph(
    x=x, y=y, fit=fit,
    title='linear (quad)', save_name='linear_quad_polyfit',
)

2次関数っぽいデータを2次関数でfit

# 2次関数っぽいのを2次関数でfit
y, par, fit = get_polyfit(power=2, order=2)
print(f"y: {y}")
# y: [3.01196262e-01 2.00795136e+00 5.93407116e+00 1.26081657e+01
#  2.46713854e+01 2.72692127e+01 4.75115211e+01 5.00741390e+01
#  7.87377494e+01 8.11868424e+01 1.16021348e+02 1.24998430e+02
#  1.47723674e+02 1.89825084e+02 2.10654551e+02 2.51185022e+02
#  2.63195173e+02 2.99105438e+02 3.47836459e+02 3.64715790e+02]
print(f"par: {par}")
# par: [ 0.96144676  1.47562492 -0.47895115]
print(f"fit: {fit}")
# fit: [ -0.47895115   1.95812053   6.31808573  12.60094445  20.80669668
#   30.93534243  42.98688169  56.96131447  72.85864076  90.67886058
#  110.4219739  132.08798075 155.67688111 181.18867498 208.62336238
#  237.98094328 269.26141771 302.46478565 337.59104711 374.64020208]

続いて2次関数っぽいデータを2次関数でfitする。先ほどと異なるのはfitの次数を表すorder2にするというとこ。これに伴ってパラメータは3つになる。グラフは以下。

graph(
    x=x, y=y, fit=fit,
    title='quad', save_name='quad_polyfit',
)

適当に作成した3次関数を3次関数でfit

# 適当に3次関数
y = 0.05 * x ** 3 - 1.1 * x ** 2 + 10 * x ** 1 + 1.5 * x ** 0
par = np.polyfit(x, y, 3)  # numpyで線形fitし係数を係数を計算
fit = np.poly1d(par)(x)  # 係数からfit配列を作成

print(f"y: {y}")
# y: [  1.5   10.45  17.5   22.95  27.1   30.25  32.7   34.75  36.7   38.85
#   41.5   44.95  49.5   55.45  63.1   72.75  84.7   99.25 116.7  137.35]
print(f"par: {par}")
# par: [ 0.05 -1.1  10.    1.5 ]
print(f"fit: {fit}")
# fit: [  1.5   10.45  17.5   22.95  27.1   30.25  32.7   34.75  36.7   38.85
#   41.5   44.95  49.5   55.45  63.1   72.75  84.7   99.25 116.7  137.35]

最後は適当に作成した3次関数を3次関数でfit。まあ同じ。パラメータは4つ。

graph(
    x=x, y=y, fit=fit,
    title='cubic', save_name='cubic_polyfit',
)

np.polyfitでパラメータの誤差を求める

fitでパラメータを決めたがこのパラメータには誤差(エラー)がある。ここではnumpy.polyfitでのfitの誤差を求める。

誤差を求めるにはget_polyfit関数の引数c_tfTrueにして共分散行列を出力。そのあと、そのnp.diagで対角線をとり、その平方根を取ることで誤差が計算できる。共分散行列とか細かいことは省略する。$S_{xx}$と$S_{yy}$を使用している。

1次関数っぽいのを1次関数でfit

y, par, cov, fit = get_polyfit(power=1, order=1, c_tf=True)
print(f"par: {par}")
# par: [0.99143382 0.55671386]
print(f"cov: {cov}")
# cov: [[ 0.00014713 -0.00139776]
#  [-0.00139776  0.01817087]]

まずは1次関数っぽいのを1次関数でfitするパターン。共分散行列はcovで表している。これの対角線の平方根を計算してパラメータの誤差を計算可能。

# 共分散行列の対角線の平方根がフィット係数の誤差に該当
err = {}
for num, p in enumerate(np.sqrt(np.diag(cov)), 1):
    err[f"err{num}"] = p
print(err)
# {'err1': 0.012129820997481852, 'err2': 0.1347993725605669}

ちなみに本来は有効数字とか考えないといけないが今回は無視。

2次関数っぽいのを1次関数でfit

# 2次関数っぽいのを1次関数でfit
y, par, cov, fit = get_polyfit(power=2, order=1, c_tf=True)
print(f"par: {par}")
# par: [ 19.74311333 -55.28141636]
print(f"cov: {cov}")
# cov: [[  1.42853734 -13.57110475]
#  [-13.57110475 176.42436176]]

# 共分散行列の対角線の平方根がフィット係数の誤差に該当
err = {}
for num, p in enumerate(np.sqrt(np.diag(cov)), 1):
    err[f"err{num}"] = p
print(err)
# {'err1': 1.1952143498851289, 'err2': 13.282483267753786}

2次関数っぽいのを1次関数でfitバージョン。

2次関数っぽいのを2次関数でfit

# 2次関数っぽいのを2次関数でfit
y, par, cov, fit = get_polyfit(power=2, order=2, c_tf=True)
print(f"par: {par}")
# par: [ 0.96144676  1.47562492 -0.47895115]
print(f"cov: {cov}")
# cov: [[ 2.91899204e-03 -5.54608488e-02  1.66382546e-01]
#  [-5.54608488e-02  1.13081752e+00 -3.89335159e+00]
#  [ 1.66382546e-01 -3.89335159e+00  1.90008868e+01]]

# 共分散行列の対角線の平方根がフィット係数の誤差に該当
err = {}
for num, p in enumerate(np.sqrt(np.diag(cov)), 1):
    err[f"err{num}"] = p
print(err)
# {'err1': 0.05402769699957549, 'err2': 1.0633990396311224, 'err3': 4.35900066588794}

2次関数っぽいのを2次関数でfitバージョン。2次関数でfitするのでパラメータが3種類になる。これに伴って誤差も3種類になる。

1, 2次関数をfit(scipy.optimize.curve_fit

上で見たnumpy.polyfitは多項式関数を使用するときにはお手軽でいいんだけど、多項式関数以外の場合はfitできない。まあ名前がpolyfit(polynomial: 多項式)なのでしゃーない。

じゃあ、多項式関数以外はfitできないかというとそうではない。scipy.optimize.curve_fitを使用することで任意の関数にfitさせることが可能。ここからはこのcurve_fitを見ていく。

データ・グラフ作成の準備

def get_poly(power: int):
    # データの作成
    arr = []
    for i in range(20):
        np.random.seed(seed=i)  # 各データでseedを変更する
        val = i + np.random.rand()  # 乱数によるズレを大きくする
        arr.append(val ** power)
    arr = np.array(arr)

    return arr

まずはデータ作成の準備としてget_poly関数を定義。polyfitとは異なり、この関数では単純に多項式関数の作成のみ。また、横軸の値は先ほどと同様、0から19まで1刻み。

# 横軸の値
x = np.arange(20)
print(x)
# [ 0  1  2  3  4  5  6  7  8  9 10 11 12 13 14 15 16 17 18 19]

さらに再度scatter関数、graph関数を使用するので以下に再掲する。確認したい方は開いてほしい。

1次関数っぽいデータを1次関数でfit

def linear(x, a, b):
    y = a * x + b
    return y

arr = get_poly(power=1)
par, cov = scipy.optimize.curve_fit(f=linear, xdata=x, ydata=arr)
fit = linear(x, *par)

curve_fitを使用するには予めfitしたい関数の形を定義しておかないといけない。今回は1次関数っぽいデータを1次関数でfitするので、1次関数の形状のlinear関数を定義した。

arrで縦軸の値(fitしたいデータ)を作成、scipy.optimize.curve_fitの引数でfitしたい関数と横・縦軸の値を指定すれば良い。戻り値はパラメータと共分散行列。それぞれparcovに代入した。

あとはlinear関数に横軸のxとパラメータparを展開して入れればfit関数が出来上がる。それぞれの出力値は以下。微妙にpolyfitとズレているので使用する際には桁数に注意が必要。

print(par)
# [0.99143383 0.55671385]
print(cov)
# [[ 0.00014713 -0.00139776]
#  [-0.00139776  0.01817087]]

print(fit)
# [ 0.55671385  1.54814768  2.5395815   3.53101533  4.52244915  5.51388298
#   6.5053168   7.49675063  8.48818445  9.47961828 10.4710521  11.46248593
#  12.45391975 13.44535358 14.43678741 15.42822123 16.41965506 17.41108888
#  18.40252271 19.39395653]

グラフ化しても内容は変わらないが、一応グラフ化。

graph(x=x, y=arr, fit=fit, title='linear', save_name='linear_curve_fit')

2次関数っぽいデータを1, 2次関数でfit

arr = get_poly(power=2)
par, cov = scipy.optimize.curve_fit(f=linear, xdata=x, ydata=arr)
fit = linear(x, *par)

print(par)
# [ 19.74311333 -55.28141636]
print(cov)
# [[  1.4285374  -13.57110512]
#  [-13.57110512 176.42436267]]

print(fit)
# [-55.28141636 -35.53830303 -15.7951897    3.94792362  23.69103695
#   43.43415028  63.17726361  82.92037694 102.66349026 122.40660359
#  142.14971692 161.89283025 181.63594358 201.3790569  221.12217023
#  240.86528356 260.60839689 280.35151021 300.09462354 319.83773687]

graph(
    x=x, y=arr, fit=fit,
    title='linear (quad)', save_name='linear_quad_curve_fit'
)

2次関数っぽいデータを1次関数でfitすると以下のグラフ。


また、2次関数っぽいデータを2次関数でfitすると以下のコード・グラフ。

def quad(x, a, b, c):
    y = a * x ** 2 + b * x + c
    return y

par, cov = scipy.optimize.curve_fit(f=quad, xdata=x, ydata=arr)
fit = quad(x, *par)

print(par)
# [ 0.96144676  1.47562492 -0.47895115]
print(cov)
# [[ 2.91900060e-03 -5.54610317e-02  1.66383223e-01]
#  [-5.54610317e-02  1.13082139e+00 -3.89336536e+00]
#  [ 1.66383223e-01 -3.89336536e+00  1.90009285e+01]]

print(fit)
# [ 0.51600726  1.5202958   2.52315604  3.52458798  4.52459161  5.52316695
#   6.52031398  7.51603271  8.51032314  9.50318526 10.49461909 11.48462461
#  12.47320183 13.46035075 14.44607137 15.43036368 16.41322769 17.3946634
#  18.37467081 19.35324992]

graph(x=x, y=arr, fit=fit, title='quad', save_name='quad_curve_fit')

scipy.optimize.curve_fitでパラメータの誤差を求める

polyfitでパラメータの誤差を求められたように、curve_fitでもパラメータの誤差を求めることが可能。polyfitと同じように共分散行列の対角線の平方根を計算すればいい。

1次関数

# 1次関数
x = np.arange(20)
arr = get_poly(power=1)

par, cov = scipy.optimize.curve_fit(f=linear, xdata=x, ydata=arr)
fit = linear(x, *par)

# 対角行列の平方根がパラメータのエラー
perr = np.sqrt(np.diag(cov))
print(perr)
# [0.01212982 0.13479937]

covは既に取得しているのでそのまま対角線を抽出、平方根をつける。

2次関数

arr = get_poly(power=2)

par, cov = scipy.optimize.curve_fit(f=linear, xdata=x, ydata=arr)
fit = linear(x, *par)

perr = np.sqrt(np.diag(cov))
print(perr)
# [ 1.19521437 13.2824833 ]

2次関数も同様。

sin, log, exp関数をfit(scipy.optimize.curve_fit

上で見てきた多項式函数については既にpolyfitで作成したので驚きはない。ここからはscipy.optimize.curve_fitで多項式以外の関数をfitしてみる。簡単な関数のみを使用するが、やり方は同じなので適宜、関数などを変更して使用していただければと思う。

sin関数っぽいデータをsin関数でfit

def sin_func(x, a, b):
    y = a * np.sin(x) + b
    return y

def get_sin(x):
    # sin関数っぽいデータの作成
    arr = []
    for num, i in enumerate(x):
        np.random.seed(seed=num)  # 乱数1
        coefficient1 = np.random.rand()
        np.random.seed(seed=num + 1)  # 乱数2
        coefficient2 = np.random.rand() / 10

        # 各xで乱数を変えながらsin関数を作成
        val = coefficient1 * np.sin(i) + coefficient2
        arr.append(val)
    arr = np.array(arr)

    return arr

# 横軸の値を変更(0から9.98まで0.02刻み)
x = np.arange(0, 10, 0.02)
arr = get_sin(x=x)

まず初めはsin関数だ。fit対象の関数は以下のように2つの変数を持ち、fitするデータはsinぽくなるように乱数を使用してデータを作成した。

$y\ =\ A\ *\ \sin(x)\ +\ B$

fit・グラフ化の方法は多項式と同じようにすればいい。変数が2種類なのでparで返される要素数も2となる。

par, cov = scipy.optimize.curve_fit(f=sin_func, xdata=x, ydata=arr)
fit = sin_func(x, *par)

print(f"par: {par}")
# par: [0.4563479  0.05557946]

graph(x=x, y=arr, fit=fit, title='sin', save_name='sin_curve_fit')

log関数っぽいデータをlog関数でfit

def log_func(x, a):
    y = np.log(x) + a
    return y

def get_log(x):
    # log関数っぽいデータの作成
    arr = []
    for num, i in enumerate(x):
        np.random.seed(seed=num)  # 乱数
        coefficient1 = np.random.rand() / 10

        # 各xで乱数を変えながらlog関数を作成
        val = np.log(i) + coefficient1
        arr.append(val)
    arr = np.array(arr)

    return arr

# 横軸の値を変更(1から5 + 0.01まで0.01刻み)
x = np.arange(1, 5 + 0.01, 0.01)
arr = get_log(x=x)

logも同じようにデータを作成してfitする。ただし、logの場合はx0だと負の無限になるのでスタートを1としておいた。

par, cov = scipy.optimize.curve_fit(f=log_func, xdata=x, ydata=arr)
fit = log_func(x, *par)

print(f"par: {par}")
# par: [0.04786226]

graph(x=x, y=arr, fit=fit, title='log', save_name='log_curve_fit')

exp関数っぽいデータをexp関数でfit

def exp_func(x, a, b):
    y = a * np.exp(x) + b
    return y

def get_exp(x):
    # exp関数っぽいデータの作成
    arr = []
    for num, i in enumerate(x):
        np.random.seed(seed=num)
        coefficient1 = np.random.rand()

        # 各xで乱数を変えながらexp関数を作成
        val = np.exp(i) + coefficient1
        arr.append(val)
    arr = np.array(arr)

    return arr

# 横軸の値を変更(0から1.5まで0.01刻み)
x = np.arange(0, 1.5, 0.001)
arr = get_exp(x=x)

exp関数の場合はxが大きすぎると値がぶっ飛ぶのでセーブするためxを小さめにした。

par, cov = scipy.optimize.curve_fit(f=exp_func, xdata=x, ydata=arr)
fit = exp_func(x, *par)

print(f"par: {par}")
# par: [0.49307665 0.47458626]

graph(x=x, y=arr, fit=fit, title='exp', save_name='exp_curve_fit')

ガウシアンと直線に乗ったガウシアンをfit(scipy.optimize.curve_fit

お次は、天文系の研究室出身の執筆者がよく使っていたガウシアンをfitしてみる。さらに通常のガウシアンだけではなく、直線に乗ったガウシアンもfitしてみる。

ガウシアンとはつりがね型の関数で、面積を1とした場合は以下の形の式となる。$\sigma,\ \mu$はそれぞれ標準偏差と平均値を表す。

$y\ =\ \cfrac{1}{\sqrt{2\pi}\sigma}\exp\left\{-\cfrac{(x\ -\ \mu)^2}{2\sigma^2} \right\}$

これを直線に乗せるとイメージは以下の式。

$y\ =\ \cfrac{1}{\sqrt{2\pi}\sigma}\exp\left\{-\cfrac{(x\ -\ \mu)^2}{2\sigma^2} \right\}\ +\ ax\ +\ b$

これで斜めになったグラフとなる。グラフ形状は以下で示すので見ていってほしい。

ガウシアンっぽいデータをガウシアンでfit

def gaussian_func(x, sigma, mu, b):
    eq1 = 1 / (np.sqrt(2 * np.pi) * sigma)
    eq2 = np.exp(-((x - mu) ** 2 / (2 * sigma ** 2)))
    y = eq1 * eq2 + b
    return y

def get_gaussian(x):
    # ガウシアンっぽいデータの作成
    arr = []
    for num, i in enumerate(x):
        np.random.seed(seed=num)
        coefficient1 = np.random.rand() / 100

        # 各xで乱数を変えながらガウシアン関数を作成
        eq1 = 1 / (np.sqrt(2 * np.pi))
        eq2 = np.exp(-((i - 1) ** 2) / 2)
        val = eq1 * eq2 + coefficient1
        arr.append(val)
    arr = np.array(arr)

    return arr

# 横軸の値を変更(-5から4.995まで0.01刻み)
x = np.arange(-5, 5, 0.005)
arr = get_gaussian(x=x)

ガウシアンと言ってもなんら怖くない。先ほど同様、ガウシアンの関数をdefしてそれをfitするのみ。もし、fitがうまくいかない時はcurve_fitの引数p0でパラメータの初期値を決めることができる。

今回の例では初期値がなくてもいけると思うが、もしうまくfitができない時はp0を設定してみるといいだろう。

# 初期値の設定は引数p0で行う
p0 = (0.1, 0.01, 0.1)
par, cov = scipy.optimize.curve_fit(f=gaussian_func, xdata=x, ydata=arr, p0=p0)
fit = gaussian_func(x, *par)

print(f"par: {par}")
# par: [0.49307665 0.47458626]

graph(x=x, y=arr, fit=fit, title='gaussian', save_name='gaussian_curve_fit')

直線に乗ったガウシアンっぽいデータをfit

def original_func(x, sigma, mu, a, b):
    eq1 = 1 / (np.sqrt(2 * np.pi) * sigma)
    eq2 = np.exp(-((x - mu) ** 2 / (2 * sigma ** 2)))
    y = eq1 * eq2 + a * x + b
    return y

def get_original(x):
    # 直線に乗ったガウシアンっぽいデータの作成
    arr = []
    for num, i in enumerate(x):
        np.random.seed(seed=num + 1)
        coefficient1 = np.random.rand() / 10
        np.random.seed(seed=num + 2)
        coefficient2 = np.random.rand() / 10

        # # 各xで乱数を変えながら直線に乗ったガウシアンを作成
        # val = (2 * np.sin(i)) + (coefficient1 * i + coefficient2)
        eq1 = 1 / (np.sqrt(2 * np.pi))
        eq2 = np.exp(-((i - 1) ** 2) / 2)
        val = eq1 * eq2 + coefficient1 * i + coefficient2
        arr.append(val)
    arr = np.array(arr)

    return arr

# 横軸の値を変更(-5から4.995まで0.01刻み)
x = np.arange(-5, 5, 0.005)
arr = get_original(x=x)

直線に乗っていようがいまいが、式として表せるなら簡単にグラフ化できる。

par, cov = scipy.optimize.curve_fit(f=original_func, xdata=x, ydata=arr, )
fit = original_func(x, *par)

print(f"par: {par}")
# par: par: [0.99708121 1.00936314 0.04816927 0.04833364]

graph(x=x, y=arr, fit=fit, title='original', save_name='original_curve_fit')

既存のデータにfit(scipy.optimize.curve_fit

直線に乗ったガウシアンも計算できた。これで無敵かと思ったけど、実はそうではなかった。大学院終了後も研究を続けているんだけど、その中で既存のデータ配列に他のデータ配列をfitしたい場面が出てきた。

予め関数形がわかっているものではないのでこれは大変。ということで試行錯誤して結局たどり着いたのが、逆算してfitさせるというもの。以下では既存データにfitする方法について解説。

fit対象のデータをarr_target、fitしたいデータをarrとすると以下のイメージでfitすることにする。

$arr\_target\ =\ c * arr\ +\ (ax+\ b)$

この式のarrを元のデータとしてガウシアン、arr_targetを直線に乗ったガウシアンとして進める。

fit対象のデータを作成

def get_gaussian_linear(x):
    # 直線にガウシアンが乗ってるっぽいデータの作成
    arr = []
    for num, i in enumerate(x):
        np.random.seed(seed=num)
        coefficient1 = np.random.rand() / 10 + 0.5

        # 各xで乱数を変えながらガウシアン関数を作成
        eq1 = 1 / (np.sqrt(2 * np.pi))
        eq2 = np.exp(-((i - 1) ** 2) / 2)
        eq3 = 0.05 * i + coefficient1

        val = eq1 * eq2 + eq3
        arr.append(val)
    arr = np.array(arr)

    return arr

# 横軸の値を変更(-5から4.995まで0.01刻み)
x = np.arange(-5, 5, 0.005)

# fitの相手プロット
arr_target = get_gaussian_linear(x=x)
# これからfitしたいプロット
arr = get_gaussian(x=x)

まずはfit対象の既存データとfitしたいデータを作成。一応fit対象データの中身は変えてある。get_gaussian_linearでfit対象データを作成し、その配列をarr_targetとして使用。一方でfitしたいデータはarrとした。

fit用の関数と元に戻す関数

def gau_lin_target_func(x, c, a, b):
    """通常のガウシアンを、直線に乗ったガウシアンにfitするための逆算関数
    fitする際にのみ使用

    Parameters
    ----------
    x : array
        横軸の値
    c : float
        係数1
    a : float
        係数2
    b : float
        係数3

    Returns
    -------
    numpy.ndarray
        fitした後の関数
    """

    numerator = arr_target - (a * x + b)  # 分母
    denominator = c  # 分子
    y = numerator / denominator
    return y

def gau_lin_func(x, c, a, b):
    """fitパラメータを引数c, a, bに入れることで
    通常のガウシアンを直線に乗ったガウシアンにfitする

    Parameters
    ----------
    x : array
        横軸の値
    c : float
        係数1
    a : float
        係数2
    b : float
        係数3

    Returns
    -------
    numpy.ndarray
        通常のガウシアンを直線に乗ったガウシアンにfitした後の配列
    """
    y = c * arr + a * x + b
    return y

ここが今回の章のキモ。fitしたい数式を逆算した関数gau_lin_target_funcでデータをfitする。こうすることで、既存の知られた関数じゃなくてもfitすることができる。

fitしたあとはパラメータを得ることができるので、このパラメータを本来の関数gau_lin_funcに代入することでfitが完了する。

これを見つけた時は感動したよ。で、この記事を書こうとした。fitは今まで通り。

par, cov = scipy.optimize.curve_fit(f=gau_lin_target_func, xdata=x, ydata=arr)
fit = gau_lin_func(x, *par)

print(f"par: {par}")
# par: [1.04663899 0.04940854 0.03884187]

グラフ化は元のデータ、fit対象、fit後の元のデータの3種類なので新規で関数を作成した。


fitでデータの傾向がわかる

今回はpythonを使用してグラフをfitした。fit対象はよく知られた関数、既存のデータの2種類でfitした。さらにパラメータの誤差も計算した。

実際にデータをfitすることでそのデータの傾向がよりわかりやすくなる。2次関数だと思ってfitしたら全然形状が異なることもある。実際、研究で多項式だと思ったデータが全然fitできなかったこともある。

既存のデータにfitする方法は色々と調べても出なかったので、本記事で方法を知って活用していただければ幸いだ。

関連記事

【python&関数化】defとかargsとかを使って関数を作成する

続きを見る

【python3&zip関数】python3系にてzipは一回使ったら消える

続きを見る

【max(), sorted()&key】max関数とかで使うkeyを活用

続きを見る

【Python3.10&パターンマッチ】match文を試してみる

続きを見る

ガジェット

2023/9/18

【デスクツアー2022下半期】モノは少なく、でも効率的に Desk Updating #0

今回はガジェットブロガーなのにデスク環境を構築していない執筆者の ...

ライフハック

2023/9/16

【Audible vs YouTube Premium】耳で聴く音声学習コンテンツを比較

ワイヤレスイヤホンが普及し耳で学習することへのハードルが格段に下 ...

完全ワイヤレスイヤホン(TWS)

2023/9/18

【SENNHEISER MOMENTUM True Wireless 3レビュー】全てが整ったイヤホン

今回は高音質・高機能なSENNHEISERのフラグシップ完全ワイヤレスイヤホン「SENNH ...

ライフハック

2023/3/11

【YouTube Premiumとは】メリットしかないから全員入れ

今回はYouTube Premiumを実際に使ってみてどうなのか、どんなメリット/デメリット ...

マウス

2023/8/17

【Logicool MX ERGOレビュー】疲れない作業効率重視トラックボールマウス

こんな人におすすめ トラックボールマウスの王道Logicool MX ERGOが気になるけどऩ ...

ベストバイ

2023/9/18

【ベストバイ2022】今年買って良かったモノのトップ10

2022年ベストバイ この1年を振り返って執筆者は何を買ったのか。ガジェッ& ...

スマホ

2023/1/15

【楽天モバイル×povo2.0の併用】月1,000円の保険付きデュアルSIM運用

こんな人におすすめ 楽天モバイルとpovo2.0のデュアルSIM運用って実際のとこ ...

マウス

2023/9/16

【Logicool MX ERGO vs MX Master 3】ERGOをメインにした決定的な理由

こんな疑問・お悩みを持っている人におすすめ 執筆者はLogicoolのハイエンӠ ...

macOSアプリケーション

2022/9/30

【Chrome拡張機能】便利で効率的に作業できるおすすめの拡張機能を18個紹介する

こんな人におすすめ Chromeの拡張機能を入れたいけど、調べても同じような ...

macOSアプリケーション

2023/5/3

【Automator活用術】Macで生産性を上げる作業の自動化術

今回はMacに標準でインストールされているアプリ「Automator」を使ってできる ...

Pythonを学びたいけど独学できる時間なんてない人へのすゝめ

執筆者は大学の研究室・大学院にて独学でPythonを習得した。

でも社会人になったら独学で行うには時間も体力もなくて大変だ。

時間がない社会人だからこそプロの教えを乞うのが効率的。

ここでは色んなタイプに合ったプログラミングスクールの紹介をする。

  • この記事を書いた人

メガネ

Webエンジニア駆け出し。独学のPythonで天文学系の大学院を修了。常時金欠のガジェット好きでM2 Pro MacBook Pro(30万円) x Galaxy S22 Ultra(17万円)使いの狂人。自己紹介と半生→変わって楽しいの繰り返しレビュー依頼など→お問い合わせ運営者情報、TwitterX@m_ten_pa、 YouTube@megatenpa、 Threads@megatenpa

-Python基礎
-, , ,