Googleさんに聞いてみよう「LAPACK|LINPACK|GSL|GMP|ATLAS 非線形」で。ライブラリで非線形最小自乗法ができるものを探してみた。C言語で使えるやつでというあしかせをかければ「GSL 非線形」とか。GSLできまりかな。