勾配ブースティング回帰木（勾配ブースティングマシン）

勾配ブースティングでは一つ目の決定木の誤りを、次の決定木で修正するようにして決定木を作っていく。

乱数性はないが、強力な事前枝切りが用いられる。

浅い決定木（弱学習機）を多数組み合わせるから、メモリが小さくなり予測も速くなる。

パラメータの影響を受けやすいモデルであるが、正しくパラメータを設定すれば勾配ブースティング回帰木の方が性能が良い。

パラメータは事前枝切りとアンサンブル、learning_rate（学習率）がある。

learning_rateを大きくすると、決定木同士の補正が強くなりモデルが複雑になる。