# XGBoost 学习笔记

![last modify](https://img.shields.io/static/v1?label=last%20modify\&message=2022-10-13%2001%3A56%3A19\&color=yellowgreen\&style=flat-square)

* [Boosting 方法](#boosting-方法)
  * [AdaBoost 算法](#adaboost-算法)
  * [前向分步算法](#前向分步算法)
  * [目标函数](#目标函数)
* [学习算法：GBDT](#学习算法gbdt)
* [优化](#优化)
* [CART 树](#cart-树)

## Boosting 方法

**基本思路**

* 通过改变训练样本的权重，学习多个若学习器，然后将这些弱学习器组合成一个强学习器；

**两个基本问题**

1. 在每一轮训练中，如何调整训练样本的权重；
2. 如何将训练得到的一系列弱学习器组合成一个强学习器；

### AdaBoost 算法

* AdaBoost 是 Boosting 的一个代表性算法；
* AdaBoost 对两个基本问题的解决方法：
  1. 提高上一轮分类错误样本的权重，降低分类正确样本的权重；
  2. 加权线性组合（**加法模型**）；具体地，弱分类器的误差越小，权重越大；

### 前向分步算法

### 目标函数

## 学习算法：GBDT

* 什么是 GBDT 算法？

## 优化

## CART 树

* CART 树（Classification And Regression Tree）可用于分类和回归，是常见的决策树算法；
*

回归树 $$q(x) = j$$

函数表达式 $$I\_j = { i | q(x\_i) = j }$$


---

# Agent Instructions: Querying This Documentation

If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter:

```
GET https://imhuay.gitbook.io/studies/notes/_archives/2022/05/xgboost.md?ask=<question>
```

The question should be specific, self-contained, and written in natural language.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.