您的当前位置:首页正文

算法岗面试问题总结(一)

2024-11-13 来源:个人技术集锦

1. 回归可以设置SVM?

可以,SVM是判断回归f(x)==y的时候才预测准确,计算损失函数;
回归支持向量SVR是|f(x)-y|<alpha的时候就认为预测准确了。

2. 核函数特点,SVM线性不可分怎么办?

SVM是线性分类器,但是遇到线性不可分的时候就需要映射到高维(特征空间)就线性可分了。实现这个过程就需要核函数。
核函数是在低维上进行计算,将分类效果展示在高维。

线性核函数
多项式核函数
高斯核函数(径向基核函数)
sigmoid核函数

3. 说一说Xgboost和lightGBM的区别是什么?

lightGBM是Xgboost的更高实现,微软发布的。
Xgboost处理的问题时决策树训练时特征值排序浪费时间的问题。Xgboost在训练之前先将数据进行排序,这些排序好的数据组成一个个block。在节点分裂时,需要计算每个特征值的增益,然后找到最大增益的特征做分裂。这些block使得各个特征的增益能够多线程计算。

lightGBM主要是在上述的模型下进行改进。主要改进有两点,一是在不牺牲计算速度的情况下,尽可能发挥内存的最大使用率;二是减小通信代价,提高多线程运行的速度和效率。主要计数手段是并行方案改进、基于梯度的单边检测(GOSS)、排他性特征捆绑。

4. 谈一谈决策树的实现逻辑 信息增益、信息增益率公式

决策树是最简单的分类机器学习算法,其包括根节点(样本全集)、内部节点(样本的特征)、叶节点(决策结果)。决策树执行时,根据某个属性判断根节点里面的数据该进入哪个叶节点,一直到最后一个叶节点给出分类结果。是if-then-else规则的有监督学习算法。

信息增益=信息熵-条件熵

信息熵

显示全文