当前位置:城玮文档网 >作文大全 > 机器学习算法2

机器学习算法2

时间:2022-08-12 17:55:03 来源:网友投稿

 [原]Matlab 向量化编程实现机器学习算法---1 假设 x 和 θ 为向量(n+1 维实向量空间),需要计算 z=θ(T)x(θ(T)表示 θ 的转置),那么可以按以下方式实现:

 z = 0; for i=1:(n+1),

  z = z + theta(i) * x(i); end;

 上述代码为非向量化编程,为了更加简洁和提高运行速度,可以采用以下向量化编程方式:

 z = theta" * x;

 %theta"表示 θ 的转置

 对 Matlab 代码进行矢量化的工作很大一部分集中在避免使用 for 循环上,因为这可以使得 Matlab 更多地利用代码中的并行性,同时其解释器的计算开销更小。

 下面给出一些算法的非向量化和向量化代码对照:

 1. 逻辑回归梯度计算

 % 代码 1---非向量化 grad = zeros(n+1,1); for i=1:m,

 h = sigmoid(theta"*x(:,i));

 % sigmoid 为 S 形函数

 temp = y(i) - h;

 for j=1:n+1,

 grad(j) = grad(j) + temp * x(j,i);

 end; end;

 嵌套的 for 循环语句使这段代码的运行非常缓慢。以下是更典型的实现方式,它对算法进行部分向量化,带来更优的执行效率:

 % 代码 2---部分向量化 grad = zeros(n+1,1); for i=1:m,

 grad = grad + (y(i) - sigmoid(theta"*x(:,i)))* x(:,i); end;

 或许可以向量化得更彻底些。如果去除 for 循环,我们就可以显著地改善代码执行效率。特别的,假定 b 是一个列向量,A 是一个矩阵,我们用以下两种方式来计算 A*b:

 % 矩阵-向量乘法运算的低效代码 grad = zeros(n+1,1);

 for i=1:m,

  grad = grad + b(i) * A(:,i);

  % 通常写法为 A(:,i)*b(i) end;

 % 矩阵-向量乘法运算的高效代码 grad = A*b;

 代码 2 是用了低效的 for 循环语句执行梯度上升运算,将 b(i)看成(y(i) - sigmoid(theta"*x(:,i))),A 看成 x,我们就可以使用以下高效率的代码:

 % 代码 3---完全向量化 grad = x * (y- sigmoid(theta"*x));

 Matlab 的 sigmoid(z)函数接受一个向量形式的输入 z,依次对输入向量的每个元素施行 sigmoid 函数,最后返回运算结果,因此 sigmoid(z)的输出结果是一个与 z 有相同维度的向量。

  注:上述代码引自 Standford 大学 Andrew Ng 关于深度学习的文章

相关热词搜索: 算法 机器 学习