摘要: 第九章 推荐系统算法详解9.1 常用推荐算法分类9.1.1 基于人口统计学的推荐与用户画像9.1.2 基于内容的推荐与特征方程9.1.3 基于协同过滤的推荐 第九章 推荐系统算法详解 9.1 常用推荐算法分类 9.1.1 基于人口统计学的推荐与用户画像 9.1.2 基于内容的推荐与特征方程 特征按照阅读全文
posted @ 2019-05-18 08:23 黑泽君 阅读(9) 评论(0) 编辑
摘要: 第七章 监督学习--简单线性回归模型7.1 最小二乘法求解线性回归7.2 梯度下降法求解线性回归7.3 调用 sklearn 库求解线性回归第八章 监督学习--分类模型8.1 K 近邻(KNN)模型8.2 逻辑斯蒂回归模型8.3 决策树模型第九章 无监督学习--K 均值聚类模型9.1 聚类--k 均阅读全文
posted @ 2019-05-18 08:20 黑泽君 阅读(3) 评论(0) 编辑
摘要: TF-IDF算法代码示例0.引入依赖1.定义数据和预处理2.进行词数统计3.计算词频 TF4.计算逆文档频率 IDF5.计算 TF-IDF TF-IDF算法代码示例 0.引入依赖 import numpy as np # 数值计算、矩阵运算、向量运算import pandas as pd # 数值分阅读全文
posted @ 2019-05-18 08:17 黑泽君 阅读(5) 评论(0) 编辑
摘要: LFM--梯度下降法--实现基于模型的协同过滤0.引入依赖1.数据准备2.算法的实现3.测试 LFM--梯度下降法--实现基于模型的协同过滤 0.引入依赖 import numpy as np # 数值计算、矩阵运算、向量运算import pandas as pd # 数值分析、科学计算 1.数据准阅读全文
posted @ 2019-05-18 08:17 黑泽君 阅读(7) 评论(0) 编辑
摘要: 无监督学习--聚类模型--K 均值0.引入依赖1.数据的加载和预处理2.算法实现3.测试 无监督学习--聚类模型--K 均值 0.引入依赖 import numpy as npimport matplotlib.pyplot as plt# 这里直接 sklearn 里的数据集from sklear阅读全文
posted @ 2019-05-18 08:16 黑泽君 阅读(6) 评论(0) 编辑
摘要: 有监督学习--简单线性回归模型(调用 sklearn 库代码实现)0.引入依赖1.导入数据(data.csv)2.定义损失函数3.导入机器学习库 sklearn4.测试:运行算法,从训练好的模型中提取出系数和截距5.画出拟合曲线6.附录-测试数据 有监督学习--简单线性回归模型(调用 sklearn阅读全文
posted @ 2019-05-18 08:15 黑泽君 阅读(5) 评论(0) 编辑
摘要: 有监督学习--分类模型--K 近邻(kNN)0.引入依赖1.数据的加载和预处理2.核心算法实现3.测试4.自动化测试 有监督学习--分类模型--K 近邻(kNN) 0.引入依赖 import numpy as np # 数值计算、矩阵运算、向量运算import pandas as pd # 数值分析阅读全文
posted @ 2019-05-18 08:15 黑泽君 阅读(6) 评论(0) 编辑
摘要: 有监督学习--简单线性回归模型(梯度下降法代码实现)0.引入依赖1.导入数据(data.csv)2.定义损失函数3.定义模型的超参数4.定义核心梯度下降模型函数5.测试:运行梯度下降算法,计算最优的 w 和 b6.画出拟合曲线7.附录-测试数据 有监督学习--简单线性回归模型(梯度下降法代码实现) 阅读全文
posted @ 2019-05-18 08:14 黑泽君 阅读(7) 评论(0) 编辑
摘要: 有监督学习--简单线性回归模型(最小二乘法代码实现)0.引入依赖1.导入数据(data.csv)2.定义损失函数3.定义模型拟合函数4.测试:运行最小二乘算法,计算 w 和 b5.画出拟合曲线6.附录-测试数据 有监督学习--简单线性回归模型(最小二乘法代码实现) 0.引入依赖 import num阅读全文
posted @ 2019-05-18 08:13 黑泽君 阅读(10) 评论(0) 编辑
摘要: 第六章 Python 基础语法6.1 Python 综述6.1.1 Python 是什么6.1.2 Python 的发展6.1.3 Python 的特点6.2 Python3 安装6.2.1 Python3 和 Python2 的区别6.2.2 Python3 环境的安装(以 windows 为例)阅读全文
posted @ 2019-05-16 12:15 黑泽君 阅读(21) 评论(0) 编辑
摘要: 第一章 推荐系统简介1.1 推荐系统的目的1.2 推荐系统的应用1.3 推荐系统的基本思想1.4 推荐系统的数据分析1.5 推荐系统的分类第二章 推荐系统算法简介2.1 基于人口统计学的推荐算法2.2 基于内容的推荐算法2.3 基于协同过滤的推荐算法2.4 混合推荐算法第三章 推荐系统评测3.1 推阅读全文
posted @ 2019-05-16 11:02 黑泽君 阅读(21) 评论(0) 编辑
摘要: 第七章 异常7.1 异常的简介和异常的处理7.2 异常的传播7.3 异常对象7.4 自定义异常对象第八章 文件8.1 文件--打开8.2 文件--关闭8.3 文件--简单读取8.4 文件--读取大文件8.5 文件--readline8.6 文件--写入8.7 文件--二进制文件8.8 文件--see阅读全文
posted @ 2019-05-14 23:03 黑泽君 阅读(16) 评论(0) 编辑
摘要: 第五章 函数5.1 函数的简介5.2 函数的参数5.3 函数参数传递的方式5.4 函数的不定长参数5.5 函数的返回值5.6 函数的文档字符串--函数的说明5.7 变量的作用域与命名空间5.8 函数的递归5.9 高阶函数5.10 函数的闭包5.11 装饰器--扩展函数的功能第六章 对象6.1 面向对阅读全文
posted @ 2019-05-14 18:10 黑泽君 阅读(13) 评论(0) 编辑
摘要: 第三章 流程2018最新注册送白菜语句3.1 简介3.2 条件判断语句(if 语句)3.2.1 if 语句3.2.2 input 函数3.2.3 if-else 语句3.2.4 if-elif-else 语句3.2.5 if 练习3.3 循环语句(while 语句 + for 语句)3.3.1 while 循环3.2阅读全文
posted @ 2019-05-12 23:45 黑泽君 阅读(24) 评论(0) 编辑
摘要: 第一章 计算机基础知识1.1 课程介绍1.2 计算机是什么1.3 计算机的组成1.4 计算机的使用方式1.5 windows 的命令行1.6 环境变量(environment variable)1.7 path 环境变量1.8 进制1.9 文本文件和字符集1.10 Sublime Text 3第二章阅读全文
posted @ 2019-05-10 22:38 黑泽君 阅读(23) 评论(0) 编辑
摘要: 第一章 数据库的概述1.1 什么是数据库1.2 数据库分类第二章 MongoDB 的简介、下载、安装、启动、配置和关闭2.1 MongoDB 简介2.2 下载 MongoDB2.3 安装 MongoDB2.4 启动 MongoDB2.5 配置 MongoDB 的 windows 服务2.6 关闭 M阅读全文
posted @ 2019-05-10 10:13 黑泽君 阅读(35) 评论(0) 编辑
摘要: 第四章 解析 Redis 配置文件 redis.conf4.1 Units 单位4.2 INCLUDES 包含4.3 GENERAL 通用4.4 SNAPSHOTTING 快照4.5 SECURITY 安全4.6 LIMITS 限制4.7 APPEND ONLY MODE 追加4.8 常见配置 re阅读全文
posted @ 2019-05-08 15:32 黑泽君 阅读(17) 评论(0) 编辑
摘要: 第一章 NoSQL 入门概述1.1 入门概述1.1.1 单机 MySQL 的美好年代1.1.2 Memcached(缓存) + MySQL + 垂直拆分1.1.3 MySQL 主从复制--读写分离1.1.4 分表分库 + 水平拆分 + MySQL 集群1.1.5 MySQL 的扩展性瓶颈1.1.6 阅读全文
posted @ 2019-05-07 15:43 黑泽君 阅读(22) 评论(0) 编辑
摘要: 1. ELK 简单介绍2. ELK 的用途3. ELK 的优点4. ELK 旧版架构5. ELK 新版架构6. 新版 ELK 架构介绍 1. ELK 简单介绍 ELK 是 elastic(美国数据搜索软件初创公司) 公司提供的一套完整的日志收集、日志搜索分析、展示解决方案,是三个产品的首字母缩写。这阅读全文
posted @ 2019-05-06 00:50 黑泽君 阅读(16) 评论(0) 编辑
摘要: 一 概述1.1 什么是搜索?1.2 如果用数据库做搜索会怎么样?1.3 什么是全文检索和 Lucene?1.4 什么是 Elasticsearch?1.5 Elasticsearch 的适用场景1.6 Elasticsearch 的特点1.7 Elasticsearch 的核心概念1.7.1 近实时阅读全文
posted @ 2019-05-06 00:42 黑泽君 阅读(34) 评论(0) 编辑
摘要: 第4章 凸优化算法4.1 梯度下降4.2 牛顿法4.3 拟牛顿法4.4 BFGS 算法第5章 L1、L2 正则化5.1 从经验风险最小化到结构经验最小化5.2 范数与正则项5.3 贝叶斯先验第6章 线性回归算法6.1 数学模型6.2 线性回归的应用6.2 Spark MLlib 实现第7章 FPGr阅读全文
posted @ 2019-05-05 10:55 黑泽君 阅读(24) 评论(0) 编辑
摘要: 第1章 机器学习概述1.1 机器学习是啥?1.2 机器学习能干啥?1.3 机器学习有啥?1.4 机器学习怎么用?第2章 机器学习的相关概念2.1 数据集2.2 泛化能力2.3 过拟合和欠拟合2.4 维度、特征2.5 模型2.6 学习第3章 算法常用指标3.1 精确率和召回率3.2 TPR、FPR &阅读全文
posted @ 2019-05-04 16:40 黑泽君 阅读(20) 评论(0) 编辑
摘要: Spark 的监控方式 1、Spark Web UI Spark 内置应用运行监控工具(提供了应用运行层面的主要信息--重要)2、Ganglia 分析集群的使用状况和资源瓶颈(提供了集群的使用状况--资源瓶颈--重要)3、Nmon 主机 CPU、网络、磁盘、内存(提供了单机信息)4、Jmeter 系阅读全文
posted @ 2019-05-04 12:10 黑泽君 阅读(21) 评论(0) 编辑
摘要: 第1章 Spark 性能优化1.1 调优基本原则1.1.1 基本概念和原则1.1.2 性能监控方式1.1.3 调优要点1.2 数据倾斜优化1.2.1 为何要处理数据倾斜(Data Skew)1.2.2 如何定位导致数据倾斜的代码1.2.3 如何缓解/消除数据倾斜1.3 运行资源调优1.3.1 运行资阅读全文
posted @ 2019-05-04 11:57 黑泽君 阅读(53) 评论(0) 编辑
摘要: Spark 通信架构 1、spark 一开始使用 akka 作为网络通信框架,spark 2.X 版本以后完全抛弃 akka,而使用 netty 作为新的网络通信框架。最主要原因:spark 对 akka 没有维护,需要 akka 更新,spark 的发展受到了 akka 的牵制,akka 版本之间阅读全文
posted @ 2019-05-02 21:00 黑泽君 阅读(18) 评论(0) 编辑
摘要: 第1章 Spark 整体概述1.1 整体概念1.2 RDD 抽象1.3 计算抽象1.4 集群模式1.5 RPC 网络通信抽象1.6 启动 Standalone 集群1.7 核心组件1.8 核心组件交互流程1.9 Block 管理1.10整体应用第2章 Spark 通信架构2.1 通信组件概览2.2 阅读全文
posted @ 2019-05-02 20:12 黑泽君 阅读(242) 评论(0) 编辑
摘要: Spark GraphX 概述 1、Spark GraphX是什么? (1)Spark GraphX 是 Spark 的一个模块,主要用于进行以图为核心的计算还有分布式图的计算。 (2)GraphX 他的底层计算也是 RDD 计算,它和 RDD 共用一种存储形态,在展示形态上可以以数据集来表示,也可阅读全文
posted @ 2019-04-30 19:48 黑泽君 阅读(15) 评论(0) 编辑
摘要: 第1章 Spark GraphX 概述1.1 什么是 Spark GraphX1.2 弹性分布式属性图1.3 运行图计算777真钱老虎机第2章 Spark GraphX 解析2.1 存储模式2.1.1 图存储模式2.1.2 GraphX 存储模式2.2 vertices、edges 以及 triplets2.2阅读全文
posted @ 2019-04-30 19:25 黑泽君 阅读(107) 评论(0) 编辑
摘要: Spark Streaming 是什么 1、SPark Streaming 是 Spark 中一个组件,基于 Spark Core 进行构建,用于对流式进行处理,类似于 Storm。2、Spark Streaming 能够和 Spark Core、Spark SQL 来进行混合编程。3、Spark 阅读全文
posted @ 2019-04-29 18:57 黑泽君 阅读(28) 评论(0) 编辑
摘要: 第1章 Spark Streaming 概述1.1 什么是 Spark Streaming1.2 为什么要学习 Spark Streaming1.3 Spark 与 Storm 的对比第2章 运行 Spark Streaming第3章 架构与抽象第4章 Spark Streaming 解析4.1 初阅读全文
posted @ 2019-04-29 18:42 黑泽君 阅读(182) 评论(0) 编辑
博聚网