这里,分享一个自己第一次的赚钱案例! 记得大三时候出去实习,我们数学院是在武汉的一个培训机构学习一个月,主要是学Python及大数据基础。说是实习,其实是没有工资的,毕竟是别人给我们上课,怎么还会给我们发工资! 我爱学习,晚上回来便会看腾讯课堂的Python课程直播,重要免费!顺便说一下,腾讯课堂直播的套路就是:直播免费课程质量非常高,然后后面付费课程质量一般!有一个直播老师说去年也就是2016年,有一个学生,自己做课程,月入上万,当时我就心动了! 当然,这只是当时的一个想法! 着手开始做 回到学校后,我就开始着手…

2018-12-31 8条评论 9729点热度 0人点赞 柯广 阅读全文

一套小象学院机器学习视频教程。 资料详情 1、机器学习数学基础 2、机器学习的数学基础 3、机器学习的哲学 4、机器学习的数学基础 5、经典机器学习模型 6、经典机器学习模型 7、集成学习 8、线性模型 9、线性模型 10、核方法 11、核方法 12、统计学习 13、统计学习 14、统计学习 15、统计学习 16、无监督学习 17、流形学习 18、概念学习 19、神经网络 20、强化学习 获取方法 关注公众号 【Java大数据与数据仓库】,后台回复:机器学习,即可获得。

2021-06-20 0条评论 12点热度 0人点赞 柯广 阅读全文

一套黑马程序员前端视频教程,第71期。 资料详情 获取方法 关注公众号 【Java大数据与数据仓库】,后台回复:黑马前端,即可获得。

2021-06-20 0条评论 6点热度 0人点赞 柯广 阅读全文

有些时候需要我们去统计某一个hbase表的行数,由于hbase本身不支持SQL语言,只能通过其他方式实现。 可以通过一下几种方式实现hbase表的行数统计工作: 这里有一张hbase表test:test: hbase(main):009:0> scan 'test:test' ROW COLUMN+CELL 1 column=info:name, timestamp=1590221288866, value=tom 2 column=info:name, timestamp=1590221288866, va…

2021-06-16 0条评论 17点热度 0人点赞 柯广 阅读全文

从 2018 年 2 月开始,微信做了一项重大调整:新注册的公众号将没有留言功能。 说实在的,没有留言的公众号,仿佛失去了灵魂,让人觉得很鸡肋,如何与粉丝互动 ? 原想等留言功能恢复,但等了一年多了,眼看着“点赞”->“好看”->“在看”,但留言还是遥遥无期,真让人无语哎!所以呢,只能自己想办法做迁移了! 而且现阶段,微信仅支持为企业公众号开通留言。也就是说,如果你是个人公众号,要开通留言就必须进行以下几步: 注册一个个体户(或者公司) 用该个体户(或者公司)注册一个企业公众号 对该企业公众号进行微信认证 为该企业…

2021-06-12 0条评论 30点热度 0人点赞 柯广 阅读全文

实时统计pv、uv是再常见不过的大数据统计需求了,前面出过一篇SparkStreaming实时统计pv,uv的案例,这里用Flink实时计算pv,uv。 我们需要统计不同数据类型每天的pv,uv情况,并且有如下要求. - 每秒钟要输出最新的统计结果; - 程序永远跑着不会停,所以要定期清理内存里的过时数据; - 收到的消息里的时间字段并不是按照顺序严格递增的,所以要有一定的容错机制; - 访问uv并不一定每秒钟都会变化,重复输出对IO是巨大的浪费,所以要在uv变更时在一秒内输出结果,未变更时不输出; Flink数据…

2021-06-10 0条评论 54点热度 0人点赞 柯广 阅读全文

数据迁移使用场景 冷热集群数据分类存储,详见上述描述. 集群数据整体搬迁.当公司的业务迅速的发展,导致当前的服务器数量资源出现临时紧张的时候,为了更高效的利用资源,会将原A机房数据整体迁移到B机房的,原因可能是B机房机器多,而且B机房本身开销较A机房成本低些等. 数据的准实时同步.数据的准实时同步与上一点的不同在于第二点可以一次性操作解决,而准实时同步需要定期同步,而且要做到周期内数据基本完全一致.数据准实时同步的目的在于数据的双备份可用,比如某天A集群突然宣告不允许再使用了,此时可以将线上使用集群直接切向B的同步…

2021-06-09 0条评论 45点热度 0人点赞 柯广 阅读全文

%>%来自dplyr包的管道函数,我们可以将其理解为车间里的流水线,经过前一步加工的产品才能进入后一步进一步加工,其作用是将前一步的结果直接传参给下一步的函数,从而省略了中间的赋值步骤,可以大量减少内存中的对象,节省内存。 符号%>%,这是管道操作,其意思是将%>%左边的对象传递给右边的函数,作为第一个选项的设置(或剩下唯一一个选项的设置。 简单例子 比如我们要算f(x)=sin((x+1)^2)在x=4的值,可以分为以下三步: 计算a = x+1的值; 计算b = a^2的值; 计算c = sin(b)的值 这样…

2021-06-09 0条评论 36点热度 0人点赞 柯广 阅读全文

阅读本文需要的知识储备: 高等数学 运筹学 Python基础 1、引出梯度下降 对于,线性回归问题,上一篇我们用的是最小二乘法,很多人听到这个,或许会说:天杀的最小二乘法,因为很多人对它太敏感了。是的,从小到大,天天最小二乘法,能不能来点新花样。这里就用数学算法——梯度下降,来解决,寻优问题。 当然了,我们的目标函数还是: 在开始之前,我还是上大家熟知常见的图片。 梯度下山图片(来源:百度图片) 找了好久,我选了这张图片,因为我觉得这张图片很形象:天气骤变,一个人需要快速下山回家,但是他迷路了,不知道怎么回家,他知…

2021-06-09 0条评论 34点热度 0人点赞 柯广 阅读全文

最近有个需求,实时统计pv,uv,结果按照date,hour,pv,uv来展示,按天统计,第二天重新统计,当然了实际还需要按照类型字段分类统计pv,uv,比如按照date,hour,pv,uv,type来展示。这里介绍最基本的pv,uv的展示。 id uv pv date hour 1 155599 306053 2018-07-27 18 关于什么是pv,uv,可以参见这篇博客:https://blog.csdn.net/petermsh/article/details/78652246 1、项目流程 日志数据从…

2021-06-03 0条评论 65点热度 0人点赞 柯广 阅读全文

Centos安装docker需要操作系统是 CentOS 7 or 8,必须启用centos extras存储库。默认情况下,此存储库处于启用状态,但如果已禁用它,则需要重新启用它。 卸载旧版本 老版本的docker被称作docker 或者 docker-engine,如果有老版本的docker,把它和相关依赖一起卸载。 $ remove docker \ docker-client \ docker-client-latest \ docker-common \ docker-latest \ docker-la…

2021-05-28 2条评论 132点热度 0人点赞 柯广 阅读全文

当你看到这篇文章的时候,表明你已经有docker的基础知识了,或者可以看上一篇文章 Docker 入门教程。 传统的使用wordpress搭建网站,意味着你需要搭建以下四个环境: - php; - apache / nginx; - mysql; - wordpress; 这里面主要是php的搭建真心麻烦,各种依赖,版本不兼容,然后还有php跟mysql的插件,我是吃了它很大的苦,寻求让我快乐的方法,知道我发现了它。使用docker容器技术5分钟快速搭建wordpress,相信我,真的是五分钟。 一台linux服务…

2021-05-27 0条评论 103点热度 0人点赞 柯广 阅读全文

作者: 阮一峰 日期: 2018年2月 9日 原文链接:Docker入门教程 2013年发布至今, Docker 一直广受瞩目,被认为可能会改变软件行业。 但是,许多人并不清楚 Docker 到底是什么,要解决什么问题,好处又在哪里?本文就来详细解释,帮助大家理解它,还带有简单易懂的实例,教你如何将它用于日常开发。 一、环境配置的难题 软件开发最大的麻烦事之一,就是环境配置。用户计算机的环境都不相同,你怎么知道自家的软件,能在那些机器跑起来? 用户必须保证两件事:操作系统的设置,各种库和组件的安装。只有它们都正确,…

2021-05-27 0条评论 91点热度 0人点赞 柯广 阅读全文

经常有同学问我,基于Hadoop生态圈的大数据组件有很多,怎么学的过来呢,毕竟精力有限,我们需要有侧重点,我觉得下面这几个组件至关重要,是基础组件,大部分人都需要会的,其它组件可以用的时候再去查查资料学习。 hadoop Hbase Hive Spark Flink Kafka Hadoop 是大数据的基础组件,很多组件都需要依赖它的分布式存储、计算;主要包括Hdfs、MR、Yarn三部分,这个需要找一些好的资料(我的主页有资料领取方法),好好学学各自的用法,熟练之后,需要了解其背后的原理。 基本的,你得知道had…

2021-05-24 0条评论 82点热度 0人点赞 柯广 阅读全文

1. scala的由来 scala是一门多范式的编程语言,一种类似java的编程语言[2] ,设计初衷是要集成面向对象编程和函数式编程的各种特性。 java和c++的进化速度已经大不如从前,那么乐于使用更现代的语言特性的程序员们正在将眼光移向他处。scala是一个很有吸引力的选择;事实上,在我看来,对于想要突破和超越java或者c++的程序员而言,scala是最具吸引力的一个。scala的语法十分简洁,相比java的样板代码,scala让人耳目一新。scala运行于java虚拟机之上,让我们可以使用现成的海量类库和…

2021-05-15 0条评论 77点热度 0人点赞 柯广 阅读全文

加密货币是时代的产物,是一种流行的文化,一种被称作时尚的东西。 就像小时候收集明信片一样,也像儿时第一双运动鞋一样,像第一瓶涂改液一样,像那些年追过的星一样。 不一定要有很多,但是每个人都得有一枚。 这个币可以是狗狗币,三块左右,人人可得(比特币、以太坊太贵)。 不为别的,只为曾经参与过。 你要说它的价值在哪里,那么收集明信片的价值在哪里? 一种普通的,人人都可以轻而易举得到的东西。 它是一种共识,是一种信仰,是美好的东西。

2021-05-14 0条评论 82点热度 0人点赞 柯广 阅读全文
1234517