九月 2017 - 鸽子博客

spark、scala、hadoop环境搭建笔记

2017-09-23 • 大数据 • 0 条评论 •480 人围观

hadoop-2.6.5 scala-2.10.5 spark-1.6.2 IDEA intellj intellj scala插件 SSH免密登录 ssh-keygen touch authoriz

2017-09-22 • Python • 0 条评论 •2,836 人围观

def in_time_range(ranges): now = time.strptime(time.strftime("%H%M%S"),"%H%M%S") ranges = ranges.spl

2017-09-19 • Errors • 0 条评论 •1,121 人围观

写了个数据同步的工具跑了一晚上，第二天起来发现一堆异常 can't start new thread 猜想是python创建的线程过多导致无法创建新的线程，因为操作系统的每个进程能开启的线程数量是有限

2017-09-14 • Python • 0 条评论 •578 人围观

之前我是这样写的 def my_decorator(arg): print(arg) def new_func(self): print("my name is " + arg) return new

2017-09-11 • Errors • 0 条评论 •515 人围观

原因：azure不能开放全部端口，而ftp的被动模式会随机打开一个1024以上的端口解决方案：ftp连接模式把被动模式改为活动模式(主动模式)，打开20端口

2017-09-08 • 数据库 • 0 条评论 •1,666 人围观

将test表中的num_string字段从String转换到decimal: db.test.find().forEach(function(x){x.num_string=NumberDecimal

2017-09-06 • 大数据 • 0 条评论 •620 人围观

准备工具：jdk1.8 Intellij IDEA scala2.10.5 hadoop2.6.5 spark1.6.2 IDEA配置步骤： 1.添加JDK1.8 2.安装scala插件 3.