大数据 Archives

使用docker快速部署apache nutch 1.14+solr

2017-12-20 • 大数据、未分类 • 1 条评论 •4,669 人围观

官方的教程很坑爹，网上的教程也很少，版本扑朔迷离，很可能会因为版本不一致出各种奇葩问题，记录下我的部署过程。 nutch：1.14 solr：6.6 安装 yum install docker -y

2017-10-20 • 大数据 • 6 条评论 •5,894 人围观

环境： centos 7 64bit scala-2.10.5 spark-1.6.2 mongo-3.2 __ 版本不匹配可能会导致各种各样的错误，尽量使用推荐的版本 __ _ 如果遇到未知问题，请

2017-09-23 • 大数据 • 0 条评论 •2,673 人围观

hadoop-2.6.5 scala-2.10.5 spark-1.6.2 IDEA intellj intellj scala插件 SSH免密登录 ssh-keygen touch authoriz

2017-09-06 • 大数据 • 0 条评论 •3,166 人围观

准备工具：jdk1.8 Intellij IDEA scala2.10.5 hadoop2.6.5 spark1.6.2 IDEA配置步骤： 1.添加JDK1.8 2.安装scala插件 3.

2017-08-29 • Python、大数据 • 0 条评论 •3,538 人围观

项目地址：https://github.com/chengyu2333/mysql2webservice 好像这是个看起来很智障的工具。。你应该会说webservice直接调用数据库不就行了嘛。。

2017-08-21 • 大数据 • 12 条评论 •107,761 人围观

估计来看此文的已经对celery有一些了解了，基本概念不再赘述。网上找来找去全都是单机版的基础部署教程，也没有深入讲解分布式的部署过程。没办法只好靠着我渣渣英语强行研究了一波官方文档。只有三台阿里

2017-04-02 • Errors、Python、大数据 • 1 条评论 •6,765 人围观

想知道DataFrame中的object类型怎么转成float，很奇怪网上搜了半天没找到… 查看DataFrame中各列的数据类型： print data.dtypes 在读入文件时设置数