在postgresql中使用Madlib训练机器学习模型

news/2024/7/9 20:44:58 标签: postgresql, madlib

postgresql中使用Madlib训练机器学习模型


前段时间做数据课的开放性project,从链家上爬了些上海地区二手房的数据,想预估下二手房价格。因为要求用到postgresql\greenplum的特性,正好Madlib使得可以在数据库中直接使用SQL语句训练模型,就用它了。关于Madlib的细节就不多说了,一句话概括下:是一个in-database的机器学习库。下面先说下postgresqlmadlib的安装步骤(系统用的centos7,我曾经花费了一个星期的时间试图在ubuntu上搞定,未果。只是证明了如官方所说的madlib只支持centos,redhat。所以想在ubuntu上安装madlib的同学,可以放弃了。):

一、安装启动postgresql9.5

yum install https://download.postgresql.org/pub/repos/yum/9.5/redhat/rhel-7-x86_64/pgdg-centos95-9.5-2.noarch.rpm
sudo yum install postgresql95--with-python
sudo yum install postgresql95-server

cd /usr/pgsql-9.5/bin
./postgresql95-setup initdb

注:第一条之所以要加上(--with-python)是因为如果不加的话,在后面安装madlib的时候会出错,出错信息如下所示:

如果在安装postgresql的时候没有加上--with-python,可以再用命令:yum install postgresql-plpython.×86_64(应该是这个命令,我记不太清楚,如果不是的可以留言在讨论)

二、安装pgadmin4
pgadmin4相对pgadmin3改动比较大,pgadmin3是个应用程序客户端,而pgadmin4变成了web网页。个人感觉没有3好用。。安装启动命令为:

sudo pip2 install pgadmin4-2.0-py2.py3-none-any.whl
cd /lib/python2.7/site-packages/pgadmin4
sudo python pgAdmin4.py

三、安装madlib命令:

sudo yum install apache-madlib-1.13-bin-Linux.rpm --nogpgcheck
sudo ./madpack -s madlib -p postgres -c postgres@127.0.0.1:5432/test install
sudo ./madpack -s madlib -p postgres -c postgres@127.0.0.1:5432/test install-check
其中test是我的数据库名字。

四、使用madlib
例子官网配套的很齐全,不过多的阐述。这里只 举个使用KNN的例子:
数据集为:


注意CNN对数据集的格式的要求(红色框起来),训练模型的语句为:

最后一条语句是对训练结果进行查询。


http://www.niftyadmin.cn/n/967125.html

相关文章

使用python的matplotlib(pyplot)画折线图和柱状图

使用python的matplotlib(pyplot)画折线图和柱状图今天帮师兄赶在deadline之前画论文的图,现学现卖很是刺激,现把使用matplotlib的子库pyplot画折线图和柱状图的代码记录分享一下,方便大家参考,个人感觉pypl…

P2P太假了,光有网站平台,连人都找不着了,更不用说网站大漏洞没人管,呵呵

P2P太假了,光有网站平台,连人都找不着了,更不用说网站大漏洞没人管,呵呵 今天看到乌云有公布了一个p2p网站的漏洞: http://www.wooyun.org/bugs/wooyun-2015-0137459打400电话,发邮件,甚至域名持…

sklearn模型调优(判断是否过过拟合及选择参数)

sklearn模型调优(判断是否过过拟合及选择参数)这篇博客主要介绍两个方面的东西,其实就是两个函数: 1. learning_curve():这个函数主要是用来判断(可视化)模型是否过拟合的,关于过拟…

发现一号店首页曝出重大XSS漏洞,在IE8,IE9,IE10上均有此漏洞

发现一号店首页曝出XSS漏洞,在IE8,IE9,IE10上均有此漏洞 1.进入一号店首页: http://www.yhd.com2.搜索第一个字符串或者第二个字符串: 第一个: 第二个: (这里说明下,第一个字符和第…

保存训练好的机器学习模型

保存训练好的机器学习模型当我们训练好一个model后,下次如果还想用这个model,我们就需要把这个model保存下来,下次直接导入就好了,不然每次都跑一遍,训练时间短还好,要是一次跑好几天的那怕是要天荒地老了。…

Weka3.8.1及以后版本修改JVM大小

Weka3.8.1及以后版本修改JVM大小weka默认的jvm空间是128M,这个空间太小了,稍微大点的数据集就扛不住了,因此需要把jvm空间设的大一些,在以前的版本中都是直接修改 RunWeka.ini 配置文件里的 maxheap 就可以了,但是在3.…

决策树(decision tree)(二)——剪枝

决策树(decision tree)(二)——剪枝**注:本博客为周志华《机器学习》读书笔记,虽然有一些自己的理解,但是其中仍然有大量文字摘自周老师的《机器学习》书。 决策树系列博客: 决策树(一&#xf…

在学”驾校一点通“,希望可以顺利考过得证

在学”驾校一点通“,希望可以顺利考过得证今天去报名考驾考了,希望可以顺利考过,拿到驾驶证。 好好学习,好好练习。