zmzaxg｜blog社区 - 数据库
type: channel
link: http://www.zmzaxg.top/index.php/tag/%E6%95%B0%E6%8D%AE%E5%BA%93/
items: Hive数据仓库安装和WorldCount使用
items: 一带一路金砖赛大数据集群运维管理赛项总决赛赛前练习
items: MySQL的SELECT查询使用
items: MySQL手动安装rpm包安装
items: Linux_Centos7编译安装Mysql

Hive数据仓库安装和WorldCount使用
type: item
date: 2023-12-20T16:56:00+08:00
description: ## And 3.Hive的安装使用### 3.1.环境准备[scode type="yellow" size="small"]#### 3.1.1.Hive包准备：将准备好的包均放置到hadoop01下的 `/opt/software`目录内统一管理---这里需要使用的Hive包版本为 `apache-hive-3.1.2-bin.tar.gz` 官方下载：[Index of /dist/hive (apache.org)](https://archive.apache.org/dist/hive/) ![image.png](https://www.zmzaxg.top/usr/uploads/2023/12/3694645491.png)mysql包为5.7：`mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar` 官方下载：[MySQL :: MySQL Community Downloads](https://dev.mysql.com/downloads/)![image.png](https://www.zmzaxg.top/usr/uploads/2023/12/4126966633.png)[/scode]#### 3.1.2.计划安装目标这里我将会把mysql安装到hadoop03上，然后将hive安装到另外两台主机上（hadoop01，hadoop02）### 3.2.安装mysql这里安装mysql可以参考之前文章：[post cid="689" cover="" size=""/]#### 3.2.1.分发mysql包将hadoop01的mysql压缩包拷到hadoop03主机上```shell scp -r /opt/software/mysql/mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar root@hadoop03:/opt/software/mysql/ ```![image.png](https://www.zmzaxg.top/usr/uploads/2023/12/1766991032.png)到hadoop03主机上检查：![image.png](https://www.zmzaxg.top/usr/uploads/2023/12/2185681748.png)#### 3.2.2.解压mysql的rpm包直接将mysql包解压```shell tar -xvf mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar ```![image.png](https://www.zmzaxg.top/usr/uploads/2023/12/3523791577.png)#### 3.2.3.检查环境在安装之前先检查一下目标环境是否有已经安装的mysql，避免出错```shell rpm -qa | grep mysql ```![image.png](https://www.zmzaxg.top/usr/uploads/2023/12/4060731945.png)#### 3.2.4.安装和基础配置没有问题就可以直接安装了，在当前目录下（mysql解压目录）：```shell rpm -ivh mysql-community-*.rpm --nodeps --force ```![image.png](https://www.zmzaxg.top/usr/uploads/2023/12/1122263750.png)![image.png](https://www.zmzaxg.top/usr/uploads/2023/12/1101665076.png)启动mysql检查是否正常可用：```shell systemctl start mysqldl ```![image.png](https://www.zmzaxg.top/usr/uploads/2023/12/2266666158.png)```shell systemctl status mysqld ```![image.png](https://www.zmzaxg.top/usr/uploads/2023/12/3687470022.png)查看mysql的默认初始密码：```shell grep password /var/log/mysqld.log cat /var/log/mysqld.log |grep password ```![image.png](https://www.zmzaxg.top/usr/uploads/2023/12/3884259881.png)```shell mysql -uroot -p ## 复杂…

一带一路金砖赛大数据集群运维管理赛项总决赛赛前练习
type: item
date: 2023-12-06T20:35:00+08:00
description: # 一带一路金砖赛大数据集群运维管理赛项总决赛赛前练习## SQL数据分析共享单车数据分析（0 / 20分）### 项目背景本项目数据为共享单车使用的数据信息，数据包含2021、2022年共享单车使用的详细数据，数据包含使用的季节、时间、天气、温度、体感温度、是否注册等信息。### 数据说明数据地址：/root/mysql/bicycle.csv（ [bicycle.csv](https://www.zmzaxg.top/usr/uploads/2023/12/1665488629.zip) 下载后重命名去掉 `.zip` ） 数据库：train（自行创建） 数据表：bicycle 基础数据特征： **共享单车数据表**（bicycle）包含日期、季节、是否假日、是否工作日、天气、体感温度、相对湿度、未注册用户、注册用户（datetime、season、holiday、workingday、weather、atemp、humidity、casual、registered）| datetime | season | holiday | workingday | weather | atemp | humidity | casual | registered | | ------------- | ------ | ------- | ---------- | ------- | ------ | -------- | ------ | ---------- | | 2021/1/1 0:00 | 1 | 0 | 0 | 1 | 14.395 | 81 | 3 | 13 |字段说明及建立表格的数据类型如下：| 字段名 | 字段中文名 | 数据类型 | 数据说明 | 示例数据 | | ---------- | ---------- | ------------- | --------------------------------------------------------------------------------------------------------------------------------------- | ------------- | | datetime | 日期 | varchar(255) | 共享单车使用的时间段数据，数据为：日期 + 时间（小时:分钟）。注意：时间最小颗粒度为小时 | 2021/1/1 0:00 | | season | 季节 | varchar(255) | 共享单车使用的季节数据，1：春季，2：夏季，3：秋季，4：冬季 | 1 | | holiday | 是否假日 | varchar(255） | 标识当前日期是否为被视为假日，其中1表示为假日，0表示为非假日。注意：假日不包含正常休假的周末 | 0 | | workingday | 是否工作日 | varchar(255) | 表示当前日期既不是周末也不是节假日，其中0表示非工作日、1表示工作日 | 0 | | weather | 天气 | varchar(255) | 表示当前日期的天气，1、晴天，2、雾/多云，3、小雪，4、大雨/雷暴 | 1 | | atemp | 体感温度 | double | 表示当前日期的体感温度，温度的数据范围为1-45摄氏度。注意：对温度字段进行分析时，需要对温度字段进行分段，具体分为[0-20)、[20-30)、30以上 | 14.395 | | humidity | 相对湿度 | int | 表示当前日期的相对湿度，湿度的范围为0-100。注意：在分析时需要对对湿度进行分段，具体分为[0-30)、[30-60)、[60-80)、80以上 | 81 | | casual | 未注册用户 | int | 未注册用户的使用人数，也表示该时间段的使用次数。 | 3 | | registered | 注册用户 | int | 注册用户的使用人数，也表示该时间段的使用次数。 | 13 |### 数据处理#### 1、数据字段数据集中已经给出对应的字段，这里无需再做修改。#### 2、时间日期列处理（1）修改字段类型```sql alter table bicycle modify datetime datetime; ```（2）分别提取日期列和时间列```sql # a、添加日期列date alter TABLE bicycle add date date; # 获取time_of_payment中日期数据命令： update bicycle set date = DATE_FORMAT(datetime,'%Y-%m-%d');# b、添加时间列time（自行操作） # 获取time_of_…

MySQL的SELECT查询使用
type: item
date: 2023-10-19T11:19:00+08:00
description: [goal title="进度条："][item check="true"] 基本的select语句 [/item][item check="true"] 运算符 [/item][item check="true"] 排序与分页 [/item][item check="true"] 多表查询 [/item][item check="false"] 多表查询练习 [/item][item check="true"] 单行函数 [/item][item check="true"] 聚合函数 [/item][item check="true"] 子查询 [/item] [item progress="99%"] 当前进度[/item] [/goal]# 数据> [font color="#2F4F4F"] > > 所使用的数据表均打包成数据库，下方安装文章内提供。 > > [/font] > > ↓↓↓↓↓[post cid="689" cover="" size=""/]> ↑↑↑↑↑ > > 以下所有查询操作记得要先进数据库后操作！！## And 1.基本的select语句[scode type="yellow" size="small"]### And 1.1.【题目】1. 查询员工12个月的工资总和，并起别名为ANNUAL SALARY 2. 查询employees表中去除重复的job_id以后的数据 3. 查询工资大于12000的员工姓名和工资 4. 查询员工号为176的员工的姓名和部门号 5. 显示表 departments 的结构，并查询其中的全部数据[/scode]#### And 1.1.1.查询员工12个月的工资总和，并起别名为ANNUAL SALARY```mysql select employee_id,last_name,salary*12 "ANNUAL SALARY" from employees; ```![image.png](https://www.zmzaxg.top/usr/uploads/2023/10/3032310783.png)#### And 1.1.2.查询employees表中去除重复的job_id以后的数据```mysql select distinct job_id from employees; ```![image.png](https://www.zmzaxg.top/usr/uploads/2023/10/1357916311.png)#### And 1.1.3.查询工资大于12000的员工姓名和工资```mysql select last_name,salary from employees where salary>12000; ```![image.png](https://www.zmzaxg.top/usr/uploads/2023/10/2195429631.png)#### And 1.1.4.查询员工号为176的员工的姓名和部门号```mysql select last_name,department_id from employees where employee_id=176; ```![image.png](https://www.zmzaxg.top/usr/uploads/2023/10/350459894.png)#### And 1.1.5.显示表 departments 的结构，并查询其中的全部数据```mysql desc departments; select * from departments; ```![image.png](https://www.zmzaxg.top/usr/uploads/2023/10/3118930042.png)![image.png](https://www.zmzaxg.top/usr/uploads/2023/10/3405628445.png)## And 2.运算符[scode type="green" size="small"]### And 2.1.【题目】1. 选择工资不在5000到12000的员工的姓名和工资 2. 选择在20或50号部门工作的员工姓名和部门号 3. 选择公司中没有管理者的员工姓名及job_id 4. 选择公司中有奖金的员工姓名，工资和奖金级别 5. 选择员工姓名的第三个字母是a的员工姓名 6. 选择姓名中有字母a和k的员工姓名 7. 显示出表 employees 表中 first_name 以 'e'结尾的员工信息 8. 显示出表 employees 部门编号在 80-100 之间的姓名、工种 9. 显示出表 employees 的 manager_id 是 1…

MySQL手动安装rpm包安装
type: item
date: 2023-10-19T11:17:00+08:00
description: ## And 1.获取RPM包自建服务器暂时拆了，不提供自建备份下载，自行前往[mysql.com](https://mysql.com)下载压缩包解压，贴个图：![image.png](https://www.zmzaxg.top/usr/uploads/2023/10/1571074702.png)windows的就安装程序，下载好后双击安装完事，自行研究。解压后的包：![image.png](https://www.zmzaxg.top/usr/uploads/2023/10/833338685.png)将文件上传到linux内![请输入图片描述](https://www.zmzaxg.top/usr/uploads/2023/10/3296316746.png)## And 2.安装mysql以上，可以看到有10个rpm包，安装实际上并不需要全部使用上，当然可以直接使用`rpm -ivh ./*.rpm --nodeps --force`一次性将rpm包全都安装上：![image.png](https://www.zmzaxg.top/usr/uploads/2023/10/3016935075.png)单独安装所需要的包的话就得单个顺序的安装，如下四个包即可：```shell rpm -ivh mysql-community-common-5.7.28-1.el7.x86_64.rpm ```![image.png](https://www.zmzaxg.top/usr/uploads/2023/10/3637258621.png)这里安装时候报错`from install of mysql-community-common-5.7.28-1.el7.x86_64 conflicts with file from package mariadb-libs-1:5.5.68-1.el7.x86_64`，需要先卸载一下`mariadb-libs`组件：这里可以使用`rpm -qa`或者`yum list installed`来查看一下自带相关组件：### And 2.1.卸载组件```shell yum list installed |grep mariadb rpm -qa |grep mariadb ```![image.png](https://www.zmzaxg.top/usr/uploads/2023/10/2197305135.png)可以使用`yum remove`或者`rpm -ev`来卸载：```shell yum remove mariadb-libs.x86_64 -y ```![image.png](https://www.zmzaxg.top/usr/uploads/2023/10/169612359.png)查看一下是否卸载完成：![image.png](https://www.zmzaxg.top/usr/uploads/2023/10/2967431592.png)```shell rpm -ev mariadb-libs-5.5.68-1.el7.x86_64 ```这里rpm卸载时候提示`postfix`被需要：`错误：依赖检测失败： libmysqlclient.so.18()(64bit) 被 (已安裝) postfix-2:2.10.1-9.el7.x86_64 需要 libmysqlclient.so.18(libmysqlclient_18)(64bit) 被 (已安裝) postfix-2:2.10.1-9.el7.x86_64 需要`。![image.png](https://www.zmzaxg.top/usr/uploads/2023/10/1396236274.png)这里就先卸载一下`postfix`再卸载`mariadb`：```shell rpm -ev postfix-2:2.10.1-9.el7.x86_64 rpm -ev mariadb-libs-5.5.68-1.el7.x86_64 ```![image.png](https://www.zmzaxg.top/usr/uploads/2023/10/2585157031.png)### And 2.2.继续单独顺序安装```shell rpm -ivh mysql-community-common-5.7.28-1.el7.x86_64.rpm ```![image.png](https://www.zmzaxg.top/usr/uploads/2023/10/528129952.png)```shell rpm -ivh mysql-community-libs-5.7.28-1.el7.x86…

Linux_Centos7编译安装Mysql
type: item
date: 2023-05-21T20:42:00+08:00
description: ## And 1.引文由于上一篇`Mysql相关`文章出现的mysql安装和使用的问题，为了不浪费太多的时间和文章阅读视界，就没有将编译安装mysql写进去，这里就另起一篇编译安装步骤的。## And 2.正文我这边准备了一台刚刚最小化安装的centos，只安装了net-tools方便使用，mysql都是没安装的，当然如果你mysql坏了也建议将mysql相关文件都清理一下再来操作。![image.png](https://www.zmzaxg.top/usr/uploads/2023/05/2583262382.png)### And 2.1.安装环境#### And 2.1.1.安装开发者工具组件```shell yum group list ## 列出组件列表 yum group install "开发工具" 或者用：yum group install "Development Tools" ## 安装开发者工具组件如果不想手动选择安装项可以直接在最后面加参数“-y”来默认选yes ```![image.png](https://www.zmzaxg.top/usr/uploads/2023/05/2899410049.png)等待开发工具组件安装完成![image.png](https://www.zmzaxg.top/usr/uploads/2023/05/427526874.png)#### And 2.1.2.安装必要依赖包```shell yum -y install gcc gcc-c++ cmake ncurses-devel autoconf bison perl perl-devel openssl openssl-devel ```等待安装完成![image.png](https://www.zmzaxg.top/usr/uploads/2023/05/1596968512.png)### And 2.2.开始编译安装#### And 2.2.1.创建Mysql目录及用户组与用户创建目录```shell mkdir /usr/local/mysql mkdir /usr/local/mysql/data ```创建用户组和用户```shell groupadd mysql ## 创建用户组 useradd -r -g mysql mysql ## 创建用户，-r定为系统账号，-g用为指定用户组；用户组为mysql，用户名为mysql，没有密码 ```![image.png](https://www.zmzaxg.top/usr/uploads/2023/05/3677354943.png)#### And 2.2.2.下载解压boost包boost库可以来提高编译效率先在/usr/local创建文件夹```shell mkdir -p /usr/local/boost ## -p用于可递进创建，防止boost之前的文件夹不存在时无法创建 cd /usr/local/boost wget https://nchc.dl.sourceforge.net/project/boost/boost/1.59.0/boost_1_59_0.tar.gz ## 下载boost包，如果失效可以去其他源找找 tar -zxvf boost_1_77_0.tar.gz ## 解压boost包，-z操作gzip格式文件，-x解压操作，-v显示过程，-f显示名称 ```#### And 2.2.3.下载安装Mysql源码包我们到mysql官网：[MySQL](https://www.mysql.com/)![请输入图片描述](https://www.zmzaxg.top/usr/uploads/2023/05/336056190.png)下拉找到社区版进入![请输入图片描述](https://www.zmzaxg.top/usr/uploads/2023/05/2248890523.png)![请输入图片描述](https://www.zmzaxg.top/usr/uploads/2023/05/9775966.png)![image.png](https://www.zmzaxg.top/usr/uploads/2023/05/3415969306.png)![image.png](https://www.zmzaxg.top/usr/uploads/2023/05/1290310200.png)进入下载页面拉到后面有一个直接下载链接，右击复制![请输入图片描述](https://www.zmzaxg.top/usr/uploads/2023/05/2767062829.png)然后到你的一个下载路径里`~注意！！ 这里避…