Hive的存储格式 textfile hive的默认存储格式 存储方式:行存储 磁盘开销大 数据解析开销大 压缩的text文件 hive无法进行合并和拆分SequenceFile 二进制文件以key,value的形式序列化到文件中 存储方式:行存储 可分割 压缩 一般选择block压缩 优势是文件和hadoop api中的mapfile是相互兼容的rcfile 存储方式:数据按行分块 每块按照列存储 压缩快 快速列存取 读记录尽量涉及到的block最少 读取需要的列只需要读取
2024-11-08DB2 DROP表后恢复 数据库版本 数据库版本:DB2 9.7 目的: 由于经常操作不当,引起误删表和数据库,对数据恢复起来很困难,其实测试后也觉得没什么挺容易的,特此亲自测试,得出一恢复方法,总结如下文旦,如有不当还请及时提出; 注意: 在恢复之前一定要备份数据库,在恢复中需要时间截点,不同版本数据库的时间轴不一样,所以需要注意; 第一:备份数据库, 做什么事情之前备份数据库,重要的事说三遍:备份!备份!备份!命令:db2 backup db dbname to ‘e:\xxxx
2024-11-08mybatis-plus作为mybatis的增强工具,简化了开发中的数据库操作。一旦遇到left join或right join的左右连接,还是得老老实实的打开xml文件,手写上一大段的sql语句。今天总结一下一款叫做mybatis-plus-join的工具(后面就简称mpj了),可以用类似mybatis-plus中QueryWrapper的方式来进行联表查询。 引入依赖 引入相关依赖后,在springboot项目中,像往常一样正常配置数据源连接信息就可以了。 数据准备 因为要实现联表查询,
2024-11-08游标的概念: 游标是SQL的一个内存工作区,由系统或用户以变量的形式定义。游标的作用就是用于临时存储从数据库中提取的数据块。在某些情况下,需要把数据从存放在磁盘的表中调到计算机内存中进行处理,最后将处理结果显示出来或最终写回数据库。这样数据处理的速度才会提高,否则频繁的磁盘数据交换会降低效率。 游标有两种类型:显式游标和隐式游标。在前述程序中用到的SELECT...INTO...查询语句,一次只能从数据库中提取一行数据,对于这种形式的查询和DML操作,系统都会使用一个隐式游标。但是如果要提取多行
2024-11-08查看openssl版本 openssl version 生成SSL连接所需要的RSA密钥对 datadir 指定数据库文件鹿筋 user和uid 指定运行mysql_ssl_rsa_setup命令的用户 mysql_ssl_rsa_setup --datadir=/var/lib/mysql --user=mysql --uid=mysql 默认执行即可 mysqld_ssl_rsa_setup -vvv 详细,debug模式 ca-key.pem:CA证书私钥文件,用于生成SSL连接所需的
2024-11-08Hello,大家好,我是灰小猿,一个超会写bug的程序员! 今天这篇文章记录一个最近开发中遇到的mysql实战场景,觉得还挺典型的,就在此做一下记录。 先看一下举例场景: mysql中学生表与学科表通过关联表建立关联,学生和学科为多对多的关系,现要求查询学生的数据,并根据学生表引用的多个学科中名称排列在前的学科的名称进行排序, 数据库表结构如下: CREATE DATABASE school; USE school; CREATE TABLE student ( id INT AUTO_
2024-11-08大家都知道oracle中想获取序号的时候何以使用虚列rownum,那么mysql中想要达到同样的效果怎么办呢? SELECT @rownum := @rownum + 1 AS Rank, Scores.* FROM ( SELECT @rownum := 0 ) r, Scores; 其中红色标记定义rownum变量及初始值,蓝色部分代表每次递增1.
2024-11-08发现load data infile 插入数据时越来越慢,后来发现是因为创建表时有创建索引的动作。 把索引创建删除掉之后,导入很迅速,导入后再创建索引,效率果有提高。
2024-11-08clickhouse常用操作命令 启动Server服务 systemctl start clickhouse-server 重启server systemctl restart clickhouse-server 停止server systemctl stop clickhouse-server client命令行连接-多命令行模式 clickhouse-client -m --password <密码> client命令行远程连接 clickhouse-client --host 1
2024-11-08一、MySql连接长时间未操作,连接丢失 def test_conn(self): try: self.conn.ping() except: self.conn = pymysql.connect(host=self.host, port=self.port, user=self.user, password=self.password,
2024-11-08