聚合首页
分布式事务关注的是分布式场景下如何处理事务,是指事务的参与者、支持事务操作的服务器、存储等资源分别位于分布式系统的不同节点之上。简单来说,分布式事务就是一个业务操作,是由多个细分操作完成的,而这些细分操作又分布在不同的服务器上;事务,就是这些操作要么全部成功执行,要么全部不执行。
在Clickhouse只有 MergeTree 系列里的表可支持副本, MergeTree系列列明支持复制的表引擎由以下这些,他们都是MergeTree系列的子引擎。本文将基于分片和MergeTree 引擎的相关数据副本进行测试验证。
Clickhouse支持分片和数据副本,分片提供了数据水平扩展的能力,副本则是保证数据在节点出现问题时继续提供服务,提供了一定程度的高可用能力。这次部署使用3台机器,每个机器上启动2个节点,3台机器搭建环形复制。
在此新春佳节之际,首先祝大家新春快乐,健康平安。也希望全国人民万众一心,早日战胜肺炎病毒。此文主要介绍innodb存储引擎的表、索引、表空间设计的一些约束和限制。
作为混迹DBA生涯的一名IT民工,时不时的听说XX公司数据库被删了,XX公司核心数据被删导致公司倒闭等种种传言事件。然后就是吃瓜群众挖内幕消息,最终得到可靠消息:XX公司DBA因为误操作导致数据库被删,影响较大,XX被开除; XX公司IT员工因XX事件导致对公司强烈不满,一怒之下删光了数据库和代码,公司倒闭。
今天同事反馈,MySQL 3306的端口数据库的socket文件丢失了,丢失的原因是在MySQL运行的情况下由于启动其他数据库端口时,端口忘记调整导致3306端口再次执行了如下数据库启动命令。
There are over 250 new features in MySQL 8.0. The MySQL Manual is very good, but verbose. This is a list of new features in short bullet form. We have tried very hard to make sure each feature is only mentioned once.
Antdeck是一套系统任务调度和数据库归档的系统平台,用于解决数据库管理任务统一调度管理和大表数据归档问题。目前已经接入了数据库归档模块,将数据库归档到TIDB,可以说目前的Antdeck系统就是一个基于任务调度模块的数据库归档系统。
周末由于一台运行个人网站的香港云主机被挂马,造成数据库被恶意删库,网站无法正常运行。更加让我无语的是对方竟然让我发送0.03BTC过去,才会把数据库备份发给我。但是作为一个DBA,数据库备份肯定是必须的。发现被黑客删库后,赶快从备份中将数据库恢复出来,网站代码也使用最新代码进行了替换,网站恢复正常。虽然网站恢复正常,但是购买的云主机安全问题确不得不让我警惕。在排查被黑原因之前,先对服务器安全做了一点基本的加固,防止再次被黑。
之前由于业务变更,我在使用pt的OSC工具在对一个线上不是很繁忙的数据库做变更时,发现每次都是产生了锁等待,后面排查发现是和OSC的bulk insert和autoinc lock有关,后面大家也对innodb_autoinc_lock_mode这个参数的锁的行为做过一些讨论。本篇文档就为大家介绍下MySQL的innodb_autoinc_lock_mode锁行为机制,以及不同设置下性能的分析。
晚上看到朋友圈,一些朋友在分享顺丰数据库被删事件,大概就是顺丰内部邮件曝光出某个运维同事误操作导致数据库被删,影响顺丰某个线上业务大概590分钟不可用。目前我也不清楚这个运维小哥什么情况,也不知道这10个小时是否影响的是核心业务,也不知道为什么要十个小时才恢复起来。我就数据库被删除这件事件和大家聊聊我的想法。
通常在MySQL的管理和监控中,Active Session(活动会话)是监控指标中的一个很重要的指标,通过活动会话监控,可以很清楚的了解到数据库当前是否有SQL堆积,是否处于非常繁忙的状态。那么除了活动会话之外,还有哪些指标是非常重要的呢,本文就来给大家介绍下MySQL里面另外几个重要指标,事务和锁信息,锁等待的监控。
自2016年加入我们平安好医生,在我们业务快速发展的同时,我们的数据库自动化平台也得到了快速的建设和发展 。两年多的时间里,我们DBATeam快速完成了数据库自动化、白屏化、闭环化、服务化的建设。DBA除了偶尔故障和特殊支持之外,基本不需要登录服务器去部署和操作数据。
Percona XtraBackup(简称PXB)是 Percona 公司开发的一个用于 MySQL 数据库物理热备的备份工具,支持 MySQl(Oracle)、Percona Server 和 MariaDB,并且全部开源,真可谓是业界良心。我们 RDS MySQL 的物理备份就是基于这个工具做的。
oracle中在创建表空间的时候经常会遇到数据文件超过就大数的限制,如何解决 这个问题呢?
这个问题受两个参数的限制一个是maxdatafiles,一个是db_files。
Donkey 系统是平安健康 DBA 团队开发的数据库 SQL 审核和变更平台。提供线上 DML、DDL SQL 的语法和规范校验、 流程审批、自动上线等功能。系统分为 DML 自助执行和 DDL 自动上线两部分功能。下面分别通过 DML 自助执行和 DDL 自动上线两大章节为大家进行介绍。
本文档将为大家详细的介绍安装Hadoop、HBASE、ZK等组件的安装和整合过程。每个步骤均经过验证和测试,提供出来为大家提供安装部署参考之用。
由于业务需求不断变化,可能在DB中存在超大表占用空间或影响性能;对这些表的处理操作,容易造成mysql性能急剧下降,IO性能占用严重等。先前有在生产库drop table造成服务不可用;rm 大文件造成io跑满,引发应用容灾;对大表的操作越轻柔越好。
要了解什么是GPG,就要先了解PGP。1991年,程序员Phil Zimmermann为了避开政府监视,开发了加密软件PGP。这个软件非常好用,迅速流传开来,成了许多程序员的必备工具。但是,它是商业软件,不能自由使用。所以,自由软件基金会决定,开发一个PGP的替代品,取名为GnuPG。这就是GPG的由来。
从MySQL8.0.3开始,MySQL支持一种新的优化Hint,名字叫SET_VAR,这个特性支持用户在查询语句里修改MySQL数据库的一些会话变量,当然修改只是对当前查询会话生效,不会影响到其他会话。
由于业务需要,需要部署一套Oracle DataGuard系统,并完成相关监控部署和备份等运维管理操作。本文将根据部署过程整理出了部署DataGuard的详细文档,供后续部署使用或者提供部署参考。本资料仅作为学习和部署参考使用。
Oracle数据库除了使用DBCA创建数据库的方式外,还可以使用命令手动创建数据库。本文为Oracle 11g手动创建数据库的完整过程,供大家参考使用。
当需要安装部署一套新的Oracle数据库服务器时,除了常规的安装方式外,我们可以使用Oracle home克隆的方式很快运行起一个数据库实例。这种方式是从已经部署好的Oracle服务器上将Oracle home拷贝过来,然后运行clone命令完成克隆,下面为大家做主要步骤的介绍。
测试环境某个数据库的表由于数据处理,在插入数据时指定了很大的id,导致现在自增id值变得很大,现在需要将该表的id自增值重置。但是在执行过程中我们发现了一些问题。
本文将通过实例为大家介绍MySQL Innodb事务编程问题和处理方法,很多开发人员非常喜欢在循环中进行事务提交,下面演示一个他们经常写的一个存储过程示例。
作为一个MySQL DBA,了解一下MySQL的整体架构是非常必要的,本文将以MySQL5.7为例结合企业版本为大家介绍MySQL数据库服务器架构。当然数据库架构里面的内容比较多,这里主要是对一些核心插件做一些介绍。
作为一个企业或者DBA,我们通常会有这种想法,数据是一个公司的核心命脉,应该需要永久保存,很多时候DBA和开发沟通的时候,开发人员也会这么告诉我们,这份数据非常重要,数据需要永久保存。然而,如果将数据库的数据永久保存,那么迟早有一天,你会拥有一个非常大的数据库。
这篇文章和技术无关,但却是每个程序员都需要关注的问题。无它,主要是国内程序员加班文化盛行,这让程序员原本就不太健康的生活习惯更加不健康,所以转载国外程序员Zed A. Shaw写就的文章,希望能给大家带来健康。
最近有几个执行DDL变更导致MySQL崩溃的情况。 在其中一个案例中,它是由于迅速连续的DROP多个数据库而引起的。 在此期间,我们升级到了MySQL 5.7,这个问题是mysql_upgrade在2.2Tb表上运行ALTER TABLE FORCE的结果,以便将其转换为新的微秒精度支持的数据格式。这个问题发生在中间表已经完全写入全部数据之后,当MySQL将中间表的现有表换出时发生的。
测试的种类非常多,测试的目的也非常多,我这里主要的目的就两个,测试MySQL的极限IO,对比不同版本MySQL,不同参数, 不同硬件,不同系统对MySQL的性能影响。
有些公司也能考虑使用电话告警来上报一些核心故障给运维人员。但是没有找到合适的技术方案,或者价格比较昂贵。这里我们给大家介绍使用skype来实现电话告警的方式,有兴趣的同学可以进行尝试和使用。
在本博客中,我们将和大家讨论下MySQL数据库安装后可以实现的十个MySQL性能调优设置。
通常情况下,当我们需要进行MySQL性能审计时,我们将审查MySQL配置并提出改进建议。在大多数情况下,我们只建议安装后更改一些核心的MySQL性能调优参数,即使有数百个选项可用,这篇文章的目的是给你列出一些最关键的参数设置,并告诉你如何去调整它们。
在MySQL5.5和之前版本,在运行的生产环境对大表(超过数百万纪录)执行Alter操作是一件很困难的事情。因为将重建表和锁表,影响用户者的使用。因此知道Alter操作何时结束对我们是非常重要的.甚至当执行Create index的时候.如果启用了 fast_index_creation,则不会重建表,但是仍然会锁表。
以前mysql搭建新备库都是在现在业务较小的备库上停止同步或停止数据库,然后拷贝数据库到新备库,配置好新备库后,再开启同步或数据库。然而,这次没有空闲备库用来搭新备库。需要从一个业务繁忙的数据库中搭建一个新备库,对系统延时要求比较高,所以同步和数据库都不能停。所以我们用了percona的 xtrabackup备份工具。
公司数据中心从托管机房迁移到阿里云,需要对mysql迁移(Replication)后的数据一致性进行校验,但又不能对生产环境使用造成影响,pt-table-checksum 成为了绝佳也是唯一的检查工具。