位置: 编程技术 - 正文

删除MySQL重复数据的方法(删除mysql重复数据)

编辑:rootadmin

推荐整理分享删除MySQL重复数据的方法(删除mysql重复数据),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:mysql删除重复项,mysql删除重复项,mysql如何删除重复的数据,mysql删除重复项,mysql数据库删除重复记录,mysql删除重复项,mysql数据库删除重复记录,删除mysql重复数据,内容如对您有帮助,希望把文章链接给更多的朋友!

本文实例讲述了删除MySQL重复数据的方法。分享给大家供大家参考。具体方法如下:

项目背景

在最近做的一个linux性能采集项目中,发现线程的程序入库很慢,再仔细定位,发现数据库里面很多冗余数据。因为在采集中,对于同一台设备,同一个时间点应该只有一个数据,然而,数据库中存入了多个数据。对于如何造成了这个结果,一时没有想清楚,但为了解决入库慢的问题,首先要删除冗余数据。

问题描述

数据库的表结构很简单,如下:查询所有数据量输出

查询所有时间点不同设备的数据量输出

由上面的数据可以看出,数据冗余了倍左右。

再按时间分组看一下:输出:由上图可见,同一个时间点的同一个设备的数据有冗余,现在我们要把这些冗余数据去掉。

删除MySQL重复数据的方法(删除mysql重复数据)

解决方法

思路是这样的:首先应该按照conf_id和时间点来判断,进行分组(group by)查询,每组中再取一个就可以。分组是很简单,但是分组怎么取一个呢?我采用了中间表的形式。

创建中间表,并把数据导入中间表在中间表中增加一个字段,此字段是自增长的。删除无用数据

先查询一下删除不对的数据慢着,输出错误:

You can't specify target table 'perf_linux_t' for update in FROM clause

不能删除啊,那只能再建一个中间表了。

再建中间表转变思路,不删除不符合的数据,而是把符合的数据存到这张新表中。把这张表中的无用列删除导回数据

删除原来的数据插入数据删除中间表总结

通过这个方法,数据变为了条,删除了冗余的数据。但实际上程序的问题并没有完全定位,还需要观察才能定位问题。

希望本文所述对大家的mysql数据库程序设计有所帮助。

MySql查询时间段的方法 本文实例讲述了MySql查询时间段的方法。分享给大家供大家参考。具体方法如下:MySql查询时间段的方法未必人人都会,下面为您介绍两种MySql查询时间

MySQL使用临时表加速查询的方法 本文实例讲述了MySQL使用临时表加速查询的方法。分享给大家供大家参考。具体分析如下:使用MySQL临时表,有时是可以加速查询的,下面就为您详细介

MySQL重定位数据目录的方法 本文实例讲述了MySQL重定位数据目录的实现方法。分享给大家供大家参考。具体方法如下:MySQL允许重定位数据目录或其中的成员,这里就来介绍重定位M

标签: 删除mysql重复数据

本文链接地址:https://www.jiuchutong.com/biancheng/321393.html 转载请保留说明!

上一篇:Mysql优化调优中两个重要参数table_cache和key_buffer(mysql数据库优化及sql调优)

下一篇:MySql查询时间段的方法(mysql查询时间段的交集数据)

  • 差额税征收标准
  • 纳税申报期限是纳税期限期满后的时间
  • 品种法,分批法,分步法是什么
  • 管理费用借贷方都有,如何结转
  • 出现哪些情形纳入医保
  • 加工皮革出口能申请退税吗
  • 小规模纳税人怎么变成一般纳税人
  • 怎么让银行同意商转公
  • 核定征收所得税税率
  • 土地无形资产摊销的会计处理
  • 以前年度留抵用完 不能抵欠税
  • 市政配套费交给哪个部门
  • 工会没有税号怎么开普票
  • 个税合理避税的意义
  • 小规模季度30万免税怎么做账
  • 高新企业境外所得缴纳企业所得税税率为多少
  • 外汇实收资本如何做账
  • 银行认购公司债券的条件
  • 微信转账的手续费规则
  • 持有待售的非流动资产或处置组不再
  • 机票增值税怎么计算
  • timit数据集
  • apache配置多个项目
  • 计划成本核算的账务处理
  • 交易性金融资产的交易费用计入哪里
  • 补发工资怎么做账
  • 阿尔卑斯山城市
  • 医院装修设计费用取费标准表
  • php数字转16进制
  • vue调用高德js
  • 原材料入账价值包括代垫运费吗
  • php实现有序数组的数据
  • 待核销基建支出与待摊投资的区别
  • 怎么样确认
  • 上传附件不成功怎么回事
  • mysql版本5.5.x升级到5.6.x步骤分享
  • 公司购买食品如何入账科目
  • 非独立核算的分公司需要独立建账吗
  • 联营企业属于关联实体吗
  • 增量留底退税额计算
  • 上年期末留底税额怎么算
  • 年底没有取得发票企业所得税
  • 哈罗单车说明
  • 企业所得税审计调整分录
  • 电子行程单如何下载
  • 除了增值税专用发票,还有什么发票可抵扣
  • 买钢管扣件
  • sql面试题50题
  • innodb.trx
  • win10如何利用镜像安装系统
  • 7.0 Release i386 DVD iso 下载
  • IPad怎么连接电视机看看影视
  • win8系统如何关闭杀毒系统
  • linux磁盘的使用方式
  • xp系统如何取消开机自动启动程序
  • win7专业版系统镜像
  • win8更改电脑设置在哪
  • win8开机进入开始界面
  • linux使用mv命令,结果文件不见了
  • opengl版本太低怎么升级
  • node.js动态网页
  • Android使用领域
  • ug合并命令在哪
  • Android使用HttpURLConnection和HttpClient请求服务器数据
  • 置顶是什么意思呢
  • unity怎么做触屏按键
  • python方法有哪些
  • 下列关于javascript的叙述正确的有
  • css图片渐变效果
  • jqgrid loadcomplete
  • 国家税务总局网站官网福建税务局
  • 专项附加扣除可以退多少钱
  • 如何查询纳税信用等级证明
  • 税务局网上开票平台app
  • 留抵税额退税政策2023
  • 个人年收入超过多少不能退税
  • 北京市国家税务局网站官网
  • 增值税纳税申报表附列资料(三)
  • 商品房增值税如何算
  • 关于啤酒包装物押金,下列正确的是( )
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设