B站历史记录删不掉,什么是数据清洗?

1、B站历史记录删不掉，什么是数据清洗？

在这个由物联网(IoT)，社交媒体，边缘计算以及越来越多的计算能力(如量子计算)支持的数字时代，数据可能是任何企业最有价值的资产之一。正确(或不正确)的数据管理将对企业的成功产生巨大影响。换句话说，它可以成败一个企业。

这就是原因，为了利用这些巨大的数据，无论大小，企业都在使用机器学习和深度学习等技术，以便他们可以建立有用的客户群，增加销售量并提高品牌忠诚度。

但是在大多数情况下，由于具有许多收集源和各种格式(结构化和非结构化)，数据可能是不准确，不一致和冗余的。

通过向机器学习算法提供具有此类异常的数据，我们是否可以及时，全面地访问相关信息?

不，当然不!首先需要清除此类数据。

这就是数据清理的地方!

数据清理是建立有效的机器学习模型的第一步，也是最重要的一步。至关重要!

简而言之，如果尚未清理和预处理数据，则机器学习模型将无法正常工作。

尽管我们经常认为数据科学家将大部分时间都花在修补ML算法和模型上，但实际情况有所不同。大多数数据科学家花费大约80%的时间来清理数据。

为什么?由于ML中的一个简单事实，

换句话说，如果您具有正确清理的数据集，则简单的算法甚至可以从数据中获得令人印象深刻的见解。

我们将在本文中涉及与数据清理相关的一些重要问题：

a.什么是数据清理?

b.为什么需要它?

c.数据清理有哪些常见步骤?

d.与数据清理相关的挑战是什么?

e.哪些公司提供数据清理服务?

让我们一起开始旅程，了解数据清理!

数据清洗到底是什么?

数据清理，也称为数据清理，用于检测和纠正(或删除)记录集，表或数据库中的不准确或损坏的记录。广义上讲，数据清除或清除是指识别不正确，不完整，不相关，不准确或其他有问题(“脏”)的数据部分，然后替换，修改或删除该脏数据。

通过有效的数据清理，所有数据集都应该没有任何在分析期间可能出现问题的错误。

为什么需要数据清理?

通常认为数据清理是无聊的部分。但这是一个有价值的过程，可以帮助企业节省时间并提高效率。

这有点像准备长假。我们可能不喜欢准备部分，但我们可以提前收紧细节，以免遭受这一噩梦的困扰。

我们只需要这样做，否则我们就无法开始玩乐。就这么简单!

让我们来看一些由于“脏”数据而可能在各个领域出现的问题的示例：

a.假设广告系列使用的是低质量的数据并以不相关的报价吸引用户，则该公司不仅会降低客户满意度，而且会错失大量销售机会。

b.如果销售代表由于没有准确的数据而未能联系潜在客户，则可以了解对销售的影响。

c.任何规模大小的在线企业都可能因不符合其客户的数据隐私规定而受到政府的严厉处罚。例如，Facebook因剑桥数据分析违规向联邦贸易委员会支付了50亿美元的罚款。

d.向生产机器提供低质量的操作数据可能会给制造公司带来重大问题。

数据清理涉及哪些常见步骤?

每个人都进行数据清理，但没人真正谈论它。当然，这不是机器学习的“最奇妙”部分，是的，没有任何隐藏的技巧和秘密可以发现。

尽管不同类型的数据将需要不同类型的清除，但是我们在此处列出的常见步骤始终可以作为一个良好的起点。

因此，让我们清理数据中的混乱!

删除不必要的观察

数据清理的第一步是从我们的数据集中删除不需要的观测值。不需要的观察包括重复或不相关的观察。

a.在数据收集过程中，最常见的是重复或多余的观察结果。例如，当我们组合多个地方的数据集或从客户端接收数据时，就会发生这种情况。随着数据的重复，这种观察会在很大程度上改变效率，并且可能会增加正确或不正确的一面，从而产生不忠实的结果。

b.不相关的观察结果实际上与我们要解决的特定问题不符。例如，在手写数字识别领域，扫描错误(例如污迹或非数字字符)是无关紧要的观察结果。这样的观察结果是任何没有用的数据，可以直接删除。

修复结构错误

数据清理的下一步是修复数据集中的结构错误。

结构错误是指在测量，数据传输或其他类似情况下出现的那些错误。这些错误通常包括：

a.功能名称中的印刷错误(typos)，

b.具有不同名称的相同属性，

c.贴错标签的类，即应该完全相同的单独的类，

d.大小写不一致。

例如，模型应将错字和大小写不一致(例如“印度”和“印度”)视为同一个类别，而不是两个不同的类别。与标签错误的类有关的一个示例是“不适用”和“不适用”。如果它们显示为两个单独的类，则应将它们组合在一起。

这些结构错误使我们的模型效率低下，并给出质量较差的结果。

过滤不需要的离群值

数据清理的下一步是从数据集中过滤掉不需要的离群值。数据集包含离训练数据其余部分相距甚远的异常值。这样的异常值会给某些类型的ML模型带来更多问题。例如，线性回归ML模型的稳定性不如Random Forest ML模型强。

但是，离群值在被证明有罪之前是无辜的，因此，我们应该有一个合理的理由删除一个离群值。有时，消除异常值可以提高模型性能，有时却不能。

我们还可以使用离群值检测估计器，这些估计器总是尝试拟合训练数据最集中的区域，而忽略异常观察值。

处理丢失的数据

机器学习中看似棘手的问题之一是“缺少数据”。为了清楚起见，您不能简单地忽略数据集中的缺失值。出于非常实际的原因，您必须以某种方式处理丢失的数据，因为大多数应用的ML算法都不接受带有丢失值的数据集。

让我们看一下两种最常用的处理丢失数据的方法。

a.删除具有缺失值的观察值：

这是次优方式，因为当我们丢弃观察值时，也会丢弃信息。原因是，缺失的值可能会提供参考，在现实世界中，即使某些功能缺失，我们也经常需要对新数据进行预测。

b.根据过去或其他观察结果估算缺失值：

这也是次优的方法，因为无论我们的估算方法多么复杂，原始值都会丢失，这总是会导致信息丢失。大数据分析机器学习AI入门指南https://www.aaa-cg.com.cn/data/2273.html由于缺少值可能会提供信息，因此应该告诉我们的算法是否缺少值。而且，如果我们推算我们的价值观，我们只是在加强其他功能已经提供的模式。

简而言之，关键是告诉我们的算法最初是否缺少值。

那么我们该怎么做呢?

a.要处理分类特征的缺失数据，只需将其标记为“缺失”即可。通过这样做，我们实质上是添加了新的功能类别。

b.要处理丢失的数字数据，请标记并填充值。通过这样做，我们实质上允许算法估计缺失的最佳常数，而不仅仅是用均值填充。

与数据清理相关的主要挑战是什么?

尽管数据清理对于任何组织的持续成功都是必不可少的，但它也面临着自己的挑战。一些主要挑战包括：

a.对引起异常的原因了解有限。

b.错误地删除数据会导致数据不完整，无法准确地“填写”。

c.为了帮助提前完成该过程，构建数据清理图非常困难。

d.对于任何正在进行的维护，数据清理过程既昂贵又费时。

https://www.toutiao.com/i6821025363057967624/

2、有什么B站的番可以看？

推荐几部佳作，自己有空去看看吧

3、有哪些app值得推荐？

APP是应用程序，Application的缩写，主要指安装在智能手机上的软件。

分享10个神级APP，不管是安卓还是iOS都必备，不仅不占空间，还能涨见识提升效率。是头条与知乎上万个赞总结退出来的 APP。

支持：安卓、iOS

拼接壁纸用哒，可以自定义背景的图案和颜色！可爱又实用！拼出海报质感手机壁纸，画风很棒，音乐很好听，当休闲小游戏可以放松一下心情。

支持：安卓、iOS

分类超齐全的句子控必备宝藏APP，有困难时期治愈语录，朋友圈美文金句，个人成长、灵感等超多好句子。整体界面简洁干净、阅读舒心，真的是温暖治愈的APP。

支持：安卓、iOS

查看全球天气信息，可以预知40日天气趋势，预知晴雨并提醒你早做打算，方便出行。

支持：安卓、iOS

学习必备极简翻页桌面时钟，手机及平板都可以用。有丰富且颜值高的时钟主题，还有悬浮时钟、番茄钟、白噪音，学习专注超级好用；设置iOS14桌面小组件，超级赞呢。

支持：安卓、iOS

健身打卡APP，可记录运动轨迹、速度及跑步里程并打卡，完成挑战可获得跑步徽章，并可以和Keep的健身课程内容相结合，是一款非常实用的健身打卡APP。

支持：安卓、iOS

一款可以自定义倒计时的软件，可以用来记录考试时间、纪念日、生日等重要日子！支持设置主题、背景图、日期格式等，颜值特别高；做成桌面小组件方便又实用，免费超用好的APP。

支持：安卓、iOS

二次元必备，有很多up主分享的鬼畜剪辑look，不仅仅是用于娱乐放松的，也是一个学习各种技能和专业知识的宝地。学习摄影、look剪辑、背单词、数学、历史等等，而且干货超级多。

支持：安卓、iOS

做笔记是个能提高自己效率的好习惯。印象笔记可以帮助在工作中的小伙伴，让工作井井有条，提高效率。可以帮助在学习中的小伙伴，快速记录课堂笔记，制作备考计划。

支持：安卓、iOS

异地情侣、闺蜜的私人应援，可以同屏按电影的软件。异地情侣可以挑选同一个影片，创建个人房间，同步进行观看，分享看法哦。

支持：安卓、iOS

手持LED弹幕神器，有超级多模板，输入文字立刻出现效果，直播弹幕提词器、表白、演唱会、见面会、接机等场合下使用，能立刻引起idol的注意力哦。

以上真心推荐，喜欢+1

4、历史上有哪些非常命硬的人？

俗话说得好，大难不死必有后福，指的是遇到巨大灾祸没有死掉，将来必定会有福气，对于很多人来说，如果真的遇到这样的事情，能够做到大难不死就已经非常困难了，必有后福更是连想都不敢想，当一个人劫后余生时，人们不仅会用“幸运”来形容，还会用到另一个词“命硬”，下面小编就为大家盘点一下历史上都曾出现过哪些“命硬”的人？

1.一生中躲过多次暗杀的男人—菲德尔·卡斯特罗

众所周知，卡斯特罗是古巴的前领导人，也是二十世纪的风云人物，古巴向来与美国不和，卡斯特罗又是反美斗士，铁了心要和美国干到底，因此他的人身安全自然无法得到有效的保证了。美国中情局一直视卡斯特罗为眼中钉，肉中刺，一定要把他除掉才行。于是针对卡斯特罗的一系列暗杀行动就此开始，不过卡斯特罗好像是被神灵庇佑了一样，他的一生中前前后后总共经历了600多次暗杀，最后人家都安然无恙地挺过去了，关键是卡斯特罗还活到了90岁的高龄，这简直是一个奇迹。

有的人认为暗杀的成功率极低，所以卡斯特罗才能一次又一次躲过这些浩劫。事实上，并不是这样的。我们以美国为例，至今为止，美国自建国以来，总共诞生了46任总统，这其中出现了几位因暗杀而身亡的，他们分别是林肯、艾伯拉姆·加菲尔德、肯尼迪、威廉·麦金莱，可见其危险性还是比较高的。而针对卡斯特罗的暗杀行动有很多，手段也是层出不穷，比如雪茄炸弹、收买亲信下毒、情人暗杀、潜水服里放真菌等。正所谓兵来将挡，水来土掩。这些暗杀行动一次又一次被化解了。

2.七次战胜了死神的男人—弗拉诺塞拉克

塞拉克出生于克罗地亚，他的一生中出现过七次意外。

第一次，塞拉克乘坐火车，结果列车脱轨，车厢掉进水里，17人全部遇难，他却奇迹般活了下来。

第二次，塞拉克乘坐飞机，令人没有想到的是舱门掉了，飞机上19名乘客遇难，当时因为塞拉克落在了干草堆上，他又侥幸地活了下来，

第三次，塞拉克乘坐公交车，结果车又开进了河里，又有人领了盒饭，当然塞拉克却安然无恙了。

第四次，塞拉克自己开车出来，没有想到车子自燃，最后还爆炸了，这次塞拉克虽然受了点烧伤，但是没有危及到生命。

第五次，塞拉克又发生了车祸，不过他依然活着。

第六次，塞拉克步行在街道上，结果被车撞进了医院，不过身体上没什么大碍，他很快就出院了。

第七次，遭遇了这么多次意外，塞拉克依然敢开车，结果小卡车把他的车撞下了悬崖，赛拉科却靠一棵树活了下来。

这么多意外都发生了，可是塞拉克依然死里逃生活了下来，关键人家还用了自己的毕生运气，中了80万欧元的彩票。这不是命硬是什么？

3.被雷劈中多次的人—劳埃·C·沙利文

根据科学家的概率统计，人一生被雷劈中的概率为60万分之一，这种几率似乎能够和中彩票相提并论了。可是有一位名叫劳埃·C·沙利文的人，却多次被雷电劈中。

第一次，沙利文正在公园散步，忽然天空下起了小雨，一道闪电正好击中了他，按说这种情况生还的可能性很低，不过人家除了指甲被掀掉之外，没有受什么伤。

第二次，沙利文又被雷电击中了，可是这次打击只是烧掉了他的眉毛而已，事后在医院治疗一段时间就出院。

第三次，沙利文再次被雷击中，其结果导致他的右肩被烧焦。

第四次，雷击的事件是发生在1972年，这回他的头发全部被烧焦了。

第五次，沙利文正在开车，突然一道闪电把他扔出车外3米多远。

第六次，沙利文被雷电击中，肘部受伤，他希望这是最后一次，令人没有想到的是雷电还没有放过他。

第七次，沙利文在钓鱼的时候，再次被雷电击中，其结果导致他的胸部和胃部都受伤了。

一个人经过那么多次雷电击中，却奇迹般活了下来，不是命硬是什么？

4.空难中的幸存者—荷兰空姐薇丝娜

在1972年，荷兰空姐薇丝娜遭遇了一场飞机爆炸，据了解，当时飞机场总共有28人，可是只有薇丝娜存活了下来，其余的27人全部遇难，由于这场事故来得太快了，薇丝娜根本没有时间做准备，就这样从一万多米的高空下坠落，这么看来她应该是毫无生还的可能性了，不过奇迹的一幕还是发生了，当薇丝娜被急救人员找到的时候，生命体征已经很微弱了，她的头骨摔裂，全身上下有十多处骨折，三处脊椎骨粉碎，不过医护人员还是把薇丝娜从死亡的边缘给拉回来了，她保住了一条命。同时薇丝娜成为了吉尼斯最高自由落体记录的保持者，真是命硬啊。

5.挨过两颗原子弹而存活的人——山口疆

谈起核武器，想必大家对此都有一定的了解，它的破坏力极强，一颗原子弹就能摧毁一整座城市。而且在核爆的瞬间，几乎没有人能够存活下来，因此不到万不得已的情况下，世界各国是不会动用核武器的。纵观整个人类的战争史，只有二战的时候，美军向日本投入过核武器。

不过有一个人经历了两次核爆，都死里逃生，最后居然活到了93岁，他就是山口疆。在1945年8月6日，山口疆正好去广岛出差，距离美国投放原子弹的位置仅有3公里，当时他本来要和同事离开广岛，可是山口疆突然想起公章忘了拿了，于是他又折返到工作的地方，在核爆的瞬间，人与建筑马上就化为灰烬了，而山口疆也受到了重创，眼睛短暂失明，被气浪卷起，他也受到了严重的灼伤，皮肤溃烂。令人没有想到的是山口疆仅经过短暂的治疗，在核爆两天之后，又去公司上班了。

由于日本军方严密封锁原子弹爆炸的消息，上司根本不相信山口疆所陈述的事实，此时第二颗原子弹落在了他所处办公室两英里处，这次山口疆再次大难不死，及时被救出治疗。由于家人还住在长崎，山口疆又返了回来，他被核辐射感染，高烧一周，不过他居然奇迹般活了下来。二次大战结束之后，山口疆继续工作，直到退休，活到了2010年去世了，享年83岁。

6.命硬的皇帝—朱祁镇

提起朱祁镇这个名字，估计大家都会感到很陌生，但是要说到土木堡之变，相信谁都很清楚。明军大败，皇帝被俘。这个皇帝的名字就是朱祁镇了。俗话说得好，胜者为王，败者为寇。既然被俘了，朱祁镇的生命安全根本得不到保证，瓦剌首领也先想什么时候弄死他都可以。可是三次杀朱祁镇都失败了。

第一次，也先准备拿刀砍死朱祁镇，可是正在他举刀的过程中，刀却突然断了，这简直是一件不可思议的事情。

第二次，也先又为朱祁镇设计了新的死法，那就是溺亡。先把朱祁镇给五花大绑了，然后直接扔进水里面。按说他应该必死无疑才对，后来朱祁镇居然漂浮在水面上，没有被淹死。可能那片的水域浮力过大了，才导致朱祁镇沉不到水底。

第三次，也先准备在晚上杀朱祁镇，当时他骑着马就奔着朱祁镇的住所去了，谁知道此时天空一道闪电直接把马给劈了，这种场面的确有些惊悚，也先更是吓得够呛。

既然三次都没杀死朱祁镇，也先直接就放弃了这种念头，最后直接把他送了回去。不过当时明朝已经有皇帝了，他就是朱祁钰，朱祁镇回去当然不受欢迎了，直接被软禁了起来，不过朱祁镇命很硬，熬了七年还没死，反而朱祁钰的儿子被熬死了，而朱祁钰又病重，在大臣的辅佐下，明朝发生了夺门之变，朱祁镇重新上位，又重新坐上了龙椅。

7.多次死里逃生的——曹操

根据《三国演义》的记载，曹操曾多次死里逃生。

1.在献刀的时候，如果不是曹操机智，早就被董卓给杀害了。逃走之后，又被陈宫给抓到了，按说这时应该是九死一生，不过陈宫又放过他。

2.十八路诸侯共讨董卓之时，曹操独自引兵追击，结果大败，差点被擒，幸亏曹洪及时赶到，才幸免于难。

3.濮阳之战，曹操的老巢被吕布袭取了，为此他只能放弃攻打徐州，返回与吕布厮杀，可是回去之后先输一阵，当时曹操被吕布围困，幸得典韦相救，才能生还。

4.在张绣反叛之际，曹操是一点准备都没有的，直接给打懵圈了，要不是典韦拼死相救，曹操早就没了，这一仗曹操的损失还是比较大的，长子曹昂、侄子曹安民、猛将典韦全都战死。

5.赤壁之战，曹操一败涂地，走到华容道，如果不是关羽留情，曹操的生命也就到这里了。

6.战马超，马超勇猛无比，曾杀的曹操割须弃袍，如果这时不是自己手下的猛将赶来，曹操早就被马超枪挑马下了。

除此之外，曹操还不怕被别人克制，就拿吕布来说，投靠谁，谁倒霉。投靠丁原的时候，把丁原杀了，投靠董卓的时候，董卓也被他干掉了。到了曹操这，吕布只有被杀的份了。还有就是刘备，纵观整个三国历史，刘备投靠的人很多，比如袁绍、刘表、公孙瓒、陶谦等，当然这其中就有曹操，结果大家都知道，除了曹操之外，这些诸侯都完蛋了，可见曹操命硬，不怕刘备克。

大家对此有什么看法？请把你的想法写在评论区，喜欢的朋友可以加个关注，谢谢。

5、有什么游戏推荐一下？

主楼说的是移动端的还是pc端的游戏？我分别推荐几款希望你喜欢。

移动端

1、战地大逃杀

想要在没有任何复杂度的情况下赢得战斗？战地大逃杀可能适合你。在岛屿地图上选择你的落点，背着降落伞下去寻找武器和盾牌，你也可以追踪武器掉落以获得更先进的装备，然后隐藏在建筑物和灌木丛中，等待对手前来送人头。

对于这款简单的生存射击游戏，一场比赛通常不会超过10分钟。虽然免费的游戏本身很有趣，但你也可以购买一些酷炫的新皮肤来提升自己的魅力。

2、暗影之枪：传奇

尽管无法真正在手机上体验像命运这样的主机游戏，但暗影之枪可以让你尽可能地接近。这可能是手机上最好的第一人称射击游戏，里面有一个大本营（更像是一座城市），你可以在那里购买武器和盔甲，或者赌博赚取更多游戏币。

游戏本身非常出色，你可以通过故事任务、解锁谜题，或者消灭敌人来提升名望。当你手上拿着独特的星际武器和其他枪械时，很容易想起主机游戏中的命运，虽然它们拥有完全不同的环境设定，但暗影之枪仍然会让你一直惊喜。

3、监视者

为了国，还是为了家？

我想做个好人，但是我做不到。我想做好事，但是好心办事不一定有好结果。我努力地寻找一个平衡，一个能让我活下去，能让我不被良心折磨的平衡。

这是一个极权主义国家，主人公是一栋楼的管理员，它可以安置摄像头来偷瞄每个人的隐私。当发现居民使用非法产品时，你可以敲诈、你也可以报警把它带走，但是，这么做就一定是对的吗？游戏过程中，女儿生病需要钱，儿子上学需要钱，到处都需要钱，你要怎么赚钱？敲诈？还是偷，一切都在你的选择中。

4、致命框架1.2

这款游戏真的很容易让人痴迷哈~可能一玩就连着玩通关，《致命框架1》和《致命框架2》游戏质量都非常的高，而且，这款游戏非常的新颖，游戏没有开始制作商这些繁琐的东西就连存档都没有，玩家一进去就会像看连环画一样，将混乱的画面连接成一个故事，而且故事内容也非常棒，强烈推荐！

pc端

1.尼尔：机械纪元

《尼尔：机械纪元》，打击感一流 武器有自己的故事(我个人很喜欢这点) BOSS战设计新颖 对手残党很友好——你可以选择自动模式看故事。顺便一说，PC端3月17日发售并上架Steam商店。没PS4的朋友们不考虑来PC端看看2B的屁股吗！这个屁股就回本了！

2、刺客信条

你以为这是个历史游戏，打到一半发现原来是个科幻游戏！你以为这是个科幻游戏，通关发现原来是个奇幻游戏！自由度超高的沙盘游戏，在楼顶上爬来爬去刺杀肥宅好过瘾啊

3、杀戮天使

这个作者做这个游戏非常走心，自由移动的时候和同伴的对话非常多，而且调查完的东西随着剧情发展队友归队重新调查会有新的对话，哪怕是限时里面也可以尽可能的和人物对话，有很多对话。都很有一看的价值

4、层层恐惧

巧妙地在游戏中利用了各种名画+诡异的PS变形，产生了与众不同效果拔群的惊吓效果（从此对家里挂的几幅油画产生了阴影[手动再见]）。出色的艺术风格，层层递进不烧脑的故事情节和简单的解谜要素可以让人轻松愉快的度过游戏时光 还有许多，推荐的这些希望你喜欢！