网上有关“在训练模型中上面有红字但能运行影不影响”话题很是火热,小编也是针对在训练模型中上面有红字但能运行影不影响寻找了一些与之相关的一些信息进行分析,如果能碰巧解决你现在面临的问题,希望能够帮助到您来源:https://ewtuny.cn/cshi/202412-84.html。
不影响。
在训练模型时应避免的错误:
1、使用未经验证的非结构化数据
在人工智能开发过程中,机器学习工程师经常犯的一个错误就是使用未经验证的非结构化数据。未经验证的数据中存在数据重复、数据矛盾、缺乏分类、数据冲突、数据错误等问题,这些都可能导致训练不正常。
所以,在使用原始数据集进行机器学习训练之前,先要仔细检查一下原始数据集,去掉所有不必要或不相关的数据,以帮助人工智能模型功能更准确。
2、使用已用于测试模型的数据
这样的错误应该避免。举例来说,如果一个人已经学会了某样东西,把它应用到他的工作领域,并且把同样的信息应用到另一个领域,那么在推理时就会产生偏差和重复。
同样的原理也适用于机器学习:人工智能可以从大量数据集学习中来准确预测答案,同样的训练数据用于模型或基于人工智能的应用中,可能会导致模型出现偏差,产生的结果是之前学习的结果。因此,你需要用以前没有用来训练机器的不同数据集,来测试人工智能模型。
3、使用不充分的训练数据集
要想保证你的人工智能模型是准确的,你必须使用适当的训练数据来确保它能够以最高的准确度进行预测。通常,造成模型失败的一个主要原因就是缺乏充分的准备数据来源:https://faiemp.cn/cshi/202412-62.html。
值得一提的是,需要的训练数据类型因人工智能模型或行业类型而异。要保证深度学习在高准确度下运行,你需要更多的定量和定性数据集。
4、确保你的人工智能模型不会出现偏差
要想创建一个人工智能模型,在各种场景下都能提供100%准确的结果是不可能的。就像人一样,机器也会因各种因素而产生偏差,比如年龄、性别、取向和收入水平等等,这些因素都会对结果产生不同程度的影响。所以你必须使用统计分析,来确定每一个个体因素是如何影响数据和人工智能训练的。
注意点1:你的数据未必可靠
在实际应用中,有很多各种各样的原因会导致你的数据是不可靠的。因此,当你将数据用于解决问题前,必须经常留心来检查数据是否值得信赖。如果基于糟糕的数据来挖掘,无论多么聪明的人也永远只会获得糟糕的结果。下面列举了一些常见的可导致数据可靠性问题的因素:
用于开发的数据,往往和实际情况下的数据分布不同。例如也许你想把用户按照身高划分为“高”、“中等”、“矮”三档,但如果系统开发时使用的数据集里最低用户的身高是6英尺(184cm),那么很有可能你开发出来的系统里会把一个“仅有6英尺”的用户称为“矮”用户
你的数据集中存在很多缺失数据来源:https://faiemp.cn/zhishi/202412-47.html。事实上,除非是人为构造的数据集合,否则很难避免缺失数据问题的发生,如何处理数据缺失的问题是很有技巧的事情来源:https://faiemp.cn/cshi/202412-125.html。实践中我们要么是干脆丢弃一部分残缺的数据,要么就是想办法计算一些数值去填补这些缺失值。无论哪种方法都可能导致应用结果的不稳定
你的数据可能随时在变化。数据库的表结构可能会变,数据定义也可能会变来源:https://www.ewtuny.cn/cshi/202412-136.html
你的数据可能没有被归一化。假设你可能在观察一组用户的体重,为了能够获得有效的结论,首先需要对每个体重的衡量单位进行归一化,是英镑还是公斤,不能混淆着用
你的数据可能并不适用于相应的算法。数据存在着各种各样的形式和规范,或者叫数据类型(data types),有些是数值化的数据,有些则不是。有些数据集合能被有序排列,有些则做不到。有些是离散化的数据(例如房间里的人数),另一些则是连续化的(例如气温或者气压等数据)
注意点2:计算难以瞬间完成
完成任何一个人工智能解决方案的计算,都需要一定的时间,方案的响应速度,对商业应用的成功与否起到十分关键的作用。不能总是盲目假设任何算法在所有数据集上都一定能在规定时间内完成,你需要测试下算法的性能是否在可接受的应用范围内。
以搜索引擎为例,用户对结果返回的时长是有忍耐的限度的。如果用户等待的时间超过10秒,50%的用户会流失,如果等待时间超过1分钟,90%以上的用户会流失来源:https://ewtuny.cn/bkjj/202412-119.html。在开发智能应用系统时,不能为了达到更好的算法精度而忽略系统运算和等待的时间,否则会导致整个产品的失败。
注意点3:数据的规模非常重要
当我们考虑智能应用时,数据规模是很重要的因素。数据规模的影响可以分为两点来考察:第一点是规模会影响应用系统的响应速度,上一节我们刚提过;第二点是在很大的数据集上的挖掘出有价值结果的能力会受到考验。例如为100个用户开发的**或音乐推荐系统可能效果很好,但是同样的算法移植到有着100000个用户的环境里,效果可能就不尽如人意了。
其次,使用更多的数据来训练的简单算法,比受制于维度诅咒(Dimension Curse)的复杂算法往往有好得多的效果。类似Google这样拥有海量数据的大型企业,优秀的应用效果不仅来自于精妙复杂的算法,也来自于其对海量训练数据的大规模分析挖掘。(达观数据 陈运文)
注意点4:不同的算法具有不同的扩展能力
我们不能假设智能应用系统都可以通过简单增加服务器的方法来扩展性能。有些算法是有扩展性的,而另一些则不行。
例如如果我们要从数亿的文章标题里,找出标题相似的各个组的文章,注意并不是所有的聚类算法此时都能并行化运行的,你应该在设计系统的同时就考虑可扩展性。有些情况下你需要将数据切分成较小的集合,并能够让智能算法在各个集合上并行运行。设计系统时所选择的算法,往往需要有并行化的版本,而在一开始就需要将其纳入考虑,因为通常围绕着算法还会有很多相关联的商业逻辑和体系结构需要一并考虑。
注意点5:并不存在万能的方法来源:https://www.ewtuny.cn/cshi/202412-62.html
你可能听说过一句谚语“当你有了把榔头的时候,看什么东西都像钉子”,这里想表达的意思是:并不存在能够解决所有智能应用问题的万能算法。
智能应用软件和其他所有软件类似——具有其特定的应用领域和局限性。当面对新的应用领域时,一定要充分的验证原有方法的可行性,而且你最好能尝试用全新的视角来考察问题,因为不同的算法在解决特定的问题时才会更有效和得当(达观数据 陈运文)。
注意点6:数据并不是万能的来源:https://www.ewtuny.cn/xwzx/202412-64.html
根本上看,机器学习算法并不是魔法,它需要从训练数据开始,逐步延伸到未知数据中去。
例如假设你已经对数据的分布规律有所了解,那么通过图模型来表达这些先验的知识会非常有效。除了数据以外,你还需要仔细的考虑,该领域有哪些先验知识可以应用,这对开发一个更有效的分类器会很有帮助来源:https://faiemp.cn/cshi/202412-37.html。数据和行业经验结合往往能事半功倍。
注意点7:模型训练的时间差异很大来源:https://www.faiemp.cn/cshi/202501-166.html
在特定应用中,可能某些参数的微小变化就会让模型的训练时间出现很大的差异。例如在深度神经网络训练时就会有各种各样的参数调节的情况发生。
人们往往会直观地觉得调整参数时,训练时间是基本稳定不变的。例如假设有个系统是计算地球平面上任意两点之间的距离的,那么任意给出两个点的坐标时,计算时间差不多都是相同的。但在另一些系统里却并非如此,有时细微的调整会带来很明显的时间差异,有时差异甚至可以大到数小时,而不是数秒。
注意点8:泛化能力是目标
机器学习实践中最普遍存在的一个误区是陷入处理细节中而忘了最初的目标——通过调查来获得处理问题的普适的方法。来源:https://faiemp.cn/zhishi/202412-5.html
测试阶段是验证某个方法是否具备泛化能力(generalization ability)的关键环节(通过交叉验证、外部数据验证等方法),但是寻找合适的验证数据集不容易。如果在一个只有几百个样本的集合上去训练有数百万维特征的模型,试图想获得优秀的精度是很荒唐的。
注意点9:人类的直觉未必准确
在特征空间膨胀的时候,输入信息间形成的组合关系会快速增加,这让人很难像对中等数据集合那样能够对其中一部分数据进行抽样观察。更麻烦的是,特征数量增加时人类对数据的直觉会迅速降低。来源:https://www.faiemp.cn/bkjj/202412-119.html
例如在高维空间里,多元高斯分布并不是沿着均值分布,而是像一个扇贝形状围绕在均值附近,这和人们的主观感受完全不同。在低维空间中建立一个分类器并不难,但是当维度增加时,人类就很难直观的理解了。来源:https://www.ewtuny.cn/zhishi/202412-24.html
注意点10:要考虑融入更多新特征
你很可能听说过谚语“进来的是垃圾,出去的也是垃圾”(garbage in, garbage out),在建立机器学习应用中这一点尤其重要。为了避免挖掘的效果失控,关键是要充分掌握问题所在的领域,通过调查数据来生成各种各样的特征,这样的做法会对提升分类的准确率和泛化能力有很大的帮助。仅靠把数据扔进分类器就想获得优秀结果的幻想是不可能实现的。
注意点11:要学习各种不同的模型
关于“在训练模型中上面有红字但能运行影不影响”这个话题的介绍,今天小编就给大家分享完了,如果对你有所帮助请保持对本站的关注!