• 成都:共享办公受追捧 助力写字楼“去库存” 2019-07-15
  • 跟着凤凰全媒体 发现陕西之美 2019-07-11
  • 夏天吃雪糕怕伤胃拉肚子 如何健康吃冷饮——食品安全频道——黄河新闻网 2019-07-04
  • 过端午节要有“三味” 2019-07-04
  • 世界杯大中华区官方票代谈假票门黄牛倒票行为 2019-07-02
  • 《人民日报》创刊前后人员组成 2019-06-30
  • 阿来、麦家最近先后加入驻校作家行列 驻校作家做些什么 2019-06-30
  • 冀台青年演武交流会在台举行 2019-06-30
  • 面膜混搭保养法 满足肌肤的不同需要 2019-06-23
  • 紫光阁中共中央国家机关工作委员会 2019-06-23
  • 2017年度湖北新闻奖新闻摄影复评结果公示 2019-06-21
  • 十年长出一座绿色新城(在习近平新时代中国特色社会主义思想指引下——新时代新作为新篇章) 2019-06-18
  • 关注改革最后一公里:湖北纪检等部门用新技术整合分散信息 2019-06-18
  • 东风西路东往西部分车道9日围蔽施工 最全交通指引看这 2019-06-17
  • 广州租房市场进入淡季区域 热点板块成交不减 2019-06-17
  • 11选5广东开奖历史记录 > 国内 >

    广东十一选五复式胆拖:佰草集

    进化深度神经网络是推动技术发展的强劲动力

    11选5广东开奖历史记录 www.th-yl.com

        

    点击上方关注,All in AI中国

    本文回顾了进化算法是如何被提出和测试的,它作为一个竞争性的替代方案,解决与神经网络设计相关的一些问题。

    进化深度神经网络是推动技术发展的强劲动力

    此外,架构设计(即创建的形状和功能的过程神经网络)是一个漫长而艰难的过程,主要是手动完成的,因此创新性受到了限制,并且大多数进展来自于已执行的旧算法,但现在计算资源和数据已经非常好了。另一个问题是深度神经网络主要通过梯度跟踪算法(例如SGD,RMSProp)进行优化,这是限制搜索空间的一个很好的资源,但容易被局部最优(Local Optima),鞍点(Saddle point)和噪声梯度(noisy gradients)所影响,特别是在密集的解决方案等领域比如:强化学习。

    进化深度神经网络是推动技术发展的强劲动力

    带有噪声梯度和几个局部极小值的函数的图解。如果初始值为低于(0-30)或高于(65-100),则例如

    本文回顾了进化算法是如何作为一种竞争性的替代方法被提出和测试的,从而解决所描述的问题。

    神经架构搜索

    随着深度神经网络(DNN)越来越成功,对性能更好的架构工程的需求也在不断增长。随着DNN复杂度的增加,人类手工设计它们的能力受到限制,因此神经结构搜索(NAS)方法变得越来越重要??悸堑?Sutton博士的惨痛教训,这个问题变得尤为有趣:

    从70年的人工智能研究中,我们可以得出的最大教训是,利用计算的一般方法最终是最有效的,而且在很大程度上是有效的。

    进化算法(EA)已被证明在这个问题上是有用的。

    有人可能认为NAS是一个三维过程。第一个维度是它们的搜索空间,它定义了可能由算法表示的架构。当然,更大的搜索空间意味着需要测试的组合可能更多。为了使问题得到解决,在层上直接实现了一些约束:

    you ren ke neng ren wei NAS shi yi ge san wei guo cheng. di yi ge wei du shi ta men de sou suo kong jian, ta ding yi le ke neng you suan fa biao shi de jia gou. dang ran, geng da de sou suo kong jian yi wei zhe xu yao ce shi de zu he ke neng geng duo. wei le shi wen ti de dao jie jue, zai ceng shang zhi jie shi xian le yi xie yue shu:

    1. 选择最大层数
    2. 它们可能只以链(顺序的)或多分支配置连接
    3. 层类型的构建块是预定义的,但是可以调优它们的超参数
    进化深度神经网络是推动技术发展的强劲动力

    链连接(左)和多分支神经网络(右)的例子。每个节点代表一个层,每个箭头代表它们之间的连接。

    接下来是搜索策略,它定义了如何探索搜索空间。常见的替代方法有随机搜索、贝叶斯优化、强化学习、基于梯度的优化和神经进化方法。进化NAS的第一种方法来自Miller等人,他们使用遗传方法来提出架构和反向传播来优化权重。然后,Stanley和Risto提出了一种用于进化人工神经网络(ANN)的遗传算法(GA),它不仅通过考虑适应性和多样性来优化而且还使解决方案复杂化。最近,Real等人发现,进化算法在准确性方面的表现与强化学习一样好,但它开发了更好的中期性能和更小的模型(关于这种情况的进一步描述如下)。

    即便如此,遗传算法和DNN都以对高资源的要求而闻名,GPU的运算时间大约是几千天。因此,要使NAS成为一种可负担的策略,性能评估必须是在比实际性能更低的保真度下进行。在使用一个ANN预测候选网络的性能逼近Pareto-optimal最优的方面,通过实现一个性能估算策略的LSTM神经网络用于估计验证分数只有几个时期的另一位候选人的神经网络的训练。一些方法试图在保持神经网络功能的同时改变其结构,从而加快训练速度,而不是进行估计。Auto-Keras就是基于这种方法构建的。

    近年来,NAS在传统神经网络结构中的应用研究取得了新的进展。举一些例子:Rawal 等人提出了一种基于树的编码的一个在遗传规划和改进LSTM基于性能的标准语言模型(即在大型语言语料库中预测下一个词)0.9困惑点(即现在的新模型更好地估计目标语言分布)。此外,在图像分类方面,Real等人发展AmoebaNet-A以达到83.9%的前1%,96.6%的前5个ImageNet准确度,从而建立了一种新的技术水平。有人提出,这些结果可以进一步发展,利用遗传算法群体固有的多样性,扩大现有的综合方法,甚至明确鼓励它,直接奖励综合成一个群体,而不是直接模型。

    不断发展的强化学习

    神经进化算法可以分为进化权值和结构(如NAS)的算法和仅优化DNN权值的算法。进化算法与强化学习的结合通常作为唯一权重实现。

    正如一般基于梯度的算法,例如随机梯度下降(SGD)约束探索到梯度跟踪,它们的搜索空间变得有点线性,局部最小值成为一个问题。 此外,随着深度强化学习(深度RL),出现了两个额外的问题:当奖励稀疏时,过早地收敛到局部最合适的条件(即,它们仅在做出一系列决定之后发生)时,难以将行动与回报联系起来,这被称为时间信用分配,他们对超参数选择非常敏感。

    在DRL中,遗传算法被提出来解决这些问题。利用基于无梯度种群的遗传算法对DNN的权重进行了优化,并发现它在像Atari和类人运动等深度RL难题上表现良好。通过比较他们的结果与随机搜索(RS),他们发现,GA总是优于RS,并且RS有时优于RL,这表明局部最优、鞍点和噪声梯度阻碍了基于梯度的方法的发展,并且在某些情况下,在原点附近区域密集采样足以胜过基于梯度采样的方法。他们还发现GA的wall-clock速度比Q学习发展得快得多。

    Felipe Petroski、Vashisht Madhavan、Edoardo Conti、Joel Lehman、Kenneth O. Stanley、Jeff Clune等人也指出,一个未知的问题是,在早期阶段使用GA采样,然后切换到梯度搜索的混合方法是否会允许更好更快的结果。这正是Khadka等人在进化强化学习(Evolutionary Reinforcement Learning, ERL)中提出的,这是一种混合算法,使用EA中的种群训练RL agent,并将agent重新插入种群中进行适应度评估。他们提出遗传算法是一个很好的选择,以解决之前提到的深层RL问题,但这也斗争优化大量的参数。因此,将遗传算法的探索性和时间分配能力与深度RL梯度相结合,使学习速度更快。因此,进化RL能够解决比深度确定性策略梯度(Deep Policy Gradient, DDPG)等更多的任务,并且比简单的遗传算法更快。

    最后

    像Khadka和Real这样的实践研究证明,进化深度学习应用是推进现有技术发展的有用方法。尽管如此,在使用的方法中仍然存在许多限制,就像使用NAS的预定义构建块和ERL中使用的非交叉或变异一样。此外,值得注意的是,EA被视为黑盒优化方法,因此它们很难理解性能高的原因。

    进一步的研究将决定EA在深度学习领域的未来,但到目前为止,它似乎正在成为解决特定学习问题的必要工具,至少在中长期是这样的。

    当前文章://www.th-yl.com/6qh35/25941193.html

    发布时间:00:00:00


    {相关文章}

    有网友吐槽电费贵 国家电网:煎饼果子都要8块钱了

     &nbs造梦者_蜘蛛资讯网p;  

      原标题:有人问“电费能降到万恶的资本主义水平吗”,结果…

      @国资小新: 建议认真看看各国电价; @电网头条: 现在煎饼果子都要8块钱了……能十年如一日陪伴您的,除了还珠格格、西游记,还有电费。

      “电费能降到万恶的资本主义水平吗? ” 有网友向国务院国资委新闻中心官方微博国资小新提出了这个问题。随后发生的事,过程很……惨烈……结局,有点暖。

      事情是这样的。

      昨晚8时许,@国资小新 在微博上发了一条题为“转一圈发电纯阳_蜘蛛资讯网150度!难道是爱的电力转圈圈?!”的微博,说的是白鹤滩水电站拥有全球首个单机容量百万千瓦机组,东方电气核心部件水轮机转轮,投产后每转一圈可发电150度,每分钟可转动111圈,一年16台机组发电624亿度,相当于一座特大型城市全社会全年用量总和?!?/p>

      网友@轻舞已去 为此提问@国资小新: “电费能降到万恶的资本主义水平吗?”

      @国资小新的回答是:降不到了,建议认真看看各国电价↓

      环环发现,网友@轻舞已去 的提问还成功引起了的《国家电网报》社、南方电网官方微博的注意。

      《国家电网报》社官方微博@电网头条 的回复是:现在煎饼果子都要8块钱了,居民电费还是差不多5毛多一度电,能十年如一日陪伴您的,除了还珠格格、西游记,不要忘记还有电费。

      中国南方电网官方微博@南网50Hz:这个真的不行啊。

      网友对此评论称,哈哈哈,慕洋犬大型翻车现场。 ↓

      还有网友建议给他单独涨价,跟国际接轨?!?/p>

      那么问题来了:国外的电价到底有多贵?@头条电网 拿美国举了个例子——

      如果您在美国生活,收到电费账单的时候可能也会吓一跳,怎么和我算的不一样?

      拿居民用电来说,表面上的单价也许不高,但美国的电费账单里面还包括许多其他的费用,有的费用哪怕一度电没用也要交。其中,传输服务费就是不用电也一定要交的!

      这是一位居住在俄亥俄州的网友晒出的电费账单,他家是一套有两间卧室的公寓。让我们来拆解一下账单。

      General Service: 基本电费,电表计量的有功功率消耗(可以理解为供电公司向发电企业购买电力的成本)。

      Transmission Service: 输电服务费用,架设输电设备的运行维护等服务费用(例如500千伏主网的使用费)。

      Distribution Service: 配电服务费用,从主网高压侧经过变压器降压后送到用电终端的费用(例如35千伏线路,也就是路边随处可见的电线的费用)。

      Customer Charge: 表计费用,是指供电公司面向用户收取的供电服务费用。

      Retail Stability Rider : 稳定输电附加,是指促进零售竞争而收取的一项费用。

      嗯,另外如果您在美国的部分地区生活,可能会发现电真的用不起!

      颜色越深,电价越高(来自美国能源信息署)

      由于美国售电系统比较分散,所以根据各个地区的发电成本不同,每个州的居民电价相互差距也比较大。

      图片左下角,那块星星点点的深棕色是美丽的夏威夷,由于夏威夷是孤岛电网,所以电费非常高,每月平均水平是150~170美元。

      我国浙江的舟山群岛也漂在海上,但是舟山居民的用电价格和杭州居民的用电价醉枕江山_蜘蛛资讯网格是一样一样的!不得不说社会主义好??!

      随着长长的海底电缆被施工船牵引出海面,接入大电网,浙江省最后一个乡镇孤立电网——普陀东极电网投入大电网怀抱?!岸<亍敝凵狡胀忧蚪蒙衔榷煽康拇笸?。

      “美国华人生活指南”微信号还曾手把手教人如何看电费账单、如何省电费,美国电费有多贵,侧面了北京国安_蜘蛛资讯网解下?!?/p>

      在美国如何看电费账单 ?

      那么有人可能还是要问了,为啥美国工商业用电便宜一点?

      @电网头条 解释说,这是因为美国能源供应充足,资源价格较低。中国资源禀赋比不上美国,富煤贫油少气,一次能源价格本身比人家高,加上燃煤火电环保设施投运,燃煤发电的平均成本高于美国燃气发电成本。

      另外,中美国情不同,电力系统运营、民众收入水平也有很多差异,单纯地“比价”只是纸面谈兵,还得具体问题具体分析!中兴_蜘蛛资讯网

      归根结底一句话,中国的电价,尤其是居民电价真是不贵的。

      最后,不知道提问的那位网友@轻舞已去 看到这些,会怎么想?

      环环去其微博看了看,人家还真看到了:“糟老头”坏滴很,被日照_蜘蛛资讯网他骗了。 并郑重向国资小新小编道歉,开始闭门思过?!?/p>

      @国资小新 的回应则是:知错能改,善莫大焉~ 理不辩不明,事不理不清。

      理不辩不明,事不理不清。Nice!

      来源:环球网/如风、部分据@电网头条

    责任编辑:吴金明

    相关文章
    推荐图文
    最热文章
  • 成都:共享办公受追捧 助力写字楼“去库存” 2019-07-15
  • 跟着凤凰全媒体 发现陕西之美 2019-07-11
  • 夏天吃雪糕怕伤胃拉肚子 如何健康吃冷饮——食品安全频道——黄河新闻网 2019-07-04
  • 过端午节要有“三味” 2019-07-04
  • 世界杯大中华区官方票代谈假票门黄牛倒票行为 2019-07-02
  • 《人民日报》创刊前后人员组成 2019-06-30
  • 阿来、麦家最近先后加入驻校作家行列 驻校作家做些什么 2019-06-30
  • 冀台青年演武交流会在台举行 2019-06-30
  • 面膜混搭保养法 满足肌肤的不同需要 2019-06-23
  • 紫光阁中共中央国家机关工作委员会 2019-06-23
  • 2017年度湖北新闻奖新闻摄影复评结果公示 2019-06-21
  • 十年长出一座绿色新城(在习近平新时代中国特色社会主义思想指引下——新时代新作为新篇章) 2019-06-18
  • 关注改革最后一公里:湖北纪检等部门用新技术整合分散信息 2019-06-18
  • 东风西路东往西部分车道9日围蔽施工 最全交通指引看这 2019-06-17
  • 广州租房市场进入淡季区域 热点板块成交不减 2019-06-17
  • 棋牌游戏人物图片 福利彩票官网手机版 彩票开奖结果查绚公告 pk10 走势 用扑克牌玩的游戏 香港曾氏原创二肖中特 彩票后台老板 吉林11选5彩票网 金都娱乐城正网 双色球红球同尾 天津快乐十分走试图 幸运农场网技巧 71豆pk10模式 牌九娱乐城 江苏十一选五技巧秘籍