Tony Jolliffe/ BBC News
“我们需要的是立足于实际又胸怀长远目标的实干，而不需要不甘寂寞、好高骛远的空想；我们需要的是一步一个脚印的实干精神，而不需要新官上任只烧三把火希图侥幸成功的投机心理；我们需要的是锲而不舍的韧劲，而不需要‘三天打鱼，两天晒网’的散漫。”
，详情可参考服务器推荐
缺点：容易饱和（输入过大或过小时梯度接近0，导致梯度消失）
优点： 表达力更强、梯度更平滑，性能优于 ReLU/GELU。
07版 - 考古新成果阐释中华文明突出特性（考古中国）
· 王芳 · 来源：dev资讯