稀疏（sparse）在机器学习中很重要吗？为什么？ - 知乎
Dec 7, 2015 · 深度学习论文中经常看到"sparse"，所以应该是重要的概念，但一直不理解很困惑； 刚才在quora上的回答感觉很有帮助，尝试总结以下： sparse 代表数据为0，sparse数据的存 …
如何看待Native Sparse Attention？ - 知乎
Feb 18, 2025 · 这就是 Sparse attention 类的论文的核心出发点，其中的关键就是用什么算法去压缩 token 数量，NSA 也不例外。 NSA 的野心要比之前的论文要大一些，它希望可以同时适用 …
Sparse Transformer - 知乎
Sparse Transformer 的提出动机是基于一个在 CIFAR-10 数据集上，使用一个 128 层 Self-Attention 模型，对注意力模式可视化后得到的。 如图 1 到图 4 所示，它是一个基于自回归的图 …
什么是稀疏特征(Sparse Features)? - 知乎
如果你想知道为什么sparse feature在某些应用里面表现很好，可以参考： 为什么sparse representation比起其它成分分析方法（DFT，Wavelet）能得到更好的效果？ - Bihan Wen 的 …
深度学习中的sparse和dense模型指的是什么？ - 知乎
Oct 19, 2017 · 在Sparse双塔模型中，稀疏特征通常通过one-hot编码或者稀疏表示（如TF-IDF）来处理。这种表示方式会为每个可能的值创建一个维度，即使某些值在实际数据中从未出现过。 …
keras中的三种分类交叉熵分别是什么意思？ - 知乎
Dec 24, 2019 · sparse_categorical_crossentropy:与多类交叉熵相同,适用于稀疏情况。如上，但接受稀疏标签。注意，使用该函数时仍然需要你的标签与输出值的维度相同，你可能需要在标签 …
参数矩阵和稀疏输入矩阵相乘，如何降低计算量和复杂度？ - 知乎
需要把 input 按照 sparse_csr的格式创建出来就行了，如果input逻辑上shape很大，只能用 torch.sparse_csr_tensor。如果本身input不大，那to_sparse_csr也OK。注意 to_sparse 创建 …
如何评价Sparse R-CNN，目标检测未来会如何发展？ - 知乎
Sparse R-CNN确实做的很好，等的就是这样的工作！ 极致简单，不需要复杂anchor先验设置、不需要nms、不需要RPN，将整个faster rcnn的pipeline变得非常简洁。 论文核心思想应该是借 …
为什么sparse representation比起其它成分分析方 …
Sparse representation 不见得比wavelet效果好，redundant system会比wavelet效果好，通俗点讲就是因为当某些分量丢失时，这些分量所载负的信息， 能在没有损失的其它分量里存在，你 …
tensorflow中sparse_column_with_hash_bucket？ - 知乎
tensorflow中 tf.contrib.layers.sparse_column_with_hash_bucket使用的哪个hash算法？与tf.string_to_ha