Pursue excellence and success will come chasing you.

0%

Haskell 的 Kind 系统入门

本文是对这篇文章的翻译,文章通过与 type 的对比帮助读者入门 kind 理论。

文中所有的代码基于 GHC 8.4.3

阅读全文 »

PatternSynonyms

PatternSynonyms 用来处理在进行模式匹配 (pattern matching) 时模式名称过长的问题,通过给模式一个简化的名称来实现降低代码量和增加易理解程度的功能。PatternSynonyms 开启需要显式指明 {-# LANGUAGE PatternSynonyms #-}

阅读全文 »

UPenn ESE 680(Graph neural networks) lecture note 4

图信号的学习

在图上的学习等价于图上经验风险最小化 (empirical risk minimization),即学习 \(\Phi^\ast\),满足 \[ \Phi^\ast = \underset{\Phi\in C}{argmin} \sum_{(x,y)\in \tau} \ell(y, \Phi (x)) \] 由上节课知识可以知道上式其实就是学习在过滤器 \(S\) 下最小损失的过滤器 \(h\) \[ h^\ast = \underset{h}{argmin} \sum_{(x,y)\in \tau} \ell(y, \Phi (x; S, h)) \] 在训练的最后一层我们需要将图信号转换成需要的数据,这一步叫做 Readout。

阅读全文 »

UPenn ESE 680(Graph neural networks) lecture note 1 and 3

课程目标

  1. 理解图神经网络的基础
  2. 培养利用 GNN 开发实际应用的能力

应用场景

  1. 论文作者识别:给定匿名文章推断其作者
  2. 推荐系统:预测不同客户对物品的评分
  3. 无线电资源分配
  4. etc.

NN -> CNN -> GNN

阅读全文 »

逻辑斯谛回归与最大熵模型

logistic regression 是统计学习中的经典分类方法,其方法可简单理解为在 linear regression 上应用 sigmoid 进行映射, 将其转换为二分类问题。《统计学校方法》 一书通过 logistic distribution 进行推导。将 logistic 翻译成逻辑斯谛这种无意义的单词也太无聊了,后文将全部使用英文表述。

阅读全文 »

决策树

决策树 (decision tree) 是一种基本的分类与回归方法。本文主要讨论用于分类的决策树。决策树模型呈树形结构,在分类问题中,表示介于特征对实例进行分类的过程。它可以认为是 if-then 规则的集合,也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性分类速度快

模型

决策树是树状模型,由叶子结点和非叶子结点构成,非叶子结点表示一个特征或属性,叶子结点表示一个类。决策树的分类过程很简单,从根结点依次遍历,依据结点的取值选择对应的分支继续遍历直到到达叶子结点,返回对应的类。决策树的各非叶子结点的属性要求互斥且完备。

阅读全文 »

朴素贝叶斯法

朴素贝叶斯 (naive Bayes) 法是基于贝叶斯定理于特征条件独立假设的分类方法。对于给定的训练数据集,首先基于特征条件独立假设学习输入输出的联合概率分布,随后再利用此模型,对于给定的输入 \(x\),利用贝叶斯定理求出后验概率最大的输出 \(y\)。朴素贝叶斯法属于生成模型

阅读全文 »

\(k\) 近邻法

模型

\(k\) 近邻法是一种基本的分类和回归方法。对于分类问题,模型将输入对应于特征空间后输出对应的类别。\(k\) 近邻法假定给定一个训练数据集,其中的实例类别已定。分类时,对于新的实例,根据其 \(k\) 个最近邻的训练实例的类别,通过多数表决等方式进行预测。因此,\(k\) 近邻法不具有显式的学习过程。\(k\) 值的选择距离度量分类决策规则\(k\) 近邻法的三个基本要素。

\(k=1\) 的特殊情况被称为最近邻算法。

阅读全文 »

感知机

模型

感知机是一种二类分类的线性分类模型,属于判别模型。感知机的数据集要求线性可分。 \[ f(x) = sign(\omega \cdot x + b) \] 其中 \[ sign(x) = \left\{\begin{matrix} 1, x \geq 0\\ -1, x < 0 \end{matrix} \right. \] \(\omega \cdot x + b = 0\) 决定了将数据分为正负两类的超平面。

阅读全文 »

    每个人都或多或少有些负面情绪,来源也是千奇百怪,如果能提前知道负面情绪的到来,就可以及时克制一下,起码让这些情绪不暴露在自己最亲近的人面前,或者最不想暴露的人面前。

阅读全文 »