I Know What You Want: Semantic Learning for Text Comprehension

ABSTRACT 摘要

Who did what to whom is a major focus in natural language understanding, which is right the aim of semantic role labeling (SRL). Although SRL is naturally essential to text comprehension tasks, it is surprisingly ignored in previous work. This paper thus makes the first attempt to let SRL enhance text comprehension and inference through specifying verbal arguments and their corresponding semantic roles. In terms of deep learning models, our embeddings are enhanced by semantic role labels for more fine-grained semantics. We show that the salient labels can be conveniently added to existing models and significantly improve deep learning models in challenging text comprehension tasks. Extensive experiments on benchmark machine reading comprehension and inference datasets verify that the proposed semantic learning helps our system reach new state-of-the-art.

谁对谁做了什么是自然语言理解的主要重点，这正是语义角色标记（SRL）的目标。 尽管SRL自然是文本理解任务所必需的，但是在以前的工作中却意外地忽略了它。 因此，本文首次尝试通过指定语言参数及其相应的语义角色来使SRL增强文本的理解和推断能力。 在深度学习模型方面，我们的嵌入通过语义角色标签得到了增强，以实现更细粒度的语义。 我们证明了可以将显着标签方便地添加到现有模型中，并在挑战性的文本理解任务中显着改善深度学习模型。 在基准机器阅读理解和推理数据集上进行的大量实验证明，所提出的语义学习有助于我们的系统达到最新的水平。

A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS 小型BERT (自监督学习语言表征)

原文链接: https://openreview.net/pdf?id=H1eA7AEtvS

译注: 本人英语水平有限, 如有优化建议, 请随时提交issue.

ABSTRACT 摘要

Increasing model size when pretraining natural language representations often results in improved performance on downstream tasks. However, at some point further model increases become harder due to GPU/TPU memory limitations, longer training times, and unexpected model degradation. To address these problems, we present two parameter-reduction techniques to lower memory consumption and increase the training speed of BERT (Devlin et al., 2019). Comprehensive empirical evidence shows that our proposed methods lead to models that scale much better compared to the original BERT. We also use a self-supervised loss that focuses on modeling inter-sentence coherence, and show it consistently helps downstream tasks with multi-sentence inputs. As a result, our best model establishes new state-of-the-art results on the GLUE, RACE, and SQuAD benchmarks while having fewer parameters compared to BERT-large.

.

安装相关软件

1
2

# 安装vue脚手架
sudo npm install -g @vue/cli

vue-cli官方文档

初始化一个vue项目文件夹

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28

vue create hello   # 创建的文件夹叫hello  (注意: 该博客下把这个文件夹叫做"root" 便于记录)

首先，会提示你选择一个preset（预设）：

① 除最后两个，其他选项都是你此前保存的预设配置（如下图第一个“ preset-config”是我之前保存的预设配置，如今便可以直接用了）：

如果没有配置保存过，则只有以下两个选项：

② default（babel，eslint）：

默认设置（直接enter）非常适合快速创建一个新项目的原型，没有带任何辅助功能的 npm包

③ Manually select features：

? Check the features needed for your project: (Press <space> to select, <a> to toggle all, <i> to invert selection)
>( ) Babel                           //转码器，可以将ES6代码转为ES5代码，从而在现有环境执行。                      
 ( ) TypeScript// TypeScript是一个JavaScript（后缀.js）的超集（后缀.ts）包含并扩展了 JavaScript 的语法，需要被编译输出为 JavaScript在浏览器运行，目前较少人再用
 ( ) Progressive Web App (PWA) Support// 渐进式Web应用程序
 ( ) Router                           // vue-router（vue路由）
 ( ) Vuex                             // vuex（vue的状态管理模式）
 ( ) CSS Pre-processors               // CSS 预处理器（如：less、sass）
 ( ) Linter / Formatter               // 代码风格检查和格式化（如：ESlint）
 ( ) Unit Testing                     // 单元测试（unit tests）
 ( ) E2E Testing                      // e2e（end to end） 测试

cd hello
npm run serve   # 启动静态服务器 可以进行测试
npm run build   # 打包静态文件

项目配置文件: package.json

安装jpype

1. 安装jpype模块

1
2
3
4
5
6
7
8
9

2. 安装jvm

```bash
java -version  # bash会提示如何安装openjdk

sudo apt-get install openjdk-11-jre-headless  # ubuntu18

sudo apt-get install -y openjdk-9-jre-headless  # ubuntu16

.

原文链接

基于神经网络的高性能依存句法分析器

最大熵依存句法分析器的实现

https://github.com/hankcs/HanLP/wiki/FAQ

摘录

主流的统计句法分析一般分为两大流派——生成式和判决式。

相关博客

Bert时代的创新：Bert应用模式比较及其它—张俊林

NLP的bert和后bert时代的挑战—倾国倾城sun

后Bert时代NLP相关进展—johnchenyhl

最新序列模型介绍（一）—johnchenyhl

最新中文NER模型介绍（二）—johnchenyhl

.

一、点乘

点乘都是broadcast的，可以用torch.mul(a, b)实现，也可以直接用*实现。

1
2
3
4
5
6
7
8
9
10
11
12
13
14

>>> a = torch.ones(3,4)
>>> a
tensor([[1., 1., 1., 1.],
        [1., 1., 1., 1.],
        [1., 1., 1., 1.]])
>>> b = torch.Tensor([1,2,3]).reshape((3,1))
>>> b
tensor([[1.],
        [2.],
        [3.]])
>>> torch.mul(a, b)
tensor([[1., 1., 1., 1.],
        [2., 2., 2., 2.],
        [3., 3., 3., 3.]])

当a, b维度不一致时，会自动填充到相同维度相点乘。

二、矩阵乘

矩阵相乘有torch.mm和torch.matmul两个函数。其中前一个是针对二维矩阵，后一个是高维。当torch.mm用于大于二维时将报错。

.

丹尼尔·丹尼特的认知科学笔记

讲座视频: https://www.bilibili.com/video/av68266594

白光是由三原色光组成的吗?

有没有人觉得是赤橙黄绿青蓝紫7种颜色光组成的?

我们先看看另一个问题.

我们为什么喜欢吃巧克力

因为我们喜欢巧克力. 为什么男人喜欢美女. 为什么我们都觉得婴儿很可爱.

参考:

知乎live: <<如何通过科学”正念”管理压力,提升专注力>>

作者: 刘轩

学习笔记

为什么我们总是做不好

大脑中的悬念太多

1. 做不完