关于encoder用bert替换

[VinnyHu]

您好，请问下您能不能将实验中把BiLSTM，换成Bert的代码也开源下？谢谢！

[nanguoshun]

@VinnyHu 谢谢关注，我们最近在赶deadline，后续整理后以后会开源出来，如果着急可以参考https://github.com/hongwang600/DocRed/blob/master/models/bert.py

[VinnyHu]

@VinnyHu 谢谢关注，我们最近在赶deadline，后续整理后以后会开源出来，如果着急可以参考https://github.com/hongwang600/DocRed/blob/master/models/bert.py

好的，谢谢您的回复！！！

[VinnyHu]

@VinnyHu 谢谢关注，我们最近在赶deadline，后续整理后以后会开源出来，如果着急可以参考https://github.com/hongwang600/DocRed/blob/master/models/bert.py

您好，我又看到您代码里面
self.ner_emb = nn.Embedding(13, config.entity_type_size, padding_idx=0)
ner在原来的DocRE数据集里面是7种类型，您这里13种，请问您是又自己有新的标注了嘛？

[VinnyHu]

@VinnyHu 谢谢关注，我们最近在赶deadline，后续整理后以后会开源出来，如果着急可以参考https://github.com/hongwang600/DocRed/blob/master/models/bert.py

您好，这两天一直都在学习您的工作，对您代码里面StructInduction 模块 forward里面的代码对照着原文中的（3）-（8）的公式看，实在是看的不太懂。
还有就是forward里面的output看来在后续的代码中并没有实际用到，您有时间的话，能不能给个注释版的 对照下原文中的（3）-（8）的公式呢？非常感谢！

[nanguoshun]

谢谢关注！我们刚才开源了，您可以参考下，BERT Encoder比较耗GPU显卡，我们是在3 * 24GB的GPU上训练的

…

On Thu, Oct 29, 2020 at 9:47 AM qiunlp ***@***.***> wrote: 是否能抽出宝贵时间把实验中BiLSTM换成Bert的代码开源？谢谢！ — You are receiving this because you commented. Reply to this email directly, view it on GitHub <#24 (comment)>, or unsubscribe <https://github.com/notifications/unsubscribe-auth/ABBGN7SUMGVKPUZGOJAGJPLSNDCSDANCNFSM4QDCWNXQ> .

-- Best Wishes Guoshun Nan

[qiunlp]

用bert替换后，运行epoch 0 | step 1500 |错误,请问什么原因？
'........code/models/reasoner.py", line 69, in forward
res.as_strided(tmp.size(), [res.stride(0), res.size(2) + 1]).copy_(tmp)
RuntimeError: setStorage: sizes [80, 80], strides [6400, 81], and storage offset 0 requiring a storage size of 512000 are out of bounds for storage with numel 6400

[nanguoshun]

Hi @qiunlp 抱歉，这个问题我一直来得及fix，你可以尝试用不同batch_size，或者换个random seed来临时解决这个问题

[qiunlp]

好的，谢谢！我试试

[LawsonAbs]

用bert替换后，运行epoch 0 | step 1500 |错误,请问什么原因？ '........code/models/reasoner.py", line 69, in forward res.as_strided(tmp.size(), [res.stride(0), res.size(2) + 1]).copy_(tmp) RuntimeError: setStorage: sizes [80, 80], strides [6400, 81], and storage offset 0 requiring a storage size of 512000 are out of bounds for storage with numel 6400

meet again! sad!