Skip to content

Conversation

@gongchensu
Copy link

@gongchensu gongchensu commented Sep 19, 2025

  1. 接入使用InfiniCore分支中的logsoftmax算子
  2. 增加completion端口,支持launch_server后通过http端口计算得到max_tokens=0的logprobs
  3. 更改test_ppl和jiuge_ppl中用到的torch库的log_softmax算子
  4. 对齐test_ppl的token分块方式,使得和jiuge_ppl对perlexity的计算结果保持一致

@superstarchenxin
Copy link

请问是这个依赖吗
InfiniTensor/InfiniCore#511

@gongchensu
Copy link
Author

请问是这个依赖吗 InfiniTensor/InfiniCore#511

代码是的,分支上这个main,依赖的应该也是InfiniCore的main分支的一个pr。反正依赖的确实是这个算子

@superstarchenxin
Copy link

请问是这个依赖吗 InfiniTensor/InfiniCore#511

代码是的,分支上这个main,依赖的应该也是InfiniCore的main分支的一个pr。反正依赖的确实是这个算子

请问,计划什么时候能合并?

@PanZezhong1725
Copy link
Collaborator

logsoftmax算子和ppl功能已合并到v0.1.0

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

3 participants