I always encounter assertion errors when trying to reproduce the results of llava_v1.5.

[xuewenMei]

I always encounter assertion errors when trying to reproduce the results of llava_v1.5.
In this section, may I ask if there is any solution to this problem?
/dataset.py/
if cur_len < tokenizer.model_max_length:
assert cur_len == total_len

[fwbc]

I always encounter assertion errors when trying to reproduce the results of llava_v1.5. In this section, may I ask if there is any solution to this problem? /dataset.py/ if cur_len < tokenizer.model_max_length: assert cur_len == total_len

Have you solved this problem?

[xuancan1]

请问你解决了吗

[fwbc]

这个好像和我之前问你的那个问题是一样的，你在llava中的converstion.py指定默认对话模板为llava_v1，这个是因为他的模板不对，导致他的seq错误，然后用seq分割就错误了

[xuewenMei]

那这里可能还需要时间去研究下模板的不同之处，我目前还没精力去解决，在着手其它实验上

[fwbc]

那这里可能还需要时间去研究下模板的不同之处，我目前还没精力去解决，在着手其它实验上

在llava中的conversation.py,不是untils中的，untils.converstaion.py仿佛没有任何作用

[xuewenMei]

对的，如果想要性能，你可以再去试试llava-llama2-7b的版本13b如果硬件不行的话，在作者的描述中，这个版本展现出比llava-v1-13b更优性能

[xuewenMei]

没有，可能需要修改模板那里的细节

[fwbc]

对的，如果想要性能，你可以再去试试llava-llama2-7b的版本13b如果硬件不行的话，在作者的描述中，这个版本展现出比llava-v1-13b更优性能

你是指lisa模型的lisa-7b吗？我好像并没有找到llava-llama2-7b这个版本

[xuewenMei]

liuhaotian/llava-llama-2-7b-chat-lightning-lora-preview

[wudongming97]

The bug can be seen at #193