重写 import 辅助函数的方式 #525

guozixu2001 · 2024-12-06T06:54:22Z

PR Docs

单文件转换：如果只转换单个文件，就不单独生成 utils.py ，而是直接写到转换后的文件里直接使用，不需要再 import utils；
多文件转换：调用多次 PaConvert 也不会生成重复的代码

改动内容

重写了AuxFileHelper类:
- 把原先的 write_code 分拆成了 add_code 和 write_code，在 converter 中调用 write_code 会一次性写入代码
- 添加了写入的辅助代码段前后的标识 >>>> 和 <<<< ，在多次调用 PaConvert 的时候，只重写其中的内容。这样避免了写入重复的代码
重写 api_matcher 中涉及到的 generate_aux_code
- 在 api_matcher 中原先都是通过 utils.foo 的形式来调用 utils 模块中的辅助函数的，现在直接插入到原文件的话，需要直接通过 foo 来调用，所以引入了 get_utils_prefix 来判断是单文件的情况还是多文件的情况
在各个 tranformer 中添加 is_dir_mode
- 因为做了本次的改动之后，在 Matcher::generate_aux_code 中需要根据“单文件转换还是多文件转换”来决定 prefix，所以需要在 transformer 中添加 is_dir_mode 字段，以便 Matcher 可以判断

PR APIs

paddle-bot · 2024-12-06T06:54:27Z

Thanks for your contribution!

paconvert/base.py

paconvert/converter.py

paconvert/transformer/basic_transformer.py

paconvert/utils.py

scripts/code_unittest_check.sh

tests/apibase.py

…seMatcher, use 'from utils import *' instead of 'import utils', remove prefix in each Matcher

zhwesky2010 · 2024-12-11T03:49:17Z

@guozixu2001 按上面的评论回复开发吧，冲突了需要处理一下

docs/CONTRIBUTING.md

paconvert/api_matcher.py

zhwesky2010 · 2024-12-12T03:46:21Z

paconvert/utils.py

    _instance = None
    INIT_CONTENT = """
-    # This content is generated by PaConvert ToolKit, please Don't edit it!
+    ############################## 相关utils函数，如下 ##############################
+    ####################### PaConvert 自动生成的代码，请勿手动修改! ##################


这一行在is_dir_mode下需要，非is_dir_mode就不打印了

意思是在转换单个文件的时候，完全不需要插入类似的标识了吗？

意思是在转换单个文件的时候，完全不需要插入类似的标识了吗？

单文件不要这个 ####################### PaConvert 自动生成的代码，请勿手动修改! ##################，多文件需要

paconvert/utils.py

tests/code_library/code_case/paddle_code/paddlenlp_Qwen.py

zhwesky2010 · 2024-12-13T07:00:57Z

@guozixu2001 处理下冲突，按上面意见改吧

…ewrite_aux_util

guozixu2001 added 3 commits December 6, 2024 13:27

feat: Optimize paddle auxiliary function import

291892c

fix multiple insert bug

9a6da3c

chore

2c90632

paddle-bot bot added the contributor External developers label Dec 6, 2024

guozixu2001 added 8 commits December 6, 2024 14:59

chore

bf6c955

fix consistency_check by removing check of blank lines

205dedd

remove is_aux_api from test

58310de

add diff log in exptect_paddle_code

c3960cb

set pytest thread num to avoid pycache

25adaf4

add pytest-xdist in code_unittest_check.sh

d7e5966

add error_message

af46f6a

rerun failure tests

2774d97

zhwesky2010 reviewed Dec 10, 2024

View reviewed changes

scripts/code_unittest_check.sh Outdated Show resolved Hide resolved

tests/apibase.py Outdated Show resolved Hide resolved

remove is_dir_mode from transformers, remove get_utils_prefix from Ba…

a3187c2

…seMatcher, use 'from utils import *' instead of 'import utils', remove prefix in each Matcher

guozixu2001 added 4 commits December 11, 2024 17:40

improve naming: replace aux with utils

27be4a0

merge master and resolve conflicts

a1f73d7

remove todo

91ba086

fix consistency_check

83a9f41

zhwesky2010 reviewed Dec 12, 2024

View reviewed changes

guozixu2001 added 2 commits December 12, 2024 14:31

revert changes about naming scripts

b69e4bb

rename utils_code() to generate_utils_code()

5c3aa8b

guozixu2001 added 5 commits December 24, 2024 04:49

rename utils.py to paddle_utils.py

9a83857

resolve conflicts

cdf0251

add format to utils code

a390dcb

Merge branch 'master' of github.com:guozixu2001/PaConvert into feat/r…

29fbe8d

…ewrite_aux_util

fix ci: add logger to UtilsFileHelper

a8eaa4c

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

重写 import 辅助函数的方式 #525

重写 import 辅助函数的方式 #525

guozixu2001 commented Dec 6, 2024

paddle-bot bot commented Dec 6, 2024

zhwesky2010 commented Dec 11, 2024 •

edited

Loading

zhwesky2010 Dec 12, 2024

guozixu2001 Dec 12, 2024

zhwesky2010 Dec 13, 2024

zhwesky2010 commented Dec 13, 2024 •

edited

Loading

重写 import 辅助函数的方式 #525

Are you sure you want to change the base?

重写 import 辅助函数的方式 #525

Conversation

guozixu2001 commented Dec 6, 2024

PR Docs

改动内容

PR APIs

paddle-bot bot commented Dec 6, 2024

zhwesky2010 commented Dec 11, 2024 • edited Loading

zhwesky2010 Dec 12, 2024

Choose a reason for hiding this comment

guozixu2001 Dec 12, 2024

Choose a reason for hiding this comment

zhwesky2010 Dec 13, 2024

Choose a reason for hiding this comment

zhwesky2010 commented Dec 13, 2024 • edited Loading

zhwesky2010 commented Dec 11, 2024 •

edited

Loading

zhwesky2010 commented Dec 13, 2024 •

edited

Loading