Fix inconsistency in newmm-safe engine by copilot

[wannaphong]

Related to #755

Update the calculation of cut_pos in newmm-safe engine to ensure consistent tokenization results.

• Modify pythainlp/tokenize/newmm.py to update the calculation of cut_pos at line 193 to cut_pos = space_idx + 1 + _TEXT_SCAN_BEGIN.

[sonarqubecloud]

Quality Gate passed

Issues
0 New issues
0 Accepted issues

Measures
0 Security Hotspots
0.0% Coverage on New Code
0.0% Duplication on New Code

See analysis details on SonarQube Cloud

[wannaphong]

I tested this pull request. @bact

from pythainlp.tokenize import word_tokenize
docs = '''ในฐานข้อมูลกฎหมายของเว็บไซต์ ทส. ข้อมูลและทรัพยากร ข้อมูลกฎหมายว่าด้วยป่าชุมชน CSV downloads กฎหมายแม่บท และกฎหมายลำดับรอง ของพระราชบัญญัติป่าชุมชน พ.ศ. 2562... สำรวจ'''
words = word_tokenize(docs, engine="newmm-safe", keep_whitespace=False)

print(words)

['ใน', 'ฐานข้อมูล', 'กฎหมาย', 'ของ', 'เว็บไซต์', 'ทส.', 'ข้อมูล', 'และ', 'ทรัพยากร', 'ข้อมูล', 'กฎหมาย', 'ว่าด้วย', 'ป่าชุมชน', 'CSV', 'downloads', 'กฎหมาย', 'แม่บท', 'และ', 'กฎหมาย', 'ลำดับ', 'รอง', 'ของ', 'พระราชบัญญัติ', 'ป่าชุมชน', 'พ.ศ.', '2562', '...', 'สำรวจ']

docs = "ในฐานข้อมูลกฎหมายของเว็บไซต์ ทส. ข้อมูลและทรัพยากร ข้อมูลกฎหมายว่าด้วยป่าชุมชน CSV downloads กฎหมายแม่บท และกฎหมายลำดับรอง ของพระราชบัญญัติป่าชุมชน พ.ศ. 2562..."
words = word_tokenize(docs, engine="newmm-safe", keep_whitespace=False)

print(words)

['ใน', 'ฐานข้อมูล', 'กฎหมาย', 'ของ', 'เว็บไซต์', 'ทส.', 'ข้อมูล', 'และ', 'ทรัพยากร', 'ข้อมูล', 'กฎหมาย', 'ว่าด้วย', 'ป่าชุมชน', 'CSV', 'downloads', 'กฎหมาย', 'แม่บท', 'และ', 'กฎหมาย', 'ลำดับ', 'รอง', 'ของ', 'พระราชบัญญัติ', 'ป่าชุมชน', 'พ.ศ.', '2562', '...']

It can correctly tokenize "ข้อมูลกฎหมายว่าด้วยป่าชุมชน" into ['ข้อมูล', 'กฎหมาย', 'ว่าด้วย', 'ป่าชุมชน']

I think i may lose a job from AI. 🥹

[coveralls]

coverage: 52.753% (+0.08%) from 52.675%
when pulling aecdd66 on wannaphong/fix-newmm-safe
into 9a9d11f on dev.

[bact]

Nice catch. LGTM. Thank you.

[bact]

This solution was proposed by @tongplw (thanks!) a big while ago but it slipped through my attention.