-
Notifications
You must be signed in to change notification settings - Fork 126
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
[CUBVEC-24] Convert CHAR types to DB Vector in tp_value_cast #5771
base: cubvec/cubvec
Are you sure you want to change the base?
Changes from 5 commits
a7d4bf1
e71a0a2
9924b86
ad73a80
2bbfce7
69b03f1
d3c71b5
0850adb
46fb305
c5db8df
a06a768
e36cfc1
9f8b03c
File filter
Filter by extension
Conversations
Jump to
Diff view
Diff view
There are no files selected for viewing
Original file line number | Diff line number | Diff line change |
---|---|---|
|
@@ -611,6 +611,7 @@ static DB_BIGINT tp_ubi_to_bi_with_args (UINT64 ubi, bool is_negative, bool trun | |
DB_DATA_STATUS * data_stat); | ||
|
||
static UINT64 tp_ubi_times_ten (UINT64 ubi, bool * truncated); | ||
static int tp_str_to_vector (DB_VALUE const *src, DB_VALUE * result); | ||
|
||
/* | ||
* tp_init - Global initialization for this module. | ||
|
@@ -4994,6 +4995,154 @@ tp_atof (const DB_VALUE * src, double *num_value, DB_DATA_STATUS * data_stat) | |
return status; | ||
} | ||
|
||
/* | ||
* tp_str_to_vector - Coerce a string to a vector. | ||
Comment on lines
+4999
to
+5000
There was a problem hiding this comment. Choose a reason for hiding this commentThe reason will be displayed to describe this comment to others. Learn more. 이 함수를 특히 면밀히 리뷰를 해주시면 감사하겠습니다. 감사합니다. There was a problem hiding this comment. Choose a reason for hiding this commentThe reason will be displayed to describe this comment to others. Learn more. 이 함수의 구현은 db_date.c에 구현되어 있는 db_string_to_XXX 와 비슷한 기능 목적으로 보여서, 동일한 루틴을 가져가도 좋을 것 같습니다. 동일한 파일의 다음 두가지에 대해서 검토해볼 수 있을 것 같습니다
option 1 또는 option 2 진행 후에는 이 함수가 잘 정리될 것 같습니다.
문자열은 float array를 가지므로, 간단히 위 구현으로 충분하려면 intl_skip_spaces ()에서 INTL_CODESET_KSC5601_EUC (= EUC-KR) 에서 확인하고 있는 0xa1a1에 대해서 다음의 결정이 필요해보입니다.
이슈 진행 과정에서 예외 사항에 대한 최소한의 확인으로 진행하기로 했기 때문에 제 의견은 0xa1a1에 대해서는 유효하지 않은 문자라고 생각하고 char_isspace() 만으로만 공백을 처리하는 것이 좋을 것 같습니다. 의견 부탁드립니다 :-) There was a problem hiding this comment. Choose a reason for hiding this commentThe reason will be displayed to describe this comment to others. Learn more. 정말 중요한 조언 감사드립니다. There was a problem hiding this comment. Choose a reason for hiding this commentThe reason will be displayed to describe this comment to others. Learn more.
|
||
* return: NO_ERROR or error code. | ||
* src(in): string DB_VALUE | ||
* result(out): vector DB_VALUE | ||
* Note: | ||
* Accepts strings that are not null terminated. Don't call this unless | ||
* src is a string db_value. | ||
*/ | ||
static int | ||
tp_str_to_vector (const DB_VALUE * src, DB_VALUE * result) | ||
{ | ||
const char *p = db_get_string (src); | ||
const char *end = p + db_get_string_size (src); | ||
int count = 0; | ||
const int number_buffer_size = 64; | ||
char number_buffer[number_buffer_size]; | ||
int buffer_idx; | ||
Comment on lines
+5014
to
+5016
There was a problem hiding this comment. Choose a reason for hiding this commentThe reason will be displayed to describe this comment to others. Learn more. object_domain.c 코드 전반에서 64라는 값을 버퍼의 최대 값으로 설정하는 함수들을 벤치마킹했습니다. There was a problem hiding this comment. Choose a reason for hiding this commentThe reason will be displayed to describe this comment to others. Learn more. 64자로 지정하면 숫자 문자열을 63자까지만 처리하다는 의미죠 ? There was a problem hiding this comment. Choose a reason for hiding this commentThe reason will be displayed to describe this comment to others. Learn more. 네, 맞습니다. 검토 결과, 뒤에 '\0'을 넣을 공간을 확보하기 위해 |
||
const int max_vector_size = 2000; | ||
float float_array[max_vector_size]; | ||
Comment on lines
+5017
to
+5018
There was a problem hiding this comment. Choose a reason for hiding this commentThe reason will be displayed to describe this comment to others. Learn more. float 배열의 최대 크기를 2000 으로 설정했습니다. |
||
DB_SET *vec = NULL; | ||
DB_VALUE e_val; | ||
INTL_CODESET codeset = db_get_string_codeset (src); | ||
|
||
if (p == NULL) | ||
{ | ||
return ER_FAILED; | ||
} | ||
|
||
// Skip leading spaces and opening bracket | ||
p = (char *) intl_skip_spaces (p, end, codeset); | ||
if (p >= end || *p != '[') | ||
{ | ||
return ER_FAILED; | ||
} | ||
p++; | ||
|
||
while (p < end && count < max_vector_size) | ||
{ | ||
// Skip spaces before number | ||
p = (char *) intl_skip_spaces (p, end, codeset); | ||
if (p >= end) | ||
{ | ||
return ER_FAILED; | ||
} | ||
|
||
// Check for closing bracket | ||
if (*p == ']') | ||
{ | ||
break; | ||
} | ||
|
||
// Get number into buffer | ||
buffer_idx = 0; | ||
while (p < end && *p != ',' && *p != ']' && buffer_idx < number_buffer_size - 1) | ||
{ | ||
if (!isspace (*p)) | ||
{ | ||
number_buffer[buffer_idx++] = *p; | ||
} | ||
p++; | ||
} | ||
|
||
if (buffer_idx == 0 || buffer_idx >= number_buffer_size - 1) | ||
{ | ||
|
||
return ER_FAILED; | ||
} | ||
|
||
number_buffer[buffer_idx] = '\0'; | ||
|
||
// Convert to float | ||
char *end_ptr = NULL; | ||
errno = 0; | ||
float_array[count] = strtof (number_buffer, &end_ptr); | ||
There was a problem hiding this comment. Choose a reason for hiding this commentThe reason will be displayed to describe this comment to others. Learn more. 큐브리드는 bison에서 strtof, strtod 를 통해 파싱하고 있습니다. There was a problem hiding this comment. Choose a reason for hiding this commentThe reason will be displayed to describe this comment to others. Learn more. strtof 의 스펙 덕분에 자연그럽게 아래 쿼리도 동작합니다.
확인: #include <stdio.h>
#include <stdlib.h>
int main() {
const char *str1 = "3.14e2"; // Scientific notation
const char *str2 = "2.718E-1"; // Scientific notation with uppercase E
char *end;
double num1 = strtod(str1, &end);
float num2 = strtof(str2, &end);
printf("strtod: %f\n", num1); // Outputs 314.000000
printf("strtof: %f\n", num2); // Outputs 0.271800
return 0;
} |
||
|
||
if (errno == ERANGE) | ||
{ | ||
return ER_FAILED; | ||
} | ||
|
||
if (*end_ptr != '\0') | ||
{ | ||
return ER_FAILED; | ||
} | ||
|
||
count++; | ||
|
||
// Skip spaces after number | ||
p = (char *) intl_skip_spaces (p, end, codeset); | ||
if (p >= end) | ||
{ | ||
return ER_FAILED; | ||
} | ||
|
||
// Must be comma or closing bracket | ||
if (*p == ']') | ||
{ | ||
break; | ||
} | ||
else if (*p != ',') | ||
{ | ||
return ER_FAILED; | ||
} | ||
p++; | ||
} | ||
|
||
// Check for closing bracket | ||
if (p >= end || *p != ']') | ||
{ | ||
return ER_FAILED; | ||
} | ||
p++; | ||
|
||
// Skip trailing spaces | ||
p = (char *) intl_skip_spaces (p, end, codeset); | ||
if (p != end) | ||
{ | ||
return ER_FAILED; | ||
} | ||
|
||
if (count == 0) | ||
{ | ||
return ER_FAILED; | ||
} | ||
|
||
// Create vector and populate it | ||
vec = db_vec_create (NULL, NULL, 0); | ||
if (vec == NULL) | ||
{ | ||
assert (er_errid () != NO_ERROR); | ||
return er_errid (); | ||
} | ||
|
||
db_make_vector (result, vec); | ||
|
||
for (int i = 0; i < count; ++i) | ||
{ | ||
db_make_float (&e_val, float_array[i]); | ||
if (db_seq_put (db_get_set (result), i, &e_val) != NO_ERROR) | ||
{ | ||
return ER_FAILED; | ||
} | ||
} | ||
|
||
return NO_ERROR; | ||
} | ||
There was a problem hiding this comment. Choose a reason for hiding this commentThe reason will be displayed to describe this comment to others. Learn more. 내부적으로 Set (Sequence)로 구현된 벡터의 틀을 우선 만들고, db_make_vector(): db_set을 DB_VALUE화 한다. 해당 코드는,
실행 스택을 벤치마킹하였습니다. |
||
|
||
/* | ||
* tp_atobi - Coerce a string to a bigint. | ||
* return: NO_ERROR or error code | ||
|
@@ -9125,6 +9274,24 @@ tp_value_cast_internal (const DB_VALUE * src, DB_VALUE * dest, const TP_DOMAIN * | |
} | ||
break; | ||
|
||
case DB_TYPE_VECTOR: | ||
switch (original_type) | ||
{ | ||
case DB_TYPE_CHAR: | ||
case DB_TYPE_VARCHAR: | ||
case DB_TYPE_NCHAR: | ||
case DB_TYPE_VARNCHAR: | ||
{ | ||
Comment on lines
+9182
to
+9186
There was a problem hiding this comment. Choose a reason for hiding this commentThe reason will be displayed to describe this comment to others. Learn more. 이 부분에 대한 확신이 없습니다. 죄송합니다. 면밀히 리뷰 부탁드립니다. 현재 테스트 케이스는 DB_TYPE_CHAR 만으로도 통과하고 있습니다. 다른 테이블의 varchar 값을 vector로 변환하는 과정에서 나머지 3개의 case들이 필요할 것으로 추정하고 있습니다. There was a problem hiding this comment. Choose a reason for hiding this commentThe reason will be displayed to describe this comment to others. Learn more. DB_TYPE_NCHAR와 DB_TYPE_VARNCHAR는 제거하는 것은 어떨까요 ? |
||
|
||
err = tp_str_to_vector (src, target); | ||
break; | ||
|
||
} | ||
default: | ||
status = DOMAIN_INCOMPATIBLE; | ||
break; | ||
} | ||
break; | ||
case DB_TYPE_VOBJ: | ||
if (original_type == DB_TYPE_VOBJ) | ||
{ | ||
|
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
이 부분은 보조 함수이니, 리뷰에 공을 많이 들이지 않으셔도 될 것 같습니다.
기존의 db_seq_create() 함수를 완전히 모방하였으며,
기존에는 set_create_vector() 함수만으로 진행하려 계획이었으나
기존 sequence insert의 콜스택을 분석하면서 db_seq_create 이 호출되는 것을 인지하고,
조금 더 완벽하게 sequence를 모방하고자 db_vec_create() 함수를 생성하기로 했습니다.