일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |
31 |
- HIVE
- Linux
- hadoop
- Kafka
- java
- 영어
- 삼성역맛집
- 코딩
- 자바
- 알고리즘
- Data Engineering
- Spark
- apache iceberg
- BigData
- 맛집
- 용인맛집
- 코딩테스트
- 개발
- Trino
- 백준
- Data Engineer
- 프로그래머스
- pyspark
- Iceberg
- Apache Kafka
- bigdata engineer
- 코엑스맛집
- 코테
- bigdata engineering
- 여행
- Today
- Total
목록python (2)
지구정복

PyArrow는 내부적으로 timestamp를 엄격하게 처리한다. 근데 Spark와 Pandas는 보통 timezone정보가 없는 naive timestamp를 쓴다.여기서 naive timestamp는 "2025-05-26 14:00:00"이런 값을 의미한다. pyarrow에서 사용하는 timestamp는 시간대 정보가 포함된 값을 의미한다.2025-05-26 09:37:07.223083+00:00 그래서 pyarrow와 pandas-on-spark를 같이 사용하면 타임스탬프를 처리하는 과정에서 에러가 발생할 확률이 높다.따라서 미리 Pyarrow에서 pandas-on-spark 가 사용하는 타임스탬프로 맞춰주기 위해 환경변수를 드라이버와 익스큐터들에게 정의해줘야 한다. 근데 이 설정은 스파크 옵션으로..
switch문과 if문을 을 써서 풀어봤는데 그냥 정답대로 푸는게 좋은 것 같다. 상하좌우로 움직일 지도의 크기 N이 주어지고 어느 방향으로 움직일지 입력받는다. R, L, U, D 각각 오른쪽, 왼쪽, 위, 아래로 한 칸씩 움직이게 되는데 이때 지도의 크기(1~N)보다 작거나 크면 지도를 벗어나는 것이므로 무효처리해야 한다. -자바 package implementation; public class ThisCote_4_1 { static int N, x, y; public static void main(String[] args) { N = 5; char[] roots = {'R', 'R', 'R', 'U', 'D', 'D'}; x = 1; y = 1; for( char s : roots ) { move(..