코드카타 / 스파크

---

코드카타

5월 식품들의 총매출 조회하기
생산일자가 2022년 5월인 식품들의 식품 ID, 식품 이름, 총매출을 조회하는 SQL문을 작성해주세요.
이때 결과는 총매출을 기준으로 내림차순 정렬해주시고 총매출이 같다면 식품 ID를 기준으로 오름차순 정렬

• 2022년 5월 : 2022-05%
• 정렬 : 총매출 desc, ID asc

SELECT p.PRODUCT_ID, p.PRODUCT_NAME, PRICE * SUM(AMOUNT) TOTAL_SALES
FROM FOOD_ORDER o, FOOD_PRODUCT p
WHERE p.PRODUCT_ID = o.PRODUCT_ID
AND PRODUCE_DATE LIKE '2022-05%'
GROUP BY 1
ORDER BY 3 DESC, 1;

 

Find Users With Valid E-Mails
유효한 이메일을 가지고 있는 사용자를 찾는 솔루션을 작성하세요.
유효한 이메일에는 접두사 이름과 도메인이 있습니다.
접두사 이름은 문자(대문자 또는 소문자), 숫자, 밑줄 '_', 마침표 '.' 및/또는 대시 '-'를 포함할 수 있는 문자열입니다.
접두사 이름은 문자로 시작해야 합니다.도메인은 '@leetcode.com' 입니다.어떤 순서로든 결과 테이블을 반환합니다

• REGEXP : 문자열이 정규 표현식과 일치하는지 확인
• 접두사 이름은 문자로 시작  : ^
•  문자(대문자 또는 소문자), 숫자, 밑줄 '_', 마침표 '.' 및/또는 대시 '-'를 포함할 수 있는 문자열  : [A-Za-z][A-Za-z0-0_.-]  
• * : 반복
• 도메인은 '@leetcode.com' 

SELECT * 
FROM Users
WHERE mail REGEXP '^[A-Za-z][A-Za-z0-9_\.\-]*@leetcode\\.com$';

 

Contest Leaderboard
해커의 총점은 모든 챌린지의 최대 점수를 합한 것입니다.
점수가 내림차순으로 정렬된 해커의 hacker_id, 이름, 총점을 출력하는 쿼리를 작성하세요.
두 명 이상의 해커가 동일한 총점을 달성한 경우 hacker_id를 오름차순으로 결과를 정렬합니다.
결과에서 총 점수가 0인 모든 해커를 제외합니다.

• 최대 점수 : max
• 최대 점수 합한 것 : sum(max)
• 내림차순 정렬 : desc
• 총 점수가 0 인 해커 제외 : score > 0

SELECT hacker_id, name, SUM(max_score)
FROM 
(
    SELECT 
        h.hacker_id, name, MAX(score) max_score
    FROM hackers h JOIN submissions s ON s.hacker_id = h.hacker_id
    WHERE score > 0
    GROUP BY h.hacker_id, name, challenge_id
)a
GROUP BY hacker_id, name
ORDER BY SUM(max_score) DESC, hacker_id;

 

---

스파크

스파크 : 대규모 데이터 전처리에 있어 표준, 대규모 데이터 처리용 통합 분석 엔진, 대용량 데이터를 다루는 것에 특화된 프레임 워크

 

메모리

- Ram : 데이터를 갖고 작업하기 위해 올리는 곳

- Disk : 장기적으로 데이터를 보관하는 공간

 

Data Type

- 정수 : 이진법으로 표현

- 오버플로 : 크기에 맞지 않는 데이터를 넣어 의도하지 않은 결과가 나오는 것

- 부동소수점

- String, Category : 문자열, 유니코드를 이용하여 문자열 인코딩 => 메모리 차지 太

- Datetime : 시간과 관련된 정보

- Timezone : 시간 데이터 표준

 

파일 유형

- csv, txt : 가장 느리고 무거워서 소규모 데이터가 아니면 부적절

- json : dictionary와 같은 형식

- Pickel : 용량이 가벼워 read/write 속도가 수십 배 이상 빠름

- Parquet : 대용량 데이터 저장에서 표준, 가볍고 빠름

 

클라우드

- AWS

- GCP

- Azure

 

스토리지 : 보관

엔진 : 컴퓨터를 빌리는 것

데이터베이스 : 데이터 공유, 보호, 검색, 백업과 복원

- RDS

- Athena

- Readshift