Knex: 한 번에 여러 쿼리를 실행하는 방법은 무엇입니까?

아니요, 두 문장으로 실행해야 합니다.

글쎄, 이것은 약간 제한적인 솔루션입니다

쿼리에서 toString() 를 호출하고 실행할 수 있지만 실제로는 권장하지 않습니다.

knex.raw(knex.raw(query, bindings) + '').exec(function(err, result) {
  assert.isNotError(err);
});

글쎄, 나는 그것으로 무엇을 할 것인지 볼 것입니다. 기본적으로 준비된 명령문을 끄고 쿼리 문자열과 바인딩을 갖는 기능을 유지하고 싶지만 가능한지 모르겠습니다. 이와 관련된 문서를 찾지 못했습니다.

어쨌든, 나는 시도했다

knex.raw(query, bindings) + ''

그러나 그것은 던졌습니다 - Object 객체에는 'clone'메소드가 없습니다.

0.6.0 브랜치를 시도하고 싶다면 거기에서 작동할 것이라는 것을 알고 있습니다. 몇 가지 테스트를 마친 후에 릴리스해야 합니다.

그런데 왜 그런 단일 문자열을 사용하여 두 개의 쿼리 문을 실행해야 합니까? 패키지를 사용하는 목적에 어긋나지 않습니까?

개인적으로 한 번에 여러 개의 INSERT ... ON DUPLICATE KEY UPDATE 를 만들어야 합니다. 업데이트된 행과 생성된 행(영향을 받는 행 값 확인)을 알고 싶기 때문에 여러 값으로 삽입을 수행할 수 없습니다.

저는 Knex 제한 사항(기본적으로 대부분의 시간에 원시 쿼리를 사용하는 결과)을 발견한 후 node.js에 대한 다양한 쿼리 빌더를 사용해 왔습니다. 결국 나는 SQL 빌더를 직접 코딩했습니다 - QSql Demo . 완전하거나 생산 준비가 된 것은 아니지만 기본적으로 내가 생각하는 방식을 요약합니다.

아주 멋진 데모입니다. 다음 릴리스 이후에 그런 것을 추가할 계획이었습니다. 0.6 브랜치를 사용해 보셨나요?

QSQL이 보다 강력한 쿼리 빌더의 필요성을 채울 수 있는 반면 Knex는 서로 다른 방언 사이의 사마귀에 대한 연결 풀링 및 평활화를 처리할 수 있는 협업을 위한 여지가 있는지 궁금합니다.

아무튼 잘봤습니다 잘 보고 갑니다!

글쎄요, 우리는 0.6을 시도하지 않았습니다. 한 곳에서 많은 코드가 knex를 사용한 다음 다른 곳에서 원시 쿼리를 수행했기 때문입니다. 약간의 조사 후에 나는 전체 스택을 유지 관리할 수 있고 기능을 즉시 추가할 수 있는 것으로 교체하기로 결정했습니다.

글쎄요, 분명히 협업의 여지가 있다고 생각하지만 먼저 QSql을 안정화하는 데 시간이 걸릴 것입니다. 내 말은 99% 요구 사항과 사용 사례(일부 구성은 여전히 ​​약간 못생긴 것을 볼 수 있듯이)와 일치하는 멋진 API를 정의하고 다른 백엔드를 추가할 수 있도록 적절한 추상화를 구현하는 것입니다.

쿼리 배열을 전달하고 결과도 배열이 될 수 있습니까? 이와 같이 간단한 것이 멋지고 async.parallel과 같은 것을 사용하여 수행할 수 있습니다.

@niftylettuce Bluebird에는 이미 "async.parallel" 기능이 기본 제공됩니다. 그러나 이것은 문제가 아닙니다. 한 번의 실행으로 쉼표로 구분된 쿼리를 실행하는 방법이 정말 필요합니다.

표기만 하면 되는거 아닌가요

    multipleStatements: true

구성의 연결 블록에서:
예

    connection: {
        host: 'localhost',
        user: 'superSecret',
        password: 'notGonnaTell',
         port: 8889,
        database: 'babelverse_core',
        multipleStatements: true
    }

여기 관심 있는 사람이 있으면 다음 리팩터링에서 이를 가능하게 하기 위해 몇 가지 새로운 작업을 하고 있습니다.

이상적인 API가 무엇인지 궁금합니다... 단일 체인을 원하십니까?

knex
  .update('records_raw')
  .set({title: x}).where({id: 1})
  .end()
  .update('records_raw')
  .set({title: y}).where({id: 2})
  .spread((resultA, resultB) => {

  })

또는 다음과 같은 것:

knex.multiQuery([
  knex.update('records_raw').set({title: x}).where({id: 1})
  knex.update('records_raw').set({title: y}).where({id: 2})
]).spread((resultA, resultB) => {

})

또한 세미콜론으로 분할하여 knex.raw 케이스를 자동으로 작동하게 만드는 가능성을 살펴봅니다.

원시 쿼리에서 세미콜론으로 분할하면 좋은 시작이 될 것입니다.

삭제가 삽입되기 전에 제 시간에 완료되지 않는 문제가 발생하여 중복 키 오류가 발생하고 있습니다.

나는 같은 일을하고있다

knex("mytable")
.where({
  id: 32423
})
.del()
.then( ->
  knex("mytable")
  .insert()
 ..... 

당신은 요점을..

델은 제 시간에 완료되지 않습니다.

@tgriesser 내 투표는 knex.multiQuery에 대한 것입니다.

@tgrisser 단일 쿼리에서 여러 명령문을 실행하는 기능에 대한 업데이트가 있습니까? 내가 선호하는:

.update('records_raw')
.set({제목: x}).where({ID: 1})
.끝()
.update('records_raw')
.set({제목: y}).where({아이디: 2})
.then(함수(결과) {
결과[0] //결과 1
결과[1] // 결과 2
})
.catch(함수(오류) {
console.log(오류);
});

+1

세미콜론에서 적절한 분할을 수행하려면 방언별 파서를 사용하여 전체 원시 쿼리를 구문 분석해야 합니다. 특히 문자열에 ; 포함되어 있으면 무시해야 합니다. 다음은 구문 분석이 쉽지 않은 유효한 SQL의 두 가지 예입니다.

-- generic SQL
SELECT * FROM book WHERE title = 'Lord of the Rings; The Fellowship of the Ring';

-- MySQL specific
CREATE PROCEDURE dorepeat(p1 INT)
  BEGIN
    SET <strong i="9">@x</strong> = 0;
    REPEAT SET <strong i="10">@x</strong> = <strong i="11">@x</strong> + 1; UNTIL <strong i="12">@x</strong> > p1 END REPEAT;
  END

또한 첫 번째 경우에는 2개의 문으로 끝나므로 코드는 분할의 빈 결과를 고려해야 합니다.

솔직히 전반적으로 이것은 나쁜 생각이라고 생각합니다. SQL 주입 및 쿼리를 올바르게 분할하지 않을 가능성이 너무 많습니다.

또한 여러 명령문을 실행할 때 거의 항상 동일한 트랜잭션에서 발생하기를 원합니다. Knex는 이미 .transacting(function(transaction) { /* code */ }) 구문으로 이 문제를 잘 해결했습니다. 트랜잭션이 필요하지 않은 드문 경우에 블루버드를 사용하여 knex 문을 결합하고 결과를 얻을 수 있습니다.

따라서 이러한 문제 때문에 이런 일이 발생해서는 안 된다고 생각합니다.

:-1:

또한 여러 명령문을 실행할 때 거의 항상 동일한 트랜잭션에서 발생하기를 원합니다. Knex는 이미 .transacting(function(transaction) { /* code */ }) 구문으로 이 문제를 잘 해결했습니다. 트랜잭션이 필요하지 않은 드문 경우에 블루버드를 사용하여 knex 문을 결합하고 결과를 얻을 수 있습니다.

어떤 경우에는 이 두 가지 접근 방식과 하나의 명령으로 여러 값을 서버에 일괄 처리하는 것 사이에 _엄청난_ 성능 차이가 있다는 것을 경험으로 말씀드릴 수 있습니다.

명확하게 구현하기가 매우 어렵다는 것을 이해합니다. 그래서 아직 완료되지 않았지만 이 문제로 인해 프로젝트에서 knex를 사용하는 데 크게 제한되었습니다.

나는 비슷한 문제가 있었고 그것을 해결할 수있었습니다. 여기를 참조하십시오. https://github.com/tgriesser/knex/issues/1075

이 기능에 대한 사용 사례를 볼 수 없습니다. 해결되지 않으므로 이 티켓을 종료하고 싶습니다. 하나가 동일한 연결에서 실행되는 쿼리의 순서에 따라 달라지는 경우 트랜잭션을 사용하고 싶을 것입니다.

이 '다중 쿼리' 사용을 우리가 원하는 것으로 만드는 한 가지는 그것이 어떤 경우에는 잠재적인 성능 향상이라는 것입니다. 모든 쿼리와 결과를 서버와 주고받는 데 필요한 왕복 횟수가 줄어듭니다.

하지만 측정 가능한 사용 사례가 있는 것은 아닙니다. 과거의 경험/기억에서 말하는 것뿐...

@jurko-gospodnetic 연결 풀링이 없는 경우일 수 있습니다. 여러 쿼리를 보내는 풀링은 기본적으로 이미 생성된 TCP 소켓에 데이터를 넣는 것입니다. 또한 성능이 충분히 채워지지 않은 TCP 버퍼에 의존하는 경우 knex는 이미 너무 느립니다. 이 경우 드라이버를 직접 사용하는 것이 좋습니다.

@jurko-gospodnetic이 5월 20일에 댓글을 남겼습니다.

이 '다중 쿼리' 사용을 우리가 원하는 것으로 만드는 한 가지는 그것이 어떤 경우에는 잠재적인 성능 향상이라는 것입니다. 모든 쿼리와 결과를 서버와 주고받는 데 필요한 왕복 횟수가 줄어듭니다.

이 특별한 이유로 엔터프라이즈급 프로젝트에서 node-mysql(mysqljs) 을 사용하고 있습니다. 여러 가지 이유로 전체 프로젝트를 knex.js로 마이그레이션하려고 합니다.

node-mysql(mysqljs) 드라이버의 다중 명령문 쿼리 기능을 활용하여 이러한 작업에 상당한 성능 향상이 있습니다.

Knex가 이것을 지원하지 않는다면 그것은 나에게 쇼스토퍼가 될 것입니다. 그래서 저는 이 스레드를 되살려 질문할 것입니다.

이제 Knex.js에서 하나의 명령문에 다중 쿼리가 지원됩니까?

@nicholaswmin "상당한 성능 향상"이 무엇을 의미하는지 좀 더 구체적으로 말씀해 주시겠습니까? 이 방법으로 여러 쿼리를 보내는 것이 동일한 연결을 통해 여러 쿼리를 보내는 것보다 훨씬 더 효율적입니다. 어떤 벤치마크?

@elhigu 벤치마크는 없지만 곧바로 다음과 같이 말할 수 있습니다.

DB에 대한 단일 호출(모든 명령문이 포함됨)은 server-db 네트워크 왕복을 제거합니다.

반면에 동일한 연결을 통해 여러 쿼리를 보내는 것은 은총알이 아닙니다. 이 솔루션은 비트랜잭션 흐름에서만 작동합니다. 이 문제를 참조

@nicholaswmin 엄청난 양의 작은 쿼리를 보내고 대부분 무시하거나 작은 결과를 보내고 있습니까? 이 경우 드라이버가 각 TCP 패킷에 대해 여러 쿼리를 패킹할 수 있기 때문에 차이점이 눈에 띌 수 있다고 생각합니다.

이러한 성능 차이는 네트워크 트래픽 양에서도 쉽게 측정할 수 있어야 합니다.

드라이버가 이전 호출의 결과를 먼저 기다리지 않고 별도의 connection.query 호출에서 DB로 여러 쿼리를 보내는 것을 지원하는지 모르겠습니다. 그렇게 하면 여러 connection.query 또는 mysql 드라이버에서 지원하는 단일 다중 쿼리를 보내는 것 사이에 TCP 트래픽에 큰 차이가 없어야 합니다.

@elhigu 실제로 작은 쿼리이지만 결과가 필요하므로 트랜잭션/쿼리 체인 아래에서 더 많이 사용할 수 있습니다.

디버그 또는 유사한 옵션을 통해 전송되는 TCP 패킷을 볼 수 있는 방법이 있습니까? 전송되는 쿼리 자체가 아니라 실제 패킷입니다.

사용 사례:

내 시스템에서 사용자의 데이터를 업데이트할 때 해당 사용자에 대한 감사 추적(변경 사항)을 계산하고 싶습니다.

// # PSEUDOCODE

// get current data of user
getUserData();
// set data of user
setUserData()
// get new data of user
getUserData()
// compute the audit trail by comparing the difference between before-set/after-set datums
computeAuditTrail(previousData, newData);

위의 각 호출은 여러 DB 호출을 수행하므로 네트워크 왕복이 많다고 상상할 수 있습니다.

#1806에 언급된 것처럼 순차적일 필요가 없는 쿼리에 Promise.all() 를 사용하여 이 문제를 해결할 수 있습니다(대부분 getData/setData 의 DB 호출은 순차적일 필요가 없음).

쿼리가 풀의 다른 연결에서 전송될 수 있으므로 트랜잭션이 아닌 흐름에서 작동합니다. 트랜잭션을 사용하여 위의 흐름을 수행하자마자 쿼리가 단일 연결에서 전송되기 때문에 속도가 느려집니다(약 4배).

참고로 저는 MSSQL을 사용하고 있습니다.

Wireshark는 네트워크 트래픽을 분석하는 데 사용되는 매우 일반적인 크로스 플랫폼 도구입니다.

나는 노드로 그 수준까지 볼 수 있는 방법이 없다고 생각합니다.

한 가지 방법은 하나의 쿼리에 패킹되거나 드라이버에 별도로 전달된 동일한 양의 쿼리를 보낼 때 iptraf 또는 다른 것을 사용하여 송수신된 데이터의 양을 측정하는 것일 수 있습니다.

multiQuery 구문을 보고 싶습니다.

모든 업데이트 ?
이제 multiQuery를 만들 수 있습니까?
그렇다면 어떤 구문을 사용합니까?

var knex = require("knex");
var _ = require("lodash");
var Promise = require("bluebird");

var knex = require('knex')({
    client: 'sqlite3',
    connection: {
        filename: "./data.sqlite"
    }
});

// Create Schema
let createScript = `

CREATE TABLE Class ( 
    Id                   integer NOT NULL  ,
    Name                 varchar(100)   ,
    CONSTRAINT Pk_Classes_Id PRIMARY KEY ( Id )
 );

CREATE TABLE Material ( 
    Id                   integer NOT NULL  ,
    Description          varchar(500)   ,
    CONSTRAINT Pk_Material_Id PRIMARY KEY ( Id )
 )

-- ... and so on (leave off the last semi or remove it later) ... 

`;

let statementPromises = _.map(createScript.split(';'), (statement) => {
    return knex.raw(statement);
});

Promise.all(statementPromises).then(function() {
    console.log('Schema generated. Populating...');

     // ...

그것은 하나의 여러 요청이 아닌 루프 일 뿐이며 SLOW입니다.

@mscheffer 질문은 다음과 같습니다.

';'로 구분된 여러 쿼리를 실행하고 싶은 문제가 있습니다. 단일 임원에 의해 가능합니까?

내 대답이 해결합니다. 더 빠르고 더 나은 솔루션이 있으면 제공하십시오.

@VictorioBerra ; 에서 분할하는 것은 일반적으로 작동하지 않습니다. 문자열 리터럴 및 주석 내부에 ; 가 있을 수 있기 때문입니다. 데이터 덤프를 읽고 있다면 SQL 덤프 코드를 sqlite 셸로 파이프하는 것이 쉬운 방법이라고 말하고 싶습니다. 슬프게도 인메모리 데이터베이스는 단일 연결이기 때문에 작동하지 않습니다.

또한 템플릿 문자열 내부에 SQL 문자열을 만든 다음 분할하는 경우 knex.schema.* 빌더를 사용하여 효과적으로 동일하지만 더 안전합니다.

내가 아는 한 모든 방언 드라이버에 대해 단일 명령으로 여러 쿼리를 실행하는 이 기능을 달성할 수 있는 방법은 없습니다. 나는 그것이 지원되는 mysql과 oracledb 또는 mssql이라고 생각하고 mysql을 사용하면 여전히 마지막 쿼리의 결과를 응답으로 얻을 수 있습니다(그래도 괜찮을 수 있음).

연속적으로 실행되도록 여러 쿼리를 사용하여 데이터를 수정하는 경우 트랜잭션을 사용하는 것을 잊지 마십시오!

원시 SQL을 사용한 다중 쿼리 실행
나는 우리의 knex 마이그레이션 중 하나가 CREATE DATABASE 연속으로 여러 번 실행해야 하는 비슷한 상황에 직면했습니다. 쿼리를 세미콜론으로 구분하고 싶었지만 knex에서 구문 오류가 발생했습니다. 이에 대한 해결책은 연결 개체에 "multipleStatements": true 를 포함하는 것이므로 최종 결과는 다음과 같을 수 있습니다.

"host": "192.168.x.x",
"user": "userLogin",
"password": "userPassword",
"database": "schemaToUse",
"multipleStatements": true

그 후에 다음과 같이 raw 문을 사용할 수 있습니다.

return knex.raw("CREATE DATABASE schema0; CREATE DATABASE schema1; CREATE DATABASE schema2")
   .then((result) => {
   })
   .catch((error) => {
   });

KNEX 쿼리 빌더를 사용한 다중 쿼리 실행
원시 SQL을 직접 작성하는 대신 knex 쿼리 빌더를 사용해야 하는 경우 Knex.QueryBuilder 의 결과를 문자열로 변환한 다음 여러 쿼리를 함께 조인해야 합니다. 다음은 한 가지 예입니다.

// Suppose that we wanted to add 100 currency for all players in multiple games
const addCurrency = 100;
const updateCurrency = { currency: "currency + " + addCurrency };
const queries = [
   knex.table("game0.stats").update(updateCurrency),
   knex.table("game1.stats").update(updateCurrency),
   knex.table("game2.stats").update(updateCurrency),
];
const multiQuery = queries.join(";");
console.log(multiQuery);
return knex.raw(multiQuery)
   .then((result) => {
   })
   .catch((error) => {
   });

이는 또한 연속적으로 실행해야 하는 중복 쿼리를 작성할 때 사람의 실수를 줄이는 데 도움이 됩니다. 이와 같은 것으로 다시 트랜잭션으로 래핑하는 것이 좋습니다.

이것은 대부분 db 드라이버에 의해 제한되기 때문에 닫을 수 있다고 생각합니다. 최소한 적절한 기능 요청이 필요합니다.

@AksharaKarikalan 여러 하위 쿼리와 그 사이의 빼기를 수행하더라도 여전히 단일 쿼리를 만들고 있습니다. 그래서 이 문제와 무관한 댓글을 삭제했습니다. Stackoverflow는 knex 사용 요청에 대한 올바른 위치입니다.